„Felsőoktatási rangsor elemzés” kutatás (Vezetői összefoglaló)
Összeállította: Eruditio-Hungária Kft.
Készült az Oktatáskutató és Fejlesztő Intézet megbízásából, a „Minőségfejlesztés a felsőoktatásban” TÁMOP-4.1.4-08/1-2009-0002 azonosító számú projekt támogatásával.
Budapest, 2011
A kutatási projektről A TÁMOP 4.1.4 kiemelt projekt céljaihoz igazodva, a „Felsőoktatási rangsor elemzés” kutatási projekt célja az volt, hogy feltárja a hazai és nemzetközi felsőoktatási rangsorkészítés módszereit, gyakorlatát, feltérképezze a hazai felsőoktatással kapcsolatos rangsorokat, és mindezek alapján ajánlásokat fogalmazzon meg felsőoktatási rangsorok méréséhez használható mutatószámok meghatározásához és definiálásához. A projektet két nagyobb egységre tagoltuk. Az első körben összegyűjtöttük a legismertebb nemzetközi rangsorokat – Academic Ranking of World Universities (Jiao Tong University rangsora), Financial Times rangsora, Leiden University rangsora, CHE Excellence Ranking, www.webometrics.info rangsora –, megvizsgáltuk négy ország – Amerikai Egyesült Államok, Franciaország, NagyBritannia, Németország – rangsorolási gyakorlatát, feldolgoztuk módszertanukat, összegyűjtöttük és tipizáltuk rangsor-indikátoraikat. Dokumentumelemzés, adatelemzés valamint módszertani elemzés segítségével megvizsgáltuk a rangsorolási technikákat, az adatköröket, a rangsorok média-megjelenését, kommunikációját. Külön elemzés keretében összegyűjtöttük a hazai felsőoktatási rangsorokat, bemutattuk módszertanukat, alkalmazott mutatószámaikat, érintettük a hazai rangsor-kommunikáció sajátosságait, valamint a rangsorokkal kapcsolatban az elmúlt években kialakult szakmai párbeszédet. Kitértünk az International Ranking Expert Group (IREG) nevet viselő szakértői csoport rangsormódszertanokat megalapozó szakmai tevékenységére, a 2006. májusában elfogadott Berlin Principles on Ranking of Higher Education című dokumentumra, ismertebb nevén a „rangsorolás berlini alapelveire”. Ugyanezen elemzés keretében térképeztük fel a 2006-ban megindult „European Ranking”kezdeményezést, amelynek fő célja, hogy a jelenleg működő „nemzetközi” rangsorolási gyakorlat módszertanbeli hiányosságaiból fakadó torzításait – különösen az európai egyetemek hátrányos helyzetét – enyhítse, és egy szakmailag jól megalapozott, a felsőoktatás nemzetközi színterén is használható egységes rangsorolási módszertant alakítson ki. Tudástár-jelleggel egységes struktúrába szervezve összegyűjtöttük a felsőoktatási rangsorokkal kapcsolatos legfőbb ismérveket (megjelenés ideje, helye, elérhetősége; alkalmazott mutatók, módszertani sajátosságok; készítők), ezzel kívántuk segíteni a rangsorok, a rangsorolás iránt érdeklődők, szakértők, kutatók tájékozódását. A projekt második szakaszában a projekt végkimenetelének számító „ajánlásgyűjteményhez”, „mutatószám-javaslathoz” szükséges tematikus vizsgálatokat végeztünk el. Szakértői interjúk segítségével feltérképeztük a szakmai szereplők (ágazati döntéshozó szervek, felsőoktatási érdekképviseleti 2
szervek, tanácsadó szervek felelős vezetői, szakértői) rangsorokkal kapcsolatos véleményét, elvárásait, javaslatait. Megvizsgáltuk a rendelkezésre álló lehetséges (statisztikai és nem statisztikai céllal készült) adatbázisokat – Felsőoktatási Információs Rendszer (FIR), jelentkezési és felvételi adatbázis, NEFMI Felsőoktatási Statisztika, OTDK-adatbázis, MTA-adatbázisok –, azok adattartalmát, adatgyűjtési mechanizmusát, rangsorolási célú felhasználásuk lehetőségeit. Külön foglalkoztunk az Adattár-alapú Vezetői Információs Rendszer (AVIR) adattartalmával, felépítésével, az AVIR által központilag gyűjtött adatokkal, valamint a TÁMOP 4.1.1 keretében a felsőoktatási intézmények számára felkínált mutatószám-javaslataival. Két speciális területet is bevontunk a vizsgálatunkba: a külföldi rangsorolási gyakorlatban általánosan elterjedt a felsőoktatási intézmények nemzetközi orientációjának mérése; hazánkban a rendelkezésre álló adatok strukturálatlansága miatt erre eddig kevés kísérlet történt – ilyen kísérlet a MOHA Magazin Belépő című kiadványában ez évben megjelent Top Networkegyetem-rangsor. A témában jártas szakértő bevonásával kísérletet tettünk a „nemzetközi orientáció” operacionalizálására, a méréshez szükséges mutatószámok kidolgozására, azok értelmezhetőségi kereteinek megadására. Ugyancsak kiemelten vizsgáltuk a munkaerő-piaci oldal véleményét középpontba állító „piaci rangsorok” működését, külön tekintettel a „munkaerő-piaci presztízsrangsorok” működésének elemzésére, a presztízsrangsorok és az adatalapú statisztikai rangsorok közötti esetleges korrelációk feltérképezésére. A kutatási projekt végén két zárótanulmányban összegeztük a feltárt eredményeket, valamint a kísérletet tettünk azok alapján egy lehetséges – az ágazati döntés-előkészítés területén is alkalmazható – felsőoktatási rangsor módszertani megalapozására, lehetséges mérési dimenziókat és mutatószámokat határoztunk meg.
A felsőoktatási rangsorok módszereiről A rangsorok léte ma már megkérdőjelezhetetlen eleme a felsőoktatásnak. Az egyes rangsorok módszertan, kidolgozottság, és nem utolsósorban a megcélzott célcsoport szempontjából meglehetősen heterogének. A módszertani különbségek természetesen nem feltétlenül jelentik azt, hogy a rangsorok maguk is „rangsorolhatóak” lennének; fontos szempontként kell figyelembe venni az eltérő célokat és az eltérő célközönséget. A rangsorok fontos feladata a jelentkezők, az érdeklődők informálása az egyes intézmények teljesítményéről. Ezt a feladatot egyszerűbb módszertannal rendelkező rangsorok (guide-ok) is el tudják végezni – itt az aggregálás, az intézménycsoportosítás, a mutatókészítés sok fajtájával találkozhatunk; ezek a guide-ok nem kívánnak tudományos alapossággal foglalkozni a témával, céljuk a 3
közönség informálása – tudományos teljesítménynek így nem is tekinthetőek; alkalmazott indikátoraik, rangsorolási technikáik azonban inspirálhatják a professzionális rangsorkészítést. A rangsorok első célja Magyarországon is a tájékoztatás volt: az átalakuló, mind bonyolultabbá, nehezebben áttekinthetővé váló felsőoktatási szektorról kívántak képet adni. 2005-ben jelent meg a Felvi-rangsor 2006 – Egyetemek, főiskolák mérlegen című kiadvány, amely úgynevezett „akadémiai” (statisztikai adatokon nyugvó) rangsorokkal egészítette ki a korábbi rangsor-kezdemények többnyire véleménymutatókon alapuló rangsorolási tevékenységét; 2006-tól a HVG Diploma különszámaként jelentek meg a Felvi-rangsorok, amelyek a hazai felsőoktatási rangsorok egyedülálló idősoros adatbázisát tudhatják magukénak. A Felvi-rangsor egy minden évben megjelenő, a hazai felsőoktatási intézményeket rangsoroló lista, mely egy folyamatosan bővülő szempontrendszerre épül. A Felvi-rangsor rangsorolási dimenzió a következők: oktatói minőség; hallgatói/jelentkezői minőség; hallgatói vélemények. Az első hazai rangsor további rangsorok megjelenését indukálta. A Heti Válasz rangsora egy 2005 óta évente megjelenő különkiadás, általában öt-hét, nagy népszerűségnek örvendő szakra terjed ki. Mutatószámai: túljelentkezés, diák/tanár arány, oktatók összetétele, OTDK-eredmények, tipikus foglalkoztatók véleménye, munkaerőközvetítők véleménye. Új hazai kezdeményezés a Belépő Top Networkegyetemrangsor, mely a legjobb nemzetközi ösztöndíj-lehetőségeket és külföldi szakmai gyakorlatokat kínáló egyetemek rangsora. Az egyetemi közösség egészét – vezetőket, oktatókat, finanszírozókat, diákokat – egyaránt megcélzó rangsorok, összetett módszertanuk révén, külföldön is viszonylag ritkák. A legalaposabbnak talán a német CHE-rangsor (a Centrum für Hochschulentwicklung kutatóintézet rangsora) tekinthető, amely kilenc vizsgálati dimenzióban több mint 100 indikátort tartalmaz. Ezek közül nem mindegyik jelenik meg rangsorképzőként, többségük az intézmények csoportosítására (ezen a ponton a módszertan hasonlít az ún. university-mapping módszerre) szolgál. A CHE általános felsőoktatási rangsor alapelvei: -
a rangsorokat szakonként/szakterületenként kell értelmezni az eltérő természetű adatok alapján összeállt rangsorok aggregálása nem indokolt a rangsoroknak a lehető legtöbb dimenzióra ki kell térniük csak a hasonló profillal rendelkező intézmények összehasonlíthatóak egy rangsor által az adatokat nagyon alapos ellenőrzésnek kell alávetni
A rangsorolás „berlini alapelveire”, valamint sok szempontból a CHE-rangsor módszertani elveire épül az „Európai Ranking”-kezdeményezés. Az „európai ranking” elképzelések 2006-ban realizálódtak először, amikor az Európai Bizottság "Delivering on the modernisation agenda for universities: education, research and Innovation” címmel kommünikét adott ki, ami 2007-ben Európai 4
Tanács határozatban öltött testet. A rangsorral kapcsolatos szándék eredetileg sokkal inkább az akadémiai szempontok európai felsőoktatási intézmények vonatkozásában való transzparenssé tétele volt. Az európai egyetemeken folyó kutatások világviszonylatban mérhető versenyképességének és felzárkóztatásának igénye szintén testet öltött abban az elképzelésben, hogy megalkotásra kerülhessen egy olyan, egységes szempontrendszert és széles körben elfogadott, szakmai értelemben helytálló módszertant használó európai ranking. Noha a felsőoktatási rangsorok – ahogy a felsőoktatás egésze – maguk is rendkívül sokszínűek, alkalmazott mutatószámaik összességében jól tipizálhatóak, öt-hat lényegi dimenzió mentén szerveződnek. A mutatószámok hasonlóságán túl a rangsorok módszertani jellegzetességei közé tartozik – egyben értékelésüket is megkönnyíti – hogy a rangsorkészítés nem nélkülöz minden szabályszerűséget, nincs híján „alapelveknek”, alapvetően elfogadottnak tekintett módszertani értékeknek. A nemzetközi és a hazai rangsorolási gyakorlat feltérképezése, a rangsormódszertanok elemzése alapján a rangsormutatókat a következő dimenziókba soroltuk: -
bemeneti mutatók oktatási minőség mutatói oktatói minőség mutatói az intézményi szolgáltatások mutatói kutatás-fejlesztési tevékenység mutatói munkaerő-piaci és egyéb network-mutatók a nemzetközi orientáció mutatói elégedettségi mutatók általános presztízsmutatók
Az egyes lehetséges rangsorolási dimenziók közül témánk szempontjából a bemeneti és kimeneti mutatókat, az oktatási és oktatói minőség mutatóit, a munkaerő-piaci (kapcsolati és egyéb) mutatókat és a K+F-tevékenység mutatóit, valamint a nemzetközi orientáció mutatóit kell kiemelnünk. Természetesen kétségtelen, hogy az elégedettségi dimenzió a felsőoktatási intézmények rangsorolásának fontos részét képezi; szubjektivitása miatt azonban elsősorban tájékoztatási, orientálási céloknak felel meg, az általános tájékoztatáson túlmenő relevanciája az intézmények számára van, saját szolgáltatás-fejlesztéseiket, belső és külső marketing-stratégiájukat alapozhatja meg.
5
Ajánlások lehetséges mérési dimenziókhoz és az azokban használható mutatószámokhoz A hazai és a nemzetközi gyakorlat alkalmazott dimenziói és indikátorai, valamint a rendelkezésre álló és előállítható megbízható és releváns statisztikai adatok, adatbázisok alapján a következő rangsorelemek kiválasztását és további definíciós és auditálási folyamatának megindítását javasoljuk:
Bemeneti mutatók: -
-
Jelentkezők száma – az első helyes jelentkezőkön túl (természetesen eltérő súllyal) a nem első helyen jelentkezőket is számításba kell venni- Az intézmények szelektáló képessége – első helyes bejutási arány A felvettek (jelentkezők) korábbi tanulmányi teljesítménye – középiskolai versenyeken elért helyezések; nyelvvizsgával rendelkező jelentkezők/felvettek
Kimeneti mutatók: -
Végzettek éves átlagjövedelme Végzettek munkaerő-piaci aktivitása
Oktatói (oktatási) mutatók: -
Egy minősített oktatóra jutó hallgatók száma Tudományos fokozattal (PhD, CSc, DLA) rendelkező oktatók száma és aránya Akadémiai doktori címmel (MTA doktora) rendelkező oktatók száma és aránya
Kutatás-fejlesztési tevékenység mutatói: -
Hazai kutatási projektek száma Nemzetközi kutatási projektek száma Hazai K+F projektek bevétele; részarányuk a teljes költségvetéshez képest Nemzetközi K+F projektek bevétele; részarányuk a teljes költségvetéshez képest Bejegyzett szabadalmak, védjegyek és szabványok száma Doktori (PhD, DLA) képzésben részt vevő hallgatók száma Megszerzett doktori (PhD, DLA) fokozatok száma
6
Munkaerő-piaci kapcsolatok mutatói: -
Az intézmény vállalati partnereinek száma Az intézmény által kínált betölthető szakmai gyakorlati helyek száma Az adott évben szakmai gyakorlaton részt vevő hallgatók száma és aránya
A nemzetközi orientáció mutatói: -
-
A részképzésen vagy teljes képzésen tanuló külföldi hallgatók aránya a teljes hallgatói létszámhoz képest Hallgatói mobilitás: az Erasmus és a Ceepus programban kiutazó hallgatók aránya a teljes hallgatói létszámhoz képest Oktatói és személyzeti mobilitás: az Erasmus és a Ceepus programban kiutazó oktatók és személyzet aránya a teljes alkalmazotti létszámhoz képest Kutatói mobilitás: az intézményhez beutazó vagy onnan kiutazó kutatók aránya az összes főállású kutatóhoz képest
Az egyes mutatók alkalmazásánál és a rangsorok összeállításánál természetesen figyelembe kell venni az intézménytípusok rangsorolhatóságával, a felsőoktatási szektor heterogenitásából fakadó értelmezhetőségi kérdésekkel kapcsolatos megállapításokat, valamint a rangsorok képzési területi, illetve szakos vonatkozásának fontosságát. A berlini alapelvek egyik fő meglátása, hogy az eltérő történeti meghatározottságú, eltérő hátterű, más profillal rendelkező intézmények nem képezhetik ugyanazon szempontok szerinti rangsorolás tárgyát, illetve nem rendezhetőek egyazon rangsorba. A minden intézményre kiterjedő, minden intézményt egyazon rangsorszempontok szerint sorrendbe állító listák hasznossága, relevanciája megkérdőjelezhető. Az eltérő profillal bíró egyetemek és főiskolák esetében más és más mutatószámok jelenthetnek valódi teljesítménymérést, és csak saját vonatkoztatási csoportjukon belül lehetséges őket ezen mutatók mentén rangsorba rendezni. A heterogenitás egyik elemeként további mérési nehézséget okoznak az egyes eltérő tudományterületek jellemzőinek (legyen szó lényegében bármely mérési dimenzióról) komoly különbségei. Az európai kutatóintézetek konzorciumának munkájaként kidolgozás alatt álló „Európai Ranking” is felhívja a figyelmet a szakterületi vonatkozás figyelembe vételére, az azonos területen képző intézmények egy rangsorba rendezésére, míg a más területen mozgók összevetésének lehetőség szerinti elkerülésére.
7
Ajánlások a rendelkezésre használhatóságának megalapozásához
álló
adatbázisok
Az Oktatási Hivatal megbízásából jelenleg az Educatio Nonprofit Társadalmi Szolgáltató Kft. bonyolítja le – a felsőoktatási intézmények tevékeny együttműködése mellett – a felsőoktatási felvételi folyamatát. A felvételi adatbázis a jelentkezőkre és a képzéseket meghirdető felsőoktatási intézményekre vonatkozó információkat tartalmaz. Az adatok forrásai egyrészt maguk a jelentkezők, illetve a meghirdető intézmények, másrészt az Oktatási Hivatal. Az adatbázis idősoros adatok kiszolgálására is alkalmas, digitalizált formában rendelkezésre állnak 2001-től kezdődően a jelentkezési/felvételi adatok, illetve az egyes intézmények/karok meghirdetett és elindított képzéseivel kapcsolatos információk, ami lehetőséget teremt a hosszabb távú jelenségek elemzésére is. Az egységes Felsőoktatási Információs Rendszer biztosítani tudja az ágazat szereplői számára valamennyi felsőoktatási intézmény képzésének és a szakokhoz tartozó adatok hatályos nyilvántartását, beleértve a szakokhoz tartozó végzettségek egységes nyilvántartását. Ez jóval megbízhatóbb és pontosabb adatszolgáltatást tesz lehetővé, valamint alkalmas a döntés előkészítéshez használt különböző szempontú szűrésekre, lekérdezésekre, mint a jelenleg gyakran alkalmazott ad hoc jellegű adatszolgáltatási forma. A statisztikai célok eléréséhez szükséges a FIR jelenlegi kb. 80%-os feltöltöttség javítása, az adatkörök felülvizsgálata, és az adattisztítás. A FIR-hez és a felvételi adatbázishoz hasonlóan országos szintű adatok kinyerésére lehet alkalmas a NEFMI által gondozott Felsőoktatási Statisztikai adatbázis. A NEFMI Statisztikai Osztálya rendkívül széles merítéssel dolgozik, a hallgatói létszámtól és egyéb adatoktól, az oktatói és kutatói létszámadatoktól az infrastrukturális adatokig több adatkör is évente feltérképezésre kerül. Említést kell tenni ugyanakkor néhány bizonytalanságról, amely nehezíti e statisztikai célú adatgyűjtés eredményeként előálló adatok feldolgozását és értelmezését. Ilyen bizonytalansági faktor például az, hogy minden adatgyűjtés, amely aggregált adatok összeállításával és átadásával folyik, magában rejti annak veszélyét, hogy hibás számítások eredményeként téves adatok kerülnek be a statisztikába. További probléma, hogy az adatgyűjtés során alkalmazott némely fogalmak nem kellően definiáltak, illetve jelentéstorzulás figyelhető meg a statisztikai rendszer egyes szintjein található szereplők (statisztikusok, felhasználók) körében. Az adatgyűjtés strukturális megvalósulásából eredő probléma, de nem kevésbé zavaró, hogy az adatlapok némelyikén az egyes összesített értékekből történő alábontásoknál nem egyértelmű, hogy az egyes részösszegeknek ki kell-e adniuk az összesített értékeket, tehát teljes spektrumát fedik-e le az adott dimenziónak, vagy egy kiemelt részértékét. Az adatkörök tisztázatlansága azt eredményezheti, hogy az erre alapuló rangsormutatók torzítanak, valóságtartalmuk bizonytalan, hitelességük megkérdőjelezhető lehet. 8
Ajánlásgyűjtemény-tanulmányunkban több helyen is jelezzük, hogy a javasolt mutatók szerepelnek az Adattár Alapú Vezetői Információs Rendszer intézmények számára ajánlott mutatószám-gyűjteményében. A gyűjtemény célja az volt, hogy kellő inspirációt adjon az intézményi fejlesztőknek ahhoz, hogy a saját elképzeléseiknek legjobban megfelelő mutatószámrendszert tudják felépíteni az intézményi vezetői információs rendszerükbe, ezek a mutatók azonban jelenleg nem képezik részét a TÁMOP 4.1.3 központ, kiemelt projekt keretében megvalósuló ágazati szintű központi adattárnak. Az AVIR-ba érkező központi adatok felhasználásának is korlátja, hogy az intézményi adatokat a jogszabályi környezet kialakulásáig csak azok az intézmények fogják tudni és akarni szolgáltatni, akik a TÁMOP 4.1.1 fejlesztési pályázat keretében intézményi vezetői információs rendszert építenek (ez a pályázat két fordulójában összesen huszonhét intézményt érint, igaz, azt is elmondhatjuk, hogy ezek az intézmények nagyjából kétharmadát lefedik a teljes hallgatói létszámnak. További szűkülő teljeskörűséget jelent, hogy a nem állami fenntartású intézmények nem kötelezhetők jelen pillanatban arra, hogy a gazdálkodással kapcsolatban minden olyan információt, adatot megadjanak magukról, amit az államiaktól el lehet kérni – ez a nem teljes körű adatgyűjtési lehetőség komoly gátját jelentheti az egységes rangsorszempontok kialakításának, az egységes rangsormutatók kidolgozásának.
9
