Dr. Mihályi Péter, tanszékvezető egyetemi tanár, (PE‐GTK, Pénzügytan Intézeti Tanszék)
Rangsorkészítés elméletben és gyakorlatban Magyar felsőoktatási rangsorok, hallgatói preferenciák ‐ Ankét
A Pannon Egyetem Gazdaságtudományi Karának, az MTA‐PE Regionális Innovációs és Fejlődéstani Hálózati Kutatócsoportjának és a Menedzsment Intézet Kvantitatív Módszerek Intézeti Tanszékének közös rendezvénye – Veszprém, 2013. november 19.
Tartalom 1)Személyes érintettség 2)Egy kis méréselmélet… 3)A rangsor készítés elvi problémái 4)Az első magyar rangsor a közgazdasági felsőoktatásban („Figyelő rangsor”) 2
Előzmények 2001/2002‐ben az általam irányított szakértői csapat készítette el a hazai felsőoktatás területén működő, közgazdasági képesítést nyújtó oktatási intézmények rangsorát az alapképzés területén A végső megrendelő az Oktatási Minisztérium volt (Magyar Bálint miniszter), a finanszírozást és az eredmények disszeminációját a Figyelő c. hetilap vállalta. Kiinduló pont: Varietas delectat (a.m.: a változatosság gyönyörködtet). De a túlzásba vitt sokszínűség inkább zavaró. Ekkor már a közgazdász‐képzés 29 intézményben, 9 szinten, 28 szakmegnevezés, 4 tagozat, 2 finanszírozási konstrukció (ingyenes és fizető), 2 nyelv (magyar és idegen nyelvű) és 2 tulajdonosi forma (magán és állami) keretében folyt. 29 intézmény, 44 karának, 92 egyetemi és főiskolai szakvezetőjével kezdtük el a tárgyalásokat. Ez 368 (= 92 x4) mérési eredményt adott volna optimális esetben. 3
A végeredmény • Két vastag (nem‐publikált) kötet a számszerű eredményekkel • Cikk a Figyelő, 2002. évi 37. számában, szeptember 12‐18. Exkluzív melléklet: „Mit érnek a közgazdász diplomák?” címmel. • A rangsor elején álló intézmények vezetői végül nem járultak hozzá a pontos, számszerű végeredmény közléséhez, ezért csak arany, ezüst és bronz érmeket oszthattunk – külön az egyetemekre, illetve a főiskolákra. • A következő évre már nem találtunk szponzort a kutatás folytatásához, illetve kibővítéséhez. Happy end: Az élet megoldotta a problémát. Azóta számos rangsor készült és készül.
4
Méréselmélet 1) Minden kvalitás kifejezhető mennyiségekkel, számértékekkel, kvantitatív arányokkal. 2) Könnyű rendezési játékok: veréb és sas, bolha és elefánt. 3) Nehéz rendezési játékok: tehén és ló; Franciaország és Németország, Dánia és Norvégia.
Jánossy Ferenc (1914 – 1997)
Minél jelentősebb az összehasonlítható objektumok kvalitatív különbsége, annál nagyobbnak kell lennie köztük az egy‐egy mért dimenzióban felismerhető nagyságkülönbségeknek ahhoz, hogy az összehasonlítás egyértelmű maradjon. 1963 ‐‐> 5
A mérhetőség kritikus határa Ha a nagyságkülönbségek az egyes mért dimenziók mentén nem elég nagyok, ráadásul ellentétes előjelűek, akkor a kvalitatíve eltérő dolgok összehasonlítása nem lehetséges. Példa: Norvégia és Dánia fejlettségének összehasonlítása. Természetben: „azonos” méretű golyóscsapágyak, kavicsok összehasonlítása az átmérők nagysága szerint.
Esetünkben: Két vidéki egyetem levelező oktatásának színvonala. A társadalomtudományi területeken a mérés kritikus határa viszonylag magas a természettudományokhoz képest. Téves azt hinni, hogy a közgazdaságtan azonos fokon „matematizálható”, mint a fizika, és az egyetlen akadályt csupán ismereteink hiányossága jelenti, ami azután a közgazdaságtudomány fejlődésével feloldható lesz. 6
Rendezési játék és céltudatos összehasonlítás Ha az összehasonlítás célja valamilyen konkrét cselekedet előkészítése (pl. útépítés, egyetemek engedélyezése, támogatása), akkor ez a cél fogja meghatározni a mérhetőség kritikus (alsó) határát. Példák: golyóscsapágy mérete (normális és extrém körülmények között eltérő lehet); nem mindegy hogy autópályát vagy bicikli utat építünk Balatonfüred és Tihany között a Balaton partján; házat építünk hajógerendákból vagy kishajót gyufaszálakból. Egyetemek összehasonlítása: TDK‐k száma: 0 – 25, 25 – 100, 100 + Könyvtárak mérete: 0‐ 3 000, 3 000 – 10 000, 10 000 + Mérés = Több, mint összehasonlítás. Arra ad választ, hogy mennyivel nagyobb (jobb, fejlettebb stb.) „A” mint „B”. 7
Mérés, mérési skála Nagy különbségek adódhatnak abból, hogy milyen skálát használunk. Emberi test hőmérséklete Celsius fokban és Fahrenheitben. Celsius = 36,0 100.0 Fahrenheit = 96,8 212 100.0/36.0 = 2,77 212,0/96,8 = 2,19
8
Az 1 főre jutó magyar GDP adatok különféle mérési skálákon 1980
2007
Évi átlagos növekedési ütem (%)
Változatlan áron Maddison (PPP)
6 306 nemzetközi $
9 419 nemzetközi $
1,5
PWT (PPP)
10 238 nemzetközi $
17 188 nemzetközi $
1,9
254
406
1,7
18 953 USD
5,0
KSH (volumen index; 1960 = 100)
Folyó áron és árfolyamon IMF Economic Outlook Database
5 063 USD
9
Magyarország USA‐hoz viszonyított fejlettsége különféle mérési skálákon (USA = 100) 1980
2007
Változatlan áron
Maddison
34
30
PWT
43
42
Eurostat
n.a.
41
41
41
Folyó áron és árfolyamon
IMF Economic Outlook Database
10
Háttér információk Megjegyzés: A Maddison‐féle adatbázis a GDP abszolút értékeit 1990. évi ún. nemzetközi dollárban kifejezve tartalmazza. A vásárlóerő‐paritáson értelmezett GDP kiszámításakor szükséges ágazati aggregálás a Geary‐Khamis (G‐K) módszerrel történt. A Penn World Table (PWT) 1996. évi árszinten, ugyancsak nemzetközi dollárban adja meg az adatokat, a vásárlóerő‐paritáson történő aggregáláshoz az Éltető – Köves – Szulc (EKS) módszert használták. A Központi Statisztikai Hivatal adatait a Magyar Statisztikai Évkönyvben publikált változatlan áras volumen indexekből, a legutolsó korrekciók és a népességszám alakulásának figyelembe vételével vettük át. Az IMF adatbázisából átvett adat folyó áron, a mindenkori valutaárfolyamon történt átszámítás alapján érendő. Forrás: Saját számítás. 11
Szokni kell a skálát is…
A skálákat gyakran kell használnunk ahhoz, hogy a mérési eredményeket – köznapi értelemben – értelmezni tudjuk. . 12
Összenyomott és széthúzott skálák A nemzetközi összehasonlítások elmélete sokoldalúan foglalkozik a mérési skálák kérdéseivel. E skálák összehasonlítása esetén szokás a „széthúzott” és „összenyomott” jelzők használata. Egy „széthúzott” skálán az országok közötti különbségek nagyobbaknak látszanak, mint egy „összenyomott” skálán. Önmagában egyetlen skála sem „széthúzott” vagy „összenyomott”, hanem csak egy másikhoz viszonyítva terítheti az értékeket szélesebb, vagy szoríthatja szűkebb intervallumba. Itt is erről van szó. Esetünkben a Maddison‐féle skála a legösszenyomottabb, az IMF adatbázisáé pedig a leginkább „széthúzott”. Ld. http://econ.core.hu/file/download/mtdp/MTDP1101.pdf 13
Szokatlanul új összehasonlítások http://www.revenuewatch.org/rgi/countries Rank (out of 58)
Score (out of 100) COMPOSITE SCORE Institutional & Legal Setting
56
20
Reporting Practices
60
24
Safeguards & Quality Controls
62
26
Enabling Environment
39
22 38
Russia's Performance on the Resource Governance Index
57
14
A rangsor készítés additív mérések sorozata Egyetemek esetében: minősített oktatók száma, hallgatók száma, 1 oktatóra jutó hallgatók száma, könyvek száma a könyvtárban, számítógépek száma stb.
Súlyozás: Minden súlyozás önkényes, ha nem additív tulajdonságokat mérünk. Példák: Közbeszerzés, privatizáció, állásinterjúk, versenyképességi rangsor. Ezek valójában mind „beauty contest”‐ek. Ezt így is hívják az aukciók közgazdaságtanában. Fontos ellenpélda: Az országok fejlettségét azért mérjük GDP‐vel, mert benne minden egyes elemet pénzben, vagyis additív módon veszünk számba. Praktikussági és elfogulatlansági okból a legjobb, ha minden tényező azonos súllyal (1) veszünk figyelembe.
15
Szépségversenyek
16
A német autóklub (ADAC) téli gumi tesztje Szempont Száraz út Súly (∑ = 100)
15
Vizes út 30
Zaj 5
Fogyasztás 10
Kopás 10
Havas út
Jeges út
20
10
Itt a súlyozás „önkényes”. Ha hosszú időn át ez a súly rendszer marad, akkor a gyárak eszerint fogják „optimalizálni” az új tél gumikat.
17
Ha ismert a súlyozás, az „optimalizálás”‐ra ösztönöz Monetáris politika: Goodhart law (1975) "When a measure becomes a target, it ceases to be a good measure.” "As soon as the government attempts to regulate any particular set of financial asset these become unreliable as indicators of economic trends. This is because investors try to anticipate what the effect of the regulation will be, and invest so as to benefit from it.” Ezt a gondolatmenetet a Thatcher kormány monetarista gazdaságpolitikájának bírálatára használták, ahol a két célváltozó a „broad” illetve a „narrow” money volt (M1, M3). 18
Ugyanez az oktatásban Campbell's law (1976):
"The more any quantitative social indicator (or even some qualitative indicator) is used for social decision‐making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor.” A példa: USA‐ban a tanárok teljesítményét a diákok mért iskolai eredményei alapján próbálják meg jutalmazni, illetve büntetni. 19
Hazai rangsor tapasztalat 1)Ha számít a minősített oktató, akkor majd átcsoportosítjuk őket (BGF). 2)Ha számít a könyvtár mérete, akkor majd remittendákkal töltjük fel a könyvtárat (Harsányi János főiskola) Ugyanez a probléma a MAB minősítésekkel (szakok, doktori iskolák). Ld. Az Élet és Irodalom legfrissebb számát (Kenesei István) 20
Gyakorlati problémák 1. A rangsor mindig vitát vált ki, a sértődések elkerülhetetlenek; 2. Különösen a posztgraduális képzés területén okoz gondot a fokozódó specializálódás, az interdiszciplinaritás, illetve az egyetemeknek az a törekvése, hogy újabb és újabb jól hangzó program neveket találjanak ki. 3. A rangsorok általában megbízhatóak az élen lévők, illetve a sereghajtók értékelését tekintve. A középmezőnyben a relatív rangsor sokszor véletlenszerű. 4. Vannak azonban olyan vélemények is, hogy a lista élén álló egyetemek közötti különbségek csak nagyítóval láthatók. 5. Néhány esetben feltűnően nagy különbség adódik az objektív és szubjektív változók alapján adódó rangsorban. Így például az oktatók outputjának mérése és rangsorolása más eredményt ad, mint amikor az intézmény külső presztízse a rangsorolás alapja. 6. Az intézmények terhesnek érzik a kérdőívek kitöltését.
21
Még két elvi probléma Az eredmények megbízhatóságát torzítja a méretnagyság hatás és a visszhang hatás. Magyarán: 1. A nagyobb egyetemek szinte minden objektív mutató tekintetében előnyt élveznek. 2. Az az egyetem, amelyik egyszer már magas presztízst vívott ki magának, még hosszú éveken át akkor is jónak mutatkozik, ha már nem az.
22
23
