A felsőoktatás minőségbiztosításának európai sztenderdjei

A felsőoktatás minőségbiztosításának európai sztenderdjei Értelmezések és tapasztalatok Összeállította: Dr. Abonyi János Dr. Csizmadia Tibor Dr. Szentgyörgyi Szilárd

Készült az Oktatáskutató és Fejlesztő Intézet megbízásából, a „Minőségfejlesztés a felsőoktatásban‖ TÁMOP-4.1.4-08/1-2009-0002 azonosító számú projekt támogatásával.

Budapest, 2011

TARTALOM VEZETŐI ÖSSZEFOGLALÓ 5 BEVEZETÉS

7

AZ ENQA ÉS ANNAK 10 ÉVES TÖRTÉNETE 1. RÉSZ: EURÓPAI SZTENDERDEK FELSŐOKTATÁSI INTÉZMÉNYEK BELSŐ SZÁMÁRA 11

9 ÉS IRÁNYELVEK A MINŐSÉGBIZTOSÍTÁSA

1.1 Minőségpolitika, stratégia és minőségügyi eljárások

Sztenderd: 13 Irányelvek: 13 Értelmezés és tapasztalatok:

13

14

1.2 Programok indítása, követése és rendszeres belső értékelése

Sztenderd: 15 Irányelvek: 15 Értelmezés és tapasztalatok:

1.3 A hallgatók értékelése

Sztenderd: Irányelvek:

19 19

15

19

1.4 Az oktatók minőségének biztosítása

Sztenderd: 20 Irányelvek: 20 Értelmezés és tapasztalatok:

20

20

1.5 Tanulástámogatás, erőforrások és hallgatói szolgáltatások

Sztenderd: Irányelvek:

21 21

1.6 Belső információs rendszer

Sztenderd: 22 Irányelvek: 22 Értelmezés és tapasztalatok:

22

22

1.7 Nyilvánosság 24

Sztenderd: Irányelv:

15

24 24

Összefoglalás a belső rendszer szempontjából

2

25

21

2. RÉSZ: EURÓPAI SZTENDERDEK ÉS IRÁNYELVEK A FELSŐOKTATÁS KÜLSŐ MINŐSÉGBIZTOSÍTÁSA SZÁMÁRA 27 2.1 A belső minőségbiztosítási eljárások figyelembe vétele

Sztenderd: 27 Irányelvek: 27 Értelmezés és tapasztalatok:

27

27

2.2 A külső minőségbiztosítási eljárások kialakítása

Sztenderd: 29 Irányelvek: 29 Értelmezés és tapasztalatok:

29

29

2.3 Döntési kritériumok 31

Sztenderd: 31 Irányelvek: 31 Értelmezés és tapasztalatok:

31

2.4 A folyamatok célnak való megfelelése

Sztenderd: 32 Irányelvek: 32 Értelmezés és tapasztalatok:

2.5 Értékelési jelentések

32

34

Sztenderd: 34 Irányelvek: 34 Értelmezés és tapasztalatok:

2.6 Követési eljárások

34

36

Sztenderd: 36 Irányelvek: 36 Értelmezés és tapasztalatok:

2.7 Értékelési ciklusok

32

36

37

Sztenderd: 37 Irányelvek: 37 Értelmezés és tapasztalatok:

2.8 Rendszerszintű elemzések

Sztenderd: 38 Irányelvek: 38 Értelmezés és tapasztalatok:

37 38

38

3. RÉSZ: EURÓPAI SZTENDERDEK A KÜLSŐ MINŐSÉGBIZTOSÍTÁSI SZERVEZETEK (ÜGYNÖKSÉGEK) SZÁMÁRA 39 3.1 A külső minőségbiztosítás folyamatainak figyelembe vétele

Sztenderd: Irányelvek:

40 40

3

40

Értelmezés és tapasztalatok: 3.2 Hivatalos státusz

40

41

Sztenderd: 41 Értelmezés és tapasztalatok:

41

3.3 Tevékenység 42

Sztenderd: 42 Irányelvek: 42 Értelmezés és tapasztalatok:

3.4 Erőforrások

42

44

Sztenderd: 44 Értelmezés és tapasztalatok:

44

3.5 Küldetésnyilatkozat 45

Sztenderd: 45 Irányelvek: 45 Értelmezés és tapasztalatok:

45

3.6 Függetlenség 46

Sztenderd: 46 Irányelvek: 46 Értelmezés és tapasztalatok:

46

3.7 Az ügynökségek által alkalmazott külső minőségbiztosítási kritériumok és eljárások 48

Sztenderd: 48 Irányelvek: 48 Értelmezés és tapasztalatok:

48

3.8 Elszámoltathatóság 51

Sztenderd: 51 Irányelvek: 51 Értelmezés és tapasztalatok:

Egyéb kapcsolódó elemzések

51

53

IDÉZETT FORRÁSMUNKÁK 54 VÉGJEGYZETEK 56

4

Vezetői összefoglaló Jelen tanulmány célja, hogy az európai felsőoktatási minőségbiztosítási irányelvekhez, azaz az ENQA EGS-hez kapcsolódó, az ESG létrejötte óta született szakmai anyagok – miniszteri értekezletek, előrehaladási jelentések, akkreditációs vizsgálatok és egyéb szakmai dokumentumok – áttekintésével bemutassa az Európai Felsőoktatási Térség minőségbiztosítási tevékenysége elméleti és gyakorlati oldalának jelenlegi állapotát. Az ESG két fontos szempontrendszert elegyít: egyrészt a szakmaiság közös irányelveit a folyamatok és az akkreditációs ügynökségek részére, másrészt a felsőoktatási szektor minőségbiztosításának európai fogalomrendszerét. A nemzeti jelentések azt mutatják, hogy a felsőoktatási intézmények a legtöbb tagállamban azon munkálkodnak, hogy belső minőségbiztosítási rendszereiket a külső minőségbiztosítási rendszerekhez illesszék, azokkal összhangba hozzák. Számos ország nem ír elő konkrét megvalósítási mechanizmusokat, illetve konkrét minőségbiztosítási rendszereket a felsőoktatási intézmények számára; ehelyett azok kiválasztását magukra az intézményekre bízza. A leggyakrabban használt rendszerek között találjuk: az ISO 9001-et, illetve a TQM- vagy EFQMalapú rendszereket. Akárcsak az európai, a magyar felsőoktatás jelenlegi helyzete is ugyanezt a képet mutatja: egyrészt a felelős kormányzati szervek – jelenleg a NEFMI – és a Magyar Felsőoktatási Akkreditációs Bizottság sem ír elő konkrét megvalósítási formát a felsőoktatási minőségbiztosítási rendszerekhez, másrészt Magyarországon is a fent említett jól ismert rendszerek implementációi a leggyakoribbak. Megjegyezzük, hogy bár a belső minőségbiztosítási rendszerek bevezetése mind az EFT-ben, mind azon belül Magyarországon közel került ahhoz az állapothoz, amelyben már maradéktalanul eleget tesz az ESG 1. részének, a legtöbb helyen még továbbra is problémát jelent a képzési programok tartalma és kimeneti követelményeik közötti összhang megteremtése, illetve azon értékelési elvek és módszerek kidolgozása, amelyek megbízható módon mérik a kimeneti követelményeknek való megfelelőséget. Az EFT legtöbb országában a külső értékelés szempontrendszereinek megfelelően történik az intézményi és programakkreditáció. A különbség abban mutatkozik, hogy míg egyes országok külső minőségbiztosítási rendszerei az ESG 2. fejezete minden ajánlásának teljes mértékben eleget tesznek, más országok ezek közül csak néhánynak, másokat pedig csak részben vagy egyáltalán nem teljesítenek. A MAB tevékenységét 2008-ban külső szakértői panel értékelte. A vizsgálat megállapította, hogy a MAB tevékenysége alapvetően megfelel az ESG 2. fejezete kritériumainak. Az ESG 3. fejezetének szempontjából a fentihez nagyon hasonló a helyzet: a legtöbb európai és köztük a magyar akkreditációs ügynökség is teljes mértékben 5

megfelel az ESG 3. fejezetében megfogalmazott legtöbb előírásnak, másokat pedig részben teljesít. A MAB esetében kritikaként fogalmazódott meg egyrészt a nem tökéletes pénzügyi függetlenség és autonómia, másrészt az értékelő bizottságok összetétele. A külső szakértői javaslatok a MAB költségvetésének nagyobb mértékben kiszámíthatóvá tételét javasolják, valamint az értékelő bizottságok összetételével kapcsolatosan azt a tanácsot fogalmazzák meg, hogy ebben kisebb mértékben vegyenek részt az akadémiai szféra képviselői, ugyanakkor nagyobb arányban képviseltessék magukat a felsőoktatási folyamatok többi érdekeltjei. Ahogy azt a 2010. novemberi lyoni előrehaladási jelentés is megjegyzi, az ESGnek nagyon sok pozitív hozadéka van a bolognai folyamatban, amennyiben az elősegítette a közös és összehasonlítható európai kritériumok és módszerek elterjedését. Másrészt azonban megjelentek olyan negatív trendek is, mely szerint a felsőoktatási intézmények nem annyira a szolgáltatásaik minőségének folyamatos fejlesztésére helyezik a hangsúlyt, hanem egyszerűen – a megfelelőséget egy meta-szinten értelmezve – pusztán arra törekszenek, hogy minőségbiztosítási rendszerük minden tekintetben megfeleljen az ESG elvárásainak. Ennek következtében az akkreditációs ügynökségek, a felügyelő hatóságok – Magyarországon az Oktatási Hivatal és a Nemzeti Erőforrás Minisztérium –, azaz az adminisztratív szereplők kerültek a rivaldafénybe, nem pedig a felsőoktatási folyamatok közvetlen érdekeltjei, azaz a hallgatók, illetve a nekik nyújtott oktatási szolgáltatás színvonala vagy annak változásai. Ahogy Lee Harvey arra felhívta a figyelmet lyoni hozzászólásában, éppen az lenne a kulcsa a jövőbeni haladásnak és fejlődésnek, hogy a minőségbiztosítási terület művelői megfelelő módon inspirálják a felsőoktatási intézményeket és folyamataik érintettjeit arra, hogy folyamatosan fejlesszék hallgatóközpontú oktatási rendszerüket, és ne csak az ESG ajánlásainak való megfelelést tartsák szem előtt.

6

Bevezetés A tanulmány összeállításának a célja az európai felsőoktatási minőségbiztosítási irányelvekhez, azaz az ENQA EGS-hez (Standards and Guidelines for Quality Assurance in the European Higher Education Area) kapcsolódó irodalmi források, nemzetközi elemzések és kapcsolódási pontok áttekintése. A tanulmány jelentős része az Európai Minőségbiztosítási Fórum tanulmányain alapul, mely fórum az ENQA-n kívül az úgynevezett E4 csoport, azaz Európai Egyetemek Szövetsége (European University Association, EUA), az Európai Felsőoktatási Intézmények Szövetsége (European Association of Institutions in Higher Education, EURASHE) és az Európai Hallgatói Egyesület (akkori nevén ESIB, ma European Students' Union, ESU) közreműködésével működik. A bolognai folyamatban résztvevő országok felsőoktatásért felelős miniszterei a 2005. májusában Bergenben tartott találkozójukra az E4 csoport, a berlini mandátumnak eleget téve, elkészítette a felsőoktatás minőségbiztosításának európai sztenderdjeit és irányelveit. A sztenderdek és irányelvek (a továbbiakban: ESG) az intézményi belső minőségbiztosítására, a külső értékelések megvalósítására és a külső minőségbiztosítási ügynökségek működésére vonatkozóan rögzíti a közös alapokat, és javaslatot tesz egy európai felsőoktatási minőségbiztosítási nyilvántartás (regiszter) létrehozására. A miniszterek az ESG-t el is fogadták, és külön üdvözölték a minőségbiztosítási ügynökségek nyilvántartásának létrehozásáról szóló javaslatot. Felkérték az E4 csoportot a megvalósítás gyakorlati vonatkozásainak kidolgozására. A munka tovább folytatódott annak érdekében, hogy konkrét útmutatások és elemzések készüljenek ezen irányelvek alkalmazásával kapcsolatban. 





Az E4 csoport 2006. november 23-25-én fórumot szervezett a müncheni Műszaki Egyetemen "European Forum for Quality Assurance: Embedding quality culture in higher education" címmel, az EU Socrates programja támogatásával. A fórum lehetőséget teremtett minőségbiztosítási és felsőoktatási szakembereknek, illetve a felsőoktatásban érdekelteknek, hogy megvitassák a belső minőségbiztosítási folyamatokat az aktuális felsőoktatási trendek és stratégiaalkotások tükrében. A második fórumot "Implementing and Using Quality Assurance: Strategy and Practice" címmel 2007. november 15-17. között tartották Rómában (University La Sapienza). A rendezvényt szintén támogatta a Socrates program. E fórum az ESG felsőoktatási intézményekben és minőségbiztosítási ügynökségekben történő megvalósulására fókuszált, célja volt továbbá, hogy közös platformot alakítson ki a minőségbiztosítás európai dimenziójának továbbfejlesztéséről. A harmadik, "Trends in Quality Assurance" című minőségbiztosítási 7





fórumnak a Budapesti Corvinus Egyetem adott otthont 2008. november 20-22-én. A fórum a minőségbiztosítás európai és nemzetközi trendjeit tekintette át, az Európai Bizottság Élethosszig tartó tanulás programjának támogatásával. A negyedik európai minőségbiztosítási fórumra 2009. november 19-21-én a Koppenhágai Üzleti Iskolában (Copenhagen Business School) került sor. A "Creativity and Diversity: Challenges for quality assurance beyond 2010" című rendezvényt szintén támogatta az Európai Bizottság, s a résztvevők arról cserélhettek eszmét, hogy az aktuális belső- és külső minőségbiztosítási megközelítések hogyan veszik számításba az intézményi sokféleséget és hogyan támogatják a kreativitást a felsőoktatásban. Az ötödik fórumra 2010. november 18-20-án került sor Lyonban a Claude Bernard Egyetemen. A „Making sense of QA in European, national and institutional contexts” című forum egyik fő célja az európai felsőoktatási térség szereplőinek szakmai kommunikációja a bolognai reformok vonatkozásában, illetve felsőoktatás érdekeltjei körében egységes minőségbiztosítási értelmezések megteremtése.

A tanulmány tehát alapvetően ezeknek a fórumoknak az elemzéseit felhasználva gyűjtötte össze a tapasztalatokat az ESG elmúlt 5 évben történt alkalmazásáról. A tanulmány szerkezete a következő: az ENQA ESG szerkezetét követve mindegyik ajánlást az eredeti sorrendben mutatjuk be. Ezen belül a Sztenderd és az Irányelv alcímű részek az eredeti ESG-anyag részei, amit mindenütt az Értelmezés és tapasztalatok című rész követ, ami az ESG létrejötte óta született szakmai anyagok – miniszteri értekezletek, előrehaladási jelentések, akkreditációs vizsgálatok és egyéb szakmai dokumentumok – áttekintését tartalmazza. Ezek végén megtalálható a pontos bibliográfiai elem megjelölése (ezeket részletesen lásd az Idézett forrásmunkák c. részben), valamint egy végjegyzet, ahol a hivatkozott forrásmunka kapcsolódó eredeti szövegrésze olvasható.

8

Az ENQA és annak 10 éves története Az ENQA (European Association for Quality Assurance in Higher Education) története a 90-es évek végétől indult [az ENQA történetét Crozier, Costes, Ranne, & Stalter, (2010)] alapján mutatom be), mikor a formális minőségbiztosítási folyamatok nemzeti szinten stabilizálódtak. A 90-es évek közepén egy EU projekt –15 EU tagország, Norvégia és Izland—17 bevont ország közreműködésével megvizsgálta és azonosította azokat a közös minőségbiztosítási alapelveket, amelyeket 4 országban találtak, ahol addigra kialakított minőségbiztosítási rendszer működött. Ezek az alapelvek a következők: 

  

Autonómia és függetlenség mind a kormányzattól, mind a felsőoktatási intézményektől minőségügyi felülvizsgálat (quality evaluation) vonatkozásában, Önértékelés Külső értékelés peer review által és helyszíni látogatás, Értékelési riport publikálása.

Ezek az alapelvek voltak azok, amelyek a gerincét adták egyrészt az Európa Tanács által 1998. szeptember 24-én megfogalmazott európai felsőoktatási minőségbiztosítási együttműködésnek, és a 2005-ben kiadott ESG (The Standards and Guidelines for Quality Assurance in the European Higher Education Area, sztenderdek és irányelvek a belső minőségbiztosítás számára). Az ENQA 2000. márciusában alakult meg. Első elnöke Christian Thune volt. A 2001-es Prágai miniszteri értekezleten kinyilvánította, hogy aktív szerepet kíván játszani a Bologna folyamat minőségbiztosítással kapcsolatos céljainak megvalósításában. Kiemelten figyelembe kívánják venni a felsőoktatással kapcsolatos érdekeltek igényeinek figyelembe vételét. Ugyanakkor felhívták a figyelmet a túlzott bürokratizmus és a költséges európai megvalósítás kialakulása miatt. A Berlini találkozó után nyilvánvalóvá vált, hogy az ENQA az európai felsőoktatási minőségbiztosítás területén vezető szerepet játszik. 2003-ban vetődött fel egy fontos probléma, amely a minőségbiztosítási szervezetek külső minőségellenőrzése, amely bizalmat kelt a felsőoktatási intézményekben is. Az ENQA koordinálta a TEEP kiemelt projektet (Trans-National European Evaluation Project), mely 3 tudományágban (történelem, fizika, állatorvos) vizsgálta a nemzetek közötti programértékelés lehetőségét.

9

2004-ben az ENQA független szervezetté vált. A felsőoktatási minőségbiztosítás európai sztenderdjeit és irányelveit az ENQA koordinálásban kidolgozott, s az Európai Felsőoktatási Térség miniszterei által 2005 májusában, Bergenben elfogadott dokumentum tartalmazza (http://www.enqa.net/files/ENQA%20Bergen%20Report.pdf, 2005). A dokumentum tartalma a következő: 1. 2. 3. 4.

Vezetői összefoglaló Kontextus, célok és alapelvek Az európai sztenderdek és irányelvek A minőségbiztosítási ügynökségek külső értékelése (peer-review) Távlatok és kihívások Függelék: Minőségbiztosítási ügynökségek ciklikus értékelése elméleti modell

– egy

A 2005-2008-as periódusban az ENQA-nak két fő feladata volt: 1) ESG implementálása és 2) az EQAR (European Quality Assurance Register) kidolgozása, bevezetése. Az EQAR-t 2008-ban hivatalosan is megalakultnak tekinthetjük. Ez mindazonáltal felvet egy újabb problémát, mi lesz az ENQA feladata, és milyen szerepet fog játszani az EQAR? 2010-től a legnagyobb kihívás az ENQA irányában, hogy meghatározó politikai szereplővé váljon az európai felsőoktatási minőségbiztosítás területén szakértelem, információ, és az európai szintű szakpolitikai döntés támogatása vonatkozásában.

10

1. rész: Európai sztenderdek és irányelvek a felsőoktatási intézmények belső minőségbiztosítása számára Szakmai előzmények, célkitűzés A Bolognai folyamatnak nevezett, az Európai Unió országaira, és a többi Európai Felsőoktatási Térséghez csatlakozó országra kiterjedő felsőoktatási reform növekvő intézményi autonómiát jelent, amelynek fontos eleme a felelősség viselése az oktatás és a kutatás minőségéért. Így a reform fontos elemévé és megvalósításának eszközévé vált a minőségbiztosítás. A minőségbiztosítás két szinten valósul meg:  

Intézményi szinten, amelyhez az intézményeknek minőségbiztosítási rendszerrel kell rendelkezniük; Külső szinten, feljogosított független szerv által végzett formájában.

(belső) értékelés

Az EU Bizottság (belső) minőségbiztosítással kapcsolatos ajánlásai a következők:  

minden felsőoktatási intézmény alakítson ki egy saját szigorú belső értékelései rendszert, illetve fejlessze a már meglévő rendszerét közös standardok elfogadása, a cél egy a minőség biztosítási eljárásokról, alapelvekről szóló ENQA kézikönyv, kódex

Ez a fejezet az ENQA belső, azaz az intézmények saját működésük fejlesztését támogató minőségbiztosítási rendszereivel kapcsolatos előírásokkal foglalkozik, azaz lépéseket kíván tenni a magyar felsőoktatás számára alkalmazható kézikönyv irányába. A jelenlegi Felsőoktatási Törvény ugyan a felsőoktatási intézmények kötelezettségévé teszi a minőségmenedzsment rendszerek kialakítását és működtetését, ám eddig az intézmények többségének nem volt lehetősége arra, hogy minőségmenedzsment rendszereik kialakításához komplex szolgáltatásokat, szakmai tanácsadást, normatív modelleket vegyenek igénybe. Márpedig csak a minőségmenedzsment rendszer működtetésével tudja az intézmény feltárni a gyengeségeket és veszélyeket és folyamatosan tökéletesíteni a fejlődési lehetőségeit és erősségeit. A magyar felsőoktatás hazai és nemzetközi pozícionálása szempontjából lényeges, hogy a hazai intézményekben komoly hagyományokkal nem rendelkező minőségbiztosítási szemlélet kialakításához központi támogatást kapjanak, amely kitér egyrészt a hazai, másrészt a nemzetközi ágazati elvárásokra, minőségpolitikára.

11

A fejezet elsődleges célja ezért az, hogy áttekintse mind a hazai, mind pedig a nemzetközi, főként az európai uniós elvárásokat, annak érdekében, hogy ezek figyelembe vételével a felsőoktatási intézmények minőségbiztosítási rendszerei illeszkedjenek az ESG 1. fejezetének ajánlásaihoz. Tisztázandó továbbá az akkreditáció és a tanúsítás szerepe, és az ezek közötti különbség: a felsőoktatási programokat és intézményeket egy adott országban vagy akár az Európai Unió területén a nemzeti vagy uniós előírásoknak való megfelelés szempontjából történő akkreditációs folyamat, és az egy adott minőségirányítási szabvány szerinti működést ellenőrző tanúsítási folyamat között. A felsőoktatási intézményeknek a belső minőségbiztosítási rendszerüket a saját pozíciójuk, stratégiai céljaik és szervezeti kultúrájuk figyelembevételével indokolt kialakítaniuk. Ehhez különböző, általánosan használható minőségmenedzsment rendszer modelleket vehetnek figyelembe (pl. ISO 9001:2008 szabványban megfogalmazott általános követelményeket, az ENQA által megfogalmazott sztenderdeket és irányelveket és/vagy a TQM vezetési filozófia alapjait). Rendkívül fontos cél, hogy a projekt során kidolgozott ajánlásoknak, útmutatóknak a hazai felsőoktatás (állandóan változó) sajátosságaira kell „optimáltnak‖ lenniük, de (illetve és) az alkalmazók számára jelezniük kell, hogy az ajánlások nem szabad, hogy elnyomják a változatosságot és az innovációt.

12

1.1 Minőségpolitika, stratégia és minőségügyi eljárások Sztenderd: Az intézmény rendelkezzen egy átfogó minőségpolitikával és ehhez kapcsolódó eljárásokkal, melyek képzési programjainak és az általa kiadott diplomáknak a minőségét garantálják. Emellett határozottan kötelezze el magát egy olyan kultúra mellett, mely elismeri a minőség és a minőségbiztosítás fontosságát. Ennek elérésére az intézmény dolgozzon ki és valósítson meg egy stratégiát a minőség folyamatos javítása érdekében. A stratégiának, minőségpolitikának és eljárásoknak legyen formális státusza, s e dokumentumok legyenek nyilvánosak. Tartalmazzák továbbá a hallgatók és más érdekeltek szerepét.

Irányelvek: A formális minőségpolitikák és eljárások megadják azt a keretet, amelyen belül a felsőoktatási intézmények fejleszthetik és nyomon követhetik minőségbiztosítási rendszerük hatékonyságát. Hozzájárulnak továbbá az intézményi autonómia iránti bizalom kialakításához. A minőségpolitikák tartalmazzák a szándékok meghatározását és az alapvető eszközöket ezek elérésére. Az eljárási útmutató részletesebb információt adhat arról, hogyan valósítják meg a minőségpolitikát, és hasznos referencia pontként szolgál az eljárások gyakorlati megvalósítói számára. A minőségpolitika tartalmazza: az intézményen belüli viszonyt az oktatás és kutatás között, a minőségre és a színvonalra (sztenderdekre) vonatkozó intézményi stratégiát,  a minőségbiztosítási rendszer megszervezését,  a tanszékek, iskolák, karok és más szervezeti egységek és egyének minőségbiztosítással kapcsolatos felelősségét,  a hallgatók bevonását a minőségbiztosításba,  a politika megvalósításának, figyelemmel kísérésének és felülvizsgálatának módjait. Az Európai Felsőoktatási Térség (EFT) megvalósítása döntően függ attól, hogy az intézmény minden szinten mennyire elkötelezett abban, hogy képzési programjainak kimenetei legyenek világosan és egyértelműen meghatározottak; hogy az oktatók készek, hajlandóak és képesek a hallgatókat oktatni és a tanulásban támogatni, hogy elérhessék ezeket a kimeneteleket; és hogy teljesen, mindenkor és kézzelfoghatóan elismerjék a bizonyítottan kiemelkedő, hozzáértő és elhivatott kollégák munkáját. Minden felsőoktatási intézmény  

13

törekedjen arra, hogy folyamatosan javítsa a hallgatóinak nyújtott oktatás színvonalát.

Értelmezés és tapasztalatok: A Felsőoktatási Törvény (2005. évi CXXXIX. törvény) 21. §-a szól a minőségfejlesztési program megfogalmazásáról és elrendeli, hogy a programot és évenkénti értékelését az intézmény vezetése köteles nyilvánosságra hozni. A minőségfejlesztési program pontos tartalma és funkciója a törvényi szabályozásból nem derül ki. A minőségfejlesztési program az intézményi minőségbiztosítási rendszer működésének eredménye. Az intézmény vezetése a mérőszámok alapján rendszeresen értékeli, azaz monitorozza a rendszer működését és a következő időszakra megfogalmazza a rendszer működésének mérhető céljait. E tevékenység (is) támogatandó Minden olyan szabályozás és előírás, illetve minőségügyi szabvány, amelyet a felsőoktatási intézmények figyelembe vehetnek minőségbiztosítási rendszerük kialakításakor, tartalmaz egy olyan komponenst, amely az intézményen kívüli közvetlen és közvetett partnerek véleményének, elvárásainak figyelembe vételét írja elő. Így minden intézmény kénytelen figyelembe venni a külső – nemzeti és nemzetközi – minőségmenedzsment rendszerek megfelelő előírásait. Bár látható, hogy a 2005. évi CXXXIX törvény több helyütt megfogalmaz minőségfejlesztéssel kapcsolatos rendelkezéseket, ennek ellenére sem e törvény, sem más törvény vagy végrehajtási utasítás, illetve bármilyen, minden felsőoktatási intézményre egyaránt kötelezően vonatkozó előírás nem rendelkezik azonban ennek pontos mikéntjéről. Egyrészt – helyesen – nem jelöli meg, hogy pontosan milyen minőségmenedzsment rendszert kell meghonosítania az intézményeknek, másrészt nem fogalmazza meg azt sem, hogy annak az intézményi működés pontosan mely komponenseire és milyen mértékben, milyen mélységig kell kiterjednie. Ennélfogva az intézmények minőségmenedzsment rendszerei jelentős szórást mutatnak az ISO-alapú, folyamatorientált rendszerektől egészen a Minőség Díjalapú, jellemzően EFQM-bázisú önértékeléssel operáló rendszerekig.

14

1.2 Programok indítása, követése és rendszeres belső értékelése Sztenderd: Az intézmény formális belső mechanizmusokkal rendelkezzék képzési programjai indításának jóváhagyására, követésére és rendszeres belső értékelésükre vonatkozóan.

Irányelvek: A hallgatók és más érdekeltek bizalma a felsőoktatásban akkor alakul ki és marad fenn, ha az intézmény hatásos minőségbiztosítási tevékenységgel rendelkezik, mely biztosítja a képzési programok jó megtervezését, rendszeres nyomon követését és időszakos felülvizsgálatát, ezzel biztosítva folyamatos időszerűségüket és érvényességüket. A képzési programok és diplomák minőségbiztosítása egyebek közt tartalmazza:   

     

a tervezett tanulmányi kimenetek kidolgozását és közreadását, a tananyagok és programok tervezésének és tartalmának gondos kezelését, a különböző képzési formák (pl. nappali tagozatos, részidős, távoktatási, e-learning) és intézmény-típusok (pl. egyetemi, szakképzési, szakmai) speciális szükségleteit, megfelelő tanulási források és eszközök meglétét, hivatalos program engedélyezési eljárást, amelyet a program oktatásától eltérő szervezet hajt végre, a hallgatók előrehaladásának és teljesítményének figyelemmel kísérését, a programok rendszeres időszakonkénti felülvizsgálatát (külső tagok bevonásával), rendszeres visszacsatolás kérését a munkáltatóktól, munkaerő-piaci és más szervezetektől, a hallgatók részvételét a minőségbiztosítási tevékenységben.

Értelmezés és tapasztalatok: A felsőoktatási intézmények számára az önértékelés, a vezetői átvizsgálás és az ezekkel kapcsolatos elemzési és minőségfejlesztési feladatokat a (jelenlegi) Felsőoktatási Törvény a következőképp rögzíti: 21. § (2) A szervezeti és működési rend keretében kell meghatározni különösen: a felsőoktatási intézmény szervezeti felépítését, tagolását, vezetési szerkezetét, az egyes szervezeti egységek feladatait, működését, az intézményen belüli kapcsolattartás rendjét, továbbá az intézmény belső minőségbiztosítási szabályait. Minőségbiztosítási szabályzatban kell meghatározni a felsőoktatási 15

intézmény működésének folyamatait, ennek keretei között a vezetési, tervezési, ellenőrzési, mérési, értékelési eljárásokat, a működés biztosításának alkalmazott kritériumait, szabályait, a különösen a képzések indításának, követésének, rendszeres belső értékelésének mechanizmusát, a képzés során megszerezhető végzettségi szint és szakképzettség minőségének belső értékeléséhez kapcsolódó eljárásokat, illetve fogyasztóvédelmi szempontokat. A minőségbiztosítási szabályzatban kell meghatározni a doktori iskola létesítéséhez meghatározott követelményeknek a doktori iskola működése során történő folyamatos biztosításának eljárásrendjét. Az intézményi minőségbiztosítási szabályzatban kell biztosítani az oktatói munka hallgatói véleményezését. 21. § (6) A felsőoktatási intézmény e törvényben meghatározott intézményfejlesztési terv, kutatási-fejlesztési-innovációs stratégia, állami felsőoktatási intézményekben a fenntartói megállapodásban vállalt teljesítménykövetelmények alapján minőségfejlesztési programot készít. Az intézményi minőségfejlesztési programban kell meghatározni a képzési program, a tudományos kutatás, művészeti alkotótevékenység, a hallgatók értékelésének, az oktatás személyi és infrastrukturális feltételei, a tanulástámogatás eszközei, a hallgatói szolgáltatások, a belső információs rendszer és a nyilvánosság fejlesztésére irányuló célokat. A felsőoktatási intézmény évente áttekinti az intézményi minőségfejlesztési program végrehajtását, és megállapításait - az erről szóló jelentés elfogadásától számított legfeljebb harminc napon belül - az intézmény honlapján, továbbá a helyben szokásos módon nyilvánosságra hozza. Alapvető fontosságú, hogy a felsőoktatás minőségügyében, az ágazati minőségpolitikában egyértelmű fogalmak, tevékenységek és hatáskörök legyenek a törvényben – összhangban a nemzetközi gyakorlattal. Az intézményen belüli minőségbiztosítási rendszer, ami az intézmény jó működését, valamint a minőséghitelesítési (akkreditációs) feltételek teljesítését szolgálja, ezen belül él a minőségfejlesztési program, aminek eredményei alapul szolgálnak a minőségértékeléshez és az intézmény minőségfejlesztése külső segítéséhez.

16

Fogalom

Értelmezés, definíció

Feladat/jogkör

Minőségbiztosítási rendszer

Az intézményben az oktatás, a kutatás, a humán erőforrások feltételeinek és minőségének biztosítása érdekében folyamatosan működő szervezet, szabályok, követelmények, dokumentumok, eljárások, tevékenységek, fejlesztések és önértékelések összessége.

Intézmény/szenátus

Minőségfejlesztési program

Az intézmény minőségbiztosítási rendszerén belül a minőség folyamatos fejlesztése érdekében kialakított és működtetett, rendszeresen aktualizált és értékelt cselekvési program, határidőkkel, felelősökkel.

Intézmény/szenátus

Intézményi önértékelés

Az intézmény egésze tevékenységének, ezen belül képzési programjainak rendszeres belső, és esetenként a külső értékeléshez készített elemzés – a belső minőség biztosítási rendszer keretében.

Intézmény/szenátus

Minőséghitelesítés (akkreditáció)

Meghatározott minőségi minimum feltételeknek (kritériumoknak) való megfelelés vizsgálata és hitelesítése.

MAB

Külső minőség értékelés

Az intézmény tevékenységének, minőségfejlesztési rendszerének, hatásának és eredményeinek, valamint képzési programjai minőségének ciklikus, segítő szándékú értékelése (az akkreditációs minimumon túlmutatóan).

MAB, felkért hazai vagy külföldi ügynökségek

Külső engedélyezés

Valamely intézményi tevékenység megkezdésének

NEFMI (OH)

17

(licensing)

(létesítésnek/indításnak) hatósági engedélyezése.

Intézményi (belső) döntés

Valamely intézményi tevékenység megkezdéséről (létesítésről/indításról) hozott döntés a megfelelő belső és külső feltételek megléte alapján.

Szenátus

Regisztrálás

A hatóság által engedélyezett (licensed) és intézményi hatáskörben eldöntött tevékenységek (szakok) országos, közhiteles nyilván tartásába való felvétele.

OH

A felsőoktatási intézmény és szervezeti egységei működésének egyéb szabályait a Szervezeti és Működési Szabályzat állapítja meg. A minőségbiztosítás részét képezik a szabályzatok rendszeres felül vizsgálata, a curriculumok képzési ciklusonkénti értékelése, az oktatók hallgatói véleményezése és a kétévente történő intézményi önértékelések.

18

1.3 A hallgatók értékelése Sztenderd: A hallgatók értékelése előzetesen közzétett és következetesen, egységesen alkalmazott kritériumok, szabályok és eljárások szerint történjék.

Irányelvek: A hallgatók értékelése a felsőoktatás egyik legfontosabb eleme. Az értékelés kimenetele alapvetően befolyásolja a hallgatók jövőbeni pályáját. Ezért fontos, hogy az értékelés mindenkor szakszerűen történjen, és vegye figyelembe a felmérésről és vizsgáztatásról létező kiterjedt ismereteket. Az értékelés továbbá hasznos információt nyújt az intézmények számára az oktatás és a tanuláshoz nyújtott támogatás hatékonyságáról. A hallgatókat értékelő eljárásoktól elvárható, hogy:    

    

mérjék a program által kitűzött célok és kimeneti eredmények elérését, feleljenek meg a céljuknak, ami lehet felmérő, formáló vagy összegző, legyen világos és közétett követelmény az osztályozásra, olyan emberek végezzék, akik értik az értékelés hallgatói fejlődésben betöltött szerepét, hogy a hallgató elérje a kívánt képzettség megszerzéséhez szükséges tudást és képességeket, ahol lehet, ne csak egy vizsgáztató értékítéletére támaszkodjanak, vegyék figyelembe a vizsgaszabályzatok minden lehetséges következményét, legyen világos szabályzata a hallgatói hiányzásnak, betegségnek és egyéb méltányos körülményeknek, biztosítsák, hogy az értékeléseket biztonságosan végezzék az intézmény meghatározott eljárásai szerint, pontosságukat adminisztratív ellenőrző vizsgálatok támasszák alá.

19

1.4 Az oktatók minőségének biztosítása Sztenderd: Az intézmény rendelkezzen belső mechanizmusokkal az oktatók minőségének és kompetens voltának biztosítására. Ezen mechanizmusokat a külső értékelők rendelkezésére kell bocsátani és az ilyen jelentésekben ki kell térni rájuk.

Irányelvek: Az oktatók jelentik a hallgatók számára a legfontosabb tanulási forrást. Fontos, hogy akik oktatnak, teljes mértékben ismerjék és értsék az oktatott tárgyat, rendelkezzenek azokkal a képességekkel és tapasztalattal, amely szükséges a tudást és megértést hatásosan továbbítani a hallgatók felé az oktatás széles spektrumában, és hozzáférjenek a saját teljesítményükről kapott visszacsatolásokhoz. Az intézményeknek biztosítani kell, hogy az oktatók felvételi és kinevezési eljárásai tartalmazzák annak garantálását, hogy minden új oktató rendelkezzen legalább a minimálisan szükséges kompetencia szinttel. Lehetőséget kell adni az oktatóknak tanítási képességeik fejlesztésére és bővítésére, és bíztatni kell őket ezek megbecsülésére. Az intézmények meg kell adják a gyengébb oktatóknak azt a lehetőséget, hogy készségeiket elfogadható szintre hozzák, és meg kell legyen a mód arra is, hogy felmentsék őket oktatási feladataik alól, amennyiben továbbra is kimutathatóan sikertelenek.

Értelmezés és tapasztalatok: A felsőoktatási intézmények minőségét az alkalmazott oktatók, kutatók, a tanári és az oktatással, a felsőoktatás működésével kapcsolatos feladatok ellátásában közreműködő alkalmazottak határozzák meg. A felsőoktatásban alkalmazott oktatói munkaköröket, alkalmazásuk és kinevezések feltételeit az FTV rögzíti. A felsőoktatási intézményben létesíthető kutatói munkakörökben a kinevezési feltételek a tudományos segédmunkatárs, a tudományos munkatárs, a tudományos fő munkatárs esetében az egyetemi tanársegéd, az adjunktus, a docens, a tudományos tanácsadó és a kutató professzor esetében az egyetemi tanári követelményekkel azonosak.

20

1.5 Tanulástámogatás, szolgáltatások

erőforrások

és

hallgatói

Sztenderd: Az intézmény biztosítsa, hogy a hallgatók tanulásának támogatására rendelkezésre álló erőforrások kielégítők és alkalmasak legyenek minden felkínált program esetében.

Irányelvek: Az oktatók mellett a hallgatók egy sor további forrásra és eszközre támaszkodnak a tanulás során. Ezek a fizikai forrásoktól (könyvtárak, számítógépes eszközök) az emberi támogatásig (tutorok, tanácsadók) terjednek. A tanulási eszközök és egyéb támogatási mechanizmusok legyenek könnyen hozzáférhetők a hallgatók számára, az ő szükségleteik figyelembevételével legyenek megtervezve, és rugalmasan alkalmazkodjanak a szolgáltatást igénybevevők észrevételeihez. Az intézmény rendszeresen kövesse figyelemmel, vizsgálja felül, és folyamatosan javítsa e szolgáltatások minőségét.

21

1.6 Belső információs rendszer Sztenderd: Az intézmény gondoskodjon a képzési programjainak és egyéb tevékenységeinek hatékony működtetését biztosító információk szisztematikus gyűjtéséről, elemzéséről és felhasználásáról.

Irányelvek: Az intézmény önismerete a minőségbiztosítás kiindulópontja. Fontos, hogy az intézményeknek meglegyenek az eszközei a saját tevékenységükről való információgyűjtéshez és ezek elemzéséhez. E-nélkül nem tudhatják, mi működik jól és mire kell figyelmet fordítani, s mik az innovatív kezdeményezések eredményei. A minőségbiztosításhoz kapcsolódó, az intézményektől elvárt információs rendszerek bizonyos mértékig a helyi adottságoktól függhetnek, de minimálisan ki kell, hogy terjedjenek: 

a hallgatók előmenetelére és teljesítményükre,



a munkaerő-piaci alkalmazhatóságukra,



a képzési programokkal való megelégedettségükre,



az oktatói teljesítményekre (hatékonyság),



a hallgatói populáció egészére, irányultságára, pályaképére (profile)



a rendelkezésre álló tanulási erőforrásokra és ezek költségeire,



az intézmény kulcsfontosságú teljesítménymutatóira.

Az is hasznos, ha az intézmények összehasonlítják magukat más hasonló szervezetekkel az EFT-n belül és azon túl. Ez lehetővé teszi önismeretük bővítését és a teljesítményük javításához vezető utak kijelölését.

Értelmezés és tapasztalatok: Mutatószámok, minőségértékelés. Az indikátor rendszer kialakítása és fejlesztése a szektor és intézményei minőségfejlesztési tevékenységének fontos eleme, amelynek kialakítása a TÁMOP 4.1.4 projekt egyik fontos eleme. A minőségértékelés kialakítása – illetve ahhoz ajánlások kidolgozása – sokoldalú kutatást igényel. Polónyi (2005) alapján néhány lehetséges indikátort, illetve indikátorként használható elemzést mutatunk be, amelyek alkalmasak az oktatási, szervezeti egységek (karok) minőségértékelésére, illetve rávilágítunk 22

arra, hogy ez miként kapcsolódik, kapcsolódhat az TÁMOP 4.1.4 az AVIR projekthez.

23

1.7 Nyilvánosság Sztenderd: Az intézmény rendszeresen tegyen közzé naprakész és objektív, mennyiségi és minőségi adatokat és információkat képzési programjairól.

Irányelv: Nyilvános szerepük betöltéséhez az intézmények tájékoztatást kell adjanak az általuk kínált programokról, ezek tervezett kimeneteiről, az elérhető végzettségekről, az alkalmazott oktatási, tanulási és teljesítményértékelési eljárásokról, és a hallgatók számára kínált tanulási lehetőségekről. A közzétett információ tartalmazhatja továbbá a korábbi hallgatók észrevételeit és elhelyezkedésüket, valamint a jelenlegi hallgatói kar irányultságát, pályaképét (profile). Ez az információ legyen pontos, elfogulatlan, objektív és könnyen hozzáférhető, és ne csak marketing céljára használják. Az intézmény igazolja, hogy saját pártatlansági és objektivitási elvárásainak eleget tesz.

24

Összefoglalás a belső rendszer szempontjából A minőségbiztosítási, minőségirányítási, illetve minőségfejlesztési rendszer előírásai intézmény-specifikusak kell, hogy legyenek. A helyi minőségbiztosítás az autonóm tevékenység- és szervezetalakítás jegyében az intézmények feladata, ami nem zárja ki - sőt igényli -, hogy a központi minőségpolitika ajánlásokat dolgozzon ki az intézmények számára a minőségbiztosítás, és a minőségfejlesztés megvalósítására, fejlesztésére. Az intézményi minőségbiztosítás nagyon összetett tevékenység. Alapvető (belső és külső) cél, hogy az intézmény szolgáltatásait igénybe vevők elégedettségét javítsák azzal a céllal, hogy a jelenlegi igénybevevők visszatérését és az új igénybevevők keresletét növeljék. Ennek érdekében: a. Fel kell tárni a felsőoktatási szolgáltatás specifikus minőségjellemzőit és azok fontosságát. b. Meg kell fogalmazni a minőségjellemzők területén elérendő célokat. c. Az alkalmazottak számára meg kell fogalmazni a minőség szempontjából fontos teljesítménycélokat. d. A minőségfilozófiát be kell építeni az intézményi kultúrába e. A meghatározott minőségszínvonal eléréséhez biztosítani kell a szükséges dologi, személyi és szervezeti feltételeket f. A menedzsment és az alkalmazottak között közvetlen, a minőséggel kapcsolatos kommunikációt kell kiépíteni g. Az alkalmazottakat a minőségcélokkal összhangban kell motiválni és irányítani h. A minőségi célokat „kifelé‖ és „befelé „egyaránt kommunikálni kell i. Fel kell tárni a minőséget akadályozó tényezőket j. Minőségorientált kommunikációs és ellenőrzési rendszert kell működtetni A központi minőségpolitika és a külső minőségbiztosítás számára hasznos megfogalmazni a belső minőségbiztosítással kapcsolatos alapvető elvárásokat és kapcsolódási elemeket. A belső és külső minőségfejlesztés kapcsolatát a közösen alkalmazott mérőszámok is biztosít (hatják. Célszerű a külső rendszer által alkalmazott mérőszámok akár szervezeti egységekre, oktatási programokra történő lebonthatóságát is megvizsgálni. Fontos tehát feltárni, hogy mik a belső minőségmenedzsment rendszer kialakításának alapvető motivációs elemei, céljai, funkciói, e funkciók kapcsolata (más irányítási rendszerekkel és a külső minőségmenedzsment rendszerekkel), az elemek megvalósításának „optimális‖ keretei, és mik a kapcsolódó mérőszámok.

25

Munkánk, azaz az elemzés elsődleges célja, az hogy rámutasson arra, hogy az ESG alapján az intézmények belső minőségbiztosítási rendszereinek a külső rendszerekre vonatkozó elsődleges feladatai a következők: a.Olyan folyamatokat kell kidolgozni, melyeken keresztül a felsőoktatási intézmények meg tudják mutatni elszámoltathatóságukat – beleértve az állami és a magánbefektetésekre vonatkozó elszámoltathatóságot is. b. Az elszámoltathatósági célokat szolgáló minőségbiztosítás teljes mértékben összeegyeztethetők legyenek a minőségjavítási célokat szolgáló minőségbiztosítással. b) Az intézményeknek be kell tudniuk mutatni gyakorlatban is az általuk nyújtott minőséget, mind országos, mind nemzetközi viszonylatban.

26

2. rész: Európai sztenderdek és irányelvek a felsőoktatás külső minőségbiztosítása számára Az intézményen kívüli (external) tevékenységek kapcsán a szakmai tevékenységre épülő, független szakértői szervezet (MAB) által folytatott szakmai minőség hitelesítés (akkreditáció) és minőségértékelés világosan elkülönítendő az arra jogszabályban feljogosított hatóság (miniszter vagy OH) által végzett engedélyezési (licensing) tevékenységtől. (Ezzel együtt kell az akkreditációs kritériumok elveit és az akkreditáció napi gyakorlatát szabályozni).

2.1 A belső minőségbiztosítási eljárások figyelembe vétele Sztenderd: A külső minőségbiztosítási eljárások vegyék figyelembe az intézményi belső minőségbiztosítási folyamatok hatékonyságát, az Európai Sztenderdek és Irányelvek 1. részében leírtak szerint.

Irányelvek: A belső minőségbiztosítás számára az 1. részben felsorolt sztenderdek hasznos alapot nyújtanak a külső minőségértékelési eljáráshoz. Fontos, hogy az intézmény saját belső politikáit és eljárásait a külső vizsgálatok folyamán alaposan értékeljék annak érdekében, hogy felmérjék, mennyire felelnek meg a sztenderdeknek. Ha az intézmény ki tudja mutatni, hogy a belső minőségbiztosítási rendszere jól működik, hatásos, és jól biztosítja a minőséget és a sztenderdeket, akkor a külső minőségértékelési folyamatok egyszerűbbek lehetnek.

Értelmezés és tapasztalatok: A belső minőségbiztosítási eljárásokkal kapcsolatban egy nemzetközi komparatív elemzés 3 szervezet működését vizsgálta meg: HETAC (Higher Education and Training Awards Council), ACQUIN (Accreditation, Certification and Quality Assurance Institute), AUQA (Australian Universities Quality Agency). Mindhárom szervezet a külső értékelés során figyelembe veszi és

27

értékeli intézmény belső minőségbiztosítási folyamatait, politikáit (Mckenna, Carmichael, Gerkens, & Moser, 2008). i Külső szakértői panel értékelte a MAB tevékenységét 2008-ban. A vizsgálat megállapította, hogy a MAB figyelembe vette az intézményi belső minőségbiztosítási folyamatok hatékonyságát, mely intézményi folyamatok erősen befolyásoltak a MAB által előírt követelmények alapján. ii

28

2.2 A külső minőségbiztosítási eljárások kialakítása Sztenderd: Az eljárások kialakítása előtt a külső minőségbiztosítás céljait kell meghatározni, minden érintett bevonásával (a felsőoktatási intézményeket is beleértve), s e célokat az alkalmazott eljárásokkal együtt nyilvánosságra kell hozni.

Irányelvek: A célok világossága és az eljárások átláthatósága érdekében a külső minőségbiztosítási módszereket a fő érdekeltek bevonásával kell megtervezni és kifejleszteni, beleértve a felsőoktatási intézményeket. A megegyezéssel létrejött eljárásokat nyilvánosságra kell hozni, és világosan tartalmazniuk kell a folyamat céljait és az alkalmazott eljárások leírását. Mivel a külső minőségbiztosítás igénybe veszi a felsőoktatási intézmény erőforrásait, előzetes hatásfelmérést kell készíteni annak biztosítására, hogy az elfogadott eljárások megfelelőek-e és nem avatkoznak-e be a szükségesnél jobban a felsőoktatási intézmény napi munkájába.

Értelmezés és tapasztalatok: A külső minőségbiztosítási eljárások alkalmazásával kapcsolatban egy nemzetközi komparatív elemzés 3 szervezet működését vizsgálta meg: HETAC (Higher Education and Training Awards Council), ACQUIN (Accreditation, Certification and Quality Assurance Institute), AUQA (Australian Universities Quality Agency). Mindhárom szervezet az érdekeltek bevonásával elkészítette a külső minőségbiztosítási eljárás útmutatóját, melyet a honlapján közzétett (Mckenna, Carmichael, Gerkens, & Moser, 2008). iii Sjur Bergan a 2005-ben létrejött „UNESCO/OECD Irányelvek a határokon átnyúló felsőoktatás minőségéről‖ (UNESCO/OECD Guidelines for Quality Provision in Cross-border Higher Education) alapján tekinti át a kormányzatok lehetséges lépéseit és teendőit a határokon átnyúló felsőoktatás minőségével kapcsolatosan. Ezek során ajánlásokat fogalmaz az EFT kormányzatai számára, melyek kitérnek egyrészt a minőségbiztosítással kapcsolatos kormányzati feladatokra, a kormányzati információszolgáltatással kapcsolatos teendőkre és a végzettség elismerése/elismertetése területén adódó feladatokra. Ezen feladatok itt kifejezetten a határokon átnyúló felsőoktatási tevékenységgel kapcsolatosan kerülnek megfogalmazásra. Ezek egy része nemzeti szinten, az adott állam határain belül teendő, míg mások nemzetközi megegyezések, megállapodások megkötését szorgalmazzák. A szerző alapvetően a kormányzatok felelősségi körének kiterjesztését szorgalmazza a saját, nemzeti felsőoktatásukon túl, az adott államot valamilyen szempontból érintő – akár a határok felett átnyúlva oktató anyaintézménynek otthont adó, akár a határokon átnyúló felsőoktatási 29

szolgáltatás megvalósulásának helyt felsőoktatásra is. (Bergan, 2010) iv

adó

államként

–

határokon

átnyúló

Peter Williams szerzőtársaival mintegy összefoglalja a cikket tartalmazó kötetben részletesen tárgyaltakat és megfogalmazza ezek prioritási sorrendjeit is. Elsősorban azt emeli ki, hogy a mind a határokon átnyúló felsőoktatási szolgáltatást exportáló intézmény államának érintett intézményei, mind pedig a szolgáltatást megvalósító, azt mintegy importáló állam érintett intézményei egyaránt felelősek az ilyen jellegű oktatás minőségéért. Szintén megfogalmazza a kötet tanulságaként, hogy az UNESCO/OECD Irányelvek és az ESG egymással kompatibilisek, és az UNESCO/OECD Irányelvek megfelelnek az ESG által előírt partnerközpontúságnak. Végül a szerzők jelzik, hogy az ENQA és 4 partnere (az E4-ek) végezhetnék el a határokon átnyúló felsőoktatás feltérképezését az EFT-n belül az ESG alapján. (Williams, 2010) v Külső szakértői panel értékelte a MAB tevékenységét 2008-ban. A vizsgálat megállapította, hogy a MAB külső minőségbiztosítási eljárásai esetében a célok világosak, az érdekeltek bevonásával lettek megtervezve, és megfelelő módon közzé is tették őket. vi

30

2.3 Döntési kritériumok Sztenderd: Amennyiben a külső értékelés formális döntéseket eredményez, ezeknek előzetesen megállapított és közzétett, s konzisztens módon alkalmazott kritériumokon kell alapulniuk.

Irányelvek: A minőségbiztosítási szervezetek által hozott formális döntések jelentős hatással vannak a minősített intézményekre és programokra. A méltányosság és megbízhatóság érdekében a döntések nyilvános kritériumokon kell alapuljanak és következetesen kell értelmezni őket. Az értékelési eredmények a feltárt tényeken kell alapuljanak, a külső minőségbiztosítási szervezeteknek rendelkezniük kell olyan eljárásokkal, melyekkel szükség esetén módosíthatják döntésüket.

Értelmezés és tapasztalatok: A külső értékelés alapján hozott döntésekkel kapcsolatban egy nemzetközi komparatív elemzés 3 szervezet működését vizsgálta meg: HETAC (Higher Education and Training Awards Council), ACQUIN (Accreditation, Certification and Quality Assurance Institute), AUQA (Australian Universities Quality Agency). Mindhárom szervezet esetében világosan definiált és közzétett kritériumok alapján történik a döntés (Mckenna, Carmichael, Gerkens, & Moser, 2008). A 3 szervezet különböző típusú akkreditáció során többféle kritériumrendszer alapján dönt, melyekről és a döntések következményeiről a 35-36. oldalon található összegzés (Mckenna, Carmichael, Gerkens, & Moser, 2008).vii Külső szakértői panel értékelte a MAB tevékenységét 2008-ban. A vizsgálat megállapította, hogy a MAB döntései alapvetően nyilvános és közzétett kritériumok alapján történtek. Mindazonáltal a szakok indítása esetében az OM/NEFMI rendelkezik engedélyezési joggal. Több esetben felülírva a MAB negatív véleményét (amelyet független szakmai vizsgálat alapján alakítottak ki) engedélyezte a szak indítását. A MAB eredeti döntését a honlapon teljes egészében közzétették. Több esetben előfordult, hogy a MAB látogató bizottsági jelentései nem közvetlenül a MAB plénumához, hanem köztes ad hoc bizottsághoz kerültek véleményezésre első körben. viii

31

2.4 A folyamatok célnak való megfelelése Sztenderd: A külső értékelési folyamatokat úgy kell kialakítani, hogy azok alkalmasak legyenek az értékelés kitűzött céljainak elérésére.

Irányelvek: Az EFT-n belüli minőségbiztosítási szervezetek különféle külső eljárásokat alkalmaznak, különböző célok elérése érdekében és különböző módokon. Elsőrendű fontosságú, hogy a szervezetek olyan eljárásokat alkalmazzanak, melyek a saját maguk által meghatározott és nyilvánosságra hozott céljaiknak megfelelnek. A tapasztalat azt mutatja viszont, hogy a külső értékelésnek vannak olyan széles körben használt elemei, melyek nemcsak biztosítják érvényességüket, megbízhatóságukat és hasznosságukat, hanem alapot is adnak a minőségbiztosítás európai dimenziójának megteremtéséhez. Az ilyen elemek közül különösen figyelemre méltóak a következők: 

a külső értékelési szakértők rendelkezzenek a szükséges felkészültséggel és kompetenciával,



a szakértőket nagy gondossággal kell kiválasztani,



biztosítani kell a szakértők megfelelő tájékoztatását és felkészítését,



a szakértők között legyenek külföldiek is,



a hallgatók is vegyenek részt a külső értékelésekben,



biztosítani

kell,

bizonyítékkal

hogy

az

alkalmazott

szolgáljanak

az

értékelési

eredmények

eljárások és

elegendő

következtetések

megalapozásához, 

az önértékelés / helyszíni látogatás / jelentés tervezet / közzétett jelentés / követő tevékenység értékelési modell alkalmazása,



a minőségbiztosítás alapvető elemeként kell elismerni az intézmény minőségjavításra irányuló dokumentumainak fontosságát.

Értelmezés és tapasztalatok: Askling 4 különböző értékelő módszer típust mutat be: akkreditáció, programértékelés, tudományterület értékelés, MB rendszerértékelés. Ezekben kiemeli az értékelők szerepét, és hogy milyen tulajdonságokkal, képességekkel kell rendelkezniük (Askling, 2009). i

32

Haug részletesen bemutatja, hogy a külső intézményi értékelés eredménye (expert panel review) több szempontból is megkérdőjelezhető: egyrészt kevés ‘mélyebb‘ információ áll a döntéshozók rendelkezésére, másrészt az információk relevanciáját kevésbé tudják ellenőrizni a külső szakértők (Haug, 2009). ii Sørskår bemutatja, hogy milyen kritériumok alapján lehet kiválasztani az értékelőket, az ő döntési módszereiket, a tőlük elvárt értékelői kompetenciákat, ismereteket (Sørskår, 2009). iii Moitus és Pyykkö az értékelési folyamatot elemzi, és több területen (szakértők kiválasztása, értékelési folyamat, riport, követő értékelés) mutat be hasznos tapasztalatokat (Moitus & Pyykkö, 2009). iv Az értékelési folyamattal kapcsolatban egy nemzetközi komparatív elemzés 3 szervezet működését vizsgálta meg: HETAC (Higher Education and Training Awards Council), ACQUIN (Accreditation, Certification and Quality Assurance Institute), AUQA (Australian Universities Quality Agency). Mindhárom szervezet vizsgálja a minimumkövetelményeknek való megfelelést, a HETAC fejlesztéseket is javasol az eljárás során (Mckenna, Carmichael, Gerkens, & Moser, 2008). v Hasznos áttekintést nyújt az értékelési folyamatról a Guidelines for external reviews of quality assurance agencies in the European Higher Education Area. A 8-9. oldalán az értékelőkkel kapcsolatos elvárások, az értékelők képzése található (3.3. fejezet). A 3.5 fejezet a helyszíni látogatás előkészületeit, felépítését, az ellenőrző látogatások formáit mutatja be (p. 10-13) (ENQA Board, 2009). vi Külső szakértői panel értékelte a MAB tevékenységét 2008-ban. A vizsgálat megállapította, hogy a MAB értékelési folyamatait úgy alakította ki, hogy azok alkalmasak az értékelés kitűzött céljainak elérésére. Mindazonáltal jobban meg kell különböztetni a külső minőséghitelesítési és minőségértékelési tevékenységet, és ezek esetében nagyobb hangsúlyt kell helyezni a minőségfejlesztésre. vii

33

2.5 Értékelési jelentések Sztenderd: A jelentéseket közzé kell tenni, s a megcélzott olvasóközönség számára világos és közérthető stílusban kell megfogalmazni. A döntések, fő megállapítások és javaslatok legyenek a jelentésben könnyen megtalálhatók.

Irányelvek: Hogy a külső minőségbiztosítási eljárások maximálisan hasznosak legyenek, a jelentések a megcélzott olvasóközönség felmért szükségleteinek kell, hogy megfeleljenek. A jelentések különféle olvasói csoportok számára készülhetnek, és ezért figyelni kell a jelentés szerkezetére, tartalmára, stílusára és hangnemére. Általában a jelentések tartalmazzanak mind leíró, mind elemző részeket (beleértve a vonatkozó bizonyítékokat), valamint következtetéseket, méltatásokat és javaslatokat. Legyen elegendő előzetes magyarázat ahhoz, hogy a laikus olvasó megérthesse az értékelés célját, formáját és a döntéshozatal során alkalmazott kritériumokat. Az olvasó könnyen találja meg a fontosabb megállapításokat, következtetéseket és ajánlásokat. A jelentéseket könnyen hozzáférhető formában kell közzétenni, és a jelentés olvasóinak és felhasználóinak (az adott intézményen belül és kívül) legyen módjuk a jelentés használhatóságának kommentálására.

Értelmezés és tapasztalatok: Dittrich (2009) bemutatja az előnyeit és hátrányait az akkreditációs riport és az akkreditációs döntés közzétételének, és több fajta gyakorlatot ismertet a közzététel formájára. Megállapítja, hogy a közzététel alapvetően pozitívan befolyásolja a minőségfejlesztési tevékenységet és a transzparenciát (Dittrich, 2009). viii Az értékelési jelentéssel kapcsolatos tapasztalatokat, gyakorlatokat egy nemzetközi komparatív elemzés vizsgálta 3 szervezet vonatkozásában: HETAC (Higher Education and Training Awards Council), ACQUIN (Accreditation, Certification and Quality Assurance Institute), AUQA (Australian Universities Quality Agency). Az ACQUIN és az AUQA az audit riportot felteszi a web oldalra. A HETAC saját nyilvánossághozatali politikája alapján teszi őket közzé (Mckenna, Carmichael, Gerkens, & Moser, 2008). ix A Guidelines for external reviews of quality assurance agencies in the European Higher Education Area vizsgálat az értékelő riport készítését mutatja be (3.4.

34

fejezet, p. 9.) a riporttal kapcsolatos elvárásokat, a riport felépítését pedig a 3.6 fejezet mutatja be (p. 13-17.) (ENQA Board, 2009). x Külső szakértői panel értékelte a MAB tevékenységét 2008-ban. A vizsgálat megállapította, hogy a MAB jelentéseit honlapján megfelelő módon közzé tette, a párhuzamos szak akkreditációs jelentéseket pedig kinyomtatva is elkészítették. xi

35

2.6 Követési eljárások Sztenderd: Ha az értékelések a jövőre vonatkozó javaslatokat is megfogalmazhatnak, vagy intézkedési terv készítését írhatják elő, akkor a külső értékelési folyamatnak előzetesen meghatározott és konzisztens módon alkalmazott követési eljárást is kell tartalmaznia.

Irányelvek: A minőségbiztosítás nem elsősorban egyes külső vizsgálatokról szól, a célja inkább a folyamatosan jobb működésbiztosítás. A külső értékelés nem fejeződik be a jelentés publikálásával, hanem tartalmaznia kell egy szabályozott követési eljárást annak biztosítására, hogy az ajánlásokat kellően alkalmazzák és a megkívánt cselekvési terveket elkészítik és megvalósítják. Ehhez szükséges lehet további találkozás az intézmény vagy program képviselőivel. A cél a javítandó területek gyors fejlesztésének és a további fejlődést támogatásának biztosítása.

Értelmezés és tapasztalatok: A követési eljárással kapcsolatos tapasztalatokat, gyakorlatokat egy nemzetközi komparatív elemzés vizsgálta 3 szervezet vonatkozásában: HETAC (Higher Education and Training Awards Council), ACQUIN (Accreditation, Certification and Quality Assurance Institute), AUQA (Australian Universities Quality Agency). A HETAC tapasztalata szerint a követési eljárásokra jóval nagyobb figyelmet kell fordítani. Az ACQUIN és az AUQA külön eljárást dolgozott ki a képzési programokkal kapcsolatos akkreditáció megállapításainak követésére, ellenőrzésére (Mckenna, Carmichael, Gerkens, & Moser, 2008). xii Külső szakértői panel értékelte a MAB tevékenységét 2008-ban. A vizsgálat megállapította, hogy a MAB a jövőre vonatkozó jobbító javaslatokat erőforrás hiányában csak a következő aktuális külső eljárás során ellenőrzi. xiii

36

2.7 Értékelési ciklusok Sztenderd: Az intézmények és programok külső minőségértékelése ismétlődő, periodikus legyen. A ciklus hossza és az alkalmazott eljárások legyenek világosan meghatározottak és előzetesen közzétettek.

Irányelvek: A minőségbiztosítás nem statikus, hanem dinamikus folyamat. Nem végződik az első értékeléssel vagy a formális követési eljárás befejezésével. Időszakonként meg kell újítani. A következő külső értékélés figyelembe kell vegye az előző értékelés óta végbement fejlődést. A minőségbiztosítási szervezet világosan meg kell, hogy határozza azt az eljárást, amit minden külső értékelésben alkalmaz, és az intézménnyel szembeni elvárásai ne legyenek nagyobbak, mint amennyire ez a célok elérése érdekében szükséges.

Értelmezés és tapasztalatok: A HETAC esetében program akkreditációt 5 évente végeznek. Németországban a program és az intézményi akkreditáció 5-7 éves rendszerességgel zajlik. Az AQUA 5 éves ciklusban dolgozik, mely alatt 50 intézményt vizsgál meg (Mckenna, Carmichael, Gerkens, & Moser, 2008). xiv Külső szakértői panel értékelte a MAB tevékenységét 2008-ban. A vizsgálat megállapította, hogy a MAB esetében a külső minőségértékelés ismétlődő, periodikus, és megfelelő módon közzétett.

37

2.8 Rendszerszintű elemzések Sztenderd: A minőségbiztosítási szervezetek időről időre készítsenek átfogó, összefoglaló jelentéseket, melyben az értékelések általános és fontos tapasztalatait bemutatják és elemzik.

Irányelvek: Minden külső minőségbiztosítási szervezetnél sok adat gyűlik össze egyes képzési programokról illetve intézményekről, s ez jó anyagul szolgál a teljes felsőoktatási rendszerről készíthető szisztematikus elemzésekhez. Ezek az elemzések nagyon hasznos tájékoztatást adhatnak a fejleményekről, trendekről, kialakuló jó gyakorlatról és ismételten jelentkező nehézségekről és gyengeségekről. Mindezek nemcsak a minőség javítását, de az oktatáspolitikai koncepciók kialakítását is támogatják. A minőségbiztosítási szervezetek lehetőség szerint végezzenek szakterületükön kutatási és fejlesztési tevékenységet is annak érdekében, hogy munkájuk a lehető leghasznosabbá váljon.

Értelmezés és tapasztalatok: A HETAC a diploma és a végzettség értékelését végezte el. Az ACQUIN éves beszámolót készít saját munkájáról, amit eljuttat az érintettek felé, amit értékelnek. Az AUQA éves riportokat készít országos szinten a választott országok MB rendszerével kapcsolatban (Mckenna, Carmichael, Gerkens, & Moser, 2008). xv Külső szakértői panel értékelte a MAB tevékenységét 2008-ban. A vizsgálat megállapította, hogy a MAB rendszeresen közzéteszi éves jelentéseit, a róla készült önértékeléseket, egyéb szakmai anyagokat. Bár a felsőoktatási rendszer átfogóbb elemzéséhez nem áll rendelkezésre megfelelő erőforrás. xvi

38

3. rész: Európai sztenderdek a külső minőségbiztosítási szervezetek (ügynökségek) számára Mivel az ESG ajánlásainak e fejezete a külső minőségbiztosítási ügynökségek számára javasolt ajánlásokat tartalmazza, ezért itt, a bevezetőben ismertetjük a külső minőségbiztosítási ügynökség már létrejött szervezetével, az EQAR-ral kapcsolatos legfontosabb információkat: „Az EU minisztereinek londoni döntése nyomán az E4 csoport 2008. március 4-én megalapította és bejegyeztette az Európai Felsőoktatási Minőségbiztosítási Regisztert (European Quality Assurance Register for Higher Education, EQAR), mint nemzetközi non-profit egyesületet. Ez az egyesület hivatott működtetni a minőségbiztosítási ügynökségek nyilvántartását, azaz magát a regisztert. Az egyesület tagjai az E4 csoport (alapító tagok), az oktatók képviseletében az Oktatási Internacionálé (Education International, EI) és a munkaadók képviseletében a BUSINESS EUROPE (ők ketten szociális partnerek), valamint a bolognai folyamatban résztvevő országok közül 26 kormányzat (ők az ún. kormányzati tagok, köztük van Magyarország is), mely tagságával is támogatja az EQAR egyesületet. E szervezetek – az EQAR függetlensége érdekében – természetesen különböző jogkörökkel rendelkeznek. Az EQAR - ahogy a Londoni Nyilatkozatban is olvashatjuk - azzal a szándékkal jött létre, hogy világos és megbízható információt adjon az Európában működő felsőoktatási minőségbiztosítási ügynökségekről. Az EQAR célja, hogy a felsőoktatási intézmények közti bizalom növelésével támogassa a hallgatói mobilitást. Maga a lista léte fejleszti az ügynökségek minőségét is és a kölcsönös bizalmat az ügynökségek közt is erősíti. Az EQAR lehetőséget biztosít a hatóságoknak arra, hogy egy intézmény engedélyezéséhez megfelelő ügynökséget válasszanak, ha ez összhangban van a nemzeti joggal. És természetesen az intézmények is választhatnak, ha országuk jogszabályai ezt lehetővé teszik.‖ (Minőségügy a bolognai folyamatban: az EQAR, 2009)

39

3.1 A külső minőségbiztosítás folyamatainak figyelembe vétele Sztenderd: Az ügynökségek külső minőségbiztosítása során figyelemmel kell lenni a külső minőségbiztosítási folyamatok jelenlétére és hatékonyságára, az Európai Sztenderdek és Irányelvek 2. részében leírtak szerint.

Irányelvek: A 2. részben leírt külső minőségbiztosítási sztenderdek hasznos alapot nyújtanak a külső minőségbiztosítás folyamatához. A sztenderdek tükrözik az 1990-es években Európában a külső minőségbiztosítás kifejlesztése kapcsán szerzett tapasztalatokat és a kialakult legjobb gyakorlatokat. Ezért fontos, hogy ezek a sztenderdek beilleszkedjenek a külső minőségbiztosítási szervezetek által a felsőoktatási intézményekre alkalmazott folyamatokba. A külső minőségbiztosítási sztenderdek és a külső minőségbiztosítási szervezetek sztenderdjei együtt kell, képezzék a felsőoktatási intézmények szakszerű és hiteles külső minőségbiztosításának az alapját.

Értelmezés és tapasztalatok: A MAB külső értékelése szerint a MAB-ot értékelő bizottság megállapítása szerint a MAB az ESG 2. részében leírtaknak megfelelő, jól működő külső minőségbiztosítási folyamatokkal rendelkezik, aminek eredményeképpen a MAB minden tekintetben megfelel az elvárásoknak. (External Evaluation of the Hungarian Accreditation Committee, 2008) xvii

40

3.2 Hivatalos státusz Sztenderd: Az ügynökség legyen az Európai Felsőoktatási Térségben működő illetékes hatóság által hivatalosan elismerve, mint külső minőségbiztosításért felelős szervezet, s működésének legyen meg a jogi alapja. Be kell, tartsa a területileg rá vonatkozó jogi követelményeket.

Értelmezés és tapasztalatok: A MAB külső értékelése szerint a MAB külső minőségbiztosítási ügynökségként előírt feladatai megtalálhatók az elsődleges és másodlagos magyar jogforrásokban A bizottság szerint a MAB működése megfelel ezen előírásoknak, ami miatt a MAB működése minden tekintetben megfelelő ebből a szempontból. (External Evaluation of the Hungarian Accreditation Committee, 2008) xviii Az egyik tanulmány az osztrák felsőoktatás három legfontosabb szektorát mutatja be a cikkben: az állami egyetemeket – amelyeket az állam hoz létre, és amelyeknek emiatt nem kell intézményi vagy programakkreditáción átesniük, hanem egy, a minisztériummal kötött, ún. teljesítmény-egyezményben foglaltaknak kell megfelelniük háromévente, amit külső ügynökségek tanúsíthatnak –, az alkalmazott tudományokat oktató egyetemeket (Fachhochschule) és a magánegyetemeket – ez utóbbi két típusú intézménynek programakkreditáción kell átesnie, melyet nemzeti akkreditációs ügynökségek (a két intézménytípus esetén más és más) végeznek el. A magánegyetemeknek emellett intézményi akkreditáción is át kell esniük. Az akkreditációs döntéseket meghatározott időközönként felülvizsgálják, amiben szintén nemzeti – de nemzetközileg is elismert – külső ügynökségek vesznek részt. A szerző a három eltérő rendszer konvergenciáját tartaná kívánatosnak a következő években. (Kohler, 2009) xix Egy másik tanulmány a Szentszék által működtetett felsőoktatási intézmények speciális helyzetéből fakadó minőségügyi feladatokról és a Szentszék által felállított minőségbiztosítási ügynökségről, az AVEPRO-ról értekezik a cikkben. Részletezi, hogy a Vatikán alapvetően kétfajta felsőoktatási intézményt működtet: egyházi egyetemeket és katolikus egyetemeket. Az utóbbiak a többi, világi egyetemhez hasonló tudományterületeken folytatnak oktató-kutató tevékenységet, míg az egyházi egyetemek a keresztény, egyházi tudományok, a hittudományok területén folytatnak oktató-kutató tevékenységet. Az előbbiek részei az adott állam felsőoktatási rendszerének, míg az utóbbiak által kiadott diplomákat, fokozatokat az állam nem szükségszerűen ismeri el. Az AVEPRO ugyancsak speciális helyzetéből fakadóan saját eljárásai és az általa alkalmazott kritériumok meghatározásakor az ESG mellett figyelembe kell, hogy vegye az egyházi tanulmányok különleges, a világihoz nem hasonlítható elvárásait is. (Father Imoda, 2009) xx 41

3.3 Tevékenység Sztenderd: Az ügynökség folytasson rendszeres intézményi vagy programszintű külső minőségbiztosítási tevékenységet.

Irányelvek: Ez lehet értékelés, áttekintő vizsgálat, minőségügyi audit, felmérés, akkreditáció vagy más hasonló tevékenység, mely a szervezet alaptevékenységei közé tartozik.

Értelmezés és tapasztalatok: A MAB Nemzetközi Tanácsadó Testületének ajánlásai szerint az ‘akkreditáció‘ terminust nemzetközileg egy, az értékelésben kompetens testület által adott értékelésként értelmezik. Számos országban elkülönül a minőségbiztosítás vagy akkreditáció fogalma az engedélyezéstől (licensing). A felsőoktatásért felelős kormányzati szerv engedélyezheti egy már létező vagy új képzési program indítását vagy egy intézmény működését – specifikus nemzeti vagy regionális szempontok alapján –, míg a minőségbiztosítási vagy akkreditációs testület szakemberek független testületeként egy jövőbeli vagy létező képzési program vagy intézmény minőségét ítéli meg. A MAB befejezte az intézményi akkreditációk első körét és elkezdte a másodikat, valamint a magyar felsőoktatási intézmények alap- és mesterszakos képzései akkreditációjának végén jár. Ennélfogva a bizottság véleménye szerint a MAB eleget tesz az ESG 3.3 irányelvének. (External Evaluation of the Hungarian Accreditation Committee, 2008)xxi Az Egyesült Államokban a több mint 100 éve létező külső minőségügyi ellenőrzést, az akkreditációt külön erre a célra létrejött non-profit magánszervezetek végzik a kormányzattól függetlenül. (Eaton, 2009) xxii Egy másik tanulmány egy külső akkreditációs ügynökségnek, az ANECÁ-nak szemszögéből mutatja be a spanyol felsőoktatás rendszerének és ezen belül az akkreditációs és minőségbiztosítási elvárásoknak és eljárásoknak a változásait az elmúlt évtizedben, részben már a Bologna-folyamatot megelőző, részben pedig az azt követő években. Ennek során bemutatja, hogy a spanyol kormányzati intézkedések és királyi rendeletek hogyan segítették elő olyan hivatalos, külső minőségbiztosítási intézmények létrejöttét, melyek rendszeres minőségbiztosítási felülvizsgálatokat, akkreditációs eljárásokat tudnak lefolytatni – ezen belül előés utó-programakkreditációt, intézmények felkészítését minőségügyi rendszerek bevezetésére. (Rauret Dalmau, 2009) xxiii

42

Egy további tanulmány egyrészt az albán felsőoktatás külső minőségbiztosítási rendszeréhez tartozó két ügynökségről, a Public Accreditation Agency for Higher Education (PAAHE), amely egyedüli ilyen ügynökségként értékeli a felsőoktatási intézmények minőségbiztosítási tevékenységét, valamint az Accreditation Council (AC), amely az intézményi és programakkreditációkat egyedül lebonyolító külső ügynökség. Az AC munkáját a PAAHE segíti szakmai és technikai szempontból. A fentiek mellett a külső minőségbiztosítási ügynökségek akkreditációjáról és önértékeléséről, valamint ezek nemzetközi beágyazottságáról is szól. (Bozo, 2009) xxiv Egy negyedik tanulmány a bolgár külső minőségbiztosítási ügynökséget a NEAA-t mutatja be egyrészt szervezeti felépítése, működési alapelvei és egy konkrét példa alapján, kitérve a doktori iskolák akkreditációjának kérdésére is. A jövőbeli kilátásokat taglaló befejező részben a szerző az intézményi és programakkreditáció összevonását, pontosabban a programakkreditáció elhagyását javasolja. Véleménye szerint ez kevesebb feszültséget okoz a felsőoktatási intézményekben, növeli az innovációs hajlamot és jóval költséghatékonyabb megoldást is jelent. (Shopov, 2009) xxv

43

3.4 Erőforrások Sztenderd: Az ügynökség rendelkezzék a tevékenysége hatásos és hatékony megszervezéséhez és működtetéséhez szükséges és arányos személyi és anyagi erőforrásokkal, megfelelő lehetőséget biztosítva folyamatainak és eljárásainak fejlesztéséhez is.

Értelmezés és tapasztalatok: A MAB költségvetését a költségvetésből kapja, amiről az Országgyűlés a költségvetésnek az Oktatási és Kulturális Minisztériumra (és jogutódjára, a NEFMI-re) vonatkozó fejezetében dönt. A támogatás arányáról a költségvetés főösszegéhez képest a Felsőoktatási törvény rendelkezik, valamint azokból a befolyó eljárási díjakból, melyeket a felsőoktatási intézmények fizetnek be az akkreditációs eljárásokért. Problémaként jelentkezik, hogy a MAB nem lehet bizonyos abban, hogy az adott évben pontosan mekkora lesz a költségvetési támogatása, ami miatt problémát okoz a MAB tevékenységeinek és humánerőforrásainak tervezése. Ugyanakkor szintén probléma, hogy saját bevételeinek aránya törvényileg korlátozott. A MAB hatékonysága és eredményessége sokat javulna, ha előre pontosan számolhatna a kormányzati támogatással. A fentiek miatt a bizottság úgy látja, hogy a MAB részben eleget tesz az ESG 3.4 irányelvének. A bizottság javaslatként fogalmazza meg, hogy a MAB minden tevékenységéért szedjen eljárási díjat, valamint javasolja a költségvetési támogatás pontosabb allokációját. (External Evaluation of the Hungarian Accreditation Committee, 2008) xxvi

44

3.5 Küldetésnyilatkozat Sztenderd: Az ügynökség rendelkezzen világos és egyértelmű célokkal tevékenységéhez, melyeket nyilvánosan elérhető dokumentumban fogalmaz meg.

Irányelvek: E dokumentum írja le a szervezet minőségbiztosítási folyamatainak céljait, az érdekeltekkel – elsősorban a felsőoktatási intézményekkel – történő munkamegosztást, és működésének kulturális és történeti kontextusát. A leírás legyen egyértelmű a tekintetben, hogy a külső minőségbiztosítás a szervezet fő tevékenységét képezi és hogy céljainak eléréséhez szisztematikus megközelítést alkalmaz. A rendelkezésre álló dokumentumok mutassák be, hogy a küldetésnyilatkozat alapján a szervezet stratégiai és megvalósítási tervet készít.

Értelmezés és tapasztalatok: A MAB külső értékelő bizottságának véleménye szerint a MAB küldetésnyilatkozata világos, explicit célokat fogalmaz meg. Ezzel összhangban és ennek alapján került megfogalmazásra a MAB minőségpolitikája és stratégiája. A fentiek mindegyike publikus, elérhető a MAB honlapján. Emiatt a bizottság véleménye szerint a MAB minden tekintetben megfelel az ESG 3.5 irányelvének. (External Evaluation of the Hungarian Accreditation Committee, 2008)xxvii

45

3.6 Függetlenség Sztenderd: Az ügynökség legyen független, azaz kizárólagosan felelős saját tevékenységéért. Az értékelési jelentések következtetéseit és javaslatait harmadik fél, pl. a felsőoktatási intézmények, minisztériumok, vagy további érintettek ne befolyásolhassák.

Irányelvek: Az ügynökség be kell bizonyítsa függetlenségét, többek közt a következő intézkedésekkel: 

A felsőoktatási intézményektől és kormányoktól való függetlenséget hivatalos dokumentumok garantálják (pl. irányítási eljárások, jogszabályok).

A módszerek és eljárások meghatározása és működtetése, a külső szakértők kijelölése és alkalmazása, s az értékelések eredményeinek meghatározása autonóm és független módon, bármifajta intézményi, kormányzati, vagy egyéb politikai befolyástól mentesen történjék. A vizsgálatok során ki kell kérni az érintettek, különösen a hallgatók véleményét, de a külső minőségbiztosítási folyamatok végső eredményei a szervezet felelősségi körébe tartozzanak.

Értelmezés és tapasztalatok: A magyar törvények függetlenséget és autonómiát biztosítanak a MAB-nak. A külső értékelő bizottság véleménye szerint a MAB jelentésein külső befolyásolás nyoma nem tapasztalható. Megjegyzi viszont, hogy a jogszabályok szerint az oktatási és kulturális miniszter (jelenleg: nemzeti erőforrás miniszter) felülbírálhatja a MAB döntéseit egyetemi tanárok és képzési programok sikertelen akkreditációja esetén. Ez viszont nem befolyásolja közzétett MAB jelentéseket. A MAB tagsága javarészt magyar felsőoktatási intézmények oktatóiból és kutatóiból áll, melyet a Rektori Konferencia vagy az MTA jelöl. Bár a bizottság nem talált utalást arra, hogy ez veszélyeztetné a MAB függetlenségét, megjegyzi, hogy az összetétel megváltoztatása nagyobb szimbolikus biztonságot garantálna a függetlenség szempontjából. Mint azt a 3.4 ajánlásnál megjegyeztük, a bizottság javasolta a MAB pénzügyi függetlenségének növelését a tisztább, tervezhetőbb költségvetési támogatás és a teljes körű eljárási díjak bevezetése által. A bizottság véleménye szerint a MAB a működés és döntéshozatal szempontjából minden tekintetben, pénzügyi autonómia szempontjából részben megfelel az ESG 3.6 ajánlásának.

46

Javasolják a MAB felsőoktatási körökből származó tagságának csökkentését, és a diák és egyéb érdekeltek számának növelését, valamint a 3.4 kritériumnál javasolt pénzügyi függetlenség és kiszámíthatóság növelését. (External Evaluation of the Hungarian Accreditation Committee, 2008) xxviii

47

3.7 Az ügynökségek által alkalmazott minőségbiztosítási kritériumok és eljárások

külső

Sztenderd: Az ügynökség által alkalmazott folyamatok, követelmények és eljárások legyenek előzetesen meghatározva és közzétéve, s lehetőleg tartalmazzák a következőket: 

a vizsgált intézmény, program által végzett önértékelést, vagy hasonló eljárást,



külső szakértői csoport általi értékelést, szükség szerint hallgatói tagokkal és helyszíni látogatással, az ügynökség döntése alapján,



az értékelési jelentés közzétételét, benne döntésekkel, javaslatokkal és más formális kimenettel,



követési eljárást a jelentés javaslatainak nyomán történt intézkedések vizsgálatára.

Irányelvek: Az ügynökség más eljárásokat is kialakíthat és alkalmazhat egyes tevékenységei számára. Az ügynökség mindenkor ügyeljen a kinyilvánított elveire és biztosítsa a követelmények és folyamatok szakszerű kezelését és az értékelési következtetések és döntések konzisztens voltát, akkor is, ha különböző szakértői csoportok alakítják ki őket. A formális következményekkel járó döntések esetén az ügynökség rendelkezzen fellebbezési eljárással. Ennek pontos jellege és formája az adott szervezet működésének alapdokumentuma fényében alakítható ki.

Értelmezés és tapasztalatok: A MAB külső értékelő bizottságának véleménye szerint a MAB által használt külső minőségbiztosítási kritériumok és folyamatok előre meghatározottak és széles körben ismertek. Ezek közé tartozik az akkreditáció alatt álló intézmény önértékelési folyamata, külső szakemberek – köztük egy diák – általi értékelése, és a látogatóbizottság látogatása. A döntéseket, ajánlásokat és más formális eredményeket tartalmazó jelentések nyilvánosak. A MAB emellett független működő fellebbezési gyakorlattal rendelkezik. A bizottság véleménye szerint a MAB minden tekintetben megfelel az ESG 3.7 ajánlásának. (External Evaluation of the Hungarian Accreditation Committee, 2008)xxix

48

Egy tanulmány három nemzetközi irányelv – az UNESCO/ OECD Irányelvek a határokon átnyúló felsőoktatás minőségéről (UNESCO/OECD Guidelines for Quality Provision in Cross-border Higher Education), az ESG, végül pedig az INQAAHE „A jó gyakorlat irányelvei” (Guidelines for Good Practice) – szakmai tartalmát és szerkezetét hasonlítja össze. Ezek mellett az UNESCO és az Európai Parlament által elkészített „A jó gyakorlat kódexe a határokon átnyúló felsőoktatásban‖ (the Code of Good Practice in the Provision of Transnational Education) című dokumentumot is megvizsgálja. Ezek közül az ESG és a GGP összehasonlítását részletezi, és vizsgálja meg főként a minőségbiztosítási ügynökségek helyzetét az két dokumentum eredete – az előző az EU miniszterei és kormányai felhatalmazásával, az utóbbi 65 ország minőségbiztosítási ügynökségeinek közös munkájával jött létre –, az érdekeltek részvétele – az ESG az utóbbival szemben nagy hangsúlyt fektet az érdekeltek bevonására –, a jóváhagyás – előbbit a Berlini Nyilatkozat aláírói, utóbbit a 65 tagszervezet hagyta jóvá –, a hatáskör – az ESG a belső és külső minőségbiztosítás alapelveit és a minőségbiztosítási ügynökségek minőségbiztosítását taglalja, míg a GGP csak a legutóbbit –, a felhatalmazás – előbbi a minőségbiztosítási ügynökség rendszeres felülvizsgálatát írja elő, utóbbi csak a GGP elveinek önkéntes alkalmazásait ajánlja –, a határokon átnyúló felsőoktatásnak szentelt figyelem – a GGP kifejezetten erre fókuszál, de az ESG 3. fejezet is fel- és elismeri az EU-n kívüli ügynökségek EU-n belüli működését és az EU-s ügynökségek határokon átívelő működésének lehetőségét is –, a minőségbiztosítási hálózatok erősítésének kérdése – a GGP ezt kihangsúlyozza, míg az ESG csak közvetve említi azt –, valamint az elszámoltathatóság vs. fejlesztés – melyet csakis az ESG említi (az elszámoltathatóságot célzó minőségbiztosítás tökéletesen összeegyeztethető a fejlesztési célú minőségbiztosítással) – szempontjából. (Hamilton, 2010) xxx Egy másik tanulmány az Európai Diákszövetség véleményét fejti ki a határokon átnyúló felsőoktatással, ill. annak minőségbiztosításával kapcsolatosan. Ennek során egyrészt amellett érvel, hogy az ilyen jellegű felsőoktatási szolgáltatásokat mind a szolgáltató (exportáló) intézmény államában, mind pedig a megvalósító (házigazda) intézmény államában alá kell vetni a megfelelő minőségbiztosítási eljárásoknak. Ez biztosítja azt, hogy a diplomát kiadó intézmény ―otthoni‖ és „exportált‖ szolgáltatásának minősége és tartalma között nem lesz különbség. Végül támogatja azt is, hogy egy, az UNESCO-hoz hasonló nemzetközi szervezet által kidolgozott, és a határokon átnyúló felsőoktatás piacának minden szereplőjére rákényszerített minőségbiztosítási keretrendszer kerüljön bevezetésre. (Cassar, 2010) xxxi Egy harmadik tanulmány a görög felsőoktatási intézmények minőségbiztosítási erőfeszítéseinek történetét, valamint az EU-ban legkésőbb bevezetésre kerülő felsőoktatási minőségbiztosítás rendszerét taglalja, ami abból a szempontból is érdekes, hogy a görög felsőoktatási intézményeknek nincsen kötelező előírt akkreditációja. A cikk bemutatja a külső minőségbiztosítási rendszer bevezetésének nehézségeit, a belső minőségbiztosítási rendszerek tipikus 49

elemeit, valamint a külső minőségbiztosítási ügynökség eddigi működésének alapelveit és gyakorlatát. (Papazoglou, 2009) xxxii Egy további tanulmány a holland akkreditációs rendszert és annak történetét tekinti át. Ennek során egyrészt az eredetileg igen eltérő kelet- és nyugateurópai hagyományokat az akkreditáció területén, a Bologna-nyilatkozat egységesítő törekvései ellenére kialakuló nemzetenként eltérő akkreditációs rendszerek tendenciáit, a peer review-t, mint általánosan elfogadott módszert, a 2000-ben Hollandiában végrehajtott próba-akkreditációt, az akkreditációs adatokon alapuló rangsorok problematikáját, a visszacsatolás általános hiányát és ennek az akkreditáció lehetséges kimeneteleihez való viszonyát. Végül kitér az akkreditőrök akkreditációjának kérdésére bemutatva ezt a holland Oktatási Felügyelőség (Inspectorate of Education). (Scheele, 2004) xxxiii

50

3.8 Elszámoltathatóság Sztenderd: Az ügynökség rendelkezzen saját elszámoltathatóságára vonatkozó eljárásokkal.

Irányelvek: Ezek tartalmazzák a következőket: 1. Az ügynökség saját belső közzétett dokumentum.

minőségbiztosítására

vonatkozó,

honlapján

Dokumentáció, mely bemutatja, hogy az ügynökség 

folyamatai és eredményei összhangban vannak küldetésével és céljaival,



a

külső

szakértőire

vonatkozóan

összeférhetetlenségi

szabályokkal

rendelkezik, és ezeket alkalmazza, 

amennyiben alvállalkozókkal dolgozik, rendelkezik megbízható eljárásokkal az

alvállalkozók

minden

tevékenysége

és

az

általuk

kibocsátott

dokumentumok minőségének biztosítására, 

működésének javítása érdekében belső minőségbiztosítási folyamatokkal rendelkezik,

melyeknek

(vélemények

gyűjtése

intézkedési

része az

mechanizmus

a

belső

alkalmazottaktól (reagálás

a

visszacsatolási és

javítást

a

mechanizmus

testülettől),

célzó

belső

a

belső

és

külső

javaslatokra), továbbá a külső visszacsatolási mechanizmus (vélemények gyűjtése a szakértőktől és értékelt intézményektől a jövőbeli fejlesztés céljából) annak érdekében, hogy adatokkal szolgáljon és elősegítse saját fejlődését és javítását. 2. Az ügynökség tevékenységének legalább ötévente kötelezően végrehajtandó külső szakértői értékelése.

Értelmezés és tapasztalatok: A MAB külső értékelő bizottsága megállapította, hogy a MAB rendelkezik felülvizsgálati bizottsággal és pénzügyi felügyelőbizottsággal. A MAB rendelkezik saját minőségbiztosítási politikával és sikeres működést biztosító eszközökkel, amelyek az intézmény folyamatos fejlesztésének alapját jelentik. Rendszeresen gyűjti a felsőoktatási intézmények és értékelő bizottsági tagjai véleményét, visszacsatolásait. Ezek összefoglalója megtalálható a MAB honlapján a szervezet működésének magyar és angol nyelvű leírása mellett. A MAB már átesett egy korábbi külső értékelésen és ennek részeként önértékelésen. Minden MAB dokumentum elérhető a MAB honlapján, közülük több angolul is. A bizottság 51

véleménye szerint a MAB működése minden tekintetben megfelel az ESG 3.8 irányelvének. (External Evaluation of the Hungarian Accreditation Committee, 2008) xxxiv Egy tanulmány egyrészt bemutatja a romániai felsőoktatás átalakulását az 1989es forradom után, valamint az ezzel gyakorlatilag párhuzamosan zajló, minőségbiztosítási tevékenységek kiépítését célzó intézkedéseket. A cikk legnagyobb érdemi része az ARACIS-szal, a román felsőoktatási minőségbiztosítási ügynökséggel foglalkozik, és ennek tevékenységét, működésének körülményeit és folyamatait mutatja be. Mint azt a szerző elmondja, az ARACIS mind szervezetileg, mind gazdaságilag, politikailag és személyileg is független szervezet, amelynek összeférhetetlenségből nem lehetnek tagjai például felsőoktatási intézményi vezetők. (Damian, 2009) xxxv

52

Egyéb kapcsolódó elemzések A Bologna Stocktaking Report 2009 jelentés részletesen értékeli a résztvevő országok Bologna-kritériumoknak való megfelelési állapotát. Magyarország a minőségbiztosítás (Quality Assurance) tekintetében a következő osztályzatokat kapta (Bologna Scorecard): 

4. Stage of development of external quality assurance system

sötétzöld

(5) 

5. Level of student participation in quality assurance világoszöld (4)



6. Level of international participation in quality assurance világoszöld (4)

A jelenleg hatályos Ftv. szerinti magyar minőségbiztosítási rendszer tehát jelesre vizsgázott a Bologna országok előtt. Mindkét másik értékelt terület (képzési szerkezet – Degree System, valamint diploma elismerés és kredit – Recognition) osztályzatai rosszabbak a fentieknél (3-5-3, illetve 5-5-3-3). A minőségbiztosításra vonatkozó egyetlen jövőbeli fejlesztendő elemként a jelentés az intézményi belső minőségstratégiák kidolgozását jelöli meg (working out quality strategies at institutional level). A jelentés óta eltelt időben a MAB teljes jogú hallgatói taggal egészült ki, azaz a 2010-es állapot szerint egy mostani értékeléskor már a hallgatói részvétel tekintetében is 5-ös osztályzatot kaphatnánk a külső minőségbiztosításra vonatkozóan. A nemzetközi szakértők nagyobb mértékű bevonását sajnos financiális akadályok nehezítik. (A MAB 2010-es központi költségvetési támogatásának 20%-át zárolták, szemben a NEFMI területen átlagos 2%-kal.)

53

Idézett forrásmunkák Askling, B. (2009). On the use of expert knowledge in national evaluations and quality audits. In P. Ranne, & M. Soinila, Assessing educational quality: Knowledge production and the role of experts (old.: 10-14). Helsinki: European Association for Quality Assurance in Higher Education 2009. Bennett, P., Bergan, S., Cassar, D., Hamilton, M., Soinila, M., Sursock, A., és mtsai. (2010). Quality Assurance in Transnational Higher Education. Helsinki: European Association for Quality Assurance in Higher Education. Bergan, S. (2010). The UNESCO/OECD Guidelines: a governmental perspective. ENQA Workshop report 11 , 7-14. Bozo, D. (2009). National experiences and future challenges: Albania. ENQA Working reports 8 , 22-25. Bozo, D., Damian, R., de la Rosa González, C., Helle, E., Imoda, F., Kohler, A., és mtsai. (2009). Current trends in European Quality Assurance. Helsinki: European Association for Quality Assurance in Higher Education. Cassar, D. (2010). Quality Assurance in Transnational Education – from declarative intentions to concrete progress: a European Students‘ Union perspective. ENQA Workshop report 11 , 25-29. Comet Senal, N. (2008). Experiences using ISO 9001 in AQU Catalunya. Helsinki: ENQA Workshop report 7. Crozier, F., Costes, N., Ranne, P., & Stalter, M. (2010). ENQA: 10 years (2000–2010) - A decade of European co-operation in quality assurance in higher education. European Association for Quality Assurance in Higher Education 2010. Helsinki, Finnland. Damian, R. (2009). Quality assurance in Romanian higher education. ENQA Working reports 8 , 26-32. Di Nauta, P., Omar, P.-L., Schade, A., & Scheele, J. P. (2004). Accreditation Models in Higher Education - Experiences and Perspectives. Helsinki: European Network for Quality Assurance in Higher Education. Dittrich, K. (2009). Considering publications: The advantages and disadvantages of publishing accreditation decisions and reports. In P. Ranne, & M. Soinila, Assessing educational quality: Knowledge production and the role of experts (old.: 38-44). Helsinki: European Association for Quality Assurance in Higher Education 2009. Eaton, J. S. (2009). An Overview of U.S. Accreditation. Washington D.C.: Council for Higher Education Accreditation. ENQA Board. (2009). Guidelines for external reviews of quality assurance agencies in the European Higher Education Area. Brüsszel: ENQA. (2008). External Evaluation of the Hungarian Accreditation Committee. Father Imoda, F. (2009). The Bologna Process in the Holy See: implementation. ENQA Working reports 8 , 19-21.

origins and

Gola, M. M. (2004). Premises to Accreditation: A Minimum Set of Accreditation 54

Requirements. helsinki: ENQA Workshop Reports 3. Hamilton, M. (2010). A Comparative Analysis of International Guidelines in Quality Assurance. ENQA Workshop report 11 , 20-24. Harvey, L. (2004). The Power of Accreditation: Views of Academics. Helsinki: ENQA Workshop Reports 3. Haug, P. (2009). Evaluation performed by the external expert panel. In P. Ranne, & M. Soinila, Assessing educational quality: Knowledge production and the role of experts (old.: 15-20). Helsinki: European Association for Quality Assurance in Higher Education 2009. Kohler, A. (2009). Quality assurance in Austrian Higher Education - features and challenges. ENQA Working reports 8 , 9-13. Mckenna, I., Carmichael, R., Gerkens, D., & Moser, M. (2008). INTERNATIONAL BENCHMARKING OF EXTERNAL QUALITY ASSURANCE AGENCIES - Looking in from Top to Bottom. Higher Education and Training Awards Council, (old.: 11-24). Dublin. Minőségügy a bolognai folyamatban: az EQAR. (2009. 12 15). Letöltés dátuma: 2011. 01 29, forrás: Felvi: http://www.felvi.hu/felsooktatasimuhely/nemzetkozi_korkep/bologna/minosegugy_EQAR ?itemNo=3 Moitus, S., & Pyykkö, R. (2009). How to promote the usefulness and the utilisation of evaluations. Helsinki: ENQA. Papazoglou, V. J. (2009). Quality Assurance in Greek Higher Education Institutions: Introduction and Challenges. ENQA Working reports 8 , 37-41. Rauret Dalmau, G. (2009). ESG and the current QA trends in Spain: more than just a change. ENQA Working reports 8 , 14-18. Scheele, K. (2004). Licence to Kill: About Accreditation Issues and James Bond. Helsinki: ENQA Workshop Reports 3. Shopov, T. (2009). The Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG) and quality assurance (QA) in the South-Eastern Europe (SEE) region – Opportunities and Challenges: the Situation in Bulgaria. ENQA Working reports 8 , 33-36. Sørskår, A. K. (2009). Experts‘ recommendations and decisions, criteria for selection, publicity and mandate. In P. Ranne, & M. Soinila, Assessing educational quality: Knowledge production and the role of experts (old.: 21-30). Helsinki: European Association for Quality Assurance in Higher Education 2009. Sursock, A. (2010). Quality Assurance in Transnational Perspective: a European University Association perspective. ENQA Workshop report 11 , 15-17. Williams, P. (2010). Conclusions and recommendations to the Bologna Follow-up Group. ENQA Workshop report 11 , 30-33.

55

Végjegyzetek

i Except for the differences that have been pointed out above, there are also great similarities between the assessment tasks, irrespective of the type of evaluation. In order to be able to contribute constructively in committee work, and also to derive personal satisfaction from participating in it, the expert should:  be intimately familiar with research and teaching at the level of higher education;  possess a certain analytical talent – with natural curiosity and ability to be  amused by ‗jigsaw puzzles‘;  be able to draw on personal experience (as a teacher, researcher, administrator and/or manager) from university and college institutions;  be a good listener, be able to ‗read between the lines‘ and catch ‗hidden‘ meanings underneath the surface of statements;  be motivated to learn more about the ways in which higher education and its institutions work and operate under given conditions (political, economic, societal, etc.). To participate in assessment panel work implies committing oneself with one‘s loyalty to academia to carry on the tradition of ‗peer review‘ under new conditions, now in the service of a national agency. At the same time, the expert makes a contribution towards creating legitimacy for the assessments of the national agency. Through their various types of evaluations the national agencies are promoting the growth of a new kind of academic ‗professionalism‘ through academic ‗experts‘ or ‗peers‘ who will uphold a systemic perspective in addition to their specifi c disciplinary perspectives. But the national agencies are also themselves developing a new kind of professionalism – in the form of national evaluation managers. To work as an evaluation officer in a national agency implies that your loyalty lies with the task and mission of the agency. Evaluation officers must develop a familiarity with the agency‘s procedures for the different evaluation types and the different sets of criteria that are applied. They must strive to function as ‗national moderating judges‘ in the valuations, so that the assessments will not be biased by the composition of competences and perspectives in each individual expert group. They are finding their natural place in an international community of professional quality evaluators. ii In most countries of the European Higher Education Area (EHEA) higher education institutions and programmes are being evaluated. The results of these evaluations can be crucial for institutions and individuals. An evaluation can conclude that institutions will not be allowed to offer study programmes; that they lose an accreditation they have had earlier; or that they might have to make changes in study content, organisation and staff. It constitutes a real challenge if an institution is accredited on false grounds, when in reality it cannot offer suffi cient educational and substantial quality. The collected information must be trusted, and the analysis and conclusions drawn from this information have to be in accordance with the data. This article will discuss the trustworthiness of evaluations from the viewpoint of the external expert panels. The expert panels are used in several evaluation models. A selected panel of specialists is responsible for the evaluation. The experts are often assisted by staff from the national agencies. This approach combines self–evaluation with brief site visits to the institutions by representatives from the expert panel. The experts conduct discussions and interviews with selected students, lecturers, researchers, administrative staff and people from the course, programme or institution under evaluation. In addition, a certain amount of existing data about the institutions, studies and courses is collected by the panel. However, there have been cases where studies providing a lesser amount of information have been used to support an evaluation. The conclusion from the fi rst section is that the evaluative description of an expert panel may be invalid, and that an expert panel approach is vulnerable to systematic data errors. The external expert panel has little control over data. The conclusion from the second part is that there is little information that makes it possible to explain and analyse the deeper reasons behind a description of a study programme. The method‘s strength is in factual and structural

56

information, and not in information about processes and results. The third part of the presentation concludes that the external expert panel method in all probability provides internal perspectives on what is studied; however, the method has diffi culties in giving an external description of the institutions and study programmes. iii Prior to the workshop: Assessing educational quality: Knowledge production and the role of experts, the participants were asked to answer a few questions on the tasks and status of experts in their own agencies. The purpose of this exercise was to get a picture of similarities and differences between the agencies in their practice with regards to expert knowledge, with reference to the situation in Norway. The questions were: 1. What are the relations between expert evaluations a 1. nd decisions in external quality assurance in your country? Are the relations affected by the types of procedure, e.g. accreditations, audit or other evaluations? 2. Please send us the agencies written set of criteria for selection of experts. We are interested in the kind of competencies required for the various evaluations. 3. Publicity and publication of evaluation reports: Are the evaluation reports of the agency public? If so, are the reports actively published, e.g. on the website of the agency? 4. How detailed is the mandate for the various sort of evaluations? If possible, send us examples. The answers received can be interpreted in different ways, and during the workshop many of the agencies presented exceptions to their general rule. It was therefore a challenge to put all the agencies into clear–cut categories for the presentation of the results at the workshop. This article attempts to give a more nuanced overview even if there are some limits to defi ning the agencies and countries categorically due to the variations and plurality that exists between them. This means that not all the details found in the answers were put into categories which fully comply with the realities in the agency or country. iv The aim of this article is to present the practical procedures that the Finnish Higher Education Evaluation Council, FINHEEC, has used to ensure the quality and effectiveness of evaluation data. Some of the rocedures are specifi c to Finland, some seem, on the basis of the survey conducted by NOKUT (the Norwegian Agency for Quality Assurance in Education), to be in use in other countries as well. Since the start of its operations in 1996, the Finnish Higher Education Evaluation Council has based its evaluations on the developmental–oriented approach. The aim of a developmental–oriented evaluation is to produce information and to carry out evaluations in such a way that serves the higher education institutions in their development work. This article has been structured in accordance with the phases of an evaluation process. The article contains experiences relating to different types of FINHEEC evaluations (institutional evaluations, programme and thematic evaluations, audits, selection of centres of excellence in teaching and learning). The article is based on the experiences of the FINHEEC Secretariat, surveys on the utilisation of evaluation data and on feedback regularly collected from higher education institutions. v Lásd Hiba! A könyvjelző nem létezik. végjegyzet. vi Nominations of experts could be sought from a wide range of sources – including agencies, stakeholders, local authorities, etc. – but the selection process must be carried out by the Coordinating body (and not by the Agency being reviewed), to avoid confl ict of interests and preserve the integrity of the process. The Coordinating body (if not ENQA) should communicate the composition of the Review panel to the ENQA Board for consideration. The details of the duration and schedule of the site visit may vary between reviews and may depend on whether the review is a type A or type B. The length of the visit should be determined at the beginning of the review process when terms and conditions are being decided upon. It is likely that a visit duration of at least two days will be necessary for a review panel to refl ect on, and validate fully the self-evaluation, as well as to clarify any points at issue. This

57

will, however, depend on the country and Agency in question. vii Although the basic aims and objectives of HAC‘s various activities are published and well known, as previously stated, the external panel found a need to ensure greater differentiation between the two specific processes of external evaluation and accreditation, in order to enhance their fitness for purpose, and to encourage greater understanding of these different processes among the HAC‘s main stakeholders. In particular, there is a need to enhance the improvement orientation in these processes.

viii Publishing information regarding the quality of institutions and programmes is not a matter of course and there are different perspectives from which the importance of publication can be viewed. Moreover, publishing can have an effect on the procedures of the panels. It is therefore understandable that a lot of thought is being given to the advantages and disadvantages, and the possible positive and negative effects of publication. Furthermore, the political culture and particularly the prevailing views about the position of the state play an important role in the shaping of a broad or reserved publication policy. From a different viewpoint, ambitious institutions have thought about and continue to think about their mission; they base their vision and goals on this mission, and continue to develop it further. Such institutions offer something to both society and students: a curriculum with a particular content that may also have been developed on the basis of an educational model. Such institutions promise something to the labour market and to their students on the basis of which they try to attract students and the interest of the labour market. They are actively engaged in marketing and public relations. Quality assurance agencies often assess whether an institution or a programme delivers on its promises at an internationally acceptable level for a bachelor‘s or master‘s degree programme. Promises must be kept: if an institution or a programme is failing to deliver on its promises, this should be made known. And this is an argument as great as possible transparency in decisions. From the perspective of the European Higher Education Area, most European countries, education institutions, students and a large proportion of the economically most important branches of industry – all benefi t from high student mobility, expressed in a considerable amount of foreign experience. If this viewpoint is shared, it is evident that sufficient and reliable information should be available about the quality of institutions and programmes. Ideally, this information would be provided by the institutions themselves. But precisely for the sake of objectivity and to prevent one–sided marketing and public relations, I believe that the assessments of quality assurance agencies constitute an additional guarantee. As a product of my own political system I consistently stress the benefi ts of the publication of independent assessments more strongly than the disadvantages. As a former chair of a university (Maastricht University) that has chosen an educational approach that is entirely its own (Problem–Based Learning) and that has, moreover with full conviction, chosen strong internationalisation, I have always been a supporter of as much transparency as possible regarding quality assessments. This position obliged my university to be constantly alert to possible drops in quality and to always strive to deliver on our promises. The publication of decisions and the reports of the expert panels will ultimately have a positive effect on the quality of institutions and programmes. ix Lásd Hiba! A könyvjelző nem létezik. végjegyzet. x An essential part of the review process for the Agency is the preparation of its selfevaluation document. This is the Agency‘s opportunity to refl ect on how it measures up to the ENQA membership criteria/ESG and to gather the key documentation which supports its claim of compliance. The main outcome of the review process is the report. The review report will be drafted by the Review Secretary, in collaboration with the Chair and rest of the panel members, on the basis of

58

the self-evaluation report, site-visit and Review panel‘s fi ndings. xi The external panel saw evidence that HAC reports are published and accessible in full on the HAC website. Reports on parallel disciplinary programme accreditation have been published in hard copy form as well. xii Lásd Hiba! A könyvjelző nem létezik. végjegyzet. xiii The HAC procedures include follow-up on its various activities, where relevant. However, the HAC acknowledged in its SER that it does not have the resources to monitor properly the implementation of all follow-up recommendations. This should in any case be the primary responsibility of each higher education institution, and be verified in the next evaluation cycle. Moving from the current accreditation procedures to a greater focus on external evaluation will encourage greater emphasis on the follow-up process. xiv Lásd Hiba! A könyvjelző nem létezik. végjegyzet. xv Lásd Hiba! A könyvjelző nem létezik. végjegyzet. xvi Currently, the HAC publishes comprehensive yearly reports and summary tables of activity. There is also a well structured presentation of its work, with documentation, on the HAC website, in both Hungarian and English language versions. It has also undertaken a previous external evaluation, including a self-evaluation, and has produced a number of system-wide reviews of some professional programmes. However, in its self-evaluation, the HAC stated that, under pressure of the current high workload, it does not have the resources for greater system-wide analyses, and in discussion with the external panel review this lack of resources was acknowledged as a weakness in terms of meeting the needs of HAC stakeholders. In the future, such capacity will be important. xvii ESG 3.1 Use of external quality assurance procedures for higher education: The external quality assurance of agencies should take into account the presence and effectiveness of the external quality assurance processes described in Part 2 of the European Standards and Guidelines. As noted in 5.1 above, the external panel found that the HAC has well functioning external quality assurance processes as described in the ESG Part 2. Opinion of the panel: Fully compliant. xviii The HAC and its functions with regard to external quality assurance are written into Hungarian primary and secondary legislation. In the opinion of the panel, the HAC also complies with the requirements of this legislation. Opinion of the panel: Fully compliant. xix ―All types of higher education devote considerable efforts to their organisational development and are open to external quality assurance with a formative character and – especially in the case of public universities – international relevance. Accreditation has an important role in the successful development of new higher education sectors. Over the years different procedures for external quality assurance have been established for the various sectors. At the same time the higher education sectors have been called by law to take responsibility, and to develop internal quality assurance systems. Within the upcoming years, a focus on the institutional governance and the convergence of the different approaches of external quality assurance towards a national framework of quality assurance can be expected.‖ xx ―The safeguarding of quality constitutes a moral obligation of the Church, which is called upon to exercise its responsibility towards the resources that God has entrusted to it. Numerous initiatives in favour of the promotion of quality are constantly prompted by the concern and readiness of institutions themselves and their administrators, of local churches and religious congregations. The Holy See expresses a similar concern through the solicitous work and care of the Congregation for

59

Catholic Education. The newly-established AVEPRO has received the approval of the Holy Father Benedict XVI and has been founded by the Secretariat of State in September 2007. AVEPRO is intended to reinforce awareness of quality assurance through the implementation of new tools and procedures that should be well adapted to present-day requirements and should meet the need embodied by the Bologna Process in Europe to progress towards unifi ed standards. In accordance with the Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG), AVEPRO, though being under the supreme authority of the Holy See, is autonomous in the development of its quality assurance processes and will not be infl uenced by stakeholders, ecclesiastical higher education institutions or by the ecclesiastical authorities responsible for them.‖ xxi The term ―accreditation‖ is internationally accepted as referring to a quality statement made by a competent body. In many countries a distinction is made between quality assurance or accreditation on the one hand and licensing on the other. The government authority responsible for higher education may grant license for a new or an established program or institution to function (on grounds of specific national or regional interest), while a quality assurance or accreditation body, as an independent body of experts, makes judgments about the quality of the future or existing institution or program. The Board believes that it is pivotal for the work of the HAC and for (international) credibility of the Hungarian higher education system that these spheres of authority continue to be separated in any future legislation. […] The HAC has completed its first full cycle of institutional accreditation and is engaged with the second cycle. In additional, it is in final stages of the process of accrediting all new Bachelor and Master programmes at Hungarian HEIs. Opinion of the panel: Fully compliant.

xxii Accreditation is a process of external quality review created and used by higher education to scrutinize colleges, universities and programs for quality assurance and quality improvement. Accreditation in the United States is more than 100 years old, emerging from concerns to protect public health and safety and to serve the public interest. In the United States, accreditation is carried out by private, nonprofit organizations designed for this specific purpose. External quality review of higher education is a nongovernmental enterprise. Th e U.S. accreditation structure is decentralized and complex, mirroring the decentralization and complexity of American higher education. (...) Both federal and state government consider accreditation to be a reliable authority on academic quality. The federal government relies on accreditation to assure the quality of institutions and programs for which the government provides federal funds and for which the government provides federal aid to students. Most state governments will initially license institutions and programs without accreditation. However, states will subsequently require accreditation to make state funds available to institutions and students. States often require that individuals who sit for state licensure in various professions have graduated from accredited institutions and programs.

xxiii ―The European Higher Education Area requires changes in national quality assurance systems. At the same time and, above all, an appropriate legal framework needs to be established in conjunction with decision-making and active efforts by the institutions that are responsible for leading and guiding higher education institutions throughout this transition process. The new Spanish laws, and the principles set out in Bologna and the external assessments of ANECA, have all laid the foundations for a cultural change within the agency. Such change consists of collaborating effectively with regional assessment agencies, and of considering the ESG as a blueprint for the design and development of new verifi cation and certifi cation programmes.‖ xxiv ―QA processes in Albanian HE comprise: • The internal QA systems and mechanisms which are under the responsibility of the HEIs themselves, but harmonised with the external QA processes;

60

• External QA processes, including external evaluations, performed by PAAHE or any other agency that is a member of ENQA, as stated in the new law; • Accreditation, which is the process of formal recognition of HEIs or HE programmes in the Albanian territory. The AC is the only responsible body for judgement of the review outcome. The AC, based on and coherent with the external peer review and outcomes, elaborates recommendations on the accreditation decision. The fi nal accreditation decision is made by the government. The external QA institutions are in charge of: • Cyclical evaluation and accreditation of the existing institutions and programmes in public and private HEIs. According to the new Higher Education Act, the interval between two subsequent evaluations is six years. Until 2007 the interval had been four years; • Evaluation and pre-accreditation (so-called initial evaluation) of new HE programmes in both public and private HEIs. Initial programme evaluation and institutional project evaluation are prerequisites for private HEIs to obtain the licence to open and operate. Before issuing degrees and before completion of a full study course, a previously licensed institution should undergo a full process of evaluation and accreditation both at institutional and programme levels (first accreditation). If the institution does not apply for such an accreditation or receives a negative accreditation decision, the institution and/or programme will not be formally recognised in Albanian territory; • Analytical and system-wide analysis as a base for decision or policy making in the HE sector; • Assisting HEIs in setting up and implementing internal QA systems, so that the latter are consistent with the external QA processes. Existing internal QA systems and/or procedures are thoroughly audited during the external review; • Publishing information and data dealing with evaluation and accreditation processes and outcomes; • Publishing information and data on HEIs and programmes for the public; • Contributing to the decision-making and general policy of the HE system in the country.‖ xxv ―This paper is intended to present general information about the implementation of the ESG in the evaluation and accreditation of higher education institutions (HEIs) in Bulgaria. There is one accrediting organisation in the country – the NEAA. It accredits all degrees in all fi elds of study or subject areas. NEAA is an independent organisation. The following fundamental principles permeate the ESG21 and are endorsed by NEAA: • The ESG are to be considered as generic principles, not specific requirements; • Interests of stakeholders are taken into account in the QA processes; • Institutional autonomy and responsibility are of central importance; • External QA secures institutional objectives; • HEIs and external QA agencies should cooperate and be positively interrelated.‖

―The process of accreditation should be streamlined and simplifi ed by establishing only one level – either institutional or programme. The current two-level process causes unnecessary strain on the

61

national HE system. Institutional accreditation seems more advantageous as it delegates responsibility to HE institutions, enhances innovation, and provides greater cost-effectiveness.‖ xxvi HAC obtains its resources through support from the State budget, as decided by the Parliament set in a separate item within the chapter of the Ministry of Education and Culture (the relative amount of this support, in proportion to the overall state HE budget, is defined by the Higher Education Act), and from the fees it charges for some of the services it provides to HEIs. However, despite successfully increasing revenue from the provision of services, HAC has not been able to know with certainty what its allocation from the state budget will be. It therefore has difficulties planning its activities and human resources. Furthermore, there are legal restrictions regarding its ability to generate income from its own sources, and the overall levels of the fees it can charge are defined by legislation. The effectiveness and efficiency of the HAC would be enhanced if it were able to budget with certainty, and to receive an annual lump sum as per the legislation in force. The HAC‘s client HEIs already pay for some services, and the external panel encourages HAC to explore with them which additional services they would be prepared to pay for. Opinion of the panel: Partly compliant. Recommendation: HAC should develop further its own sources of funding, for example by charging fees for all types of appeals. Recommendation: Greater precision regarding the allocation of the annual state budget support for the HAC would allow it to budget and plan more effectively. xxvii The external panel found that the HAC has a mission statement with a clear and explicit set of goals and objectives for its work. This has been used to develop a HAC quality policy and a strategy document. These are all publicly available on the HAC website. Opinion of the panel: Fully compliant. xxviii Hungarian legislation grants HAC an independent and autonomous position. The external panel found that the HAC reports are published without external influence. However, as noted above under ESG 2.3, the Minister for Education and Culture has the authority to overturn HAC decisions in the cases of negative accreditation of professors and programmes. This power, if and when used, does not affect the status of the original HAC decisions, which are published. HAC membership is dominated by academics from Hungarian higher education institutions, nominated either by the Hungarian Rectors‘ Conference or through the Hungarian Academy of Sciences. While the external panel found no evidence to suggest that the independence of the HAC was compromised by this situation, changing the balance of HAC membership would provide greater symbolic reassurance regarding its independence. It should be noted that the HAC has had an Ethics Committee in place since 2000, and has an active policy (Code of Ethics) regarding possible conflicts of interest, which all members and members of standing committees are required to sign. External evaluators also sign a no conflict of interest statement with their contract. As previously noted under ESG 3.4, the financial independence of HAC needs strengthening. The Ministry should provide clearer and earlier details of funding, and the HAC‘s own sources of revenue need to be developed. Opinion of the panel: Fully compliant – in terms of HAC´s operations and decision making. Partly compliant – in terms of financial autonomy. Recommendation: Decrease the number of the HAC‘s Hungarian academic members and increase the numbers of student, stakeholder and international members. Recommendation: Strengthen the HAC‘s financial independence by providing greater clarity and regularity regarding the Ministry‘s funding, and strengthen alternative sources of revenue.

62

xxix As stated already in this report, the external panel found that the external quality assurance criteria and processes used by the HAC are pre-defined and well known. These include a selfassessment procedure by the institution under evaluation, and an external evaluation by a group of experts, including students and involving a site visit. Reports containing decisions, recommendations and other formal outcomes are published, and follow-up procedures are in place. The HAC has a fully-functioning independent appeals procedure. Opinion of the panel: Fully compliant.

xxx ―This paper compares and highlights the main concerns of three international guidelines – the UNESCO/OECD Guidelines for Quality Provision in Cross-border Higher Education; the Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG); and the INQAAHE Guidelines for Good Practice (GGP). An overarching document prepared by UNESCO and the Council of Europe – the Code of Good Practice in the Provision of Transnational Education is also mentioned, given its salience globally, beyond transnational education alone.‖

xxxi ―In order for students to receive high-quality education, it is indispensable to expose TNE providers to QA mechanisms of both the hosting and exporting countries. ESU would certainly appreciate a commitment that students will be involved on all levels of HE as equal partners, and that standards and procedures will be developed through consultation with the respective student bodies.‖ ―There is a need to review systems to address the quality of the education available. The operation of fraudulent or substandard providers is a chief ―consumer protection‖ concern. Notwithstanding that a certifi cate is awarded transnationally by a reputable university, and is recognised or accredited by its home country, it is still necessary to see whether the course content is the same as that provided at the home institution. There should be no room for discrepancy between quality in higher education provided at home and that provided in a foreign institution, whether in Europe or beyond.‖ ―Regular assessments of trends in the development of transnational education and the demand patterns should be mandatory. Additionally, an analysis of the profi le, expectations, and preferences of transnational education students should be the responsibility of both States involved in the provision of TNE.‖ ―A transnational educational system which takes into account all of the above in a holistic manner is not possible without the establishment of an enforceable regulatory framework by a supranational body such as UNESCO – a body which leads education on a global level and aims to meet the learning needs of all students. In an attempt to enhance quality in cross-border higher education on a global level, UNESCO and OECD have developed a set of guidelines, known as the UNESCO/OECD Guidelines. Such Guidelines are not intended to override the state‘s authority to control whether HEIs are conforming with the Bologna Process action lines, but involve collaboration on a European, as well as international scale, most pertinently in the exchange of academic experiences (particularly in QA systems where students should have a central role).‖ xxxii ―Greece is among the last countries in Europe that introduced quality assurance (QA) procedures in higher education, as discussed in the following paragraphs. The main objectives of such procedures are to establish a uniform approach for recording, understanding and systematically assessing the work of departments, schools and institutions, and to adopt all necessary measures in order to assure and improve the quality of work performed by HEIs, within the framework of their academic profile, objectives and mission.

63

HQAA (or ADIP from the Greek initials) was established as anindependent agency, whose president is elected, as required, by the Greek parliament. HQAA‘s Board consists of 15 members: the President, six professors of Greek universities, four professors of Greek TEIs, one representative of the non-university research institutes, one representative of all professional bodies and two student members. The six university professors, each representing a specifi c general university discipline, are nominated by the rectors of all universities and the four TEI professors, each representing a specifi c general TEI discipline, are nominated by the presidents of all TEIs. At the present time (March 2008) the Board consists of 13 members only, since the student associations have not nominated any representatives. Regarding the evaluation criteria and indicators, as applied to both academic units (e.g. departments and schools) and institutions as a whole, four general categories are set by law: quality of teaching, quality of research, quality of departmental curricula, and quality of other services. Although HQAA has the freedom to specify the particular number and kind of criteria and indicators, on the basis of geographical, scientific and other differences, the law requires for a few specifi c indicators for each of the above four categories. As an example, the indicators required by law for the quality of teaching include (1) the effi ciency of the teaching staff, (2) the quality of the teaching process, (3) the organisation and implementation of the teaching tasks, (4) teaching aids, (5) means and infrastructures, (6) the use of new technologies, (7) the academic staff / student ratio and their cooperation (8) the level and quality of knowledge provided, (9) the interrelation between research and teaching, and (10) the mobility of teaching staff and students. It should be noted that in Greece the QA exercise includes research as well; hence it goes beyond the Standards and Guidelines for Quality Assurance in the European Higher Education area (ESG)‖ xxxiii ―The introduction of accreditation will stimulate the debate: ―Who will accredit the accreditors‖? The supervision of accreditation embraces: • supervision of the accreditation agency itself consists of supervision of such matters as the negligent performance of duties, the holding of outside positions, the overturning of decisions and supervision of the effectiveness of the agency; • the degree to which accreditation contributes to achievement of the defined goals; • the degree of effectiveness of the accreditation system. In the Netherlands, the Inspectorate for Education has this supervisory task. A specific role for the Inspectorate lies in situations where a course is found not to meet the standards at the time of accreditation, but where the Minister decides under special circumstances that it is in the public interest for the course to continue to exist. In that case, supervision of the required improvements and similar matters is necessary. Less prominent, but no less important, are the following tasks: • judging the quality of education; this takes place at system level, with the exception of examination of observance of rules prescribed by law; • promoting the quality of education; this, too, occurs at system level; • reporting on the development of education. It remains to be seen whether the picture of the ―Spy Who loved Me‖ is an appropriate parallel. But it does appear that more is being done in the way of stimulatory supervision than used to be the case – through the promotion of quality. It is a challenging prospect for the Inspectorate, because

64

promoting quality of education is the bottom line, what it is all about. Quality of the highest level as an objective: Diamonds are forever?‖ xxxiv The external panel found that the HAC has in place an independent Appeals Board and a Financial Supervisory Board, each with three members. The HAC has its own quality assurance policy and instruments in place to ensure its effective functioning and provide the basis for its own ongoing development. It regularly collects feedback from evaluated HEIs and also from review panel members. Summaries of these surveys are accessible on the HAC website. It publishes comprehensive yearly reports and summary tables of activity. There is also a well structured presentation of its work, with documentation, on the HAC website, in both Hungarian and English language versions. It has also undertaken a previous external evaluation, including a selfevaluation, and has produced a number of system-wide reviews of some professional programmes. All HAC documents and reports are available on its website in Hungarian, and many also in English. Opinion of the panel: Fully compliant xxxv ―After one year of activity ARACIS asked for feedback from the universities and evaluators about the functioning of the agency and the evaluation process. The feedback revealed the positive impact within the Romanian universities that were 30 evaluated. The universities considered that all ARACIS documentation was detailed and ready to use. The organisation, structure and staffi ng of the agency was considered as giving it full credibility. The representatives of the universities that were evaluated appreciated that the methodology helps universities in assuring quality and strengthening their quality policies, as it covers all three complementary areas of quality assurance, namely institutional capacity, educational effi ciency and quality management. Concerning the evaluation process: Strong points: the methodology and guide were well accepted by the academic community in Romania and were seen as realistic and insuring some continuity with previous experience with CNEAA. The documents used in the process and the process itself were clear and applicable, being effective at this new stage of thorough evaluation of quality in Romanian higher education institutions. The evaluation process and the pilot programme made clear the fact that only slight adjustments of the methodology were needed. The composition of the evaluation teams – comprising Romanian and foreign evaluators – contributes to transparency and may initiate better exchanges between Romanian and other European universities. Weak points: it was found that there was a lack of consistency between the methodology and the guide as regards some details. A few parts of the guide were considered too extensive and a number of standards needed to be revised in order to become more relevant in aspects related to the scientifi c research. Some standards, mainly related to career tracking and the employment rate of graduates, were considered too ―demanding‖ in relation to the present social and economic reality and development of Romania. Some standards were considered not detailed enough and some (even the same ones in a number of cases) too permissive. Some student evaluators, who were generally very active in the process, were not happy with some positive conclusions: they would have wanted the evaluation reports to be more critical. The need to move towards benchmarking was accepted by all universities involved but there were still only a few European references in this respect. The strong points about the functioning of the agency were already presented, but also some critical points were raised. The agency concluded the following from the feedback: (1) The selection of evaluators should not only be based on the CVs but on their effective contribution within the academic community. (2) The evaluators should be given permanent retraining. (3) Stronger cooperation is needed with the MoERY in order to develop new standards for evaluation of doctoral programmes and doctoral schools, post-graduate studies and Life Long Learning. (4) The visibility in the press was lacking and it should be improved as only the negative aspects received publicity.

65

(5) The agency would need a larger, more suitable location. (6) There is an urgent need to develop a new database and acquire new software.‖

66