Seminář o hodnocení akademických pracovníků z pohledu Standardů a směrnic pro hodnocení kvality v Evropském prostoru vysokoškolského vzdělávání

Přírodovědecká fakulta Univerzity Palackého Pracovní komise RVŠ pro kvalitu VŠ a její hodnocení Centrum pro studium vysokého školství, v.v.i. pořádají

Seminář o hodnocení akademických pracovníků z pohledu Standardů a směrnic pro hodnocení kvality v Evropském prostoru vysokoškolského vzdělávání

22. 10. 2012 Olomouc

Program semináře 10:00 – 10:10 Zahájení semináře 10:10 – 10:40 Talašová, J.: Model hodnocení akademických pracovníků vytvořený na PřF UP 10:40 – 11:00 Stoklasa, J.: Srovnání modelů hodnocení akademických pracovníků na University of Turku, Lappeenranta University of Technology a PřF UP 11:00 – 11:30 Holeček, P.: Prezentace informačního systému pro hodnocení akademických pracovníků IS HAP 11:30 – 12:00 Münsterová, E.: Informace o mezinárodním projektu QUESTE-SI 12:00 – 13:00 Přestávka na oběd 13:00 – 13:15 Šebková, H.: Informace o mezinárodním projektu IBAR 13:15 – 13:30 Roskovec, Vl.: Evropské standardy a směrnice a kvalita akademických pracovníků 13:30 – 14:00 Diskuse k oběma příspěvkům

14:00 – 15:00 Panelová diskuse na téma „Kdo je dobrý vysokoškolský učitel“ (moderuje H. Šebková) 15:00

Závěr semináře

Seminář o hodnocení akademických pracovníků Pracovní komise RVŠ pro kvalitu VŠ a její hodnocení Centrum pro studium vysokého školství PřF UP, Olomouc, 22.10.2012

Model hodnocení akademických pracovníků vytvořený na PřF UP Jana Talašová, Jan Stoklasa

IPN KVALITA Zajišťování a hodnocení kvality v systému terciálního vzdělávání

Obsah  Představení modelu vytvořeného na PřF UP  Zkušenosti z pilotního testování tohoto modelu  Srovnání s jinými zahraničními i tuzemskými modely  Závěr

Představení modelu hodnocení akademických pracovníků vyvinutého na PřF UP

Historie vývoje modelu hodnocení AP 

PřF UP (2006) - záměr vytvořit model pro hodnocení akademických pracovníků (pedagogika a VaV)



Za tím účelem studováno: • hodnocení kvality v terciárním vzdělávání (ESG), • řízení lidských zdrojů obecně, • existující modely rutinně používané v zahraničí (USA, Kanada, Austrálie…) a později i modely vznikající v ČR.



Postupně navrženy 2 třídy matematických modelů hodnocení.



Pilotní testování finálního modelu na datech PřF UP (2009, 2010, 2011) a FIS VŠE (2011).



Od r. 2010 je pilotní testování systému součástí IPN Kvalita



PřF UP (2012) – IS HAP, SW implementace modelu hodnocení

Hledání jasně srozumitelného modelu 

V první etapě (2006-2009) vytvořené matematické modely hodnocení: • agregace dílčích hodnocení v pedagogice a VaV pomocí stále sofistikovanějších agregačních operátorů (WA, OWA, WOWA), • výsledné modely byly bohužel obtížně srozumitelné pro hodnotitele i hodnocené akademické pracovníky.



Pro konečné řešení (od r. 2010) bylo použito jazykově orientované fuzzy modelování – jazykové hodnotící škály, jazykově definované báze hodnotících pravidel: • navržený model byl jednoznačně podpořen AS PřF (2010), vzhledem ke srozumitelnosti pro všechny zainteresované.

Cíle modelu hodnocení • • • • •

postihnout všechny typy aktivit akademických pracovníků, využívat jen měřitelná a snadno ověřitelná data, být snadno použitelný a dobře srozumitelný, odrážet přínos akademického pracovníka pro fakultu, akceptovat individuální zaměření akademických pracovníků (víc na pedagogiku nebo víc na VaV), • oceňovat excelentní výkon v každé ze dvou hodnocených oblastí (pedagogika, VaV) a celkově zajišťovat co nejlepší informační podporu v oblasti řízení lidských zdrojů.

Základní charakteristika modelu 

Cílem je periodické roční hodnocení výkonu akademických pracovníků ve dvou hlavních oblastech: – pedagogická činnost – vědeckovýzkumná činnost



Rozdílné požadavky jsou kladeny na různé pracovní pozice: ‒ asistent, odborný asistent, docent, profesor (doktorand, výzkumný pracovník, lektor)



Model rovněž zohledňuje: – zatížení pracovníka akademickými funkcemi a manažerskou činností a počítá celkové vytížení akademického pracovníka.

Postup hodnocení - přehledně 1. Vyplnění aktivit a výsledků do dotazníku 2. Výpočet bodových hodnocení v pedagogice, VaV

3. Výpočet standardizovaných hodnocení (vzhledem k pracovním pozicím) v pedagogice, VaV 4. Výpočet celkového hodnocení (pedagogika + VaV) 5. Výpočet celkového vytížení pracovníka (celkové hodnocení + zatížení akad. funkcemi)

Hodnocené činnosti 1. Pedagogická oblast: a) Pedagogická činnost spojená s výukou b) Pedagogická činnost spojená s vedením studentů c) Organizační činnost spojená s rozvojem studia 2. Vědeckovýzkumná oblast: a) Bodované výsledky VaV b) Další výstupy VaV c) Organizační činnost spojená s VaV 3. Akademické funkce a manažerská činnost

Hodnocené činnosti - pedagogika 1a) Pedagogická činnost spojená s výukou: – – – – – – – – –

Počet hodin přednášek (součet týdenních hodin za LS a ZS) Počet hodin cvičení (součet týdenních hodin za LS a ZS) Počet zkoušených studentů v daném roce Počet udělených kolokvií Počet udělených zápočtů Počet zkoušených studentů u státních závěrečných zkoušek Počet zkoušených studentů u státních doktorských zkoušek Počet skript nebo e-lerningových studijních opor …

Hodnocené činnosti - pedagogika 1b) Pedagogická činnost spojená s vedením studentů: – Počet bakalářských/diplomových prací – Počet oponentních posudků na bakalářské/diplomové práce – Počet doktorandů, kteří předložili disertačních práci k obhajobě, počet ostatních vedených doktorandů – Počet oponentních posudků na disertační práce – Počet vedených prací SVOČ – Počet oponentních posudků na práce SVOČ – ….

Hodnocené činnosti - pedagogika 1c) Organizační činnost spojená s rozvojem studia: – – – – – – – – –

Garant studijního oboru Předseda rady doktorského studijního oboru Příprava akreditace/reakreditace studijního oboru Koordinátor projektu mezinárodní spolupráce (Erasmus …) Koordinátor studentských praxí Hlavní řešitel grantu organizačně-pedagogického charakteru Organizátor soutěží SVOČ (O cenu děkana PřF…) Organizátor středoškolských soutěží (olympiády, Klokan…) Organizátor akcí sloužících k přímé propagaci studia (Den otevřených dveří, Gaudeamus) – …

Hodnocené činnosti – věda a výzkum 2a) Výsledky VaV započitatelné dle platné metodiky: – Článek v impaktovaném časopise, v recenzovaném časopise – Odborná kniha – Článek ve sborníku – Patent – Poloprovoz, ověřená technologie, odrůda, plemeno – Prototyp, uplatněná metodika, funkční vzorek, autorizovaný software, užitný a průmyslový vzor – Výzkumná zpráva, která je výsledkem obsahujícím utajované informace

Hodnocené činnosti – věda a výzkum 2b) Další výstupy VaV: – Článek v recenzovaném časopise nebo recenzovaném sborníku nespadající do hodnocení v rámci bodu 2a) s přiměřeně nižším bodovým hodnocením – Zvaná přednáška na mezinárodní nebo tuzemské konferenci – Příspěvek na mezinárodní nebo tuzemské konferenci – Zvaná přednáška na zahraniční nebo tuzemské univerzitě – Recenze článku do impaktovaného/neimpaktovaného časopisu nebo sborníku, recenze knihy – Oponentní posudek habilitační práce – Oponentní posudek přihlášky grantového projektu/závěrečné zprávy grantového projektu – …

Hodnocené činnosti – věda a výzkum 2c) Organizační činnosti související s VaV: – – – – –

Hlavní řešitel /člen týmu grantu výzkumného charakteru Člen výboru mezinárodní/národní vědecké společnosti Člen organizačního výboru mezinárodní/národní konference Šéfredaktor/člen redakční rady odborného časopisu Popularizace vědního oboru na středních školách (vedení prací SOČ, Badatel, Otevřená věda atp.) – Popularizace vědního oboru v médiích a na veřejných akcích – …

Akademické funkce a manažerská činnost  Zohlednění časového zatížení akademického pracovníka vykonávajícího následující funkce: – – – – – – – – – –

rektor, děkan prorektor, proděkan předseda akademického senátu UP, PřF UP člen akademického senátu UP, PřF UP zástupce v Radě vysokých škol zástupce PřF UP a UP v dalších institucích a výborech (FRVŠ,…) předseda VPRO vedoucí katedry tajemník katedry ….

Výpočet bodového hodnocení pro každou oblast hodnocení 

Akademický pracovník v dané pracovní pozici zadá kvantitativní údaje o svých činnostech v dané oblasti hodnocení např. počty týdenních hodin přednášek v LS a ZS



Pro jednotku každé z činností je stanoveno bodové hodnocení dle relativní časové náročnosti a důležitosti této aktivity v rámci dané skupiny činností např. výuka nového předmětu je 2x náročnější než rutinní výuka.



Bodová hodnocení pracovníka za danou skupinu činností se sečtou.

Výpočet standardizovaných hodnocení pro danou oblast a pracovní pozici 

Standardizovaná hodnocení h1,h2 akademického pracovníka v pedagogice a VaV představují násobky standardu určeného pro danou oblast hodnocení a danou pracovní pozici:

hi 

bi,j bi,jst

, i  1,2, j  1,2,3,4

kde: bi,j ..... dosažené bodové hodnocení akademického pracovníka na j-té pozici (1=asistent, 2=odb.asistent, 3=docent, 4=profesor) v i-té oblasti hodnocení (1=pedagogika, 2=výzkum), bi,jst ... standardní bodové hodnocení pro i-tou oblast a j-tou pozici.

Výpočet celkového hodnocení v pedagogice+VaV - jazykové fuzzy škály pro vstupní proměnné 

Jazyková fuzzy škála první vstupní proměnné:



Jazyková fuzzy škála druhé vstupní proměnné:

Výpočet celkového hodnocení v pedagogice+VaV - jazykově zadaná agregační funkce 

Báze fuzzy pravidel: Vědeckovýzkumná činnost – výkon pracovníka

Celkový výkon pracovníka v pedagogice a VaV

Pedagogická činnost – výkon pracovníka

Velmi nízký

Nízký

Standardní

Vysoký

Extrémní

Velmi nízký

Nevyhovující

Nevyhovující

Substandardní

Standardní

Velmi dobrý

Nízký

Nevyhovující

Nevyhovující

Substandardní

Velmi dobrý

Vynikající

Substandardní

Substandardní

Standardní

Velmi dobrý

Vynikající

Vysoký

Standardní

Velmi dobrý

Velmi dobrý

Vynikající

Vynikající

Extrémní

Velmi dobrý

Vynikající

Vynikající

Vynikající

Vynikající

Standardní

Výpočet celkového hodnocení v pedagogice+VaV - inferenční algoritmus Sugeno-Yasukawa 

Výsledná agregační hodnotící funkce H=f(h1,h2):

Výpočet celkového hodnocení v pedagogice+VaV - jazyková interpretace výsledku 

Jazyková fuzzy škála výstupní proměnné:



Vypočtené hodnocení H je interpretováno jazykově: Je-li např. H=1,6, tj. VD(H)=0,8 a V(H)=0,2, pak celkové hodnocení je z 80% velmi dobré a z 20% vynikající.

Výpočet celkového vytížení pracovníka - analogicky

Celkové vytížení pracovníka

Téměř žádné

Menší

Výrazné

Extrémní

Velmi nízké

Nízké

Standardní

Extrémní

Nízké

Standardní

Vysoké

Extrémní

Standardní

Standardní

Vysoké

Extrémní

Extrémní

Velmi dobrý

Vysoké

Extrémní

Extrémní

Extrémní

Extrémní

Extrémní

Extrémní

Extrémní

Nevyhovující Celkový výkon pracovníka ve výuce, vědě a výzkumu

Zatížení pracovníka akademickými funkcemi a manažerskou činností

Substandardní

Vynikající

Ukázka hodnocení akademického pracovníka v IS HAP

Zkušenosti z pilotního testování modelu hodnocení akademických pracovníků

Testování modelu hodnocení  Přírodovědecká fakulta UP v Olomouci:  2010 – Katedra experimentální fyziky  2011 – 14 kateder a pracovišť  2012 – 10 vybraných kateder (po dvou z každého oboru) 

Získané zkušenosti:  Vítáno uložení všech informací o činnosti akademického pracovníka na jednom formuláři  Vyhovuje jednotná struktura činností napříč obory  Vyhovují jednotné standardy pro všechny obory fakulty  Požadovány byly datové pumpy z jiných systémů (STAG,…) a uživatelský komfort nutnost implementace modelu v podobě klasického informačního systému IS HAP

Oponentura modelu hodnocení a IS HAP 

Realizace oponentury zadaná děkanem PřF: duben - květen 2012



Oponenti:  Celková filozofie hodnocení a matematický model: prof. Ramík (OPF SU Opava)  Softwarové řešení, IS HAP: Katedra informatiky PřF UP



Výsledky oponentury: jednoznačně pozitivní



Rozhodnutí děkana PřF UP: od r. 2012 rutinní využívání IS HAP na PřF UP

Testování modelu hodnocení  Fakulta informatiky a statistiky VŠE Praha:  2012 – testování v rámci celé fakulty 

Získané zkušenosti:  Vyhovuje struktura hodnocených činností (minimální úpravy).  Nastavením parametrů modelu je možné model přizpůsobit fakultě s velmi odlišným typem studijních oborů.  Do systému lze relativně snadno zapracovat speciální požadavky uživatele (zde specifický model hodnocení publikační činnosti).

Ohlasy modelu hodnocení a IS HAPu 

Zájem z českých VŠ:  Jihočeská univerzita  Vysoká škola finanční a správní  UJEP v Ústí nad Labem  Technická univerzita v Liberci  Masarykova univerzita Systém hodnocení je třeba začlenit do různorodých informačních systémů univerzit, IS HAP je k tomu dobře připraven.

 Ohlas ze zahraničí:  Slovensko - UKF v Nitře  Finsko – univerzity v Turku a Lappeenrantě  Itálie – univerzity v Trentu a Benátkách Zájem o společný výzkum v oblasti modelů hodnocení akademických pracovníků.

Srovnání se zahraničními a tuzemskými modely

Analyzované zahraniční modely  Texas A&M University, Kingsville, USA,  University of Wisconsin, Oshkosh, USA  University of Technology, Sydney, Austrálie  Flinders University, Adelaide, Jižní Austrálie  Wayne State University, Detroit, Kanada Společné rysy modelů:  Výrazná role hodnotitelů (vedoucí pracovníci nebo profesionální hodnotitelé)  Uplatnění poznatků z teorie řízení lidských zdrojů  Není přímá vazba na finance

Analyzované tuzemské modely  Masarykova univerzita v Brně Právnická fakulta

 Univerzita Tomáše Bati ve Zlíně Fakulta aplikované informatiky

 UJEP v Ústí nad Labem Fakulta životního prostředí

 Univerzita Pardubice Dopravní fakulta Společné rysy modelů:  Snaha eliminovat subjektivní vliv hodnotitele  Bodování činností, popř. převedení na hodiny a dělení fondu pracovní doby mezi jednotlivé oblasti

 Snaha o přímou vazbu na finanční ohodnocení

Závěr

Přednosti navrženého modelu hodnocení 

IS HAP slouží informační podpoře řízení lidských zdrojů v akademickém prostředí.



Využití nástrojů jazykově orientovaného fuzzy modelování zaručuje dobrou srozumitelnost modelu hodnocení i jeho výstupů jak pro hodnotitele, tak hodnocené (verbální popisy).



Model hodnocení je možné pomocí volitelných parametrů nastavit na podmínky vysokých škol velmi rozdílného typu, přizpůsobit jej různým cílům řízení.



IS HAP je zpracován tak, aby jej bylo možné dobře napojit na jiné informační systémy.

Děkuji za pozornost Kontakty: doc. RNDr. Jana Talašová, CSc. e-mail: [email protected] Mgr. et Mgr. Jan Stoklasa e-mail: [email protected]

Literatura 1. Torra, V., Narukawa, Y.: Modeling Decisions. Springer, Heidelberg, 2007, ISBN 978-3-540-68789-4 2. Sugeno, M. & Yasukawa, T.: A fuzzy-logic-based approach to qualitative modeling. IEEE Transactions on fuzzy systems, 1 (1), 1993, pp. 7-31. 3. Stoklasa, J., Talašová, J., Holeček, P: Academic staff performance evaluation – variants of models. Acta Polytechnica Hungarica 8 (3), 2011, pp. 91 – 111.