UNIVERZITA PALACKÉHO V OLOMOUCI PŘÍRODOVĚDECKÁ FAKULTA KATEDRA MATEMATICKÉ ANALÝZY A APLIKACÍ MATEMATIKY
DIPLOMOVÁ PRÁCE
Modely hodnocení akademických pracovníků na českých vysokých školách
Vedoucí diplomové práce:
Vypracoval:
doc. RNDr. Jana Talašová, CSc.
Jan Šanovec
Rok odevzdání: 2012
AME, II. ročník
Prohlášení Prohlašuji, že jsem diplomovou práci zpracoval samostatně pod vedením doc. RNDr. Jany Talašové, CSc. a s použitím uvedené literatury.
V Olomouci dne 25. března 2012
Poděkování Na tomto místě bych rád poděkoval své vedoucí diplomové práce doc. RNDr. Janě Talašové, CSc za více než odborné vedení, cenné rady a připomínky, které mi při zpracování této práce poskytovala. Dále děkuji své rodině a přátelům, kteří mi po celou dobu studia důvěřovali a podporovali mě.
Obsah Úvod ...................................................................................................................................... 5
1
2
Přehled matematického aparátu použitelného v oblasti hodnocení ........................ 6 1.1
Obecná úloha vícekriteriálního rozhodování ...................................................... 6
1.2
Agregační operátory ........................................................................................... 8
1.3
Choquetův integrál............................................................................................ 15
1.4
Využití fuzzy matematiky v oblasti hodnocení ................................................ 17 1.4.1
Popis fuzzy aparátu............................................................................. 17
1.4.2
Fuzzy vážený průměr ......................................................................... 18
1.4.3
Fuzzy OWA operátor ......................................................................... 19
1.4.4
Fuzzy expertní systém ........................................................................ 20
Analýza modelů hodnocení AP ................................................................................. 21 2.1
Hodnocení lidských zdrojů v organizaci .......................................................... 21
2.2
Metody hodnocení lidských zdrojů na univerzitách ......................................... 22 2.2.1
Analýza modelů hodnocení AP využívaných na zahraničních univerzitách ........................................................................................ 24 2.2.1.1 Texas A&M University, Kingsville, USA ............................. 24 2.2.1.2 Univerzity of Wisconsin Oshkosh, USA ................................ 39 2.2.1.3 University of Technology Sydney, Austrálie ......................... 42 2.2.1.4 Flinders University, Adelaide, Jižní Austrálie ....................... 46 2.2.1.5 Wayne State University, Detroit, Kanada .............................. 51
2.2.2
Analýza modelů hodnocení AP využívaných na tuzemských univerzitách ........................................................................................ 55 2.2.2.1 Masarykova Univerzita v Brně, Právnická fakulta................. 55 2.2.2.2 Univerzita Tomáše Bati ve Zlíně, Fakulta aplikované informatiky ............................................................................. 58 2.2.2.3 Univerzita Jana Evangelisty Purkyně v Ústí nad Labem, Fakulta životního prostředí ..................................................... 62 2.2.2.4 Univerzita Palackého v Olomouci, Přírodovědecká fakulta... 63
3
Návrh modelu hodnocení AP..................................................................................... 69
Závěr ................................................................................................................................... 74
Seznam příloh .................................................................................................................... 75
Literatura ........................................................................................................................... 76
Úvod Stěžejním úkolem této práce je shromáždění a analýza dostupných modelů hodnocení akademických pracovníků (dále jen „AP“) využívaných na zahraničních a tuzemských univerzitách a studium matematických přístupů, které je možno při hodnocení použít. Na základě této analýzy je pak navržen model hodnocení určený pro českou vysokou školu. Téma hodnocení pracovníků nebylo zvoleno náhodou, protože dnešní doba nutí všechny veřejné i soukromé subjekty k úsporám a efektivitě. Klíčem k úsporám je znalost procesů a jejich přínosů pro daný subjekt. A cestou k odhalení přínosů je hodnocení těchto procesů. Pro hodnocení výkonů pracovníků organizací, jež se orientují na výrobu zboží či poskytování služeb, existuje nesčetné množství metod. Bohužel tyto metody jsou při hodnocení AP v zásadě nepoužitelné, protože jejich práce je velmi specifická a její objektivní hodnocení je úkol přinejmenším obtížný. Práci AP lze obecně rozdělit do třech základních oblastí: výuka, výzkum a organizační činnost. V postupech hodnocení se však univerzity rozchází a panují v nich rozdíly, které vyplývají ze zaměření univerzity. Tyto rozdíly se vyskytují nejen při srovnání univerzit z různých zemí, ale i při analýze systémů hodnocení využívaných univerzitami na území jednoho státu. Výstupem
práce
bude
samostatný
model
hodnocení
AP,
ve
kterém
se budu snažit o kombinaci výhod všech studovaných systémů a eliminaci jejich nevýhod. Mým
cílem
je
promítnout
do
konečného
hodnocení
zájmy
hodnotitelů
i hodnocených a jsem si vědom toho, že tyto zájmy mohou být i protichůdné. Text práce je tematicky rozdělen do tří kapitol. V první kapitole je definován matematický aparát, který je možno využít v celé oblasti hodnocení pracovníků. Jedná se zejména o agregační operátory a metody z oblasti fuzzy matematiky. Kapitolou je proložen modelový příklad na hodnocení AP, jejichž výsledky ukazují rozdílnosti v použití odlišných agregačních operátorů. V první části druhé kapitoly se věnuji samotné analýze existujících modelů hodnocení AP na univerzitách v USA, Kanadě a Austrálii, druhá část zahrnuje
tuzemské
univerzity
v Brně,
Ústí
nad
Labem,
Zlíně
a
Olomouci.
Ve třetí a závěrečné části diplomové práce je navrhnut výše zmiňovaný model hodnocení AP.
5
1
Přehled matematického aparátu použitelného v oblasti
hodnocení V této úvodní kapitole nadefinujeme matematický aparát, který je standardně využíván v teorii vícekriteriálního rozhodování a hodnocení. Kapitola obsahuje také zpracována s použitím literatury 1, … 10 .
stručný přehled agregačních operátorů, kterých je v této oblasti využíváno. Kapitola byla
1.1
Obecná úloha vícekriteriálního rozhodování
Nechť
= 1, 2, … ,
= 1, 2, … ,
a
je
množina
racionálních
účastníků
rozhodovací
situace
je množina indiferentních účastníků. Předpokládejme, že každý
racionální účastník
∈
má k dispozici množinu
variant rozhodnutí. Množinu
možných stavů vznikajících v důsledku působení indiferentního účastníka . Výsledkem rozhodovací situace nazveme prvek množiny variant
∈
označíme
, jejíž prvky jsou
voleny racionálními účastníky a stavy, které nastaly v důsledku působení indiferentních =
účastníků, a je dána
× …×
×
× …×
.
Dále předpokládejme, že každý racionální účastník je seznámen se závislostí mezi výsledky rozhodovací situace a
různými efekty, které mu z konkrétního výsledku
plynou. Tuto závislost pro -tého racionálního účastníka vyjadřuje hodnotící funkce
pro
= 1, … , .
= ! , !" , … , !# , V dalším
tj.
:
textu
se
omezíme
ve
kterých
→
na
úlohy
vystupuje
(dále „hodnotitel“), jehož hodnotící funkce
:
s konečnou
pouze →
jeden
množiny variant
variant,
racionální
účastník
je známá. Varianty jsou
posuzovány na základě předem určeného cíle hodnocení $% dle popsaných množinou kritérií & = & , &" , … , &
množinou
stanovených hledisek
. Úkolem hodnotitele je vybrat z dané
variantu ! ∗ , která je nejlepší vzhledem.ke.stanovené množině kritérií &,
přičemž musí brát v patrnost i informace související s touto množinou (charakter jednotlivých kritérií, relativní významnost, vzájemné závislosti, atd.).
6
Nutnými vlastnostmi množiny & jsou
a) úplnost (celkový cíl hodnocení $% je bezezbytku vyjádřen množinou &),
b) měřitelnost (lze stanovit důsledek varianty vzhledem ke všem kritériím), c) uvažovaná kritéria se vzájemně nepřekrývají (neredundance). Sestavení takové množiny je obtížný a těžko formalizovatelný proces. Přístupů k vytvoření množiny je vícero: použití již existujících množin kritérií u podobných rozhodovacích problémů, spolupráce s experty nebo tvorba originální množiny kritérií. metoda stromu dílčích cílů. Podstatou této metody je rozdělení celkového cíle $% na cíle V praxi jsou tyto přístupy kombinovány. Pro tvorbu originální množiny kritérií je vhodná
dílčí, které jsou opět děleny na své podcíle. Proces větvení končí v případě, kdy dílčímu
charakteristiku. Tyto charakteristiky tvoří množinu kritérií &. Kořen stromu představuje
cíli lze přiřadit relativně dobře vyhodnotitelnou kvantitativní nebo kvalitativní
celkový cíl hodnocení, na konce jeho větví jsou vázána kritéria hodnocení. Celý proces je znázorněn na obrázku 1.1.
Obr. 1.1 Strom dílčích cílů
Vlastnosti a základní rozdělení kritérií je podrobně probráno v 1 .
Definice 1.1 Nezáporná reálná čísla ( , … , ( , () ∈ 〈0, 1〉, , = 1, … ,
, která vyjadřují
váhy kritérií & , … , & .
rozdílnou významnost jednotlivých kritérií vhledem k celkovému cíli hodnocení, nazveme
Většina agregačních metod používá normované váhy, tedy platí ∑). () = 1.
Užitím následujícího vzorce lze nenormované váhy /) , /) ≥ 0, , = 1, … , na váhy normované
() =
/)
∑1. /1
transformovat
.
7
Typologie metod a jejich základní principy jsou uvedeny v 1, 2 . Konkrétní interpretace V současné době existuje velký počet metod ke stanovení vah jednotlivých kritérií.
vah se různí v závislosti na použitých agregačních metodách, které ke stanovení celkového hodnocení variant využívají váženého průměru.
1.2
Agregační operátory
Všechny metody vícekriteriálního hodnocení a rozhodování uvažované dále lze vyjádřit vztahem ℎ4!5 = 6 (7 ℎ7 4!5, 7.
kde (7 je nezáporná normovaná váha i-tého kritéria, ℎ7 4!5 značí dílčí hodnocení varianty ! vzhledem k i-tému kritériu a ℎ4!5 je celkové hodnocení varianty vzhledem k dané
množině kritérií. Obecněji lze agregaci dílčích hodnocení provést pomocí některého z agregačních operátorů. Definice 1.2 Agregační operátor A na intervalu 8, kde 8 ⊆ ℝ, je posloupnost ;7 agregačních zobrazení
; 4!5 = ! pro každé ! ∈ 8,
která splňují následující podmínky: (i) (ii)
;7 : 87 → 8,
< 7.
;# 4! , !" , … , !# 5 ≤ ;# 4> , >" , … , ># 5, jestliže !) ≤ >) pro ∀ , = 1, 2, … , A
a A = 2, 3, …,
(iii) pro ! C = inf 8 a ! G = sup 8 platí lim
4MN ,…,MO 5→4M P ,…,M P 5
lim
4MN ,…,MO 5→4M Q ,…,M Q 5
;# 4! , … , !# 5 = ! C
;# 4! , … , !# 5 = ! G .
První podmínkou je řečeno, že zobrazení ; je identita. Druhá podmínka vyjadřuje,
že agregační zobrazení ;# jsou neklesajícími funkcemi ve všech svých proměnných. Třetí
a poslední podmínka je vyjádřením přirozených okrajových podmínek pro jednotlivá
agregační zobrazení, tzn. pokud se hodnoty.jednotlivých.proměnných blíží nejmenším, Nejdůležitější vlastnosti agregačních operátorů jsou podrobně popsány v 3 .
resp. největším možným, pak i výsledek agregace je nejhorší, resp. nejlepší možný.
8
Nejjednoduššími a zároveň nejvyužívanějšími agregačními operátory jsou aritmetický a vážený aritmetický průměr. Definice 1.3 Zobrazení ; dimenze m, jestliže
: ℝ → ℝ nazveme aritmetický průměr (Aritmetic Mean) ;
4R , … , R 5 =
1
6 R7 . 7.
Poznámka 1.1 Aritmetického průměru je využíváno v případech, kdy jsou si podíly všech kritérií na celkovém cíli rovny. Jednoznačnou výhodou a důvodem oblíbenosti tohoto agregačního operátoru je jeho jednoduchost jak v použití, tak v interpretaci výsledků. Právě jeho jednoduchost však brání jeho využití v objektivním modelu hodnocení AP. Příklad 1.1 Máme stanovit celkové hodnocení dvou akademických pracovníků Z , Z" .
Uvažujme hodnocení dle tří kritérií: pedagogická činnost 4& 5, věda a výzkum 4&" 5
a organizační činnost 4&T 5, přičemž hodnocení jsou definována na intervalu 〈0, 10〉,
kde 0 vyjadřuje nulovou aktivitu a 10 excelenci v dané oblasti. Vektor hodnocení
UV , , = 1,2, který popisuje dílčí hodnocení pracovníků v uvažovaných oblastech, nechť má
např. pro Z hodnoty UW = 46, 9, 25 a pro Z" UZ = 49, 5, 45.
K výpočtu využijeme aritmetického průměru, tzn. máme srovnatelná kritéria
bez informace o preferencích hodnotitele (zaměstnavatele či nadřízeného AP). Celkové hodnocení
Z = 1⁄3 ∑T_. h_ = 5. 66. Z" = 1`3 ∑T_. h_" = 6.
Problém představující nemožnost vyjádření jakýchkoliv priorit hodnotitele či hodnoceného u AM odstraňuje vážený aritmetický průměr. Definice 1.4 Nechť a je normovaný váhový vektor dimenze b;
, pak zobrazení
: ℝ → ℝ nazýváme vážený aritmetický průměr (Weighted Aritmetic Mean)
o rozměru
, jestliže
b;
4R , … , R 5 = 6 7.
7 R7 .
9
Poznámka 1.2 Vážený aritmetický průměr je využíván v případech, kdy chceme v procesu přiznávání prospěchových stipendií 4 . Na Texas A&M University je WAM
vyjádřit preference hodnotitele. Na Univerzitě Palackého v Olomouci je WAM využíváno
možno individuálně měnit 5, 6 . Výhodou uplatnění WAM ve vícekriteriálním hodnocení
využíván pro výpočet celkového hodnocení, kdy váhy jednotlivých hodnocených oblastí je
AP je již zmiňovaná možnost přiřadit hodnoceným oblastem váhu dle priorit hodnotitele
a jeho jednoduchost. Naopak v našem případě hodnocení AP použití WAM omezuje svobodu AP zvolit si do jisté míry směr svého snažení. Tento operátor není navíc schopen zdůraznit excelenci v některé z hodnocených oblastí.
Příklad 1.2 Uvažujme stejné AP jako v příkladu 1.1. Jejich hodnotitelé rozhodli c = 40.3, 0.5, 0.25. o
preferencích
jednotlivých
Celkové hodnocení
oblastí,
které
lze
váhovým
vyjádřit
vektorem
Z = ∑T_. v_ h_ = 6.7 Z" = ∑T_. v_ h_" = 6.
Agregačním operátorem, který v případě hodnocení výkonu AP částečně umožňuje hodnocenému subjektu rozhodnout o rozložení svého úsilí, je uspořádaný vážený průměr známý též jako OWA operátor. Definice 1.5 Nechť f je normovaný váhový vektor o rozměru
gb; : ℝ → ℝ označíme jako uspořádaný vážený průměr (Ordered Weighted Average) dimenze
, jestliže
gb; 4R , … , R 5 = 6 /7 Rh475 ,
kde j415, … , j4 5 je permutace z 1, … , k = 2, … ,
, pak zobrazení
í.
taková, že Rh47C
, tzn. Rh475 je i-tý největší prvek z R , … , R .
5
≥ Rh475 pro všechna
Z tabulky 1.1 je zřejmé, že výše zmiňovaný agregační operátor AM je jedním
ze speciálních případů OWA operátoru.
10
Tab. 1.1 Speciální případy OWA operátoru 3 .
Poznámka 1.3 Agregační operátor OWA byl využit v prvním návrhu modelu hodnocení akademických pracovníků na Přírodovědecké fakultě Univerzity Palackého v Olomouci, který je popsán v kapitole 2. Použití OWA operátoru dává možnost AP zvolit směr svého zaměření,
ale
současně
bere
hodnotiteli
možnost
výrazněji
korigovat
a usměrňovat jeho činnost podle svých potřeb. využitím OWA operátoru. Váhový vektor c = 40.5, 0.3, 0.25.
Příklad 1.3 V námi uvažovaném modelovém příkladu nyní vypočteme celkové hodnocení Prvním krokem výpočtu je přeuspořádání složek vektorů hodnocení UW a UZ tak,
aby oblasti, ve které AP získal nejvyšší hodnocení, mohla být vždycky přiřazena nejvyšší váha, druhému nejvyššímu hodnocení druhá nejvyšší váha, atd. Celkové hodnocení
Z = ∑T_. v_ h_ = 6.7.
Z" = ∑T_. v_" h_" = 6.8. Výčet agregačních operátorů, kterých je využíváno v oblasti hodnocení, zakončíme váženým OWA operátorem, který je využíván v případech, kdy je třeba vzít v úvahu nejen význam kritérií hodnocení, ale také velikost dílčích hodnocení. Definice 1.6 Nechť a a f jsou váhové vektory dimenze bgb;
dimenze
,m :
→
, pak zobrazení
nazýváme WOWA operátor (Weighted Ordered Weighted Average)
, jestliže bgb;
,m 4!
, … , ! 5 = 6 n7 !h475 , 7.
11
kde j je definována jako v případě OWA operátoru (tj. !h475 je i-tý největší prvek z množiny variant ! , … , ! ) a váha n7 je definována formulí n7 = o p6
h4)5 r
)q7
− o p6
kde o je neklesající funkce, která interpoluje body up
k
, 6 /) rv )q7
7. ,…,
h4)5 r,
)t7
w 40, 05 .
x, kde váhy jsou definovány jako přírůstky funkce o.
Poznámka 1.4 WOWA operátor je lineární kombinací hodnot s ohledem na váhový vektor
Podívejme se nyní podrobněji na tvorbu a vlastnosti funkce o. WOWA operátor
určuje složky váhového vektoru n7 pro každou hodnotu !7 s ohledem na oba váhové
vektory a a f. Vlastnosti platící pro prvky váhových vektorů nám zaručí, že výsledná funkce o bude monotónní.
Obecně, jsou-li hodnotitelem prostřednictvím vektoru vah f zdůrazňovány nízké
hodnoty !7 , pak se příslušné počáteční váhy
7
pro nízké hodnoty !7 zvyšují, n7 ≥
h475 .
Stejně tak, je-li důležitost kladena na vysoké hodnoty !7 a hodnota !7 je nízká, dostáváme n7 <
h475 .
Nízké a vysoké hodnoty přitom chápeme jako relativní.
V rámci konstrukce funkce o musíme zavést vektor složený z rovnoměrně
rozdělených vah az = 4
jestliže množinou bodů
up6 )q7
%
,…,
% h4)5
%
5 = {1` , … , 1` |. Samotnou funkci o získáme,
, 6 /) rv )q7
7. ,…,
proložíme křivku. V případě, že ∃ k = 1, … ,
= up
k
: ∑7).
, 6 /) rv ,)q7
)
<
7. ,…,
% h4 5 ,
rozšíříme uvažovanou
množinu o souřadnice bodu 0. Všimněme si, že rozdíly dvou po sobě jdoucích bodů
na ose Y vedou k /7 a rozdíly dvou po sobě jdoucích bodů na ose X vedou k hodnotám % h475 .
/ a
Z předpisu takto zkonstruované funkce již můžeme vypočítat hodnoty vektoru x.
Pro přiblížení popíšeme konstrukci váhy pro !h4 5 , tedy pro největší prvek s váhami h4 5 .
Je-li
h4 5
>
% h4 5
= 1⁄ , pak n > / . Pokud zvýšíme
h4 5
ve vztahu
12
k
% h4 5
(tj.
h4 5 |
< o{
odpovídá o{
h4 5
hodnotě
=
% h4 5 |.
% h4 5
+ €, € > 0), pak o{
n = o{
% h4 5
+ €| > /7 .
> o{
Pokud
by
% h4 5 |.
Hodnota o{
h4 5
<
% h4 5 ,
h4 5 |
potom
Výpočet váhy druhého největšího prvku !h4"5 je komplikovanější (obr. 1.2).
V tomto případě je kumulovaná hodnota
% h4 5
To je důvod, proč pracujeme s hodnotou o{ Váhu n" získáme jako o{ tak na
h4 5 |
h4 5 .
h4 5
+
h4"5 |
+
h4 5
− o{
% h4"5
+
h4 5 |.
přesunuta do bodu
h4"5 |
h4 5
+
h4"5 .
= n + n" , obrázek 1.2 (a).
Hodnota n" závisí jak na
Obecně je postup znázorněn na obrázku 1.2 (b).
h4"5 ,
Obr. 1.2 Odvození hodnot vektoru x: (a) odvození n" ; (b) obecný postup pro odvození n7 7 .
jsou seřazeny sestupně, s příslušnými váhovými vektor a• , f• a a‚ , f‚ . Urči
Příklad 1.4 Mějme dva libovolné vektory pozorování a dimenze 4 a b dimenze 5, které vektory x• a x‚ , jestliže a• = 40.3, 0.5, 0.15, 0.055, f• = 40.4, 0.25, 0.25, 0.15 a a‚ = 40.15, 0.25, 0.5, 0.05, 0.055, f‚ = 40.62, 0.15, 0.1, 0.07, 0.065.
Pokud budou mít vektory R a ƒ uspořádány složky od největší po nejmenší, budou
konstrukci funkce o.
příslušné složené váhové vektory vypadat následovně, proto můžeme přistoupit ke
13
1
1
0,8
0,8
0,6
0,6
0,4
0,4
0,2
0,2
0
0 0
0,25
Funkce o• 0,5
0,75
1
0
x• = 40.48, 0.24, 0.27, 0.015
0,2
Funkce o‚
0,4
0,6
0,8
1
x‚ = 40.46, 0.31, 0.2, 0.015, 0.0155
Preference hodnotitele se dá velmi dobře pozorovat z tvaru funkce o. Na obrázku
1.4 jsou zachyceny situace, kdy hodnotitel klade důraz na velké (a), střední (b) a malé (c) hodnoty. Graf (d) znázorňuje situaci, kdy preference hodnotitele jsou rovnoměrně rozděleny.
Obr. 1.4 Tvary funkce o 7 .
Příklad 1.5 Pro výpočet hodnocení AP Z a Z" nyní využijeme WOWA operátor. Nejdříve musíme určit vektor x.
1,0
1,0
0,8
0,8
0,6
0,6
0,4
0,4
0,2
0,2
0,0 0
Funkce o pro Z 1/3
2/3
0,0 1
0
Funkce o pro Z" 1/3
2/3
1
Nově vytvořené váhové vektory x„ = 40.28, 0.6, 0.125 a x… = 40.52, 0.36, 0.125. Celkové hodnocení
Z = ∑T_. ω_‡ h_ = 7.32.
Z" = ∑T_. ω_ˆ h_" = 6.96. 14
Z tabulky 1.2 můžeme pozorovat, jak se mění hodnocení stejných AP v závislosti na použitém agregačním operátoru. Agregační
Výsledek hodnocení
‰‰‰‰ Z = 5. 66
operátor AM
Z" = 6
Z = 6.7
WAM
Z" = 6
Z = 6.7
OWA
Z" = 6.8
Z = 7.32
WOWA
Z" = 6.96
Tab 1.2 Srovnání výsledků příkladů s AP. Na závěr se budeme věnovat vybraným vlastnostem operátoru. WOWA operátor je = 1` , ∀k = 1, … ,
zobecněním všech výše uvedených operátorů. V případě, kdy 7
bgb;
,m 4!
Jestliže f = 41⁄ , … , 1⁄ 5, pak bgb;
,m 4!
, … , ! 5 = gb;m 4! , … , ! 5, ∀ f, !7 . , … , ! 5 = b;
A navíc, je-li a = f = 41⁄ , … , 1⁄ 5, pak bgb;
⇔ x = f, pak
,m 4!
4! , … , ! 5, ∀ a, !7 .
, … , ! 5 = ; 4! , … , ! 5, ∀ !7 .
WOWA operátor je velmi detailně studován v 7 .
1.3
Choquetův integrál
Diskrétní verze Choquetova integrálu
8, 9
představuje zobecnění všech
předchozích agregačních operátorů. Z pohledu vícekriteriálního hodnocení umožňuje Choquetův integrál vyjádřit takový systém preferencí v kriteriální množině, kdy preference rozhodovatele nejsou nutně aditivní. Místo klasické aditivní míry mohou být popsány zobecněnou fuzzy mírou, kde je aktivita nahrazena slabším požadavkem monotonie. Prakticky to znamená, že mezi hodnoceními dle jednotlivých kritérií mohou existovat vztahy redundance (překrývání) a naopak komplementarity. Komplementarita znamená, že splnění skupiny podcílů s sebou nese další užitek pro hodnotitele nad sumu užitků daných naplněním každého podcíle zvlášť. Význam takovéto skupiny podcílů je tedy v očích hodnotitele vyšší než je součet vah přiřazených
15
význam takové skupiny nižší než je součet jejich vah 8 .
kritériím. U redundance je situace opačná, dílčí cíle se vzájemně překrývají, proto je Choquetův integrál je definován jako integrál funkce o s ohledem na fuzzy míru ‹.
V našem případě pro každou hodnocenou variantu ! funkce o vyjadřuje hodnocení
této varianty vzhledem k jednotlivým podcílům (resp. hodnocení vzhledem ke kritériím spojeným s těmito podcíly). Fuzzy míra pak vyjadřuje významnost definovanou pro všechny podmnožiny podcílů daného celkového cíle (resp. pro všechny podmnožiny kritérií z kriteriální množiny).
〈0, 1〉 splňující následující axiomy:
Definice 1.7 Fuzzy míru µ definujeme jako zobrazení z potenční množiny
(i)
(ii)
do intervalu
‹4∅5 = 0, ‹4 5 = 1,
pro ∀ ;, • ⊆
platí ; ⊆ • ⇔ ‹4;5 ≤ ‹4•5 8 .
První axiom představuje přirozené okrajové podmínky a druhý je vyjádřením monotonie. Definice 1.8 Nechť ‹ je fuzzy míra na X. Potom Choquetův integrál funkce o: s ohledem na fuzzy míru ‹ je definován jako 4Ž5 • od‹ = 6‘o{!
kde že 475
= ”!
415, … , 4 5 o{!
4 5|
≤ o{!
je
4"5 |
475 , ! 47G 5 , … , ! 4 5 •.
7.
475 |
− o{!
47C 5 |’‹{
permutace
≤ ⋯ ≤ o{!
4 5 |,
475 |,
indexů
o{!
1, … ,
4%5 |
=0
→ ℝG
tak, a
Ž–— 4R , … , R 5 = 4Ž5 ˜ o™‹,
Pokud množina X neobsahuje opakující se prvky, pak můžeme použít zápis kde o4!7 5 = R7 8 .
Věta 1.1 (alternativní vyjádření Choquetova integrálu) Nechť ‹ je fuzzy míra na Potom Choquetův integrál funkce o:
→ ℝG s ohledem na fuzzy míru ‹ je definován jako
4Ž5 • o™‹ = 6 o{!h475 |‘‹{ 7.
h475 |
− ‹{
.
h47C 5 |’,
16
kde
j415, … , j4 5
je
že o{!h4 5 | ≥ o{!h4"5 | ≥ ⋯ ≥ o{!h4
5|
permutace a kde
na
h415
1, … ,
= ”!h4)5 |, ≤ ›•, kde › ≥ 1.
taková,
Výraz ve větě je důkazem, že Choquetův integrál je stejně jako operátory WAM
a OWA lineární kombinací agregovaných (integrovaných) hodnot. Každé hodnotě o{!h475 | je přiřazena váha (7 = œ‹{ tedy ∑7. (7 = ∑7. œ‹{
h475 |
h475 |
− ‹{
− ‹{
h47C 5 |•
h47C 5 |•
= ‹{
a tyto váhy jsou normované,
h4 5 |
− ‹{
h4%5 |
= 1.
Využití Choquetova integrálu v oblasti hodnocení se věnuje 8 .
1.4
Využití fuzzy matematiky v oblasti hodnocení
V hodnocení využíváme kvantitativných i kvalitativních kritérií. Důsledky variant vzhledem k těmto kritériím mohou být nepřesné. U kvantitativních kritérií vzniká tato nepřesnost díky chybě měření a u kvalitativních subjektivním přístupem hodnotitele. Navíc váhy jsou ve většině případů stanoveny expertně, tedy nepřesně. Všechny tyto nepřesnosti lze dobře modelovat pomocí fuzzy čísel.
1.4.1
Popis fuzzy aparátu
Mějme neprázdnou množinu na univerzu
, nazveme ji univerzum. Fuzzy množina ;
je definována zobrazením ;:
Hodnotu ;4!5 pro každé ! ∈
→ 〈0, 1〉.
nazveme stupeň příslušnosti prvku ! k fuzzy množině ;
a ;4. 5 je funkce příslušnosti fuzzy množiny ;.
Jádro fuzzy množiny A označíme &ž ; a je definováno takto
&ž ; = ! ∈ |;4!5 = 1 .
Pro € ∈ 40, Ÿ1〉Ÿ označíme ; jako α-řez ;, Nosič ; označíme jako ¡¢
; = ! ∈ |;4!5 ≥ € .
;, kde ¡¢
; = ! ∈ |;4!5 > 0 .
17
Definice 1.9 Fuzzy číslem nazveme fuzzy množinu Ž definovanou na množině reálných čísel ℝ, která má následující vlastnosti: (i)
(ii)
Ž je normální fuzzy množina (má neprázdné jádro), α-řezy Ž jsou pro všechna € ∈ 40, Ÿ1〉Ÿ uzavřené intervaly,
(iii) nosič ¡¢ Jestliže ¡¢
Ž je ohraničený.
Ž ⊆ 〈R, ƒ〉, pak řekneme, že fuzzy číslo je Ž definovano na intervalu
〈R, ƒ〉. Fuzzy číslo ; můžeme zhruba charakterizovat čtveřicí bodů 4R , R" , RT , R£ 5 tak, že 〈R , R£ 〉 = Ž¤4¡¢ ¡¢
;5 a 〈R" , RT 〉 = &ž ;, kde Ž¤{¡¢
4;5| je označení pro uzávěr
4;5. Fuzzy číslo lze charakterizovat dvojicí funkcí {R, R|, R: 〈0, 1〉 → ℝ,
R: 〈0, 1〉 → ℝ
definovaných
〈R405, R405〉 = Ž¤{¡¢
takto
Ÿ € ∈ 40,1〉,
〈R4€5, R4€5〉 = ; ,
4;5|. Jestliže jsou obě funkce R, R lineární, pak fuzzy číslo ;
nazveme lineární. Řekneme, že fuzzy číslo ; = ”〈R4€5, R4€5〉, € ∈ 〈0, 1〉• je menší nebo rovno
fuzzy
číslu
• = ”〈ƒ4€5, ƒ4€5〉, € ∈ 〈0, 1〉•,
a R4€5 ≤ ƒ4€5 pro každé € ∈ 〈0, 1〉 9 .
; ≤ •,
R4€5 ≤ ƒ4€5
jestliže
Pokud máme dílčí hodnocení variant vyjádřeno fuzzy čísly, pro jejich agregaci nemůžeme použít klasické agregační operátory. Pro agregaci využijeme fuzzifikované agregační operátory.
1.4.2
Fuzzy vážený průměr
Fuzzy vážený průměr je využíván v případech, kdy váhy kritérií a dílčí hodnocení jsou vyjádřeny fuzzy čísly. FWA (Fuzzy Weighted Average) je vhodné užít pro výpočet celkového fuzzy hodnocení v případě, že -
podcíle odpovídající kritériím tvoří disjunktní rozklad celkového cíle,
-
dílčí fuzzy hodnocení vyjadřují fuzzy stupně naplnění podcílů,
-
fuzzy váhy vyjadřují neurčité podíly podcílů na celkovém cíli (resp. podíly příslušných dílčích hodnocení na hodnocení celkovém). ,…,
definovaná na 〈0, 1〉 nazveme normované fuzzy váhy,
Ÿ a pro ∀k = 1, … , jestliže pro ∀€ ∈ 40,1〉 Fuzzy čísla
platí, pro ∀(7 ∈
7
∃() ∈
)
, , = 1, … ,
,
18
, ≠ k: (7 + ∑). () = 1. Ostré normované váhy jsou speciálním případem normovaných fuzzy vah.
Fuzzifikace agregačních operátorů má dva stupně. Prvním a jednodušším stupněm je fuzzifikace hodnot, které jsou agregovány a jejich váhy jsou ostré. Druhým stupněm je rozebrán v 9 . Dále se budeme zabývat jen druhým stupněm fuzzifikace.
fuzzifikace jak agregovaných hodnot, tak jejich vah. První stupeň fuzzifikace je podrobně
Definice 1.10 Nechť ;7 = ”〈R7 4€5, R7 4€5〉, € ∈ 〈0, 1〉•, k = 1, … , na
intervalu
〈0, 1〉
a
7
= ”〈(7 4€5, (7 4€5〉, € ∈ 〈0, 1〉•, k = 1, … ,
jsou fuzzy čísla jsou
příslušné
normované fuzzy váhy. Fuzzy číslo ¦b; definované na intervalu 〈0, 1〉 s funkcí příslušnosti
¦b;4!5 = max ©min ; 4R 5, … , ; 4R 5,
4( 5, … ,
6 (7 = 1, (7 , R7 ∈ 〈0, 1〉, k = 1, … , 7.
nazveme fuzzy vážený průměr 9 . 1.4.3
ª,
4( 5 | ! = 6 (7 R7 , 7.
Fuzzy OWA operátor
Dalším agregačním operátorem vhodným pro fuzzifikaci a následně použitelný v hodnocení je OWA operátor. Při jeho fuzzifikaci využijeme jeho podobnost s WA. Definice 1.12 Nechť ;7 = ”〈R7 4€5, R7 4€5〉, € ∈ 〈0, 1〉•, k = 1, … , na
intervalu
〈0, 1〉
a
7
= ”〈(7 4€5, (7 4€5〉, € ∈ 〈0, 1〉•, k = 1, … ,
normované fuzzy váhy. Fuzzy číslo 〈0, 1〉,
jsou fuzzy čísla jsou
= ¦gb; 4; , … , ; 5 definované na intervalu
= «〈>4€5, >4€5〉 , € ∈ 〈0, 1〉¬, kde
>4€5 = min ©6 (7 R475 4€5 | (7 ∈ 〈(7 4€5, (7 4€5〉, 6 (7 = 1, k = 1, … , 7.
7.
7.
7.
>4€5 = max ©6 (7 R475 4€5 | (7 ∈ 〈(7 4€5, (7 4€5〉, 6 (7 = 1, k = 1, … ,
kde ”;4 5 , … , ;4
5•
je permutace
příslušné
; ,…,;
taková, že ;4
5
nazveme fuzzy OWA operátor (Fuzzy Ordered Weighted Average) 9 .
ª,
ª,
≥ ;4"5 ≥ ⋯ ≥ ;4
5,
19
zobecnění, tedy Choquet 9 .
Obdobně jako WAM a OWA operátor lze fuzzifikovat i WOWA operátor a jejich
1.4.4
Fuzzy expertní systém
Pokud se ocitneme v situaci, kdy je mezi dílčími cíli a celkovým cílem ještě komplikovanější vztah, než jaký můžeme řešit pomocí Choquetova integrálu, je nutno použít pro agregaci důsledků variant vzhledem ke kritériím použít fuzzy expertní systém. 4-, ®4-5, X, G, M5,
Definice 1.13 Jazykovou proměnnou nazveme uspořádanou pětici kde -
- název jazykové proměnné,
®4-5 - množina termů – jazykových hodnot proměnné, X
G
M
- syntaktické pravidlo pro generování jazykových termů z ®4-5,
- univerzum,
- sémantické pravidlo, tj. pravidlo pro generování významu jazykových termů z ®4(5, fuzzy množin na X.
Způsob hodnocení variant je v případě využití fuzzy expertního systému popsán Jestliže ¶ je ¸ , a ¶" je ¸ ," a … a ¶ je ¸ , , pak º je » Jestliže ¶ je ¸", a ¶" je ¸"," a … a ¶ je ¸", , pak º je »" ………………………………………………………………………… Jestliže ¶ je ¸#, a ¶" je ¸#," a … a ¶ je ¸#, , pak º je »#
bází pravidel následujícího tvaru, která představuje jazykově vyjádřenou hodnotící funkci
kde pro k = 1, 2, … , A, , = 1, 2, … , {¶) , ®{¶) |, ) | ¸7,) ∈ ®4¶) 5
4º, ®4º5, 〈0, 1〉5 ») ∈ ®4º5
- jazykové proměnné reprezentující kritéria &) ,
- jazykové hodnoty proměnné reprezentující kritéria &) ,
- jazyková proměnná vyjadřující hodnocení variant,
- jazykové hodnoty proměnné vyjadřující hodnocení variant 1 .
Poznámka 1.5 Fuzzy expertních systémů je využito v druhém návrhu hodnocení akademických pracovníků na Přírodovědecké fakultě Univerzity Palackého v Olomouci.
20
2
Analýza modelů hodnocení AP Samotná potřeba hodnocení lidských zdrojů vychází ze změny přístupu k jejich
chápání a formování. V současné době již existuje nespočet publikací analyzujících základní smysl, funkci a poslání řízení lidských zdrojů [11].
2.1
Hodnocení lidských zdrojů v organizaci
Hodnocení lidských zdrojů je dlouhodobý a značně složitý proces. Abychom byli schopni řídit a současně i hodnotit jakoukoliv činnost, musíme znát a pravidelně vyhodnocovat spotřebu času, fyzickou a psychickou náročnost a potřebnou úroveň vzdělání, znalostí a zkušeností na činnost samotnou, resp. na činnosti dílčí. Pokud organizace trvale sleduje a aktualizuje měření a hodnocení práce v rámci uceleného systému, dosahuje lepších ekonomických výsledků.
Institut hodnocení má v organizacích plnit následující funkce: -
nástroj pro monitoring výkonu v minulosti vzhledem k dohodnutým normám,
-
nástroj pro rozhodnutí o rozdělování odměn,
-
identifikace potenciálu pracovníka,
-
zpětná vazba pro pracovníka,
-
identifikace potřeby rozvoje,
-
zlepšení výkonu pro budoucnost 11 . Pro přiblížení problematiky hodnocení pracovních zdrojů využijeme kusové
výroby. Při kusové výrobě se předpokládá, že průběh pracovního postupu je předem znám a je známa i jeho časová náročnost. Dále předpokládáme, že pracovník je schopen ovlivňovat intenzitu své práce a organizace je schopna určit, jaká intenzita práce je dostatečná pro splnění jejích cílů. Tímto vzniká potřeba měřit tuto intenzitu neboli výkon. Na základě srovnání výsledků měření se stavem žádoucím (standardy) je organizace schopna hodnotit své zaměstnance. Standardy jsou stanovovány na základě analýzy průběhu práce, při níž je měřen čas, který je třeba na dílčí pracovní procesy. Tento čas rozdělujeme do dvou skupin:
21
produktivní (základní čas činnosti včetně technicky nutných přestávek) a neproduktivní čas (pauzy, prostoje, odstávky stroje, atd.)1.
2.2
Metody hodnocení lidských zdrojů na univerzitách
Proces zajišťování a hodnocení kvality terciárních vzdělávacích institucí je procesem velmi sofistikovaným, a pokud má přinášet potřebné výsledky, musí být také procesem komplexním. Problém však nastává už ve chvíli, kdy začneme formulovat definici kvalitní vysoké školy a hledat způsob, jak její kvalitu ověřit. V současném vysokém školství jsou uplatňovány tři přístupy ke zjištění a zajištění kvality: akreditace, hodnocení kvality a audit. Akreditace je způsob zajištění kvality činnosti dané vysoké školy, jehož výsledkem je udělení, případně neudělení, oprávnění dané instituci tuto činnost vykonávat na základě konfrontace s předem daným standardem, a týká se nejčastěji studijních programů (ČR a EU) nebo celých institucí (USA). Naproti tomu hodnocení kvality může být definováno jako systematické posouzení kvality určitého subjektu expertním týmem, kdy záleží na tom, zda jsou členové expertního týmu rovněž zaměstnanci dané instituce nebo se jedná o externí hodnotitele – pak rozlišujeme hodnocení vnitřní a vnější. Posledním přístupem, který je uplatňován ke zjištění kvality vysokého školství, je audit. Ten je možno definovat jako nezávislou, objektivní, zjišťovací a konzultační činnost zaměřenou na zdokonalování procesů v organizaci. Interní audit pomáhá organizaci dosahovat jejich cílů tím, že přináší systematický metodický přístup k hodnocení a zlepšení efektivity řízení rizik, řídících a kontrolních procesů a správy a řízení organizace. v postkomunistických zemích po pádu totalitních režimů v roce 1989 12 . Hlavní rozdíl Podívejme se krátce i na historický vývoj zajišťování kvality vysokých škol
1
Problematiku normování práce upravuje zákon č. 1/1992 Sb., o mzdě, odměně za pracovní pohotovost a o průměrném výdělku,
§ 16: (1)
Zaměstnavatel může určit množství práce a požadované tempo. Přitom je povinen vzít v úvahu fyziologické a neuropsychické
možnosti zaměstnanců, předpisy o bezpečnosti a ochraně zdraví při práci a čas na přirozené potřeby, jídlo a oddech. Množství požadované práce a pracovní tempo lze stanovit též normou spotřeby práce. (2)
Zaměstnavatel je povinen zabezpečit, aby podmínky uvedené v odstavci 1 a předpoklady pro uplatnění norem spotřeby práce
byly vytvořeny před zahájením práce. Zaměstnavatel je rovněž povinen seznámit zaměstnance s požadovaným množstvím práce, s pracovním tempem, případně s normami spotřeby práce před zahájením práce a nesmí je zpětně měnit. (3)
Množství požadované práce a pracovního tempa a zavádění a změny norem spotřeby práce určuje zaměstnavatel
po projednání s příslušným odborovým orgánem, není-li tato úprava provedena v kolektivní smlouvě, pokud u zaměstnavatele odborová organizace působí.
22
mezi politikami zajišťování kvality vysokého školství v Západní a Východní Evropě spočíval v aplikaci přístupů hodnocení za účelem zdokonalování v Západní Evropě a hodnocení za účelem akreditace v zemích Evropy střední a východní. Tato rozdílnost v přístupech trvala až do roku 1999, po němž se problém zajišťování kvality vysokého školství převedl na nadnárodní úroveň v rámci Boloňského procesu2. V rámci Boloňské agendy tedy vznikla v současnosti nejvýraznější iniciativa Evropské asociace pro zajišťování kvality ve vysokém školství (European Association for Quality Assurance in Higher Education, ENQA). Doposud nejvýznamnějším dokumentem, který tato asociace vydala, jsou Standardy a postupy pro zajišťování kvality v Evropském prostoru vysokého školství (Standardy ENQA). Tento dokument obsahuje celkem 23 standardů (7 pro vnitřní procesy zajišťování kvality vysokých škol, 8 pro vnější kvality). Kompletní znění těchto standardů je k dispozici 13 . Pro tuto práci je stěžejní mechanismy zajišťování kvality vysokého školství a 8 pro agentury provádějící zajišťování Standard zajištění kvality vyučujících3.
V oblasti hodnocení výkonnosti vysokoškolského pedagoga existují dva zcela odlišné přístupy. První přístup, který je uplatňován hlavně na zahraničních vysokých školách, využívá osoby hodnotitele (nadřízeného AP), který na základě podkladů dokazujících výkon AP tento výkon hodnotí. Na českých univerzitách je v hodnotícím procesu využito seznamu aktivit a výstupů práce AP, kterým jsou přiřazeny body. Hodnocení je založeno na porovnání výsledků agregace bodů, které AP získal za svou práci, se standardy, které stanovuje univerzita. 2
V červnu roku 1999, byla podepsána 31 ministry ze 29 evropských zemí Boloňská deklarace, která zahájila tzv. Boloňský proces.
Ministři a později i vysoké školy a studenti se zavázali k vytvoření otevřeného prostoru vysokého školství v Evropě, který měl navázat a dále rozvinout předchozí spolupráci evropských zemí, která vyplývala z tzv. Sorbonnské deklarace. Cílem bylo přispět ke
zlepšení
volného
pohybu
studentů
a
AP
v
Evropě.
Sorbonnská
i
Boloňská
deklarace
byly
dále
reakcí
na.masifikace.vysokoškolského.vzdělávání, na upadající zájem studentů ze.zámoří,.zejména.z.Asie, studovat.na evropském kontinentu.
Cílem
bylo
vytvořit
do
roku
2010
atraktivní
a
mezinárodně
konkurenceschopný.Evropský.prostor.vysokoškolského.vzdělávání (European Higher Education Area – EHEA, vyhlášen 11.-12. 3. 2010) složený ze systémů.národních, jejichž vysoké školy naplňují.různá poslání podle potřeb společnosti, jejich studenti.i.pracovníci mohou těžit z možností volného pohybu.a.získané vzdělání a.kvalifikace jsou spravedlivě.uznávány v celé EHEA. 3
Instituce by měly mít způsoby, jak zajistit, že vyučující jsou pro tuto činnost kvalifikovaní a schopni ji vykonávat. Tyto způsoby
by měly být k dispozici těm, kteří provádějí vnější hodnocení, a měly by být komentovány v jejich zprávách. Přitom je důležité, aby vyučující měli • úplnou znalost a porozumění předmětu, který učí, • nezbytné schopnosti a zkušenosti pro účinné předávání svých znalostí a porozumění studujícím v celé řadě výukových kontextů, • přístup ke zpětné vazbě na svůj výkon, • příležitost rozvíjet a rozšiřovat své učitelské schopnosti.
23
2.2.1
Analýza modelů hodnocení AP využívaných na zahraničních univerzitách
Již jsme nastínili, že v modelech hodnocení používaných v zahraničí je ve většině případů zodpovědnost za provedení hodnocení svěřena vedoucímu AP. Následující modely jsou hodnoceny z hlediska využití matematického aparátu, přínosu pro všechny strany hodnocení, administrativního zatížení a propracovanosti celého systému.
2.2.1.1 Texas A&M University, Kingsville, USA
Analýza byla provedena na základě dokumentů
5, 6 . Model hodnocení
představuje celouniverzitní a velmi propracovaný systém, do kterého jsou zahrnuti všichni AP bez ohledu na pozici. Hodnocení tvoří nedílnou součást vedení a řízení univerzity. Hlavním účelem hodnocení je zvýšení kvality univerzity ve všech ohledech. Roční hodnocení má usnadnit průběžný rozvoj AP a plnění jeho osobních cílů a tím naplňovat i cíle univerzity. Na základě výsledků hodnocení jsou dělána všechna personální rozhodnutí, jako je povýšení AP, přidělení definitivy, rozhodnutí o prodloužení smlouvy u těch AP, kteří nemají definitivu, a v neposlední řadě také určení pohyblivých složek platu. Výsledky hodnocení tvoří také základ pro rozhodování o profesionálním rozvoji AP. Hodnocení probíhá v průběhu letního semestru vždy za uplynulý kalendářní rok v oblastech: Pedagogická činnost (Teaching Performance, dále „Výuka“), Výzkumná a vědecká činnost (Research and Scholarly Activities, dále „Výzkum“), Profesionální rozvoj a aktivity (Professional Growth and Activities, dále „Rozvoj“) a Nepedagogické aktivity
podporující
univerzitní
programy
(Non-Teaching
Activities
Supportive
of University Programs, dále „Služby“). celkové hodnocení AP. Váhu pro výuku je možno volit v intervalu 40.25 − 0.655, Těmto oblastem hodnocení jsou přiřazeny váhy, na základě kterých je určováno
pro výzkum 40.15 − 0.555, pro rozvoj 40.05 − 0.455 a pro služby 40.15 − 0.555. Váhy
na následující období jsou stanovovány AP a vedoucím katedry nebo děkanem vždy
na konci hodnocení tak, aby jejich součet byl roven 1, jsou tedy normované. Díky tomu jsou váhy vyjádřením procentního rozdělení času AP v jednotlivých oblastech. AP mají možnost si vybrat jeden ze „speciálních úvazků“, které mají za úkol podpořit excelenci v jednotlivých oblastech. Pro oblast výuky je to „výuková specializace“ (Teaching Track, dále „TT“), pro oblast výzkumu „výzkumná specializace“ (Research and Scholarly Activity Track, dále „RSAT“), pro rozvoj „rozvojová specializace“ 24
(Professional Growth Track, PGT) a pokud se AP rozhodne zapojit do náboru a udržení studentů, pak je zde specializace „pracovník pro získávání studentů“ (Designated College Recruiter, DCR). Do každé z výše zmiňovaných specializací se může AP zapojit maximálně na 2 roky. Žádost o specializaci podává vždy AP do konce zimního semestru. Součástí žádosti je i popis technik a inovací, které chce rozvíjet a očekávaný přínos pro katedru, fakultu a univerzitu. Se zařazením AP do specializace musí souhlasit vedoucí i děkan fakulty. V případě, že AP projevil zájem o TT, může mu být snížena pracovní zátěž v oblasti výuky o 3 - 6 SCH v semestru, ve kterém se připravuje na specializaci (Semester Credit Hour, dále „SCH“ – jednotka, která je využívána při měření práce AP ve výuce, plný úvazek = 12 SCH). Naopak v době trvání TT je AP zvýšena pracovní zátěž v oblasti výuky až o 3 SCH, tedy na 15 SCH. Zvýšení zátěže ve výuce se nesmí projevit na její váhy oblastí hodnocení. Pro výuku je to nyní 40.25 − 0.805.
kvalitě. Na základě změny rozložení úsilí AP se mění i intervaly, ze kterých je možno volit
Účelem RSAT je zvýšení výkonu AP v oblasti výzkumu. Pokud je to možné, je AP,
který je v RSAT, snížen úvazek ve výuce o 3 - 6SCH po celou dobu trvání specializace. u výzkumu, a to 40 − 0.705.
Stejně jako u TT se mění interval pro volbu vah u výuky, u RSAT se mění interval
Cílem PGT je rozvoj technologických postupů a dovedností, které pomohou
ostatním AP na katedře a fakultě, rozvoj manažerských dovedností, rozvoj vyjednávacích schopností při řešení problémů a profesionální rozvoj v ostatních oblastech. AP může být po dobu trvání specializace snížen úvazek ve výuce o 3 – 6 SCH. I u této specializace je 40 − 0.605.
upravován interval pro volbu vah využívaný v procesu hodnocení, a to pro oblast rozvoje
Poslední specializací je DCR. Od AP, který se zapojí do této specializace,
se očekává, že bude navštěvovat střední školy a vyšší odborné školy, účastnit se dnů absolventů (promoce, Senior Day) a aktivit pořádaných studentskou organizací (college night activities) a celkově se bude starat o záležitosti týkající se náboru studentů na fakultě. interval vah u služeb, a to 40 − 0.705.
I zde je možnost snížení úvazku ve výuce o 3 - 6 SCH. Při této specializaci se upravuje
25
Pokud AP pracuje v rámci některé z výše jmenovaných specializací, intervaly, z nichž jsou voleny váhy, jsou upravovány následovně: -
výuka
40.25 – 0.655 → 40.25 – 0.805,
-
výzkum 40.15 – 0.555 → 40 – 0.705,
-
služby
-
rozvoj
{0.05 – 0.45| → {0 – 0.60|, 40.15 – 0.555 → 40 – 0.705.
Je pochopitelné, že výsledky hodnocení budou do značné míry ovlivněny specializací, proto je nutné důkladně dokumentovat celý průběh specializace a tyto materiály poté poslouží jako podklady pro hodnocení. Z intervalů je zřejmé, že AP se speciálním úvazkem není nucen působit ve všech oblastech, což mu dává příležitost absolutního nasazení v oblasti specializace. I přes snížení zapojení ve výuce musí její kvalita zůstat na stejné úrovni. Intervaly pro váhy dávají tušit, že bez ohledu na typ úvazku je pro univerzitu prioritní pedagogická činnost, na výzkum a služby je kladen stejný důraz a relativně nejnižší váha je přiřazena rozvoji AP. Možnost nastavení vah dává AP příležitost k uplatnění
akademické
svobody
a
k ovlivnění
svého
výsledného
hodnocení.
Je pochopitelné, že AP i vedoucí katedry budou usilovat o co nejvyšší výsledek hodnocení. Po důkladné analýze jsme došli k závěru, že existuje „optimální nastavení vah“, při kterém AP vždy dosáhne maximálního možného hodnocení. U AP se standardním úvazkem (bez specializace) toto optimum nastává v případě, kdy oblasti, které se AP věnuje nejvíce a má v ní nejlepší výsledky, je přidělena nejvyšší možná váha, tedy horní mez intervalu, a pro ostatní oblasti budou zvoleny nejnižší možné váhy, dolní meze intervalů. Doporučení pro AP se speciálním úvazkem by vypadalo následovně: Nejvyšší váhu přiděl oblasti specializace, dále vol váhy dle svého zapojení v ostatních oblastech. Samotný hodnotící proces probíhá v letním semestru. AP nejdříve vypracuje seznam svých aktivit, které vykonal za hodnocené období ve všech 4 hodnocených oblastech. Pro tento účel slouží formulář pro shrnutí aktivit AP za rozhodné období (Annual report by faculty member, Formulář 2.1). Pro snadnější vyplnění formuláře jsou přiloženy seznamy nejčastěji vykonávaných činností v jednotlivých oblastech: Pro výuku: výsledky studentských evaluací; doklady o rozšiřování znalostí z oboru; příprava výukových materiálů (sylabů, osnov, materiálů pro studenty, atd.); začlenění
26
odpovídající technologie do výuky; portfolio vyučovaných předmětů; reflexivní sebehodnocení; workshopy nebo jiná organizovaná výuka nebo jiné nezapočítané vzdělávací kurzy; hodnocení výuky od kolegů; zpětná vazba od současných studentů (komentáře u evaluací); výsledky studentů v navazujících předmětech (zjišťováno z vnitřního informačního systému); zpětná vazba od absolventů a zaměstnavatelů absolventů; vedení disertačních a diplomových prací; účast na workshopech o efektivní výuce; výuka zaměstnanců; výsledky z uznávaných hodnocení o efektivitě výuky; využití technologií dostupných na univerzitě a programů podporující zavádění nových technologií do výuky; výuka ostatních AP; přihlášení na výuku volitelného předmětu; výsledky studentů v standardních zkouškách (ExCET, certifikované zkoušky). Pro výzkum: seznam článků, monografií, knih a recenzí knih; zaštítění grantů; seznam přednášek na konferencích; tvůrčích a uměleckých snah; placený výzkum; konzultace (zaměřené na aplikaci znalostí); technické asistence; účast na workshopech a seminářích zahrnutých v akčním plánu na zlepšení výukových schopností AP; odborné hodnocení výukových materiálů; podíl na inovaci předmětů; vedení mezioborového semináře. Pro
rozvoj:
seznam
aktivit
v následujícím
pořadí:
členství
v odborných
organizacích (včetně funkcí získaných během roku); účast na odborných setkáních (v příloze doložit termíny schůzek, seznam účastníků, další odbornou činnost související s členstvím); odborné konzultace a přednášky (které nejsou zahrnuty v jiných oblastech); odborné služby (moderátor, facilitátor, editor v časopise, recenzent, atd.); obdržení odborných vyznamenání; další profesionální vzdělávání. Pro služby: opět seznam v tomto pořadí: členství ve významných komisích a plnění administrativních úkolů v rámci univerzity (měřitelné počtem setkání a hodinami práce); záštita studentských organizací (měřitelné počtem setkání a hodinami práce); přibírání a udržování aktivit (služby poskytované studentům nad rámec povinností); poskytování rad studentům; získávání a vývoj vybavení; tvorba a vývoj studijního plánu (nespadající do výuky nebo výzkumu); podpora hlavních funkcí univerzity; ostatní služby podporující univerzitu (společnost).
27
Formulář 2.1 Formulář pro shrnutí aktivit AP za rozhodné období Tento seznam odevzdává AP vedoucímu katedry, svému hodnotiteli, který jej porovná s aktivitami, na kterých se shodli při předešlém hodnocení. Pro záznam dohodnutých aktivit slouží formulář pro záznam plánovaných aktivit na následující období (Proposed Activities Form) pro AP bez specializace (Formulář 2.2) a pro AP se speciálním úvazkem (Formulář 2.3). U obou formulářů musí AP se svým vedoucím také vyplnit váhy pro oblasti hodnocení na následující hodnotící období. Optimálním nastavením těchto vah jsme se zabývali výše. Formuláře jsou uvedeny na následujících stranách.
28
Formulář 2.2 Formulář pro záznam plánovaných aktivit na následující období pro AP bez specializace
29
Formulář 2.3 Formulář pro záznam plánovaných aktivit na následující období pro AP se specializací Po srovnání aktivit, které si AP naplánoval, s aktivitami, které skutečně splnil, vedoucí zhodnotí výkon AP. Při hodnocení jednotlivých oblastí musí vedoucí dodržet postupy uvedené na následujících stranách.
30
Hodnocení v oblasti výuky Skládá se z hodnocení výuky studenty (studentské evaluace) a hodnocení dalších tyto dvě části promítnou do hodnocení AP, volbou vah (½ ∈ 〈0.25; 0.50〉 pro studentské
aktivit souvisejících s výukou. AP společně s vedoucím rozhodnou, jakým poměrem se evaluace a (¿ ∈ 〈0.50; 0.75〉 pro další aktivity související s výukou. Výsledné váhy musí být normované, tedy (½ + (¿ = 1.
Hodnocení výuky studenty (studentské evaluace) – primární úlohou evaluací je informace o kvalitě výuky AP, kterou lze dále použít při jeho rozvoji a zdokonalení výuky. Funkce evaluací jako podkladu pro hodnocení AP je až druhořadá. Výsledný systém evaluací byl navržen tak, aby co nejvíce snížil existující pozitivní korelaci mezi známkami účel byl navržen dotazník s 20 otázkami 6 , jehož česká verze je na následující stránce
studentů a výsledky evaluací a zároveň chránil práva AP a integritu univerzity. Pro tento
(Formulář 2.4). Pro práci s tímto dotazníkem je vypracován přesný manuál. AP nejprve vyzvedne dotazníky u sekretářky katedry. Dále vybere v každé třídě zástupce (Student Administrator), který je zodpovědný za vyplnění dotazníků v dané třídě, tzn. AP není přítomen vyplňování dotazníků. Dotazníky, které studenti vyplní, předá zástupce vedoucímu katedry, který je vyhodnotí a výsledek oznámí AP. Výsledky evaluací lze zahrnout do hodnocení, pokud se evaluace zúčastnilo alespoň 50 studentů. Je pochopitelné, že výsledky evaluací různých kurzů, které přednáší jeden AP, musí být agregovány tak, aby je bylo možno použít v dalším hodnocení. Při agregaci je však nutno vzít do úvahy vlivy, kterými jsou evaluace ovlivněny a budou vysvětleny dále, aby se neztratila podstatná část informace a hodnotitel získal přehled o slabých a silných stránkách AP. Pro celistvý pohled na výkon AP je ideální shromažďovat údaje z evaluací několika semestrů a až poté je analyzovat. Při práci s agregovaným výsledkem evaluací musí mít vedoucí na zřeteli, že vypovídací hodnota výsledku je při nejlepším průměrná. Nejlepší (tj. nejnižší) dosažitelná korelace mezi výsledkem evaluace a známkami studentů je kolem 0.40, tzn. za ideálních okolností a při použití nejlepšího systému evaluací jen 16% celkového rozptylu v evaluacích je možno vysvětlit známkami studentů. Korelace mezi evaluacemi možné, že evaluace obsahují mnoho „falešně pozitivních“ (nekvalitní pedagogové → nízké a známkami studentů je vyšší než u ostatních metod hodnocení výuky. Z toho důvodu je nároky na studenty → vysoké hodnocení z evaluací) a „falešně negativních“ hodnocení
(kvalitní pedagogové → vysoké nároky na studenty → nízké hodnocení v evaluacích).
31
Hodnocení výuky v této třídě je velmi důležité, proto mu věnujte patřičnou pozornost. Vážíme si Vaší pomoci při vyplňování tohoto formuláře. Prosím, nepodepisujete se. Hodnocení: 0 – Nelze odpovědět, 5 – Velmi souhlasí, 4 – Souhlasí, 3 – Neutrální, 2 – Nesouhlasí, 1 – Velmi nesouhlasí 0 5 4 3 2 1 1. Přednášející během výuky bere ohled na studenty. 2. Látka byla podána jasným a organizovaným způsobem. 3. Testy a další požadavky odpovídají údajům uvedeným v sylabech předmětu. 4. Přednášející dodržuje vysoké akademické standardy. 5. Přednášející dodržuje způsob hodnocení uvedený v sylabech předmětu. 6. Přednášející je k dispozici během úředních hodin. 7. Přednášky, diskuze a demonstrace probíhají podle sylabu předmětu. 8. Výsledky testů a úkolů jsou zveřejňovány bez odkladů. 9. Skripta a ostatní požadované materiály pomáhají při pochopení učiva. 10. Přednášející má čas odpovídat na otázky. 11. Přednášející se snaží zapojit studenty do diskuze nebo prováděné aktivity. 12. Přednášející nevyžadoval kvalitní práci. 13. Přednášející osvětlil význam předmětu. 14. Přednášející není k zastižení během úředních hodin. 15. Přednášející vysvětluje učivo na příkladech tak, aby jej studenti lépe pochopili. 16. V porovnání s ostatními kurzy na fakultě je úsilí,
Nevím
Vyšší
Stejné
Nižší
které jsem musel vynaložit ke splnění předmětu. 17. Studenti diskutovali o přednášejícím, zatímco jsem
Ano
Ne
Ano
Ne
vyplňoval toto hodnocení. 18. Pokyny pro vyplnění tohoto formuláře byly přečteny nahlas před třídou. 19. Známky, které očekávám v této třídě.
A
B
C
Povinný
D
E
F
Volitelný
20. Důvody, které mě vedli k výběru tohoto předmětu.
Formulář 2.4 Dotazník pro studentské hodnocení výuky Již bylo řečeno, že prostá agregace výsledků studentských evaluací není vhodná. Proto jsou otázky v evaluacích analyzovány samostatně a ve skupinách. Analýzou samostatných otázek je možno identifikovat faktory, kterými jsou ovlivněny, a také odhalit pozitivní nebo negativní halo efekty. Účelem rozdělení otázek do významově blízkých skupin je snížení korelace mezi výsledkem evaluace a známkami studentů. Při analýze 32
musí hodnotitel pamatovat na to, že ne všechny otázky jsou vhodné pro daný předmět nebo AP. Skupina
Otázka
1.
Náročnost a přínos (Value)
4, 12
2.
Nadšení (Enthusiasm)
13
3.
Organizace výuky (Organization)
2, 7
4.
Interakce ve třídě (Group interaction)
1, 11
5.
Individuální vztah (Individual rapport)
1, 6, 10, 14
6.
Rozsah probíraného tématu (Breadth of coverage)
15
7.
Zkoušení (Examination/grading)
3, 5, 8
8.
Úkoly (Assignment)
3, 9
9.
Obtížnost (Workload/difficulty)
16, 17
Další vliv na výsledky evaluací mají tzv. vychylující faktory. Ty samy o sobě ovlivňují evaluace více než známky studentů. U všech faktorů, krom jednoho, jmenovitě velikost třídy, který ovlivňuje jen některé otázky a skupiny, např. individuální vztah a interakce ve třídě, se předpokládá, že ovlivňují všechny otázky a skupiny, což vede k pozitivnímu nebo negativnímu halo efektu (např. tendence k negativním odpovědím). Směr a velikost halo efektu mohou být odhaleny na základě dokumentů, které jsou vyžadovány k hodnocení výuky, např. AP doložil, že všechny testy a hodnotící materiály byly vráceny včas, tzn., hodnocení otázky 8 by mělo být 5. Ovšem průměrné hodnocení z této otázky je 4, takže negativní odchylka je 1 a všechny odpovědi na otázky musí být zvýšeny o 1 bod pro odstranění negativního halo efektu. Příklady vychylujících faktorů: osobnost AP (studenti jej vnímají jako příjemného či nepříjemného); očekávané známky studentů ve třídě (silněji korelovaný s evaluacemi než udělené známky); náročnost nebo rozsah požadované pracovní náplně (faktor je důležitější v případě, že předmět je povinný); velikost třídy; předmět je volitelný nebo povinný; úroveň studentů (první, střední a poslední ročníky).
Podstata jednotlivých otázek 1.
Přednášející během výuky bere ohled na studenty – hodnocení otázky může být ovlivněno velikostí třídy, proto by nemělo být používáno ve velkých třídách. Při některých formách výuky nepoužitelná (e-learning). Pokud je to nutné, AP musí doložit videonahrávku své výuky. 33
2.
Látka byla podána jasným a organizovaným způsobem – tato otázka je vysoce korelovaná se známkami studentů. Pokud má AP nízké hodnocení, může svůj výkon opět doložit videozáznamem z výuky. Také mohou být vyžadovány poznámky studentů, které si pořídili během nahrávané přednášky. Poznámky jsou poté porovnány s videozáznamem a je rozhodnuto, jestli je chybná výuka AP nebo je chyba v nepozornosti studentů.
3.
Testy a další požadavky odpovídají údajům uvedeným v sylabech předmětu – lepší známky studentů většinou způsobují vyšší hodnocení této otázky. Pokud je hodnocení nepravdivé, AP musí podat důkaz o opaku.
4.
Přednášející dodržuje vysoké akademické standardy – může být irelevantní v kurzech, kde je vyžadována fyzická aktivita. Nízké hodnocení může být ospravedlněno špatnými známkami studentů. Tato otázka a otázka č. 12 vyžadují protichůdné hodnocení.
5.
Přednášející dodržuje způsob hodnocení uvedený v sylabech předmětu - někteří AP mohou být mírnější při známkování, než je uvedeno v sylabech a je nepravděpodobné, že by se to negativně projevilo v evaluacích. Tato otázka byla navržena tak, aby bylo jednoduché ověřit její pravdivost. V případě nízkého hodnocení AP, je povinen dodat práce studentů společně s jejich známkou.
6.
Přednášející je k dispozici během úředních hodin – ve třídách s vysokým počtem studentů mohou být odpovědi zkreslené. Tato otázka a otázka 14 vyžadují protichůdné odpovědi, pokud tomu tak není, tento dotazník není dále uvažován.
7.
Přednášky, diskuze a demonstrace probíhají podle sylabu předmětu – otázka je nejvíce korelována se známkami studentů. V některých předmětech je však irelevantní (plavání).
8.
Výsledky testů a úkolů jsou zveřejňovány bez odkladů - Tato otázka byla navržena tak, aby bylo jednoduché ověřit její pravdivost. AP jednoduše nechá podepsat studenty prezenční listinu v den, kdy jim vrátil testy.
9.
Skripta a ostatní požadované materiály pomáhají při pochopení učiva – V některých předmětech, kde nejsou materiály povinné, nelze použít. Bylo by zvláštní, kdyby AP používal literaturu, která nesouvisí s předmětem. V případě nízkého hodnocení této otázky je jednoduché ověřit si u kolegů, zabývajícími se stejným oborem, zda jsou materiály vhodné pro výuku předmětu.
10. Přednášející má čas odpovídat na otázky – ve velkých třídách lze předpokládat nižší hodnocení. V některých typech výuky nelze tuto otázku použít (e-learning). Pokud má 34
AP nízké hodnocení, může svůj výkon opět doložit videozáznamem výuky a tak dokázat, že byl čas na odpovědi na otázky. 11. Přednášející se snaží zapojit studenty do diskuze nebo prováděné aktivity – opět nepoužitelná při některých typech výuky (e-learning). Pokud má AP nízké hodnocení, může svůj výkon opět doložit videozáznamem výuky a dokázat snahu o zapojení studentů. 12. Přednášející nevyžadoval kvalitní práci - tato otázka a otázka 4 vyžadují protichůdné odpovědi, pokud jsou odpovědi u některých studentů na tyto dvě otázky nelogické, dotazník je vyškrtnut z analýzy. V případě protichůdných odpovědí se hodnocení této otázky převede na 5. 13. Přednášející osvětlil význam předmětu – otázka je nejméně korelovaná s výsledky studentů. 14. Přednášející není k zastižení během úředních hodin – ve velkých třídách mohou být odpovědi zkreslené. Tato otázka a otázka 6 vyžadují protichůdné odpovědi, pokud tomu tak není, tento dotazník je vyškrtnut z analýzy. V případě protichůdných odpovědí se hodnocení této otázky převede na 5. 15. Přednášející vysvětluje učivo na příkladech tak, aby jej studenti lépe pochopili - pokud má AP nízké hodnocení, může svůj výkon opět doložit videozáznamem výuky. 16. V porovnání s ostatními kurzy na fakultě je úsilí, které jsem musel vynaložit k jeho úspěšnému splnění (Vyšší = 3, Stejné = 2, Nižší = 1) – vyšší, resp. nižší zátěž většinou způsobuje nižší, resp. vyšší hodnocení v evaluaci a může vyvolat negativní, resp. pozitivní halo efekt. 17. Studenti komentovali přednášejícího, zatímco jsem vyplňoval toto hodnocení – tato otázka byla navržena tak, aby bylo možno ověřit pravdivost evaluace. Na základě této otázky a otázky 18 lze identifikovat halo efekty. 18. Pokyny pro vyplnění tohoto formuláře byly přečteny nahlas před třídou – viz. otázka 17. 19. Známky, které očekávám v této třídě – bylo experimentálně prokázáno, že lepší, resp. horší známky studentů způsobují vyšší, resp. nižší hodnocení v evaluacích. Pokud AP uděluje známky jiným způsobem než ostatní AP, kteří vyučují daný ročník, stojí za zvážení úprava hodnocení evaluace, aby výsledky AP bylo možno porovnávat. 20. Důvody, které mě vedli k výběru tohoto předmětu – je prokázáno, že předměty, které jsou volitelné, mají obecně vyšší hodnocení než předměty povinné. Tato skutečnost by měla být brána v úvahu při hodnocení evaluací. 35
Hodnocení v rámci jednotlivých skupin je agregováno aritmetickým průměrem. Standardy jsou nastaveny tak, že pro získání plného počtu bodů z hodnocení studentských evaluací je třeba, aby v každé skupině bylo výsledné hodnocení rovno 3 nebo vyšší. Číslo 3 na pěti bodové škále bylo zvoleno proto, že toto hodnocení zajišťuje minimálně 50 % Hodnocení studentských evaluací = 4(½ ∗ 75 ∗ A ∗ 1`9,
spokojenost studentů s výukou. Pro výpočet hodnocení je využíván následující vzorec kde (½ ∈ 〈0.25; 0.50〉 je váha, kterou zvolil AP společně s vedoucím a A vyjadřuje počet
skupin, ve kterých je hodnocení vyšší než 3. Výraz v závorce vyjadřuje nejvyšší možné hodnocení, kterého může AP s danou vahou dosáhnout (vysvětleno dále). Z tohoto maxima je dále odečtena jedna devítina za každou oblast, ve které je průměrné hodnocení nižší než 3. V tabulce 2.1 jsou uvedeny hodnoty nejvyššího možného hodnocení při náhodně zvolených hodnotách vah.
(½
Nejvyšší možné hodnocení
0.25
1.75
0.32
2.24
0.38
2.66
0.46
3.22
0.50
3.5
Tab. 2 1 Hodnoty nejvyššího možného hodnocení při různých hodnotách váhy (½ Hodnocení ostatních pedagogických aktivit - od všech AP je očekáván profesionální přístup k výuce. V této části musí AP předložit doklady o svém výkonu, např. doklady o rozšiřování znalostí z oboru; příprava výukových materiálů; začlenění odpovídající technologie do výuky; portfolio vyučovaných předmětů; reflexivní sebehodnocení; workshopy nebo jiná organizovaná výuka nebo jiné nezapočítané vzdělávací kurzy; zpětná vazba od současných studentů (komentáře u evaluací); zpětná vazba od absolventů a zaměstnavatelů absolventů; vedení disertačních a diplomových prací; přihlášení na výuku volitelného předmětu a další. Vedoucí na základě dokumentů rozhodne, na kolik procent AP plní své povinnosti v oblasti výuky. Vzorec pro výpočet Hodnocení ostatních pedagogických aktivit = 4(¿ ∗ 75 ∗ ,
hodnocení ostatních pedagogických aktivit
36
kde (¿ ∈ 〈0.50, 0.75〉 je váha, pro niž musí platit (½ + (¿ = 1 a
vyjadřuje procento
naplnění pedagogických povinností určené vedoucím.
Celkové hodnocení výuky AP je agregováno váženým aritmetickým průměrem. Výsledek zaznamená vedoucí do formuláře pro výpočet celkového hodnocení (Formulář 2.5).
Hodnocení ostatních oblastí Pro hodnocení v ostatních oblastech není vypracována takto podrobná metodika. Tyto oblasti hodnotí vedoucí AP s využitím sedmibodové škály, která je využívána i pro hodnocení výuky, se stupni 7
Příkladný – vyjadřuje nejvyšší produktivitu a efektivnost AP v dané oblasti,
6
Mimořádný – výkon AP je vysoce nadprůměrný,
5
Vynikající – výkon AP je nadprůměrný,
4
Dobrý (Požadovaný standard) – AP byl produktivní a efektivní v dané oblasti, všichni AP by měli usilovat o dosažení tohoto nebo vyššího hodnocení,
3
Přijatelný – AP vcelku splnil očekávání v příslušné oblasti a je ještě přijatelný,
2
Nedostatečný – AP sotva splnil očekávání a součástí hodnocení by měl být i návrh, jak zlepšit výkon AP,
1
Nepřijatelný – práce AP nebyla ani efektivní ani produktivní.
Své hodnocení zaznamenává do formuláře pro výpočet celkového hodnocení (Formulář 2.5). Celkové hodnocení výkonu AP je počítáno jako vážený průměr, kde váhy pro jednotlivé oblasti byly stanoveny při předešlém hodnocení. Své hodnocení musí vedoucí písemně zdůvodnit, pro tento účel slouží písemná zpráva o hodnocení AP (Formulář 2.6). Následně se vedoucí katedry sejde s každým AP, aby prodiskutovali výsledky hodnocení. Pokud je v některé oblasti AP hodnocen jako „potřebuje zlepšení“, musí být prodiskutovány i možnosti zlepšení výkonu AP v dané oblasti a prostředky, které mu jsou poskytnuty. Na závěr hodnotícího pohovoru sestaví AP společně s vedoucím seznam aktivit na další období společně s váhami pro jednotlivé oblasti. AP může také vznést námitky proti hodnocení, které budou řešeny s děkanem.
37
Formulář 2.5 Formulář pro výpočet celkového hodnocení
38
Formulář 2.6 Písemná zpráva o hodnocení AP Výsledky hodnocení jsou základem pro rozhodování o všech personálních otázkách a jeho existence je zavedena i ve stanovách univerzity [5]. Z celkového pojetí hodnocení činnosti AP je patrné, že univerzita si velmi zakládá na tom, aby její AP byly excelentní hlavně ve výuce. Právě proto hrají studentské evaluace tak vysokou roli při hodnocení této oblasti. Začleněním evaluací do hodnocení je patrná snaha jejich výsledky co nejvíce zobjektivnit. Právě tato snaha však dělá z tohoto procesu velmi administrativně i časově náročnou činnost.
2.2.1.2 Univerzity of Wisconsin Oshkosh, USA Analýza modelu byla provedena na základě 14 . Pravidelnému hodnocení jsou
podrobeni všichni AP univerzity. Nejen pro účely hodnocení jsou AP rozděleni do 2 skupin a) administrativní AP, b) AP zabývající se výzkumem a výukou.
39
Následující text je věnován hodnocení AP zařazených do druhé skupiny. Analýze byly podrobeny obecné zásady, které musí být dodrženy v procesu hodnocení, ke konkrétní aplikaci těchto zásad jsme nezískali přístup. Za provedení hodnocení jsou zodpovědní vedoucí fakult (nebo odpovídajících administrativních celků). Hodnocenými oblastmi jsou: Výuka (Teaching), Profesionální a tvůrčí aktivity (Professional and scholarly activity, dále „Výzkum“) a Služby univerzity jako instituce (Institutional services, dále „Služby“). Jednotlivé odpovědnosti a povinnosti AP jsou čerpány z profilů jejich pracovních pozic. Výsledky hodnocení jsou používány jako podklad pro personální řízení, pro rozhodování o povýšení, udělení definitivy a také pro stanovení výše příplatku AP. Slouží i jako přehled o aktivitách AP a potřebách jeho rozvoje. Vlastní hodnocení probíhá formou hodnotícího pohovoru, který iniciuje a vede vždy nadřízený AP. Tato hodnotící schůzka je pro AP, kteří mají pracovní smlouvu sjednánu na dobu neurčitou, prováděna jednou za 2 kalendářní roky a pro AP, jejichž pracovní smlouva je na dobu určitou, je to každý kalendářní rok. Předmětem hodnocení jsou samozřejmě aktivity, které vykonal od poslední hodnotící schůzky. Očekávaný výkon v oblasti výuky, vědy a služeb je AP sdělen před začátkem hodnotícího období. Očekávání jsou stanovována individuálně pro každého AP. Krom materiálů, které dodá AP jako doložení své činnosti za uplynulé období (úspěchy, členství v komisích, ocenění, účast v grantech,…), je v hodnocení také zahrnuta alespoň jedna zpráva od kolegy AP, který by přítomen na výuce hodnoceného AP a nejméně 3 studentské evaluace za hodnocené období.
Hodnocení v oblasti výuky Na univerzitě je výuka chápána jako soubor 4 celků: -
plánování a příprava výuky,
-
vlastní výuka,
-
hodnocení studentů a poskytování zpětné vazby na jejich výkony
-
profesionální rozvoj v přednášených oborech.
I když jsou studentské evaluace nedílnou součástí hodnotícího procesu, jejich váha nesmí přesáhnout 50% na celkovém hodnocení. Uplatňovaný hodnotící proces musí být stejný pro všechny AP. Každý AP má právo na zpětnou vazbu na svůj výkon. Hodnocení musí být provedeno písemně a v případě neuspokojivého výsledku AP musí obsahovat i vysvětlení tohoto hodnocení a plán na zlepšení výuky. Pokud jsou výsledky hodnocení 40
používány pro úpravu platu, musí být v hodnocení zahrnuty nejméně 3 studentské evaluace výuky za hodnocené období. Pokud jsou výsledky používány pro povýšení nebo prodloužení smlouvy, dokumentace musí obsahovat všechny činnosti AP ve všech oblastech výuky a výsledky ze všech studentských evaluací.
Dokumenty prokazující výkon ve 4 oblastech výuky Příprava na výuku: zapojení ve vývoji nových kurzů a účast v komisi pro studijní plán; zapojení do změn v náplni kurzů, které byly schváleny komisí pro studijní plán; vývoj studijních materiálů pro výuku (skripta, audiovizuální pomůcky, studijní příručky); inovace ve výuce (popis alternativních způsobů výuky, které AP aplikoval); sebehodnocení plánovaní a přípravy výuky; zvláštní aspekty výuky, jako je výuka nových předmětů, rozsáhlé zapojení ve výuce; výzkumné aktivity, které zahrnují výukové aktivity nebo zlepšení výuky. Vlastní výuka: seznam všech předmětů včetně počtu kreditů a studentů, které AP vedl; výsledky studentských evaluací, a to nejméně 3 za hodnocené období; písemné připomínky studentů (obsažené ve studentských evaluacích); ostatní důkazy o spokojenosti studentů s výukou; odborné (peer) hodnocení; sebehodnocení výuky; ocenění výuky nebo jiné uznání související s výukou; nezávislá studie hodnotící kvalitu výuky; rozvoj výukových schopností (ústní a písemná komunikace, úroveň práce na počítači, výzkumné schopnosti). Hodnocení studentů a poskytování zpětné vazby na jejich výkony: kopie testů, úkolů a hlavních hodnocených studentských projektů; seznam se jmény studentů a role AP ve zkouškových a disertačních komisích; konzultace se studenty; sebehodnocení výuky; známkování testů a poskytování zpětné vazby studentům. Profesionální rozvoj v přednášených kurzech: profesní rozvoj a služby, které zlepšují výkon AP ve výuce; nové nebo rozšířené výzkumné aktivity týkající se výuky;
nejčtenější
odborná
literatura;
sebehodnocení
profesionálního
rozvoje
v přednášených kurzech.
Univerzita klade vysoký důraz na kvalitu výuky, která je ověřována zejména studentskými evaluacemi. Tyto výsledky jsou využívány též ke zlepšování výuky, rozhodnutí o prodloužení smlouvy, povýšení nebo udělení definitivy a pro úpravy platu. Primární úlohou je však zlepšení výuky.
41
Hodnocení v oblasti vědy Podklady pro výzkum musí dokazovat originální, významné a nezávislé výzkumné aktivity AP. Neexistuje stanovený počet publikací, který by automaticky zaručoval povýšení daného AP. Primární je kvalita ne kvantita. Jako podklady pro hodnocení a doložení výkonu AP v oblasti vědy slouží: stručný popis prováděných výzkumů; významné úspěchy a cíle do budoucna; publikace (měly by být hodnoceny z hlediska konceptu, získávání dat, analýzy a písemného projevu, AP sám označí 5 publikací, kterých si nejvíce váží); publikované články v impaktovaných časopisech (přijaté k publikaci); články předložené k publikaci, ale dosud nepřijaté; články publikované
v neimpaktovaných
časopisech;
články
publikované
ve
sbornících;
monografie nebo knihy, kapitoly v knihách; příspěvky na konferencích; technické zprávy nebo jiné publikace; patenty; seznam konferencí, kterých se AP účastnil; podpora výzkumu (AP úspěšně získává granty, seznam všech úspěšných i neúspěšných žádostí o granty, všechny informace týkající se získaného grantu, hodnocení návrhů grantů).
Hodnocení v oblasti služeb Oceňovány jsou služby univerzitě (současné a minulé zapojení v administrativě v rámci katedry, fakulty nebo univerzity; účast v hlavních komisích) a služby společnosti (účast ve státních, národních nebo mezinárodních komisích nebo ostatních veřejných skupinách, ve kterých AP uplatňuje své znalosti; jmenování nebo zvolení do redakčních rad vědeckých časopisů nebo do národních nebo mezinárodních vědeckých a vzdělávacích společností).
O zdůraznění důležitosti kvalitní výuky svědčí fakt, že je v porovnání s ostatními oblastmi hodnocena velmi podrobně, i když máme pouze obecné informace. Za zmínku jistě stojí i označení významnosti publikací autorem, které se dá považovat za prvek sebehodnocení.
2.2.1.3 University of Technology Sydney, Austrálie Analýza byla provedena na základě 15 . Hodnocení je pojato jako komplexní
celoroční proces, který přímo ovlivňuje řízení lidských zdrojů na univerzitě. Je svázáno
se vzděláváním a rozvojem AP. Celý proces má za úkol naplánovat práci tak, aby byla proveditelná a zároveň podporovala cíle univerzity a shodovala se s její politikou, seznámit 42
AP s jeho povinnostmi, predikovat a reagovat na měnící se priority, neustále zlepšovat práci AP jeho vzděláváním a zkušenostmi, hodnotit efektivitu a důležitost práce, zajistit všem AP dosažení správné a objektivní zpětné vazby (od vedoucího i studentů) a předvídat a reagovat na problémy, které mohou bránit v práci AP. Samotný model hodnocení je součástí celistvého neustále se opakujícího procesu, jehož fáze lze charakterizovat slovy: Plánuj, Pracuj, Hodnoť a Zlepši. Pro ucelený pohled na model hodnocení je tedy třeba analyzovat celý tento systém. Zaměstnanci na univerzitě jsou rozděleni do dvou kategorií, první je pomocný personál, druhou pak AP. Pomocný personál se zabývá administrativními činnostmi a činnostmi souvisejícími s podporou výzkumu. AP soustředí svou činnost v oblastech vyjmenovaných níže. V dalším textu se omezíme pouze na hodnocení AP. Hodnocení probíhá v oblastech: Výuka a rozvoj vzdělání (Teaching and educational development, dále „Výuka“), Výzkum, vývoj, rozvoj znalostí a jejich aplikace (Research, scholarship, and the advancement of knowledge and its applications, dále „Věda“) a Přínos univerzitě a společnosti (Contributions to the University and the Community, dále „Přínos“). Hodnoceným obdobím je kalendářní rok.
Začneme tedy plánováním práce AP. Tento proces probíhá mezi AP a vedoucím katedry (hodnotitelem) a jeho výsledkem by měl být plán, který bude podporovat cíle katedry a univerzity s ohledem na schopnosti AP. V plánu musí být zahrnuty cíle, kterých má AP dosáhnout a kritéria, podle kterých bude hodnocen. Při stanovování cílů je využívána metoda SMART, tedy stanovený cíl musí být konkrétní (Specific), měřitelný (Measurable), odsouhlasený (Achievable), dosažitelný (Relevant) a definovaný v čase (Time-Framed). Při stanovování individuálních plánů se vychází v profilu pracovního místa AP. V plánu aktivit v oblasti výuky musí být uvedeny předměty, které AP vyučuje; náročnost a způsob výuky (přednáška, online); aktivity pro rozvoj výukových schopností; rozvoj podkladů pro výuku a studenty; povinnosti související s inovací a tvorbou předmětů. Plán v oblasti vědy musí zahrnovat předmět výzkumu a přípravu publikací (knihy, články, publikace v elektronické podobě, příspěvky na konferencích); autorství; vedení nebo realizace výstav; projektů a ostatních výstupů vědy; příspěvky k rozvoji daného oboru; mezinárodní spolupráce; spolupráce s okolím univerzity; plánování a organizace konferencí; žádosti o granty; komerční výzkum. 43
Plán v oblasti přínosu by měl zahrnovat mezioborovou činnost v rámci výzkumných center; navazování vazeb mezi univerzitou a okolím (zaměstnavatelé, profesionální
organizace);
zapojení
v
řízení
akademické
jednotky;
příspěvky
k podnikatelské práci univerzity; zapojení ve vedení univerzity (účast v komisích); služby poskytované vládním orgánům a ostatním organizacím; přispění nebo zapojení do profesionálních nebo zaměstnaneckých organizací nebo vzdělávacích spolků; zlepšování mezinárodních vztahů; atd. V této fázi jsou plánovány i ostatní aktivity AP jako profesionální rozvoj a kariérový růst (plány na podání žádosti o povýšení; žádosti o zapojení do programu na rozvoj schopností AP; studium za účelem zvýšení své kvalifikace; rozvoj nových výzkumných dovedností; rozvoj výuky; aktivity, kterými si AP buduje své jméno ve svém oboru; zdokonalování vůdčích schopností); doba, kterou bude AP trávit mimo univerzitu (dovolené, studijné stáže, atd.); práce mimo univerzitu; pracovní cesty a ostatní povinnosti (rodinné, osobní, mající dopad na práci). Pro záznam naplánovaných aktivit slouží speciální formulář [Příloha I], do kterého je posléze zaznamenáváno i hodnocení.
Po fázi plánování (Plánuj) přichází fáze, která zahrnuje práci AP na stanovených cílech (Pracuj). A nyní se budeme věnovat fázi hodnocení (Hodnoť). V procesu hodnocení je kladen důraz na objektivní a efektivní zpětnou vazbu pro AP od všech zúčastněných stran. Samotné hodnocení je vedeno na dvou úrovních. První úroveň představuje hodnocení během celého roku (Progress review), kdy se AP pravidelně schází se svým vedoucím, aby diskutovali o plnění nastaveného plánu a postup dokumentovali. Počet těchto schůzek je individuální a je stanovován na začátku roku. Cílem tohoto setkání má být záznam o dosavadním pokroku a úspěchu, diskuze o možné změně priorit, identifikace a záznam problémů bránících AP v práci, diskuze o pokroku v rozvoji a případně úprava pracovního plánu. Druhou úroveň představuje roční hodnocení (Annual performance review). Hlavním účelem hodnocení je diskuze o aktivitách AP za hodnocené období a náležité ohodnocení. V ideálním případě je toto hodnocení pouhým shrnutí výsledků hodnotících schůzek, které probíhali po celý rok. Hodnocení opět probíhá jako schůzka AP a vedoucího. Náplň schůzky je přesně dána a skládá se z identifikace úspěchů, potvrzení výsledků průběžných hodnocení, projednání nevyřešených problémů a naplánování aktivit 44
na příští rok. Výstupem z této schůzky je hodnocení AP, které je zaznamenáno do formuláře [Příloha I]. Hodnotitel má pro své hodnocení stanovenou pětibodovou škálu 1
Výjimečný výkon – výkon AP výrazně převyšuje výkon ostatních AP. Výsledky ve všech oblastech jsou výjimečné. Při dosažení tohoto hodnocení si AP zaslouží uznání ostatních.
2
Překonal očekávání – na spodní hranici tohoto hodnocení AP splnil očekávání ve všech oblastech a v některých je překonal a zpětná vazba je pozitivní. V nejlepším slova smyslu AP překonal očekávání ve většině nebo ve všech hodnocených oblastech. Příspěvek univerzitě je významný. Zpětná vazba vyjadřuje, že výkon AP je extrémně vysoký a trvale překračuje očekávání.
3
Splnil očekávání (požadovaný standard) – AP splnil všechny cíle v požadované míře. Zpětná vazba je obecně pozitivní.
4
Částečně splnil očekávání – AP splnil některé nebo většinu cílů až po pomoci vedoucího. Výkon v některých oblastech lze hodnotit jako neuspokojivý. Zpětná vazba je spíše negativní.
5
Pod očekávání – AP nesplnil většinu cílů na požadované úrovni. Výkon AP je celkově nevyhovující. Zpětná vazba na výkon AP je záporná.
Ke každému hodnocení musí vedoucí přidat i své vyjádření, kterým hodnocení obhájí. Hodnocení předá AP, který má možnost se k němu písemně vyjádřit. Výsledky hodnocení jsou využívány oddělením řízení lidských zdrojů při řešení personálních otázek, kterými jsou povýšení, přidělení definitivy, případně i propuštění a při rozhodování o úpravách platu.
Poslední uvedená fáze (Zlepši) v podstatě probíhá během celého období prostřednictvím jednotlivých schůzek AP s jeho vedoucím a diskuzí o problémech a příležitostech při plnění pracovního plánu. Na hodnotícím systému je patrné, že je veden úsekem řízení lidských zdrojů (využívání moderních personalistických metod). Systém je zpracován tak, aby byl co největším přínosem jak pro AP, tak pro univerzitu a její řízení. Plánování aktivit AP je jistě přínosná činnost, protože si AP stanoví jasné cíle, ale je zde také nebezpečí, že se AP spokojí s cíly, které má naplánovány, i když by ve skutečnosti mohl pracovat mnohem více. Toto by ovšem mělo být podchyceno při průběžných hodnocením během roku. 45
Jako velmi pozitivní hodnotíme fakt, že univerzita využívá při stanovování cílů moderní metodiky SMART, což je cestou pro stanovení jasných a užitečných cílů.
2.2.1.4 Flinders University, Adelaide, Jižní Austrálie Analýza zpracována na základě 16 . Hodnocení na této univerzitě plní několik
nezastupitelných
rolí.
Výsledky slouží
jako
přehled
o
výkonu
AP,
podklad
pro rozhodování o odměnách, povýšení či prodloužení smlouvy, podklad pro stanovení výkonu a rozložení pracovního úsilí AP a určení rozvoje AP. Každý AP má svého hodnotitele, většinou je to jeho přímý nadřízený (vedoucí katedry nebo jeho zástupce). Protože je hodnocení prováděno vedoucím AP, hrozí, že výsledné hodnocení bude zatíženo subjektivním názorem daného vedoucího pracovníka. Proto je pro tento proces zpracována přesně formulovaná metodika. Hodnoceny jsou tyto oblasti: Výuka a související povinnosti (Teaching and related duties, dále „Výuka“), Výzkum a tvůrčí aktivity (Research and creative aktivity, dále „Výzkum“), Administrativní a ostatní služby pro univerzitu (Administration and services to the University, dále „Administrativa“) a Profesionální rozvoj včetně služeb pro společnost (Professional performance, including services to the community, dále „Služby“). Hodnoceným obdobím je kalendářní rok. Z hodnocení může být AP vyjmut v případě, že jeho nepřítomnost na univerzitě v hodnoceném období byla delší než 6 měsíců. Pro potřeby hodnocení jsou AP rozděleni do dvou kategorií A a B. Do kategorie A jsou zařazeni AP, kteří jsou ve zkušební době, mají smlouvu na dobu určitou, nedosáhli platového stropu pro svou pozici, v následujících 3 letech chtějí požádat o povýšení, zastávají pozice jako vedoucí organizační jednotky nebo hodnotitel. Do kategorie B spadají všichni ostatní AP a hodnocení je u těchto AP prováděno za účelem jejich profesionálního rozvoje. Povinnosti v oblastech výuky a výzkumu jsou dány vždy v profilu pracovní pozice [Příloha II-V]. Přitom všechny aktivity, které AP provádí mimo univerzitu, musí řádně dokumentovat. Hodnocení je prováděno na základě podkladu dodaných AP. Tyto podklady tvoří vyplněný formulář speciálně navržený tak, aby pokrýval všechny aspekty práce AP, životopis, plán aktivit na hodnocené období, který byl sestaven v předcházejícím hodnocení, případně dokumenty dokládající aktivity AP v hodnoceném období. 46
Hodnocení v kategorii A Dílčí cíle hodnocení AP v kategorii A je záznam aktivit AP napříč 4 hodnocenými oblastmi, které jsou popsány v popisu pracovního místa a hodnocení těchto oblastí; sestavení plánu aktivit na následující rok; identifikace příležitostí, problémů a faktorů, které by mohly negativně ovlivnit výkon AP; určení podpory, kterou bude AP potřebovat při plnění dlouhodobých cílů svých i univerzitních. Základním dokumentem pro hodnocení ve skupině A je Formulář A [Příloha VI], který vyplňuje AP. Formulář je rozdělen do 3 částí. První část obsahuje obecné informace jako jsou jméno a příjmení; organizační jednotku, pod kterou pracuje; kvalifikaci; nejvyšší dosažený akademický titul nebo jméno instituce, u které se AP vzdělává (univerzita předpokládá, trvalé vzdělávání ze strany AP); pracovní pozice; datum nástupu na nynější pozici; typ úvazku; datum předchozího hodnocení; jméno hodnotitele; předchozí pozice na této univerzitě (významná položka pro plán vzdělání AP). V druhé části formuláře má AP za úkol shrnout své aktivity, kterým se věnoval od posledního hodnocení. Na následujících stranách je tento formulář i s komentářem k jednotlivým otázkám.
Formulář pro AP ve skupině A – část 2 1.
Výuka a.
Aktivity za hodnocené období – vychází z profilu pracovní pozice, součástí hodnocení jsou i studentské evaluace, které se provádí minimálně jednou za dva roky,
b.
Návrh aktivit na následující hodnotící období – AP by měl popsat své plány ve vztahu k výuce a vedení studentů,
c.
Plány do budoucna – plány na rozvoj témat nebo předmětů a rozvoj pedagogických schopností.
2.
Výzkum a.
Aktivity za hodnocené období – dle profilu pracovní pozice,
b.
Návrh aktivit na následující hodnotící období – AP by měl uvést, jakými výzkumy nebo tvůrčími aktivitami se v současnosti zabývá, kdy očekává dokončení a jaké budou výstupy, včetně publikací,
c.
Plány do budoucna – stručně popsat výzkumné záměry do budoucna.
47
3.
Administrativa a.
Aktivity za hodnocené období – dle profilu pracovního místa,
b.
Návrh aktivit na následující hodnotící období – AP má popsat své administrativní povinnosti pro organizační jednotku a univerzitu, včetně členství v komisích a pracovních skupinách a uvést své plány na následující rok,
c.
Plány do budoucna – stručně nastínit plány do budoucna v oblasti administrativních povinností pro organizační jednotku a univerzitu, včetně členství v komisích a pracovních skupinách.
4.
Služby a.
Aktivity za hodnocené období – dle profilu své pracovní pozice. Společně s aktivitami uvede i přínos pro univerzitu, případně negativní dopady na povinnosti, které má AP vůči univerzitě, řízení skutečných nebo potencionálních střetů zájmů plynoucích z aktivity, příjmy z aktivity,
b.
Návrh aktivit na následující hodnotící období – popsat aktivity na následující hodnotící období včetně přínosu pro univerzitu a společnost,
c.
Plány do budoucna - stručně popsat záměry do budoucna.
Formulář pro AP ve skupině A – Část 3 1.
Nepřítomnost na univerzitě – doba, kterou byl AP v průběhu hodnoceného období nepřítomen, a důvod nepřítomnosti,
2.
Zvláštní okolnosti – seznam událostí, které by mohly mít vliv na kariéru AP, např. přerušení kariéry, rodinné povinnosti, nemoc, členství v nadnárodních organizacích, atd,
3.
Orientace a školení – každý AP musí při svém nástupu a v průběhu své kariéry procházet školeními, která mají za úkol ověřit a udržet kvalitu AP, a.
Povinné školení – AP uvede, zda splnil všechna povinná školení, jako je základní školení o výuce, vedení studentů při výzkumu, koordinace studentských stáží, BOZP, aj,
b.
Ostatní školení – absolvovaná ostatní školení, která nejsou povinná, jako rozvojové kurzy pořádané pod záštitou univerzity nebo ostatní relevantní školení.
4.
Úspěchy a problémy s ohledem na minulé cíle – AP zhodnotí svůj výkon za hodnocené období a vypíše své úspěchy a neúspěchy za toto období, 48
5.
Podpora a trénink potřebný pro uskutečnění naplánovaných cílů – např. kurzy rozvoje, přístup k zařízením, rozdělení pracovního úvazku,
6.
Hlavní cíle na další dva až tři roky,
7.
Podpora a trénink potřebné k dosažení středně- a dlouhodobých cílů,
8.
Otázky a překážky v dosahování cílů – AP by měl identifikovat překážky v plnění naplánovaných cílů.
Vyplněný formulář, životopis a další dokumenty odevzdává AP svému hodnotiteli. Hodnotitel porovnává aktivity, které společně s AP naplánovali při minulém hodnocení s aktivitami, které AP skutečně vykonal a navrhne své hodnocení. Součástí hodnocení výuky jsou i studentské evaluace, které musí AP provádět minimálně jednou za 2 roky. Pro hodnocení není jasně stanovená škála hodnocení, hodnocení je tedy prováděno písemným vyjádřením hodnotitele k výkonu AP. Následně se hodnotitel sejde s AP, aby toto hodnocení prodiskutovali. Náplň schůzky je přesně daná. Vedoucí musí s AP probrat hodnocení jeho aktivit za uplynulé období; aktivity na následující období; plány na následující období i do budoucna; případné překážky při plnění cílů; povinnosti AP vůči univerzitě (účast na školeních, studentské hodnocení výuky, aj.). Po pohovoru napíše vedoucí stručné shrnutí výsledků, na kterých se s AP dohodli. Tomuto účelu slouží Záznam z hodnotícího pohovoru [Příloha VII], ve které jsou shrnuty hlavní body, kterých by se měl vedoucí při zpracování výsledků držet.
Záznam z hodnotícího pohovoru 1.
Úspěchy a problémy s ohledem na cíle v hodnoceném období v hodnocených oblastech,
2.
Hlavní cíle pro následující hodnotící období v hodnocených oblastech,
3.
Krátko-, středně-, dlouhodobé cíle v hodnocených oblastech,
4.
Podpora, kterou bude AP potřebovat při dosahování cílů a překonávání problémů a překážek,
5.
Potvrzení o prodloužení pracovní smlouvy (u AP ve zkušební době), žádost o povýšení, otázky, které musí být řešeny před podáním žádosti,
6.
Podpora a potřeby rozvoje AP,
7.
Komentáře AP.
49
Takto zpracovanou zprávu předá AP, který k ní může připojit své komentáře, případě námitky. Zprávu poté vrátí vedoucímu a předá ji svým nadřízeným, kteří na jejím základě rozhodnou o rozvoji AP, plánu nepřítomnosti AP, výši odměn a možných personálních změnách.
Hodnocení v kategorii B Do této skupiny jsou zařazeni AP, kteří nespadají do kategorie A, tedy mají smlouvu na dobu neurčitou, dosáhli platového stropu pro svou pozici, nejsou ve zkušební době nebo v následujících 3 letech neplánují podat žádost o povýšení. Účelem hodnocení v této kategorii je ohodnotit aktivity AP ve všech 4 oblastech za minulé období, stanovit cíle na následující období, identifikovat příležitosti, problémy a hrozby, které by mohly ovlivnit výkon AP a potvrdit, že AP splnil požadavky univerzity (povinná školení, provádění studentských evaluací, BOZP, dokumentace práce konané mimo univerzitu). Proces hodnocení je totožný se systémem používaným pro AP v kategorii A. Jediným rozdílem jsou dokumenty, které dodává AP. Stěžejním dokumentem, o který se opírá hodnocení, je CV, ve kterém AP uvádí informace o své práci ve všech 4 oblastech a přiloží jej k vyplněnému formuláři B [Příloha VIII]. Formulář je stejně jako pro AP v kategorii A rozdělen do tří samostatných částí. První část je totožná s první částí formuláře A. Druhá část formuláře týkající se CV je rozdělena na dva oddíly. První slouží jako pomůcka pro AP, kteří své aktivity shrnují do CV. Druhý oddíl je určen AP, kteří z nějakého důvodu nemohou dodat svoje CV. V tomto případě musí AP dodat seznam svých činností od nástupu na svou současnou pozici. V seznamu by měly být zahrnuty vyučované předměty, garantování a rozvoj kurzů, vedení diplomantů a doktorandů, publikace, výzkumné aktivity, granty, konference a semináře, účast v komisích (i externích) a pracovních skupinách, přínos oboru a přínos společnosti. Třetí část je opět totožná s formulářem A. Je zjevné, že hodnocení je nedílnou součástí celého univerzitního systému, na jehož výsledky je brán ohled prakticky ve všech oblastech práce AP. Stejně jako v ostatních systémech hodnocení využívaných na zahraničních univerzitách je i zde zdůrazněna hlavně pedagogická činnost. Této skutečnosti napovídá i fakt, že do hodnocení jsou zahrnuty studentské evaluace. Výkony AP jsou hodnoceny s ohledem na profil pracovních pozic, které zároveň slouží jako standardy pro jednotlivé pozice. Možnost provádění evaluací jednou za dva roky značně snižuje administrativní zátěž AP spojenou s evaluacemi. Avšak právě toto snížení frekvence evaluací může mít za následek ztrátu 50
části informace, která může být způsobené tím, že studenti budou hodnotit jen výkon AP v aktuálním roce. Výhody systému lze spatřovat v rozdělení AP do dvou skupin, což dává možnost lépe identifikovat potřeby rozvoje a profesionální zájmy AP a tím je i lépe motivovat. Další výhodou směrem k AP je fakt, že v hodnocení jsou brány ohledy i na jeho osobní potřeby jako je nepřítomnost na univerzitě (dovolené, studijní stáž) či rodinné povinnosti. Součástí hodnocení je i sebehodnocení AP, které je považováno za jednu z nejužitečnějších metod motivace. AP si při zpracování sebehodnocení sám uvědomí své silné a slabé stránky a ty se bude snažit odpovídajícím způsobem rozvíjet. 2.2.1.5 Wayne State University, Detroit, Kanada Analýza byla zpracována na základě 17 . I na této univerzitě jsou AP rozděleni
do dvou skupin. Do první kategorie (Faculty) jsou zařazeni AP působící výhradně v oblastech: Výuka (Teaching), Výzkum (Scholarship) a Služby (Service). Ve druhé skupině (Academic staff) jsou zařazeni knihovníci, univerzitní poradci, pracovníci finančního oddělení (starající se o granty, stipendia, zaměstnávání studentů a půjčky studentům),
trenéři
atletiky,
pracovníci
studijních
oddělení,
archiváři,
asistenti
univerzitních poradců a ředitelé akademických programů. V naší analýze se budeme zabývat jen AP zařazenými do první skupiny. Výsledky hodnocení jsou používány jako podkladový materiál při rozhodování o udělení definitivy nebo povýšení a při rozhodnutích o úpravách platu. Pro první účel je hodnocení prováděno až v případě, kdy AP podá žádost o definitivu či povýšení. Hodnocení pro úpravu platu probíhá každým rokem. Pro správné a objektivní výsledky je doporučováno zohlednit v hodnocení aktivity AP za delší období než jeden rok, ideálně aktivity za poslední 3 roky. Hodnotící proces má na starosti hodnotící komise, pro tento účel zvlášť sestavená v rámci jednotlivých fakult, jejímž předsedou je děkan fakulty nebo osoba jím určená. Pro hodnocení je využívána osmistupňová škála od 1.0 do 4.0, se rozestupem 0.5 bodu, v extrémních případech i o 1 bod. Hodnocení AP by se mělo zakládat hlavně na excelenci ve výuce a vědě, služby nejsou pro hodnocení výkonu AP tak významné.
Oblast výuky je v rámci hodnocení rozdělena na výuku v bakalářském stupni a výuku v navazujícím stupni. Pro hodnocení výuky na bakalářském stupni jsou nepostradatelným podkladem výsledky studentských evaluací. Pro tyto je vypracován
51
standardizovaný formulář, který je využíván na celé univerzitě a je navržen tak, aby co nejlépe vypovídal o silných a slabých stránkách AP. Při hodnocení výuky v bakalářském stupni mohou být také použity zprávy vedoucího katedry, děkana nebo jiného pověřeného AP, který byl přítomen na výuce hodnoceného AP, v případě, že tato zpráva není starší jednoho roku. Pro hodnocení jsou používány i ostatní materiály, které dodá AP. Jako důkaz kvality a efektivity výuky v navazujícím stupni je považována kvalita diplomových a disertačních prací, výkony studentů doktorského studia při zkouškách, výzkumné a tvůrčí projekty, ve kterých jsou zapojeni i studenti. V této části je hodnocena i účast AP ve zkouškových komisích. Jako další důkazy o efektivní výuce jsou brána skripta, které AP připravil speciálně pro přednášený kurz; kvalita studentských projektů vedených AP; prezentace; interaktivní výukové materiály; testovací programy; rozvoj náplně vyučovaného předmětu nebo vývoj nového předmětu; studentské konzultace pořádané nad rámec samotného kurzu a ostatní práce se studenty.
V oblasti vědy jsou nejvíce ceněny a hodnoceny publikace. Publikace článků a esejí v recenzovaných časopisech, knih a jejich kapitol, je důkazem o excelenci ve vědě. Jako důkaz kvality je využíváno znaleckého posudku daných publikací (peer review) a počet citací. Pro jazykově založené obory jsou hodnoceny i odborné překlady. Dále jsou hodnoceny recenze knih; ceny, které AP získal v rámci i mimo univerzitu za svůj přínos oboru; zvané účasti na konferencích a získání grantů nebo účast v prestižních vědeckých společnostech.
Oblast služeb je rozdělena do 3 kategorií. V první kategorii jsou hodnoceny služby, které AP vykonává pro svůj obor. Toto zahrnuje editorskou činnost časopisů nebo knih; členství v editorských radách; recenze rukopisů; členství v profesionálních hodnotících komisích; služby související s prací v komisích nebo členství ve významných místních, národních nebo mezinárodních profesionálních organizacích. V kategorii služeb, které AP poskytuje veřejnosti, je hodnoceno členství ve veřejných organizacích nebo výborech související s oborem AP; odborné poradenství ve prospěch veřejnosti (je zohledněna i výše odměny); pomoc veřejné organizaci k získání znalostí nebo informací potřebných k jejich aktivitě. Organizacemi jsou míněny společnosti, agentury a instituce jak soukromé, tak veřejné. V poslední kategorii jsou pak zahrnuty služby univerzitě. Zde jsou ceněny služby katedře, fakultě a univerzitě a účast v komisích (ta je však očekávána od každého AP a dá se považovat za povinnost). Vyšší váhu mají hlavně náročné komise (pro povýšení 52
a udělování definitivy, zavádějící nové administrativní postupy, vyvíjející a zavádějící nové řídící nebo administrativní systémy, hodnotící kolegy v rámci univerzity). V úvahu jsou brány také jiné aktivity spojené s komisemi, které odčerpávají podstatnou část času a jsou zatíženy vysokou odpovědností. Není však hodnocena jen samotná účast, ale i efektivita a kvalita práce pro komisi.
Následující
řádky
obsahují
interpretaci
jednotlivých
stupňů
hodnocení,
které využívá hodnotící komise pro vyjádření svého konečného hodnocení.
Hodnotící škála pro hodnocení výuky 1
Výuka AP je naprosto excelentní. Excelenci je možno doložit vysokým hodnocením ve studentských evaluacích, vysokou úrovní materiálů, které AP používá při výuce a také porovnáním s výkonem ostatních AP. Obecně toto hodnocení znamená, že kvalita výuky AP náleží do horní čtvrtiny v rámci fakulty.
2
Výuka AP je efektivní, což dokazují kladné hodnocení ve studentských evaluacích, vysoké hodnocení v porovnání s ostatními AP a velmi kvalitní výukové materiály. Hodnocení vyjadřuje nadstandardní plnění povinností v oblasti výuky. Pro povýšení AP je třeba dosáhnout nejméně tohoto hodnocení.
3
Toto hodnocení představuje daný standard, o jehož dosažení by měli usilovat všichni AP. Obecně jsou výsledky studentských evaluací průměrné, výkon AP je srovnatelný s výkonem ostatních AP a podkladové materiály pro výuku jsou kvalitní. Obecně platí, že kvalita výuky AP je uspokojující, ale nestačí na povýšení.
4
Nejnižší možné hodnocení. V porovnání s kolegy je výkon AP neuspokojivý, výsledky studentských evaluací jsou nedostatečné a kvalita materiálů je nízká. Kvalita výuky je na úrovni, která nestačí ani na prodloužení smlouvy s AP.
Hodnotící škála pro hodnocení vědy V oblasti vědy jsou stanoveny standardy pro jednotlivé akademické pozice odborný asistent, docent a profesor. 1
Odborný asistent: práce AP je velmi kvalitní a dá se očekávat, že se stane kapacitou ve svém oboru. Pokud je AP na této pozici zaměstnán méně 53
než 2 roky, hodnocení je založeno na disertační práci a dosud nezveřejněných článcích (přijatých k publikaci). Poté by měl AP publikovat ve vybraných časopisech. Docent: požadovaná kvalita výstupů je srovnatelná s kvalitou požadovanou po profesorech, ovšem ne v takovém rozsahu, zřetel je brán na to, že v daném oboru ještě nepůsobí tak dlouho. Profesor: AP patří mezi špičky ve svém oboru, za své výsledky ve vědě si zasloužil národní uznání, a to jak rozsahem, tak kvalitou. 2
Odborný asistent: výkon AP splňuje očekávání a odvádí kvalitní vědeckou práci, ale prozatím není jisté, zda bude schopen provádět takto kvalitní výzkum i do budoucna. Docent i profesor: toto hodnocení zasluhují AP, jejichž práce není na takové úrovni, aby bylo možno je zařadit do první skupiny, ale současně splňují standardy dané jejich pozici.
3
Odborný asistent: výzkum AP nemá dostatečnou kvalitu ani rozsah. Výjimkou mohou být AP, kteří jsou zaměstnáni teprve dva roky, u nich je možno hodnotit disertační práci a články, které jsou přijaty k publikaci. Docent i profesor: AP sice provádí výzkum, ale jeho kvalita a rozsah není tak vysoká, jak by se dalo předpokládat u těchto akademických pozic.
4:
Odborný asistent: toto hodnocení je použito v případě, kdy výkon AP je ještě horší než AP, který je obdrží hodnocení 3. Docent i profesor: jsou zařazeni do této skupiny, jestliže se do výzkumu zapojují minimálně nebo vůbec a jejich výsledky jsou velmi slabé.
Hodnotící škála pro oblast služeb 1
Služby poskytované univerzitě i společnosti jsou velmi kvalitní.
2
AP by měl být zařazen do skupiny 2, pokud se výrazně zapojil do služeb a má doklad o významném příspěvku univerzitě nebo společnosti.
3
Toto hodnocení znamená nízké zapojení nebo nízkou kvalitu služeb pro univerzitu a společnost.
4
Vyjadřuje naprosto minimální zapojení ve službách.
Velmi kladně hodnotíme skutečnost, že slovní popis stupňů hodnotící škály je natolik přesný, aby nemohlo být pochyb o přiděleném hodnocení. Dále stojí za zmínku 54
oddělené hodnocení v oblasti vědy pro různé akademické pozice zohledňující rozdílné možnosti, dovednosti a zkušenosti, které mají AP s různými akademickými tituly. Takové hodnocení lze vnímat i jako dané standardy. Z nastaveného modelu hodnocení je vidno, že univerzita si velmi zakládá na tom, aby její AP a jejich výkony ve všech oblastech byli přinejmenším standardní. Informace obsažená ve výsledcích hodnocení je využitelná jak pro personální politiku univerzity, tak pro rozvoj daného AP.
2.2.2
Analýza modelů hodnocení AP využívaných na tuzemských univerzitách
Využití modelů hodnocení na českých univerzitách není tak rozšířené jako v zahraničí a je zde uplatňován i značně odlišný způsob hodnocení. Zatímco v zahraniční je v hojné míře využíváno osoby hodnotitele (zapojení lidského faktoru do procesu hodnocení), na českých univerzitách je politika zcela opačná, a to snaha o naprosté vyloučení jakéhokoliv podílu lidského faktoru, který by mohl ovlivnit výsledek hodnotícího procesu. Zjednodušený obecný model: výstupům práce AP jsou přiřazeny body a na základě množství bodů získaných AP je vypočteno hodnocení. Takovýto přístup vyžaduje naprosto přesnou definici náplně práce AP a vyčerpávající seznam všech možných výstupů jeho práce.
2.2.2.1 Masarykova Univerzita v Brně, Právnická fakulta
Na Právnické fakultě Masarykovy univerzity v Brně probíhá hodnocení práce AP 18 . Hodnocení je prováděno za účelem stanovení částky
na základě pokynu děkana č. 7/2009 Určení kritérií pro hodnocení pedagogické a jiné činnosti (vytíženosti)
výkonnostního příplatku, který je rozdělován mezi katedry a následně mezi jednotlivé AP.
Dále má hodnocení podat informaci o zapojení jednotlivých AP v přímé pedagogické činnosti v jednotlivých částech studia (Bc., Mgr., PhD.) a také stanovit hodinovou dotaci pro externí pracovníky. Rozhodné období v modelu hodnocení začíná 1. května a končí 30. dubna následujícího roku. Základním krokem v hodnotícím procesu bylo stanovení celkové hodinové dotace jednoho AP. Ta činí 840 hodin na jeden semestr čítající 21 týdnů, tj. 8 hodin za pracovní den. Tento fond je dále rozdělen na 3 části: -
přímá pedagogická činnost v bakalářském a magisterském studiu (PBM), která zahrnuje vedení seminářů, cvičení, přednášek a exkurzí; ověřování znalostí 55
studentů; vedení a oponování seminárních a diplomových prací; zpracování učebních textů a učebnic, -
přímá pedagogická činnosti v doktorském studiu a tvůrčí činnost (PDaV) zahrnující vedení přednášek a cvičení; vedení a oponování vědeckých prací; ověřování znalostí doktorandů; vědecké, výzkumné a vývojové úkoly; základní a aplikovaný výzkum; koordinaci vědeckých projektů,
-
ostatní činnost (O), do které náleží poskytování konzultací; účast na přijímacím řízení; administrativní úkoly spojené s výukou a výzkumem.
Rozdělení hodinové dotace mezi tyto činnosti je závislé na pracovní pozici AP, například u AP s akademickým titulem docent může rozdělení vypadat následovně: -
50%hodinové dotace (420 hodin) připadá na PBM,
-
40% (336 hodin) na PDaV,
-
10% (84 hodin) na O.
Takto je rozdělen hodinový fond u ostatních akademických pozic: -
Lektor prvního stupně: 90 % PBM a 10 % O,
-
Lektor druhého stupně: 80 % PBM, 10 % PDaV a 10 % O,
-
Asistent: 70 % PBM, 20 % PDaV a 10 % O,
-
Odborný asistent: 60 % PBM, 30 % PDaV a 10 % O,
-
Profesor: 40 % PBM, 50 % PDaV a 10 % O.
O konkrétním rozdělení hodinové dotace pro AP rozhoduje jeho vedoucí tak, aby byl plně využit potenciál AP a aby byly pokryty potřeby katedry. Hodinová dotace je krácena u akademických pozic: -
Rektor
až do výše 90 % hodinové dotace,
-
Prorektor až do výše 70 %,
-
Děkan
-
Proděkan až do výše 50 %.
až do výše 80 %,
Charakteristickým znakem tohoto systému hodnocení AP je vyšší důraz na pedagogickou činnost. AP by jí měl věnovat největší podíl své činnosti, kromě AP s titulem profesor. Na tvůrčí činnost není kladen takový důraz, nicméně i tak je u některých akademických hodností, např. odborný asistent, požadované zapojení do této činnosti dosti
56
vysoké s ohledem na typ fakulty. Ovšem je-li AP zapojen v tvůrčí činnosti málo nebo vůbec, je navýšen jeho úvazek v pedagogice tak, aby byla jako hodinová dotace naplněna. Jak bylo řečeno, hlavní složkou hodnocení je hodnocení PBM. V následujícím textu je ve stručnosti shrnut princip bodového hodnocení těchto aktivit. Každé činnosti byl na základě její náročnosti přidělen koeficient, který vyjadřuje skutečnou hodinovou náročnost aktivity (včetně přípravy). Tento koeficient je násoben počtem hodin, kterými se AP dané činnosti věnuje nebo počtem studentů, které vede. Celkové hodnocení, které je porovnáno s hodinovou dotací pro pedagogickou činnost, představuje součet těchto násobků. Při bližším zkoumání je zřejmé, že přiřazení koeficientů jednotlivým aktivitám provedl management expertně, nikoliv na základě předchozího měření. Například koeficient za přednášku v českém jazyce je roven 2 za hodinu a koeficient za oponentský posudek na diplomovou práci je roven 4 za práci, přitom dle našeho mínění je předpokládaná náročnost zpracování oponentského posudku vyšší než příprava a provedení přednášky, kterou AP nepřednáší poprvé. V oblasti PDaV je hodnocení prováděno vedoucím daného AP, který na základě seznamu činností, které AP během roku vykonával, zhodnotí aktivity AP v závislosti na jeho pracovní pozici a z hlediska zvyšování jeho kvalifikace. V této oblasti se cení zejména publikace odborných článků v impaktovaných časopisech, autorství odborných knih a jejich kapitol a účasti na konferencích. Seznam vypracovává vždy hodnocený AP a předává jej svému vedoucímu. Podle hodnocených aktivit se dá usuzovat, že při hodnocení PDaV vychází vedoucí z Metodiky hodnocení výzkumu a vývoje a jeho výsledků [Příloha IX] (dále „Metodika“), kterou vydává Ministerstvo školství, mládeže a tělovýchovy. Hodnocení O je stejně jako PDaV provedeno vedoucím AP. Mezi ceněné aktivity patří členství ve vědeckých radách, oborových komisích a redakčních radách, práce v organizačních výborech konferencí, členství v orgánech odborných společností, garantování zahraniční spolupráce celofakultního významu a další činnost celofakultního či celouniverzitního významu.
Pozitivní na celém systému je jistě to, že fakulta dokumentuje stávající stav kvality svých AP. Systém se zároveň snaží zajišťovat spravedlnost mezi výkony AP, jestliže AP nemá výsledky v tvůrčí činnosti, je mu navýšen úvazek v pedagogice. Model hodnocení zároveň působí jako motivační systém, jelikož je na základě výsledků rozhodováno o výši 57
výkonnostního příplatku. Vedoucí AP má možnost ovlivňovat nasazení AP v jednotlivých oblastech, a tím zajistit ideální chod pracoviště. Možný nedostatek lze spatřovat v hodnocení oblasti tvůrčích a organizačních aktivit, které je prováděno pouze vedoucím AP, a proto je zde nebezpečí subjektivního názoru. Vzhledem k propracovanosti a kvalitě systému hodnocení by se dalo doporučit použití výsledků i v jiných oblastech, např. podklad při řešení personálních otázek, při plánování rozvoje AP, atd.
2.2.2.2 Univerzita Tomáše Bati ve Zlíně, Fakulta aplikované informatiky
Systém hodnocení akademických pracovníků na Univerzitě Tomáše Bati ve Zlíně zaneseno i v Úplném znění mzdového předpisu UTB ve Zlíně 19 .
představuje propracovaný model sloužící ke stanovení osobního ohodnocení, které je
Typické pro tento model je oddělené hodnocení výkonu v pedagogické a tvůrčí
činnosti. Na základě tohoto odděleného hodnocení je také rozdělen osobní příplatek na část za pedagogickou a část za tvůrčí činnost. Rozhodným obdobím v případě hodnocení pedagogických aktivit je akademický rok a v případě tvůrčí činnosti je to kalendářní rok. Toto rozdělení je logické s ohledem na kontinuálnost tvůrčí činnosti i mimo akademický rok. Proces hodnocení je však naplánován tak, aby bylo možno hodnotit obě oblasti zároveň, a tím snížit finanční i časové nároky. Jak bylo zmíněno, v modelu jsou zvlášť hodnoceny pedagogické a zvlášť tvůrčí aktivity. Jako standard, který musí každý AP splnit, byl stanoven počet 1800 „započitatelných hodin“ (zkráceně ZH) ročně, které by měly být v případě AP rozděleny rovnoměrně mezi: -
pedagogickou činnost (900 ZH) – příprava a realizace cvičení, seminářů, přednášek, zkoušení studentů, příprava pedagogické dokumentace a učebních textů, atd.,
-
tvůrčí činnost (900 ZH) - samostatné vědecké, výzkumné, vývojové, umělecké nebo další tvůrčí činnosti, vedení studentů v doktorském studijním programu.
U lektorů působících na univerzitě je důraz kladen na pedagogickou činnost (1350 ZH) a zbytek svého času (450 ZH) věnují lektoři ostatním činnostem (konzultační činnost v doktorském studiu, práce při průběžné kontrole studia). Stejně jako v modelu používaném na Právnické fakultě na Masarykově univerzitě v Brně je toto rozdělení pouze doporučením a o zapojení AP do jednotlivých činností rozhoduje děkan nebo ředitel ústavu 58
tak, aby bylo optimálně využito kapacity všech AP a zabezpečen chod katedry. V pravomocech děkanů jednotlivých fakult je i stanovení minimálního rozsahu přímé vyučovací činnosti (vedení přednášek, cvičení a seminářů). V analyzovaném systému na fakultě aplikované informatiky je toto minimum stanoveno na 200 ZH ročně.
Hodnocení pedagogických aktivit Následující text je věnován popisu hodnocení pedagogických aktivit. V závislosti na časové náročnosti a potřebě odborných znalostí je jednotlivým činnostem přiřazen určitý počet ZH vztažených na jednotku času, který se AP věnoval dané činnosti (tato jednotka se nazývá rozvrhová hodina a trvá 50 minut) nebo na studenta, kterému se AP věnoval. Počet ZH je stanoven i s ohledem na přípravu nutnou pro danou činnost. Za každou rozvrhovou hodinu (RH), kterou se AP věnuje přednášce, mu jsou přiděleny 3 ZH a za každého vyzkoušeného studenta 0,7 ZH. V tabulce 2.2 je uveden výčet hodnocených aktivit. Aktivity AP
Počet ZH
Přednáška v prezenční formě bakalářských studijních programů (dále jen „BSP“) a magisterských studijních programů (dále jen „NMSP“)
3 ZH/RH
Řízené konzultace v kombinované formě BSP a NMSP
3 ZH/RH
Přednáška ve světovém jazyce v prezenční a kombinované formě BSP a NMSP Přednáška v doktorském studijním programu (dále jen „DSP“), (počet posluchačů min. 5)
4 ZH/RH
Přednáška v DSP ve světovém jazyce (počet posluchačů min. 5)
5 ZH/RH
Seminář nebo cvičení ve světovém jazyce (včetně rozvrhovaných on-line hodin konzultací) Seminář, cvičení, laboratoře, ateliéry v prezenční a kombinované formě (včetně rozvrhovaných on-line hodin konzultací) Školitel doktorandů: - doktorand v 1. roce studia - doktorand ve 2. roce studia - doktorand ve 3. roce studia - doktorand ve 4. roce studia Školitel doktorandů ve světovém jazyce: - doktorand v 1. roce studia - doktorand ve 2. roce studia - doktorand ve 3. roce studia - doktorand ve 4. roce studia Semestrální nebo vícesemestrální zkouška v prezenční a kombinované formě BSP a NMSP
3 ZH/RH
Klasifikovaný zápočet v BSP a NMSP
4 ZH/RH
2 ZH/RH 50 ZH/rok 75 ZH/rok 75 ZH/rok 75 ZH/rok 60 ZH/rok 85 ZH/rok 85 ZH/rok 85 ZH/rok 0,7 ZH/stud. 0,5 ZH/stud.
59
Dílčí zkouška v DSP
1 ZH/stud.
Státní závěrečná zkouška v NMSP studia, včetně obhajoby diplomové práce (dále jen „DP“), každý člen komise Státní závěrečná zkouška v BSP studia, včetně obhajoby bakalářské práce (dále jen „BP“), každý člen komise
2 ZH/stud. 1,5ZH/stud.
Státní doktorská zkouška v DSP, každý člen komise
3 ZH/stud.
Člen komise pro obhajoby disertační práce v DSP
3 ZH/stud.
Písemné přijímací zkoušky do prezenční a kombinované formy studia (předseda a opravující přijímací testy)
0,2 ZH/stud.
Ústní přijímací zkoušky (každý člen zkušební komise)
0,2 ZH/stud.
Člen hlavní přijímací komise v prezenční a kombinované formě
5 ZH/den
Příprava jednoho testu (varianty) pro přijímací řízení
10 ZH/test
Tab. 2.2 Ohodnocení jednotlivých pedagogických výkonů [19] Vedení absolventských prací není v modelu hodnoceno, protože za něj náleží AP peněžitá odměna. Výsledkem zahrnutí vedení prací by tedy bylo jejich duplicitní finanční ohodnocení. V modelu jsou zohledněny i akademické a pedagogické funkce, kterým jsou v tabulce 2.3 také přiřazeny ZH.
Rektor
800 ZH
Prorektor
600 ZH
Děkan
700 ZH
Proděkan
500 ZH
ředitel ústavu - do 10 pracovníků včetně - do 20 pracovníků včetně - nad 20 pracovníků zástupce ředitele ústavu - nad 20 pracovníků tajemník ústavu - do 10 pracovníků včetně - do 20 pracovníků včetně - nad 20 pracovníků
200 ZH 300 ZH 400 ZH 150 ZH 50 ZH 100 ZH 150 ZH
předseda AS UTB
500 ZH
předseda AS fakulty
400 ZH
předseda oborové rady a rady studijních programů
50 ZH
člen oborové rady a rady studijních programů
20 ZH
60
10 ZH/skupina 50 studentů Tab. 2.3 Ohodnocení akademických a pedagogických funkcí [19]
vedoucí učitel studijní skupiny/ročníku
Zde je patrná rozdílnost mezi rozdílným ohodnocením akademických funkcí v tomto modelu a modelu Masarykovi Univerzity v Brně, což si vysvětlujeme rozdílu ve velikosti obou fakult. Na základě podkladů, které připravuje studijní oddělení, je vypočítáno celkové hodnocení za pedagogickou aktivitu. Celkové hodnocení představuje prostý součet všech ZH, které AP získal.
Hodnocení tvůrčích aktivit Pro hodnocení tvůrčích aktivit je v současné době využíván systém, který vychází z platné Metodiky [Příloha IX]. Bodové hodnocení jednotlivých výstupů z tvůrčí činnosti je však oproti Metodice vynásobeno 50, aby byla zajištěna kompatibilita s hodnotícím systémem na UTB (hodnocením pedagogické činnosti), tzn. získání jednoho bodu je rovno 50 ZH. Jako standard pro tvůrčí aktivity je stanoven počet 900 ZH pro každého AP. V případě, že AP standard překročí, jsou mu překročené ZH převedeny do následujícího hodnotícího období nebo je mu přiznán vyšší osobní příplatek nebo je snížen rozsah pedagogické činnosti. V případě fakulty aplikované informatiky je při překročení standardu přiznáván AP vyšší osobní příplatek. Podkladem pro hodnocení tvůrčích aktivit je osobní bibliografická databáze, do které zadává informace vždy autor nebo spoluautor, a publikační složka, která obsahuje kopie publikačních aktivit a kterou AP odevzdává oddělení VaV. Započitatelnými výstupy tvůrčí činnosti jsou článek v odborném periodiku (impaktované, neimpaktované), odborná kniha, kapitola v odborné knize, článek ve sborníku, patent, poloprovoz, ověřená technologie, užitný a průmyslový vzor, prototyp, a výzkumná zpráva. Všechny tyto výstupy jsou přesně specifikovány v 21 .
poskytovatelem realizované výsledky, certifikované metody a postupy, software
Celkové hodnocení za oblast tvůrčích aktivit je stanoveno jako aritmetický průměr
získaných ZH v hodnoceném kalendářním roce a roce předcházejícím. Tento způsob výpočtu je originální. Svým způsobem zohledňuje specifický charakter vědecké práce, jejímž hlavním znakem je dlouhodobost a kontinuálnost. Tedy v případě delších výzkumů přesahujících jedno hodnotící období je v hodnocení zohledněna větší část práce. Zároveň 61
však výsledné hodnocení dostatečně nevypovídá o skutečném výkonu za hodnocené období, a proto bychom navrhovali použití váženého průměru s vyšší váhou na aktuální hodnocené období. Z nastavených standardů lze usuzovat, že práce AP v oblasti pedagogiky i v oblasti vědy jsou pro univerzitu stejně významné. Zatímco organizační činnost v modelu není vůbec zahrnuta. Standardy, které jsou nastaveny pro všechny akademické pozice (odborný asistent, docent, profesor) stejně, dostatečným způsobem nevypovídají o odlišnosti práce AP na těchto různých pracovních pozicích. Model upravuje směrnice, která je vydávána každý rok, proto je možné každý rok model hodnocení upravovat a zdokonalovat pro aktuální potřeby hodnotitele.
2.2.2.3 Univerzita Jana Evangelisty Purkyně v Ústí nad Labem, Fakulta životního prostředí
Mezi instituce terciárního vzdělávání, které se rozhodly zveřejnit systém hodnocení svých AP, patří i Fakulta životního prostředí UJEP. Toto hodnocení je prováděno jednou za kalendářní rok v oblastech: Pedagogická činnost (dále „Výuka“) a Vědecká a výzkumná činnost (dále „Věda“). Dle našich informací slouží výsledky hodnocení jako podkladový materiál pro vyhodnocování efektivnosti AP, přidělování osobních příplatků, plánování a řízení vědy a jako nástroj ke stimulaci spolupráce mezi AP. Ačkoliv fakulta uvádí, že v rámci hodnocení výuky je hodnocena efektivita výuky, vedení diplomových prací, 23, 24 , v modelu jsou zohledněny jen nadúvazkové hodiny přednášek a cvičení a počty
počet nadúvazkových hodin, ostatní fakultě prospěšné aktivity a organizační činnost
diplomantů.
Hodnocení vědy probíhá na základě Metodiky [Příloha IX]. Výzkumné závěry jsou hodnoceny primárně u AP v hlavním pracovním poměru. Počet bodů za každý výstup je a projekty 24 .
oproti metodice Rady vlády pro VaV vynásoben čtyřmi. Zvláště jsou hodnoceny granty
Výsledkem hodnocení je prostý součet bodů získaných v oblasti výuky a vědy.
Z hodnocených oblastí je vyjmuta oblast služeb univerzitě či společnosti, což může mít za následek neaktivitu AP v této oblasti. Tento nedostatek se dá však odstranit speciálním oceněním zapojení do služeb. Za zmínku stojí i to, že se fakulta zmiňuje i o hodnocení neakademických pracovníků, jejichž jediným kritériem hodnocení výkonu je kvalitní plnění pracovních úkolů při dodržování pracovní doby. Celkově je model velmi 62
jednoduchý, avšak jako jeden z mála přímo zmiňuje potřebu spravedlivého hodnocení mezi AP.
2.2.2.4 Univerzita Palackého v Olomouci, Přírodovědecká fakulta
Dostáváme se k Přírodovědecké fakultě Univerzity Palackého v Olomouci. Model hodnocení je vyvíjen od roku 2006, kdy vznikla jeho první testovací verze. Naší analýze podrobíme i druhé řešení modelu, které bylo publikováno v minulém roce. V současné době se zahajuje pilotní testování třetí a prozatím konečné verze modelu na VŠE v Praze. Testování je realizováno v rámci Individuálního projektu národního Operačního programu Vzdělávání pro konkurenceschopnost, který je financován ESF a státním rozpočtem ČR. V případě úspěšného výsledku bude systém doporučen MŠMT všem vysokým školám v ČR.
Hlavním důvodem pro zavedení ročního hodnocení AP bylo zvýšení kvality jejich práce ve všech oblastech činností. Pro potřeby modelu je práce AP rozdělena do následujících oblastí a podoblastí: -
Pedagogické aktivity -
spojené s výukou (počet přednášek, cvičení, udělených zápočtů, zkoušených studentů, atd.),
-
spojené s vedením studentů (počet vedených dipl. prací, oponentních posudků na bakalářské a diplomové práce, vedených prací SVOČ, atd.),
-
Vědeckovýzkumné
aktivity
(článek
v neimpaktovaném,
impaktovaném
časopise, kniha, patent, příspěvek na konferenci, atd.), -
Organizační aktivity -
související s vědou a výzkumem (účast v grantech výzkumného charakteru, členství ve vědecké radě, členství v senátu, atd.),
-
související
se
zajištěním
a
rozvojem
studia
(účast
v grantech
organizačně-pedagogického charakteru, vědoucí katedry, grant oboru, atd.).
Toto vícenásobné rozdělení činností AP dává autorům modelu šanci na lepší identifikaci všech složek práce AP. Činnostem ve skupinách byly přiřazeny body dle jejich
časové a odborné náročnosti. Dílčí hodnocení ! představuje součet bodů získaných AP
63
prostřednictvím konkávní hodnotící funkce o (Graf 2.1) na číslo z intervalu 〈0, 1〉, v jednotlivých skupinách a podskupinách. Toto parciální hodnocení je dále transformováno
které představuje výsledné hodnocení AP skupiny činností.
Hodnocení 0.5 je bráno jako daný standard, kterého by měli všichni AP dosahovat. Tyto standardy byly nastaveny pro každou akademickou pozici zvlášť. V oblasti pedagogiky byl brán zřetel na časovou (včetně přípravy) a odbornou náročnost aktivity. V oblasti vědy byla důsledně využita Metodika [Příloha IX]. Body činnostem ve třetí skupině byly stanoveny na základě časové náročnosti. Dosáhl-li AP hodnocení 0.75, pak v dané oblasti vykonal dvojnásobné množství práce než je daný standard. Hodnocení 1 dále vyjadřuje trojnásobné množství práce oproti uvedenému standardu.
Graf 2.1 Hodnotící funkce o
Pro agregaci celkového hodnocení a v rámci jednotlivých skupin (výuka a organizační aktivity) byl vybrán OWA operátor. Tento operátor byl zvolen, protože nutí AP, aby se zapojil ve všech oblastech, a zároveň respektuje akademickou svobodu každého z nich. Ovšem možnost vedení univerzity směřovat úsilí svých AP je značně omezeno. Prakticky jedinou možností, jak může univerzita ovlivnit práci AP, je změna vah v rámci OWA operátoru, což je ovšem velmi výrazný zásah a časté korekce vah by mohly vyvolat debaty o důvěryhodnosti modelu. Takto nastaveným modelem bylo provedeno zkušební hodnocení a ukázalo se, že využití hodnotící funkce v kombinaci s OWA operátorem není srozumitelné pro širší akademickou obec. Proto prošel model inovativními změnami a vznikla tak již zmiňovaná druhá verze modelu hodnocení.
64
Byly přerozděleny oblasti práce AP: Pedagogická činnost související s - výukou,
-
- vedením studentů, - rozvojem studia. Vědeckovýzkumná činnost - bodované výsledky VaV (dle Metodiky),
-
- další výstupy VaV, - organizační činnost spojená s VaV. Akademické funkce a manažerská činnost.
-
Akademické funkce v modelu vystupují samostatně a jsou tak i hodnoceny. Tvůrci modelu také přehodnotili bodové ohodnocení jednotlivých aktivit AP. Společně s transformací bodového ohodnocení muselo dojít i ke změně standardů pro jednotlivé akademické pozice. Parciální hodnocení v rámci skupin získána jako prostý součet jsou nyní transformována lineárně na hodnocení AP za pedagogickou nebo vědeckou činnost dle vzorce
kde
7,)
ž7,) =
7,) À 7,)
, k = 1, 2, , = 1, 2, 3,
vyjadřuje bodové ohodnocení AP na j-té pozici v i-té oblasti,
À 7,)
je daný standard
pro AP na j-té pozici v i-té oblasti a ž7,) je výsledné hodnocení AP na j-té pozici v i-té oblasti vyjadřující, jaký násobek příslušného standardu AP dosáhl.
Na spojitých škálách parciálních hodnocení jsou nadefinovány jazykové hodnotící fuzzy škály.
Graf 2.2 Jazyková fuzzy škála pro pedagogickou činnost
65
Graf 2.3 Jazyková fuzzy škála pro vědeckovýzkumnou činnost Pro agregaci obou oblastí je využita báze fuzzy pravidel, která je sestavena tak, aby extrémní nebo vysoký výkon v jedné oblasti zajišťoval přinejmenším průměrné hodnocení. Ovšem průměrný výkon v jedné oblasti a podprůměrný v druhé může být nejvýše hodnocen jako substandardní. Taková volba báze nutí AP dosahovat v obou oblastech alespoň stanovaného standardu. Přibližná dedukce je využita pro odvození výstupní proměnné Celkový výkon AP ve výuce, vědě a výzkumu z číselných hodnot vstupních proměnných. Výstupní proměnná je opět interpretována pomocí fuzzy škály (Graf 2.4).
Pedagogická činnost - výkon AP
Vědeckovýzkumná činnost - výkon AP Velmi nízký
Nízký
Standardní
Vysoký
Extrémní
Velmi nízký
Nevyhovující
Nevyhovující
Substandardní
Standardní
Velmi dobrý
Nízký
Nevyhovující
Nevyhovující
Substandardní
Standardní
Substandardní
Substandardní
Standardní
Vysoký
Standardní
Velmi dobrý
Velmi dobrý
Vynikající
Vynikající
Extrémní
Velmi dobrý
Vynikající
Vynikající
Vynikající
Vynikající
Velmi dobrý Velmi dobrý
Vynikající Vynikající
Tab. 2.4 Báze fuzzy pravidel pro agregaci hodnocení v pedagogické a vědeckovýzkumné činnosti
66
Graf 2.4 Celkový výkon AP ve výuce, vědě a výzkumu V závěrečné fázi hodnotícího modelu je pozornost věnována akademickým funkcím AP, které odčerpávají jeho produktivní čas. Součet bodů, které AP získal v této oblasti,
přestavuje
jazykovou
proměnnou
Zatížení
AP
akademickými
funkcemi
a manažerskou činností, která je vyjádřena jazykovou fuzzy škálou (Graf 2.5).
Graf 2.5 Zatížení AP akademickými funkcemi a manažerskou činností Pro výpočet celkového hodnocení AP byla sestavena další báze pravidel (Tabulka 2.5) se vstupními proměnnými Celkové hodnocení AP ve výuce, vědě a výzkumu a Zatížení AP akademickými funkcemi a manažerskou činností a celkovou výstupní proměnnou Celkové vytížení AP (Graf 2.6).
Celkový výkon AP ve výuce, vědě a výzkumu
Zatížení AP akademickými funkcemi a manažerskou činností Téměř žádné
Menší
Výrazné
Extrémní
Nevyhovující
Velmi vysoké
Nízké
Standardní
Extrémní
Substandardní
Nízké
Standardní
Vysoké
Extrémní
Standardní
Standardní
Vysoké
Extrémní
Extrémní
Velmi dobrý
Vysoké
Extrémní
Extrémní
Extrémní
Vynikající
Extrémní
Extrémní
Extrémní
Extrémní
Tab. 2.5 Báze fuzzy pravidel pro odvození celkového hodnocení za třetí hodnocenou oblast 67
Graf 2.6 Celkové vytížení AP Z takto nastaveného modelu hodnocení je zřejmé, že záměrem autorů bylo vyloučení „lidského faktoru“ z procesu hodnocení, tedy snaha o hodnocení postavené na objektivních datech a to se zdařilo. Výsledkem je model, ve kterém je způsob agregace odlišný od výše analyzovaných modelů (většinou je využit vážený průměr bodových hodnocení).
68
3
Návrh modelu hodnocení AP Hlavním důvodem pro zavedení pravidelného ročního hodnocení AP je zlepšení
kvality výuky na celé univerzitě. Dále by mělo usnadnit trvalý rozvoj fakulty v jejich akademických úkolech, plnit vlastní profesní úkoly AP a poslání univerzity a v neposlední řadě je možno výsledky využít jako podkladový materiál při řešení personálních otázek. Model
vychází
z návrhu
modelu
hodnocení
akademických
pracovníků
na Přírodovědecké fakultě Univerzity Palackého v Olomouci. Model je tvořen tak, aby -
pokrýval všechny měřitelné činnosti AP,
-
používal jen ověřitelná a objektivní data a tím byl transparentní,
-
zbytečně neodčerpával čas subjektům účastnících se hodnotícího procesu,
-
poskytoval možnost pro uplatnění akademických svobod AP a zároveň byl efektivním nástrojem řízení pro vedení fakulty či univerzity,
-
zohledňoval excelenci AP v hodnocených oblastech.
Předmětem hodnocení jsou aktivity AP za předešlý kalendářní rok. Výsledky jeho práce jsou v rámci modelu rozděleny do oblastí: -
Pedagogická činnost (dále „Výuka“), -
přímá výuka (včetně přípravy na ni),
-
studentské evaluace,
-
Vědeckovýzkumná činnost (dále „Výzkum“),
-
Organizační činnost a profesionální rozvoj (dále „Služby“).
Jednotlivé činnosti jsou v rámci skupin obodovány dle své odborné a časové náročnosti. Bodové ohodnocení v přímé výuce vychází z časové i odborné náročnosti jednotlivých aktivit. V oblasti výzkumu jsme striktně vycházeli z platné Metodiky [Příloha IX] a bodové hodnocení ostatních výsledků je odvozeno. Aktivity ve třetí oblasti hodnocení jsou obodovány na základě své časové náročnosti. Seznam aktivit společně s přidělenými body a standardy v jednotlivých oblastech, které jsou stanoveny pro každou akademickou pozici zvlášť. Pro agregaci hodnocení v první skupině je nejvhodnější využít předností váženého aritmetického průměru s nastavením vah 0.8 pro přímou výuku a 0.2 pro studentské
69
evaluace. Hodnocení studentských evaluací vychází ze speciálně navrženého dotazníku (Formulář 3.1). Stejným způsobem lze ovšem využít i stávající dotazníky pro evaluace, Odpovědím jsou přiřazeny hodnoty z intervalu 〈0, 1〉, tak že
při dodržení následujících postupů při jejich vyhodnocování.
-
Souhlasím = 1,
-
Spíše souhlasím = 0.75,
-
Spíše nesouhlasím = 0.25,
-
Nesouhlasím = 0.
V rámci každého dotazníku je bodové hodnocení agregováno aritmetickým průměrem. Mohly bychom využít i vážený aritmetický průměru, kdybychom po pečlivé analýze a po diskuzi se širokou akademickou obcí přidělili váhu každé otázce.
Dotazník pro hodnocení výuky studenty Vysvětlivky: Souhlasím Spíše souhlasím Spíše nesouhlasím Nesouhlasím
S SS SN N S
SS
SN
N
o Postup přednášejícího je jasný a organizovaný. o Přednášky odpovídají sylabu předmětu. o Testy, zkoušky a další požadavky odpovídají sylabu předmětu. o Skripta a další materiály doporučené přednášejícím byly přínosem při pochopení probírané látky. o Přednášející reagoval na otázky a na konstruktivní připomínky studentů během kurzu. o Přednášející byl k zastižení během konzultačních hodin. o Způsob hodnocení odpovídá způsobu uvedenému v sylabu. Formulář 3.1 Návrh dotazníku studentských evaluací
Celkové bodové hodnocení AP za oblast studentských evaluací ℎ
½
vypočteme dle
následujícího vzorce, který je sestaven tak, aby zachovával nastavený poměr mezi body získanými z přímé výuky a body ze studentských evaluací ℎ
½
#
! = 6 >7 , 4A 7.
70
kde A je počet studentů, které v daném hodnotícím období vyučoval AP, >7 je výsledek
agregace výsledků z vyplněného formuláře k-tého studenta a ! je počet bodů, které AP získal v hodnocení přímé výuky (!`4 vyjadřuje maximální počet bodů, které může AP získat z oblasti studentských evaluací).
je pomocí transformační funkce ®Á (Graf 3.1) převeden na dílčí hodnocení, které je Celkový počet bodů, který AP získal v každé ze 3 oblastí (výuka, výzkum, služby),
vyjádřeno jako číslo z intervalu 〈0, 1〉. Předpis funkce
! Ÿ À5 ! ∈ 〈0, ! !À Ÿ ®Á = 0.25 ∙ ! + 0.25 ! ∈ 〈! , 3! Ÿ 5 À À Ä !À à  1 ! ≥ 3 ∙ ! À . Å Ã
0.5 ∙
Toto dílčí hodnocení interpretujeme následovně -
0 znamená, že AP nevykonal žádnou činnost v dané oblasti hodnocení,
-
0.5 je bráno jako daný standard hodnocení, kterého by měli dosahovat všichni AP,
-
0.75 je ekvivalent pro dvojnásobné množství odvedené práce nad požadovaný standard,
-
1 dosáhne AP, který odvedl minimálně trojnásobné množství práce než odpovídá standardu.
Graf 3.1 Hodnotící funkce ®Á .
Pro agregaci dílčích hodnocení v modelu využijeme předností WOWA operátoru tak, jak je nadefinován v kapitole 1.2. Hlavní výhodou použití tohoto operátoru spatřujeme v možnosti zohlednit preference hodnotitele a zároveň odpovídajícím způsobem ohodnotit
71
zaměření AP. Nevýhodou tohoto operátoru je ovšem jeho složitost. Tento problém je možno odstranit sestavením programu, který v závislosti na zadaných vahách a dílčích Váhový vektor a = 40.35, 0.40, 0.255 vyjadřuje preference vedoucího AP
hodnoceních vypočte celkové hodnocení.
a vychází z jeho požadavků. Váhový vektor f = 40.50, 0.30, 0.205 respektuje zaměření
AP na určitou oblast. Váhový vektor byl nastaven tak, aby odrážel skutečné zapojení AP Předpis funkce o, ze které odečítáme váhy, které jsou použity při agregaci
v hodnocených oblastech a zároveň nedegradoval preference hodnotitele.
konečného hodnocení
1.5
o = Ç0.9 + 0.2 0.6 + 0.4
Ÿ ∈ 〈0, 0.55 Ÿ ∈ 〈0.5, 0.85 Ÿ ≥ 0.8.
Funkce o je zobrazena na grafu 3.2 a konkrétní hodnoty vah pro možné kombinace
pořadí hodnocených oblastí v tabulce 3.1.
Graf 3.2 Funkce o. Výuka
Výzkum
Služby
Výzkum, výuka, služby
0.290
0.560
0.150
Výzkum, služby, výuka
0.215
0.560
0.225
Výuka, výzkum, služby
0.515
0.335
0.150
Výuka, služby, výzkum
0.515
0.260
0.225
Služby, výzkum, výuka
0.215
0.410
0.375
Služby, výuka, výzkum
0.365
0.260
0.375
Tabulka 3.1 Hodnoty vah pro možné kombinace pořadí hodnocených oblastí.
72
V tabulce 3.2 je na modelových hodnoceních je pro výpočet celkového hodnocení využit WOWA operátor s váhami, které jsou využity v navrhovaném modelu. První sloupec obsahuje dílčí hodnocení v oblastech výuka, výzkum a služby v tomto pořadí. Na první pohled je zřejmé, že výsledky jsou odlišné od výsledků agregačních operátorů OWA a AM.
Celkové hodnocení – WOWA a = 4z. ÈÉ, z. Êz, z. ZÉ5 f = 4z. Éz, z. Èz, z. Zz5 (1, 1, 1) 1 1 1 (1, 0.75, 0.75) 0.8787 (0.75, 1, 0.75) 0.89 0.833 0.85 (0.75, 0.75, 1) 0.8437 (0.75, 0.75, 0.75) 0.75 0.75 0.75 (0.5, 1, 0) 0.705 (0, 1, 0.5) 0.6725 (1, 0.5, 0) 0.6825 0.5 0.575 (1, 0, 0.5) 0.6275 (0, 0.5, 1) 0.58 (0.5, 0, 1) 0.5575 (0.5, 0.5, 0.5) 0.5 0.5 0.5 (0.5, 0.6, 0.2) 0,511 (0.2, 0.6, 0.5) 0,4915 (0.6, 0.5, 0.2) 0,5065 0.433 0.465 (0.6, 0.2, 0.5) 0,4735 (0.2, 0.5, 0.6) 0,473 (0.5, 0.2, 0.6) 0,4595 Tabulka 3.2 Srovnání agregačních operátorů na modelových hodnoceních. Dílčí hodnocení ve 3 hlavních skupinách
Celkové hodnocení – AM
Celkové hodnocení OWA 4z. ÈÉ, z. Êz, z. ZÉ5
Na závěr hodnotícího procesu, by se měl vedoucí AP sejít s hodnoceným AP a prodiskutovat výsledky hodnocení. Pro tuto schůzku jsme sestavili seznam 5 nejpodstatnějších bodů, které by měly být prodiskutovány -
úspěchy AP s ohledem na stanovené cíle,
-
překážky a problémy při dosahování cílů a jejich odstranění,
-
cíle pro následující období v hodnocených oblastech,
-
možnosti rozvoje schopností AP,
-
komentář AP.
73
Závěr Hlavním cílem diplomové práce byla analýza existujících modelů hodnocení AP působících na zahraničních a českých univerzitách. V průběhu zpracování analýz jsem zjistil odlišné přístupy při hodnocení AP, které převládají na univerzitách v zahraničí a v česku. Typickým prvkem pro zahraniční hodnotící systémy je řízená diskuze mezi AP a jeho hodnotitelem (vedoucím AP). Obecně lze z analyzovaných modelů odvodit, že zahraniční univerzity kladou vyšší důraz na excelenci v oblasti výuky. Dle mého názoru je nejzdařilejší systém využívaný na Texas A&M University. Uvedený model je velmi podrobný,
aby
bylo
vyloučeno
jakékoliv
pochybení
ze
strany
hodnotitele
i hodnoceného. Zvláště zpracování studentských evaluací je věnována velká pozornost. Bohužel preciznost tohoto systému jej činí časově i administrativně náročným. Obecným rysem českých modelů je obodování výstupů práce AP. Obodování je provedeno expertně nebo na základě časové a odborné náročnosti činnosti. Výsledkem hodnocení je porovnání výsledku agregace bodů, které AP obdržel, s danými standardy. Typické je také přímá vazba výsledků hodnocení na odměňování, s výjimkou modelu Přírodovědecké fakulty Univerzity Palackého v Olomouci. S ohledem na kratší historii využívání hodnotících systémů na českých univerzitách bych nejlépe ohodnotil návrh modelu na Přírodovědecké fakultě Univerzity Palackého v Olomouci. V druhém návrhu analyzovaného systému je pro agregaci bodů využito fuzzy matematiky, což systém i jeho výsledky činí srozumitelnějšími. Na základě analýzy modelů uvedených v kapitole 2, jsem sestavil model hodnocení, při jehož tvorbě jsem se snažil zkombinovat výhody obou přístupů. Výsledkem je model, který pro agregaci bodů využívá WOWA operátor, který při agregaci zohledňuje preference hodnotitele i hodnoceného. Měkkým prvkem hodnocení je závěrečná schůzka vedoucího s AP, která otvírá možnost pro diskuzi o úspěších, problémech a cílech práce AP.
74
Seznam příloh Příloha I
Formulář pro záznam výstupů hodnocení na University of Technology Sydney
Příloha II
Profil pracovní pozice Lektor na Flinders University
Příloha III
Profil pracovní pozice Odborný asistent na Flinders University
Příloha IV
Profil pracovní pozice Docent na Flinders University
Příloha V
Profil pracovní pozice Profesor na Flinders University
Příloha VI
Hodnotící formulář pro AP ve skupině A na Flinders University
Příloha VII
Formulář pro záznam z hodnotícího pohovoru na Flinders University
Příloha VIII
Hodnotící formulář pro AP ve skupině B na Flinders University
Příloha IX
Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů
75
Literatura 1
2
Talašová, J., Fuzzy metody vícekriteriálního hodnocení a rozhodování, 1. vydání, Olomouc: Univerzita Palackého v Olomouci, 2003. Fotr, J., Píšek, M., Exaktní metody ekonomického rozhodování, 1. vydání, Praha:
3
Nakladatelství Československé akademie věd, 1986.
4
12.12.2011].
Detyniecki, M., Fundamentals on Aggregation Operators [online]. Dostupné z: http://www-poleia.lip6.fr/~marcin/papers/Dety_AGOP_01.pdf,
[citováno
dne
Stipendia pro studenty Přírodovědecké fakulty Univerzity Palackého v Olomouci platná pro akademický rok 2010/2011 [online], dostupné z: http://oldwww.upol.cz/ fileadmin/user_upload/PrF-dokumenty/Studijni_oddeleni/Stipendia_2010_11.pdf,
5 6
[citováno dne 8.1.2012]. Faculty
Handbook
of
A&M
University
[online],
dostupného
z:
http://www.tamuk.edu /senate/Faculty%20Handbook.pdf, [citováno dne 3. 2. 2012]. Appendix to Faculty Handbook of A&M University [online], dostupného z: 7
http://www.tamuk.edu/senate/Appendices.pdf, [citováno dne 13. 1. 2012]. Torra, V., Nakurawa, Y., Modeling Decision, Berlin Heidelberg , Springer,
2007. [8]
Bebčáková, I., Talašová, J., Palvačka, O., Fuzzification of Choquet Integral and its application in multiple criteria decision making, Neural network world, Vol. 20,
9
2010, pp. 125-137. Talašová, J., Bebčáková, I., Fuzzification of Aggregation Operator Based on Choquet Integral. Aplimat - Journal of Applied Mathematics, Vol. 1, 2008, pp. 463474.
10 Holeček, P., Talašová, J., Müller, I., Fuzzy Methods of Multiple-Criteria Evaluation and Their Software Implementation, Cross-Disciplinary Applications of Artificial
Intelligence and Pattern Recognition: Advancing Technologies (editors Mago V. K., Bhatia N.), IGI Global 2012, p. 388-411, ISBN13: 9781613504291 , DOI: 11 Hroník, F., Hodnocení pracovníků, Praha, Grada Publishing, a.s., 2006. 10.4018/978-1-61350-429-1.
12 Chvátalová, A., Kohoutek, J., Šebková, H., , Zajišťování kvality v českém vysokém školství, Praha, Aleš Čeněk, s.r.o., 2008.
76
13 Standardy ENQUA [online], dostupné z: http://www.csvs.cz/projekty/2006_kvalita/ 14 Faculty and Academic Staff Handbook of University of Wisconsin Oshkosh publikace/07.pdf, [citováno dne 23.5.2011].
[online], dostupného z: http://www.uwosh.edu/provost/resources/handbooks/faculty-
15 UTS Performance rating guidelines, Human Resources [online], dostupné z: handbook/ 2011%20Handbook%20FINAL.pdf, [citováno dne 19.8.2011].
http://www.hru.uts.edu.au/performance/reviewing/rating.html,
[citováno
dne
16 Flinders university: Administrative Policies & Procedures – Assessmentand Review 16.4.2011].
[online], dostupné z: http://www.flinders.edu.au/ppmanual/review.html, [citováno
17 Guidelines
dne 18.3.2011]. for
Evaluation
of
Faculty
[online],
http://facaffairs.med.wayne.edu/pdfs/2011_faculty_guidelines.pdf,
dostupné
z:
[citováno
dne
18 Pokyn děkana č.7/2009 Určení kritérií pro hodnocení pedagogické a jiné činnosti 26.2.2012].
(vytíženosti) [online], dostupné z: http://is.muni.cz/do/law/ud/predp/archiv_predpisy/ 4862802/Pokyn_dek._c._7-2009_urceni_kriterii_pro_hodnoceni_ped._a_j.cin..pdf,
19 Úplné
[citováno dne 12.2.2011]. znění
mzdového
předpisu
UTB
ve
Zlíně
[online],
dostupné
z:
20 Směrnice děkana pro hodnocení pedagogických aktivit [online], dostupné z: http://web.utb.cz/cs/docs/mzdovy_predpis_2009.pdf, [citováno dne 26.3.2011].
http://web.fai.utb.cz/cs/docs/Smernice_dekana_pro_hodnoceni_ped_aktivit.pdf,
21 Definice druhů výsledků platné od 2010 [online], dostupné z: http://web.utb.cz/cs/ [citováno dne 26.3.2011].
22 Směrnice
docs/smernice_r12_2010_p1.pdf, [citováno dne 26.3.2011].
23 Kritéria
rektora
12/2010
[online],
dostupné
z
http://web.utb.cz/cs/docs/
smernice_r12_2010.pdf, [citováno dne 26.3.2011]. hodnocení
akademických
pracovníků
FŽP
[online],
dostupné
z:
24 Kritéria hodnocení akademických pracovníků FŽP pro udělování osobních příplatků http://fzp.ujep.cz/predpisy/PR10_2009.pdf, [citováno dne 6.8.2011].
[online], dostupné z: http://fzp.ujep.cz/dokumenty/kritosoh.pdf, [citováno dne 7.8.2011].
77
25 Hodnocení
vědecké
a
výzkumné
činnosti
na
FŽP
[online],
26 Zákon č. 262: Zákoník práce, In: 2006, 2006.
http://fzp.ujep.cz/predpisy/ PR9_2010.pdf, [citováno dne 8.8.2011].
78
