Registr uměleckých výstupů - finální stav modelu hodnocení v roce 2016 Jana Talašová1, Jan Stoklasa2, Pavel Holeček3
1
Registr uměleckých výstupů
Registr uměleckých výstupů (dále RUV) je webová aplikace, v níž jsou od roku 2013 shromažďovány informace o výstupech tvůrčí umělecké činnosti uskutečňované na vysokých školách v České republice. Aplikace RUV slouží také k hodnocení uložených výstupů: na základě expertních hodnocení zadávaných do aplikace jsou tyto výstupy zařazovány do kategorií, které mají přiřazena bodová hodnocení. Součet bodových hodnocení dosažených jednotlivými vysokými školami za posledních 5 let je pak jedním z ukazatelů, podle nichž jsou těmto vysokým školám přidělovány finanční prostředky ze státního rozpočtu. V roce 2016 byla v České republice schválena novela Zákona o vysokých školách, v níž je RUV explicitně uveden. Se zahájením platnosti vysokoškolského zákona (1.9.2016) vstupuje RUV do profesionálního režimu pod správou Ministerstva školství, mládeže a tělovýchovy. V souvislosti s tím bylo třeba na základě analýz dosavadního vývoje finalizovat model hodnocení RUV. Kvantitativní hodnocení výstupů tvůrčí umělecké činnosti (uměleckých děl a uměleckých výkonů) představuje podobně náročný úkol jako hodnocení výsledků vědy a výzkumu. Zatímco pro kvantitativní hodnocení vědecké práce jsou budovány již od 50. let minulého století nástroje scientometrie ([1]), pro uměleckou tvorbu byla možnost opřít se o nějaké dříve navržené postupy velice omezená. Model hodnocení použitý v RUV prošel od své počáteční podoby v roce 2010 ([5]) až po současný stav výrazným vývojem (viz [2, 4]), který byl motivován především snahou o maximální objektivitu hodnocení a o srovnatelnost hodnocení mezi různými oblastmi umělecké tvorby. Vývoj modelu hodnocení a především jeho aktuální stav k datu předání RUV do profesionálního provozu jsou tématem tohoto článku. Z matematického pohledu v sobě metodika hodnocení výsledků tvůrčí umělecké činnosti používaná v RUV zahrnuje dva modely - model vícekriteriálního hodnocení založený na modifikaci Saatyho metody AHP, na jehož základě jsou stanovovány skóry jednotlivých kategorií umělecké tvorby, a model skupinového hodnocení, který je používán při zařazování výsledků umělecké činnosti do jednotlivých kategorií. Samostatným problémem pak bylo stanovení kategorií uměleckých výstupů tak, aby bylo možné mezi sebou porovnávat výsledky z různých oblastí umělecké tvorby.
2
Kategorizace výstupů umělecké tvorby a bodové hodnocení kategorií
Pro účely shromažďování výsledků RUV a jejich hodnocení je celá umělecká tvorba rozdělena do 7 segmentů: architektura, design, audivizuální umění, hudba, literatura, scénická umění a výtvarná umění. Výstupy tvůrčí umělecké činnosti (umělecká díla a umělecké výkony) uložené v databázi RUV jsou hodnoceny podle následujících třech kritérií: 1. závažnost a význam, 2. rozsah, 3. institucionální kontext. Nejvýznamnější je první z uvedených kritérií, které představuje expertní hodnocení kvality uměleckého díla či výkonu. Druhé kritérium je do hodnocení zahrnuto z toho důvodu, že finanční dotace dané VŠ by měla být podobná, pokud tato škola vytváří menší počet rozsáhlých uměleckých děl nebo větší počet menších uměleckých děl - v případě, že hodnocení jejich kvality jsou obdobná. Třetí z kritérií znamená určité potvrzení hodnocení dle prvního kritéria (velmi významná díla jsou většinou uváděna ve velmi významných institucích - ačkoliv tomu tak nemusí být nutně vždy). Statisticky existuje závislost mezi hodnoceními dle prvního a třetího kritéria; na
1
Univerzita Palackého v Olomouci/Přírodovědecká fakulta, Katedra matematické analýzy a aplikací matematiky, 17. listopadu 1192/12, 771 46 Olomouc,
[email protected] 2 Univerzita Palackého v Olomouci /Filozofická fakulta, Katedra aplikované ekonomie, Kateřínská 17, 772 00 Olomouc,
[email protected] 3 Univerzita Palackého v Olomouci / Přírodovědecká fakulta, Centrum Regionu Haná pro biotechnologický a zemědělský výzkum, Šlechtitelů 241/27, 783 71, Olomouc – Holice,
[email protected]
druhé straně expertní hodnocení podle prvního kritéria probíhá nezávisle na hodnocení dle kritéria třetího, význam je posuzován nezávisle na institucionálním kontextu díla. Pro kritérium závažnost a význam rozlišujeme čtyři stupně hodnocení uměleckého výstupu: výstup zásadního a objevného významu (označení „A“), přinášející významná nová řešení (označení „B“), inspirovaně rozvíjející současné vývojové trendy (označení „C“), nebodovaný umělecký výstup (označení „D“). Pro kritérium rozsah definujeme tři stupně hodnocení uměleckého výstupu: výstup velkého rozsahu (označení „K“), středního rozsahu (označení „L“), malého rozsahu (označení „M“). Dle kritéria institucionální kontext rozlišujeme výstupy vytvořené a majících účinek: v mezinárodním kontextu (označení „X“), v celostátním kontextu (označení „Y“), v profesionálních institucích nebo v médiích regionálního významu (označení „Z“). Výsledná kategorie uměleckého výstupu je tedy dána trojicí písmen - např. AKX, BKY nebo CLZ. Bodovaných kategorií je celkem 27. Pokud označení kategorie začíná písmenem D, jedná se o nebodovaný umělecký výstup, a to bez ohledu na hodnocení dle ostatních kritérií (z hlediska hodnocení hovoříme zkráceně o kategorii D). Pokud výstup dle některého z kritérií neodpovídá žádné z uvedených kategorií, nebo pokud výstup nesplňuje formální požadavky, spadá do kategorie vyřazen (označení V). Rozhodnutí o významu díla (volba A, B, C, D) vychází čistě z hodnocení expertů. Pokud jde o rozsah uměleckého díla (úrovně K, L, M), původně o zařazení rozhodoval také názor experta z dané oblasti umělecké tvorby; protože ale význam pojmů velký, střední a malý závisí na kontextu (tj. na daném segmentu umělecké tvorby), byly pro každý ze segmentů definovány typy výsledků s pevně přiřazenou úrovní rozsahu a zařazování probíhá jen výběrem jednoho z typů výsledků. Pokud jde o ohlas uměleckého díla, jsou pro každý segment na základě názorů expertů definovány (a pro každý rok aktualizovány) seznamy institucí odpovídající úrovním X, Y, a Z. Pro stanovení bodových hodnocení 27 obecných kategorií (AKX,…,CMZ) byla od samého počátku v RUV používána Saatyho metoda párových srovnání ([3]). Protože bylo třeba získávat informace o preferencích od expertů z oblasti umění, bylo plně využito výhody této metody, že k vyjádření intenzit preferencí mezi dvojicemi kategorií používá hodnotící škálu opatřenou jazykovými deskriptory. Vzhledem k zaměření expertů byla ze strany matematiků zastoupených v řešitelském týmu věnována velká pozornost organizaci celého procesu získávání expertních dat - aby bylo zadávání požadovaných informací pro experty co nejpřirozenější a aby tak byla získána co nejobjektivnější informace o jejich preferencích mezi kategoriemi. Zástupce každého segmentu umělecké tvorby měl nejprve za úkol definovat pro každou z kategorií jeden vzorový umělecký výstup; při porovnávání kategorií se pak experti opírali o tyto reálné výstupy a nemuseli porovnávat obecné kategorie. Proces stanovování preferencí probíhal ve dvou krocích: nejprve experti metodou párových srovnání stanovili pořadí významnosti kategorií, poté teprve určovali intenzity preferencí (prvky Saatyho matice) pro takto uspořádané kategorie. Vzhledem k řádu Saatyho matice (27) bylo obtížné dosáhnout její dostatečné míry konzistence. V té souvislosti byl zaveden pojem slabé konzistence Saatyho matice ([4]), [5]); slabá konzistence je dobře kontrolovatelná v případě, že kategorie jsou uspořádány sestupně podle své významnosti (hodnoty v řádcích jsou neklesající zleva doprava a ve sloupcích zdola nahoru). Jednotlivé prvky matice párových srovnání a následně i Saatyho matice byly výsledkem konsenzu týmu expertů zastupujících všechny segmenty umělecké tvorby; do procesu zadávání vstupovali také matematici, kteří upozorňovali na drobné nekonzistence v preferencích. Z výsledné Saatyho matice byl metodou vlastního vektoru vypočten vektor relativních hodnocení kategorií, který byl následně přepočten tak, aby nejvyšší kategorie (AKX) měla stejné hodnocení (305 bodů) jako nejvýše hodnocený výsledek v metodice hodnocení výsledků vědy a výzkumu platné v ČR v době vzniku tohoto modelu. Původní bodová hodnocení kategorií (platná pro sběry dat za roky 2010 - 2015) jsou uvedena v Tab.1.
Označení
Závažnost a význam
Rozsah
Institucionální kontext
AKX výstup zásadního a objevného významu
velký
mezinárodní
AKY výstup zásadního a objevného významu
velký
národní
AKZ výstup zásadního a objevného významu
velký
regionální
ALX výstup zásadního a objevného významu
střední
mezinárodní
AMX výstup zásadního a objevného významu
malý
mezinárodní
ALY výstup zásadního a objevného významu
střední
národní
ALZ výstup zásadního a objevného významu
střední
regionální
BKX výstup přinášející významná nová řešení
velký
mezinárodní
AMY výstup zásadního a objevného významu
malý
národní
AMZ výstup zásadního a objevného významu
malý
regionální
BKY výstup přinášející významná nová řešení
velký
národní
BKZ výstup přinášející významná nová řešení
velký
regionální
BLX výstup přinášející významná nová řešení
střední
mezinárodní
BMX výstup přinášející významná nová řešení
malý
mezinárodní
BLY výstup přinášející významná nová řešení
střední
národní
BLZ výstup přinášející významná nová řešení
střední
regionální
BMY výstup přinášející významná nová řešení
malý
národní
BMZ výstup přinášející významná nová řešení
malý
regionální
CKX výstup inspirovaně rozvíjející nové trendy
velký
mezinárodní
CLX výstup inspirovaně rozvíjející nové trendy
střední
mezinárodní
CKY výstup inspirovaně rozvíjející nové trendy
velký
národní
CKZ výstup inspirovaně rozvíjející nové trendy
velký
regionální
CMX výstup inspirovaně rozvíjející nové trendy
malý
mezinárodní
CLY výstup inspirovaně rozvíjející nové trendy
střední
národní
CLZ výstup inspirovaně rozvíjející nové trendy
střední
regionální
CMY výstup inspirovaně rozvíjející nové trendy
malý
národní
CMZ výstup inspirovaně rozvíjející nové trendy
malý
regionální
Původní hodnoty
Upravené hodnoty
305 259 210 191 174 138 127 117 97 90 79 66 62 48 44 40 37 31 26 24 19 17 16 12 10 9 8
305 242 98 220 188 162 85 137 114 76 68 38 62 56 49 32 42 28 24 22 20 12 17 15 10 13 8
Table 1 Srovnání původních a nových bodových hodnocení kategorií Po sběru dat jsou každoročně prováděny pečlivé analýzy dat uložených v aplikaci RUV. Cílem těchto analýz je především: (a) dosažení srovnatelnosti výstupů mezi segmenty, (b) zvýšení objektivnosti hodnocení, (c) identifikace problémů různého druhu, které se mohou vyskytnout v procesu zadávání výstupů tvůrčí umělecké činnosti a jejich hodnocení. Z výsledků analýz dat provedených v roce 2013 vzešly výrazné změny, pokud jde o typy výsledků vykazovaných v jednotlivých segmentech - místo celých uměleckých děl, jejichž velikost je v různých segmentech velmi rozdílná, se v některých oblastech (např. scénická umění) přešlo k vykazování jednotlivých uměleckých výkonů. Především byly pro každý segment předdefinovány typy výsledků pro kritérium rozsah, které byly současně pevně přiřazeny úrovním K, L a M. Při analýzách dat bylo také zjištěno, že se častěji, než by se dalo očekávat, vyskytují výstupy, u nichž se hodnocení významu výrazně liší od jejich institucionálního kontextu (jde zejména o kategorie A.Z, do značné míry i B.Z). Případ takového rozporu může nastat i u skutečně velmi kvalitního uměleckého výstupu - dílo je např. poprvé uvedeno ke konci roku, experti už mohou rozpoznat jeho výjimečnost, ale institucionální ohlas ještě nestačilo získat (bude navýšen v letech následujících a s tím také automaticky naroste bodové hodnocení výsledku v RUV). Právě takové příklady výstupů z jednotlivých segmentů byly experty použity při zadávání intenzit preferencí těchto kategorií v Saatyho matici pro výpočet jejich bodových hodnocení. Dlouhodobějším sledováním se však ukázalo, že při zařazení do kategorie A.Z se často jedná o nadhodnocení uloženého výstupu, že vysoké expertní hodnocení k roku jeho uvedení není v celém sledovaném pětiletém období podpořeno zvýšením institucionálního kontextu. Proto bylo v roce 2015 přistoupeno k novému hodnocení pořadí významnosti kategorií a k úpravě původní Saatyho matice. Kategorie výsledků s regionálním ohlasem (trojice písmen končící Z) byly vždy zařazeny až na konec skupiny kategorií s danou úrovní kritéria význam (A, B nebo C). Poté byly s výrazným zohledněním původních expertně vyjádřených intenzit preferencí ostatních porovnávaných kategorií nově definovány prvky Saatyho matice. Výsledná slabě konzistentní Saatyho matice použitá pro výpočet je zobrazena na Obr. 1. Nově vypočtená bodová hodnocení kategorií jsou uvedena v Tab. 1 ve srovnání s původními bodovými hodnoceními. Bodová hodnocení byla opět standardizována tak, aby hodnota pro nejvyšší kategorii (AKX) byla 305 bodů. Při provedených úpravách Saatyho matice byla zvýšena její konzistence měřená koeficientem CR (definice viz [3]).
Figure 1 Nová Saatyho matice intenzit preferencí mezi kategoriemi
3
Zařazování výstupů tvůrčí umělecké činnosti do jednotlivých kategorií
Model používaný pro zařazování výstupů tvůrčí umělecké činnosti uložených v RUV do jednotlivých kategorií umělecké tvorby, které mají přiřazena bodová hodnocení, je z matematického hlediska modelem skupinového rozhodování. Původní model používaný do roku 2013 byl založen na tom, že výchozí zařazení uměleckého výsledku do kategorie navrhla vysoká škola, která jej do RUVu vložila, a poté navrhli svá zařazení dva nezávislí experti. Pokud bylo v kritériích význam a rozsah dosaženo většinové shody (hodnota kritéria institucionální kontext byla dána jednoznačně zařazením instituce do jedné z tříd X, Y, Z, které již bylo známo v okamžiku expertního hodnocení), bylo pravidlem většiny určeno výsledné hodnocení. Pokud této většinové shody dosaženo nebylo, postupoval výsledek do arbitráže; arbitrážní komisi tvořili zástupci jednotlivých vysokých škol. Do arbitráže postupovaly také výsledky, kde aspoň jeden z expertů navrhl vyřazení a také ty výsledky, kde se vysoká škola odvolala proti výslednému hodnocení. V roce 2013 bylo rozhodnuto upustit od toho, aby zařazení výstupu navržené vysokou školou vstupovalo do výpočtu jeho celkového hodnocení. Toto výchozí zařazení je od té doby posuzováno a v případě potřeby měněno garantem segmentu, který svým stanoviskem zabezpečuje srovnatelnost hodnocení v rámci celého segmentu umělecké tvorby. Hodnocení garanta segmentu a dalších dvou nezávislých expertů (generovaných náhodně v aplikaci RUV) je pak základem pro výpočet celkového hodnocení. Z analýzy uložených dat provedené v roce 2015 vzešly další návrhy na úpravu algoritmu pro zařazování uměleckých výstupů do jednotlivých kategorií umělecké tvorby. Cílem bylo vytvořit deterministický algoritmus, který by umožnil odstranit z rozhodovacího procesu arbitrážní komisi. Základním pravidlem, které vzešlo z těchto úvah, je to, že vždy, pokud není dosaženo většinové shody, je v aplikaci RUV generován další nezávislý expert, jehož úkolem je přiklonit se v každém z kritérií k zařazení některého z předchozích tří expertů (včetně možnosti vyřadit umělecký výsledek z hodnocení). Vzhledem k počtu úrovní, které jsou uvažovány u jednotlivých kritérií, neznamená požadavek přiklonění se k jednomu z předchozích názorů pro dodatečně generovaného experta problém. Praktická realizace navrženého pravidla se liší podle toho, o které kritérium se jedná. Seznamy institucí zařazených dle kritéria institucionální kontext do kategorií X, Y, Z se aktualizují každým rokem před zahájením sběru dat; po realizovaném sběru se ještě před zahájením expertního hodnocení rozhodne o zařazení institucí, které se objevily v aplikaci RUV nově. O zařazení instituce přitom vždy rozhodují garant segmentu a dva aplikací RUV náhodně vygenerovaní experti - v případě, že není dosaženo většinové shody, se další vygenerovaný expert přikloní k jednomu z předchozích názorů (případ potřeby takového řešení je ale velmi málo pravděpodob-
ný). Pokud jde o kritérium rozsah, tam je přiřazení příslušné úrovně kritéria (K, L nebo M) dáno automaticky typem výsledku, který je při zadávání výstupu do aplikace RUV volen z číselníku; nicméně s ohledem na skutečnost, že v umění probíhá nepřetržitý vývoj, v jehož důsledku vznikají nové typy výsledků, se zde stále počítá i s možností expertního zařazování uměleckého výsledku dle rozsahu jako velkého (K), středního (L) nebo malého (M) - při uplatnění stejného pravidla požadované shody alespoň dvou expertů. Hlavním předmětem expertního hodnocení uměleckých výstupů uložených v aplikaci RUV je kritérium význam. Poznamenejme, že pokud škola zadá výsledek jako nebodovanou kategorii D, nevstupuje už umělecký výstup do dalšího hodnocení - tak je výrazně redukována potřeba expertních hodnocení u nepodstatných výstupů (nicméně za budoucí žádoucí stav je považována situace, kdy garant segmentu bude kontrolovat i tyto výsledky, aspoň pokud jde o splnění základních požadavků na výstupy uložené v RUV); garant segmentu a nezávislí experti ale stále mohou volit mezi všemi čtyřmi úrovněmi kritéria význam. Pokud garant segmentu a každý ze dvou aplikací RUV generovaných expertů zvolí jiné hodnocení, další aplikací RUV vybraný expert se přikloní k jednomu z předchozích názorů, čímž je dáno konečné zařazení uměleckého výsledku podle tohoto kritéria. Speciální případ nastává, pokud se kterýkoliv z hodnotitelů rozhodne výsledek vyřadit. O celkovém vyřazení se rozhoduje podle stejného pravidla, návrh na vyřazení musí dát opět nejméně dva z hodnotitelů; důvod k vyřazení ale nemusí být spojen s žádným z kritérií, může se týkat nedostatků záznamu jako takového. Mezi nebodovanou kategorií D a situací, kdy je výstup vyřazen, je podstatný rozdíl z hlediska hodnocení; u vyřazených výsledků se předpokládá sankce za nesprávně zadaný výstup.
4
Shrnutí
Matematický model hodnocení použitý v Registru uměleckých výstupů byl v letech 2010 až 2016 vyvíjen na základě získaných zkušeností a zejména na základě poznatků získaných při každoročních analýzách uložených dat. Autoři modelu byli při jeho vývoji vedeni snahou zachovat co možná nejjednodušší, široce srozumitelný matematický model. Cílem realizovaných úprav modelu hodnocení byla jednak lepší srovnatelnost výstupů napříč segmenty umělecké tvorby (řešení spočívalo ve změně typů vykazovaných výsledků a v jednoznačném přiřazení typů výsledků velikostním kategoriím K, L, M), jednak zvýšení objektivity hodnocení (potlačení bodových hodnocení sporných kategorií A.Z a B.Z, zavedení pravidla nutné shody dvou nezávislých expertů při každém hodnocení realizovaném uvnitř aplikace RUV). Přestože v procesu vývoje modelu byly prováděny na základě požadavků externích zadavatelů také experimenty s jeho výrazně inovovanými verzemi, pokaždé se ukázalo, že původně navržená koncepce řešení slouží k danému účelu lépe. Bodová hodnocení uměleckých výstupů za předchozích 5 let jsou v ČR využívána při rozhodování o dělení financí za státního rozpočtu poskytovaných na pedagogickou činnost vysokých škol v následujícím roce, podobně jako bodová hodnocení získaná těmito vysokými školami za jejich aktivity ve vědě a výzkumu. Do budoucna by bylo ale žádoucí, aby bodové hodnocení umělecké činnosti bylo zohledňováno také při přidělování prostředků na tvůrčí činnost českých vysokých škol, kde jsou dosud využívána pouze bodová hodnocení vědy a výzkumu.
References [1] Garfield, E. (1955) Citation indexes for science: A new dimension in documentation through association of ideas. Science 122: 108–11 [2] Jandová, V., Stoklasa, J., Talašová, J.: Modification of the AHP based model for evaluating artistic production of Czech colleges. In: Proceedings of the 32nd International Conference on Mathematical Methods in Economics 2014, 2014, Palacký University, Olomouc, 372 – 377 [3] Saaty, T.L.: The Fundamentals of Decision Making and Priority Theory with the Analytic Hierarchy Process. Vol. VI of the AHP Series, 478 pp., RWS Publ., 2000. [4] Stoklasa, J., Jandová, V., Talašová, J.: Weak consistency in Saaty’s AHP – evaluating creative work outcomes of Czech Art Colleges, Neural network world 23 (1), 2013, 61 – 77 [5] Talašová, J., Stoklasa, J.: A model for evaluating creative work outcomes at Czech Art Colleges. In: Proceedings of the 29th International Conference on Mathematical Methods in Economics 2011 – part II, 2011, Praha, Czech Republic, 698 – 703
