Výzvy pro novou metodiku hodnocení výzkumu KHV, 12. 10. 2015, Tomáš Opatrný
Osnova: ● Stručný seznam hlavních výzev (hlavně z pohledu VŠ) ● Hodnocení a financování VŠ dnes ● Historická poučení (kafemlejnek a aplikované výsledky, hodnocení AV) ● Zamyšlení nad experty ● VŠ připomínky k výstupům IPN Metodika ● Co potřebujeme
Výzvy před novou metodikou (zejména z pohledu VŠ) ● Jak hodnotit instituce, ne pouze jejich výsledky? ● Jak postihnout fungování VŠ ve všech jejích rolích? ● Jak propojit hodnocení s financováním? ● Jak to provést v rámci stávající legislativy či jak legislativu změnit?
Výzvy před novou metodikou (zejména z pohledu VŠ) ● Jak efektivně hodnotit a financovat aplikovaný výzkum? ● Jak účinně stimulovat výzkumnou spolupráci škol a průmyslu? ● Jak podpořit kvalitu a zároveň diverzitu na VŠ? ● Jak podpořit synergii výzkumu a vzdělávání?
Výzvy před novou metodikou (zejména z pohledu VŠ) ● Kam směřovat PhD programy a jak hodnotit výzkum v oborových didaktikách? ● Jak zajistit efektivitu a férovost peerreview procesu?
Vysoké školy: ● Mají autonomii, ● jsou značně různorodé, ● skládají se z fakult, které mají také svou autonomii a jsou také různorodé i uvnitř jedné školy, ● navenek je ale VŠ jeden subjekt, ● VŠ mají několik rolí
Role VŠ: Vzdělávání ● výzkum (a jiná tvůrčí činnost) ● „třetí role“ ●
●
●
●
hrají aktivní roli ve veřejné diskusi o společenských a etických otázkách, při pěstování kulturní rozmanitosti a vzájemného porozumění, při utváření občanské společnosti a přípravě mladých lidí pro život v ní přispívají k rozvoji na národní a regionální úrovni a spolupracují s různými stupni státní správy a samosprávy, s podnikovou a kulturní sférou, rozvíjejí mezinárodní a zvláště evropskou spolupráci jako podstatný rozměr svých činností, podporují společné projekty s obdobnými institucemi v zahraničí, vzájemné uznávání studia a diplomů, výměnu akademických pracovníků a studentů.
Hodnocení VŠ - stávající situace: akreditace studijních oborů, kontroly AK ● projednávání strategických dokumentů (dlouhodobý záměr a jeho aktualizace) a výročních zpráv s MŠMT ● sledování indikátorů vstupujících do „Pravidel poskytování příspěvku a dotací VVŠ” ● RIV, RUV ● MŠMT může jmenovat své zástupce do státnicových komisí ●
Financování VŠ (stav 2015): „příspěvek“: cca 16 mld, v tom ● 12 mld „podle studentů“ ● 4 mld „koeficient K“ (podle ukazatelů tzv. „kvality“ - mobility, zaměstnanost absolventů, počty prof, doc., získaná účelová podpora, RIV, RUV) ● „dotace“: cca 1 mld. Projekty vycházející ze strategických dokumentů VŠ ●
Financování VŠ (stav 2015): RVO: cca 5 mld, podle RIV ● Specifický vysokoškolský výzkum: cca 1 mld. Projekty s PhD a Mgr studenty. ● Účelová podpora výzkumu (GAČR, TAČR, MZ, atd.) ● Strukturální fondy ● Zahraniční projekty, Horizon 2020, ... ● „Vedlejší činnost“ (zakázky pro firmy atd.) ●
Dopady stávajícího systému: ●
Vzrostl počet VŠ studentů a absolventů (totéž se nedá říct o jejich kvalitě), ač je ČR stále pod průměrem EU 28 v relativním počtu VŠ absolventů
Proportion of the population aged 30 to 34 having a tertiary educational attainment, 2014:
Dopady stávajícího systému: ●
Výrazně vzrostl vědecký výkon VŠ Počet publikací UP na WoS
600
500
400
300
200
100
0 1995
2000
Data: Závěrečná zpráva Audit VaV v ČR
2005
Dopady stávajícího systému: ●
Výrazně vzrostl vědecký výkon VŠ počet publikací UP na WOS
1400 1200 1000 800 600 400 200 0 2000
2002
2004
Data: T.O. dle WOS
2006
2008
2010
2012
2014
Analýza VaV 2014, počty publikací a citovanost
Dopady stávajícího systému: ●
Létající profesoři (prof = surovina pro produkci akreditovaných studijních programů -> financovaných studentů; -> regulace sdílení suroviny: “REDOP”)
Hodnocení aplikovaného výzkumu Metodiky 2004-2012: paušální body za výsledky typu „užitný vzor“ atd. (od r. 2010 bodová renormalizace) Důsledek:
Hodnocení aplikovaného výzkumu Pozn.: nárůst „aplikačních“ výsledků: Užitné a průmyslové vzory 1000 900 800 700 600 500 400 300 200 100 0
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Hodnocení aplikovaného výzkumu Pozn.: nárůst „aplikačních“ výsledků: Funkční vzorky, prototypy 2500
2000
1500
1000
500
0
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
Hodnocení aplikovaného výzkumu Analýza VaV 2014, aplikované výsledky 2005-14:
Hodnocení VaV: historie Pozn.: nárůst „aplikačních“ výsledků: 2010 RIV/60460709:41610/10:49670 Palivo na bázi čiroku cukrového ●
RIV/60460709:41310/10:22181 Palivo na bázi dendromasy a sběrového papíru a/nebo lepenky ●
Hodnocení VaV: historie Pozn.: nárůst „aplikačních“ výsledků: 2011 RIV/60460709:41310/11:50766 Palivo na bázi zbytků z čaje ● RIV/60460709:41310/11:50767 Palivo na bázi zbytků z kávy ● RIV/60460709:41310/11:50317 Palivo na bázi zbytků z řezu bobulovin ● RIV/60460709:41310/11:51587 Palivová briketa na bázi zbytků z gastronomie ● RIV/60460709:41310/11:51617 Ekologické palivo na bázi ořechových skořápek ● RIV/60460709:41310/11:50768 Ekologické palivo na bázi zbytků z řezu růží ● RIV/60460709:41310/11:50769 Ekologické palivo na bázi zbytků z tabáku ●
Hodnocení VaV: historie Pozn.: nárůst „aplikačních“ výsledků: 2012 RIV/60460709:41310/12:54336 Palivo na bázi bionafty ● RIV/60460709:41610/12:59431 Palivo na bázi odpadu z výroby oleje z oplodí palmy olejné ● RIV/60460709:41310/12:55043 Palivo na bázi pseudoobilovin ● RIV/60460709:41310/12:56134 Palivo na bázi zbytků z řezu ovocných stromů ● RIV/60460709:41310/12:56254 Palivo vyrobené z obilovin ● RIV/60460709:41310/12:56258 Palivo vyrobené z odpadu vznikajícího při zpracování bavlny ● RIV/60460709:41310/12:56256 Palivo vyrobené z odpadu vzniklého při výrobě alkoholických nápojů ● RIV/60460709:41310/12:56257 Palivo vyrobené z odpadu vzniklého z vyplozených substrátů z pěstování hub ● RIV/60460709:41310/12:56255 Palivo vyrobené z palic kukuřice ●
Hodnocení VaV: historie Pozn.: nárůst „aplikačních“ výsledků: 2012 RIV/60460709:41310/12:56066 Palivo vyrobené ze spalitelných zahradních zbytků ● RIV/60460709:41310/12:56250 Palivo vyrobené ze stabilizované biomasy s využitím gastroodpadů ● RIV/60460709:41310/12:56251 Palivo vyrobené ze stabilizované biomasy s využitím kostí ● RIV/60460709:41310/12:56253 Palivo vyrobené ze stabilizované biomasy s využitím odpadu z výroby papíru a celulózy ● RIV/60460709:41310/12:54987 Palivo vytvořené z korku ● RIV/60460709:41310/12:55040 Palivo vytvořené z kůry jehličnanů ● RIV/60460709:41310/12:55044 Palivo vytvořené z kůry listnatých stromů ● RIV/60460709:41310/12:55041 Palivo vytvořené z máku setého ● RIV/60460709:41310/12:55042 Palivo vytvořené z obilovin ●
Hodnocení VaV: historie Pozn.: nárůst „aplikačních“ výsledků: 2012 RIV/60460709:41310/12:54988 Palivo vytvořené ze šišek jehličnanů ● RIV/60460709:41310/12:55045 Palivo z kůry listnatých stromů ● RIV/60460709:41310/12:54989 Palivová briketa z kukuřice ● RIV/60460709:41310/12:55343 Palivová briketa z kůry jehličnanů ● RIV/60460709:41310/12:56064 Palivová briketa z listů listnatých stromů ● RIV/60460709:41310/12:55342 Palivová briketa z obilovin ● RIV/60460709:41310/12:55389 Palivová briketa ze šišek jehličnanů ● RIV/60460709:41310/12:56065 Palivová peleta ze spalitelných zahradních zbytků ●
Hodnocení VaV: historie Pozn.: nárůst „aplikačních“ výsledků: 2013 RIV/60460709:41310/13:59975 Palivo vyrobené z kejdy ● RIV/60460709:41310/13:59977 Palivo vyrobené z odpadu vznikajícího při čištění a zpracování obilovin ● RIV/60460709:41310/13:59974 Palivo vyrobené z odpadu vznikajícího při lisování olejnatých semen ● RIV/60460709:41310/13:59979 Palivo vyrobené z odpadu vzniklého v textilním průmyslu ● RIV/60460709:41310/13:59978 Palivo vyrobené z odpadu vzniklého z mlýnských a pekárenských výrobků ● RIV/60460709:41310/13:59976 Palivo vyrobené z pokrutin ●
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 „Hodnotící komise vypracují závěrečný protokol o hodnocení, k němuž ředitel pracoviště po poradě s radou pracoviště zaujme písemné stanovisko. Případné námitky k hodnocení obsažené ve stanovisku ředitele budou vypořádány celoakademickou hodnoticí komisí. Protokol o hodnocení, stanovisko ředitele pracoviště, případně vypořádání připomínek celoakademickou hodnoticí komisí budou zveřejněny na veřejných internetových stránkách AV ČR.“ [Metodický pokyn, AR AVČR, 4. května 2010]
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 „Dokumentace spojená s hodnocením je velmi obsáhlá, a proto Akademická rada AV ČR schválila rozsah dokumentů, které jsou nyní zveřejněny prostřednictvím veřejných webových stránek AV ČR. O zveřejnění dalších materiálů neuvažujeme...“ [J. Drahoš, odpověď na mail 16. ledna 2012]
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 „The Department is involved in many international programmes and several pubblications are shared with international scientists.“ (Kompletní odůvodnění známky 2 za mezinárodní spolupráci od zahraničního experta) „It is unclear for me the acronyms used in this section. However the personnel seem well balanced and with clear programmes.“ (Kompletní odůvodnění známky 2 za mezinárodní spolupráci od zahraničního experta)
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 „...je nutné konstatovat, že celé „přehodnocení“ vyvolává v ústavu silnou pachuť a vzbuzuje otázky, proč bylo nutné zvát externí hodnotitele, vynakládat nemalé finanční prostředky a čas mnoha lidí, když výsledné hodnocení odpovídá osobnímu názoru jednoho či několika málo jedinců z XXX? ... Jak snadno získáme příště hodnotitele ze zahraničí, když celé přehodnocení je vlastně jednou velkou deklarací jejich neuspokojivé práce? Bude před nimi AV ČR závěry vyjádřené ve Stanovisku tajit, nebo jim vysvětlí, kde v hodnocení pochybili?“ (z vyjádření ředitele hodnoceného ústavu)
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 „...Pokud se AV ČR rozhodla hodnotit ústavy pomocí komisí
externích expertů, jejichž výběr AR sama schválila, pak by měla také najít odvahu takto získané výsledky hodnocení přijmout. ... Není možné ad hoc chatrně zdůvodněnými změnami známkování nahoru i dolů prosadit výsledek odpovídající mínění některých zaměstnanců ústavu a komisi externích hodnotitelů použít jako zástěrku demonstrující náročnost hodnocení. Toto vše nás vede k vyslovení zásadního nesouhlasu s těmi korekcemi, provedenými Řídící skupinou a AR, které se neopírají o jednání externích hodnotitelů.“ (z vyjádření ředitele hodnoceného ústavu, pokrač.)
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 „K objektivnímu zhodnocení výzkumné činnosti nebyl získán
dostatečný počet kvalifikovaných zahraničních posuzovatelů, dvě oddělení byla posuzována pouze jedním odborníkem, ostatní oddělení měla dva zahraniční posuzovatele a pouze jedno oddělení získalo 3 zahraniční posudky. Ačkoliv se výsledné hodnocení uvedené v tabulce Profily vědeckých útvarů ve většině případů shoduje s výsledným hodnocením zahraničních posuzovatelů, u oddělení XXX došlo k posunu z hodnocení 1 na 3, aniž by byly důvody k takto razantnímu posunu uvedeny...“ (stanovisko vedení hodnoceného ústavu)
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 „...Pokud se týče hodnocení jednotlivých útvarů byli jsme
překvapeni celkovým hodnocením některých útvarů. Extrémem je hodnocení Oddělení ...., které je vedeno prof. XXX, které dostalo známku 2. Prof. XXX je nejvíce citovanou vědeckou pracovnicí z České republiky (5717 citací, H index 42), její oddělení trvale produkuje významné impaktované publikace, prof. XXX patří mezi ve světě nejvíce uznávané české vědce. Celkem 26 pracovních týmů bylo hodnoceno v sekci 5 lepší známkou než tým prof. XXX (z toho pouze 4 vedoucí týmů dosahují většího citačního indexu než prof. XXX). Předpokládali jsme, že hodnotící komise a následně i Akademická rada upraví naprosto neobjektivní a zaujaté hodnocení zahraničního hodnotitele Prof. YYY, na což jsme hodnotící komisi upozornili. Pohrdání objektivními fakty nemá ve vědě místo.“ (z vyjádření ředitelky hodnoceného ústavu)
Hodnocení VaV: historie Zkušenosti s hodnocením AVČR 2005-2009 „Profesor XXX.... následně poukázal na některé nedostatky
nastavení procesu hodnocení AV ČR ve vztahu k zahraničním hodnotitelům, kteří jsou díky nastavení kritérií a způsobu prezentace dat a podkladů i jazykové bariéře nuceni posuzovat spíše kvantitu než kvalitu výstupů XXX či ústavů obecně.....“ (zápis z prezenčního hodnocení)
„Hodnocení okruhu D je zcela nepřijatelné, protože se orientuje
pouze na věkovou strukturu k datu odevzdávání podkladů a nebere v úvahu celé hodnocené období. Materiální otázky byly posuzovány povrchně, rovněž připomínky k organizačním otázkám jsou mechanistické...“ (z vyjádření pracoviště)
Výzvy před novou metodikou ● Jak zajistit efektivitu a férovost peerreview procesu?
D. Kahneman, “Myšlení rychlé a pomalé”: “Z [...] výzkumů plyne významný závěr: algoritmus, který si sepíšete na kus papíru, je často stejně dobrý jako statistický vzorec s vícenásobnou regresí, a určitě dost dobrý na to, aby překonal expertní úsudek.” ● “Kdykoliv existuje možnost nahradit lidský úsudek vzorcem, měli bychom o tom alespoň uvažovat.” ●
D. Kahneman, “Myšlení rychlé a pomalé”: Paul Mehl „Clinical versus Statistical Prediction: a Theoretical Analysis and a Review of the Evidence“ [Univ. Minnesota 1954] ● Robyn Dawes „The robust beauty of improper linear models in decision making“ [Am. Psychol. 34, 571 (1979)] ●
Experti jsou skvělí, ale:
“Science is the belief in the ignorance of experts” — Richard Feynman
Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika ●
●
Jak zajistit dostatečný počet kvalitních nestranných zahraničních hodnotitelů? Registr výzkumníků a evidence FTE výzkumníků - nadbytečná byrokratická zátěž + nejasné, jak na VŠ stanovit rozdělení činnosti mezi výuku, výzkum a další aktivity?
Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika ●
●
Perioda hodnocení 5-6 let je příliš dlouhá na poskytnutí efektivní zpětné vazby v dynamickém prostředí ČR. VŠ a AVČR v jednom „hrnci“ jako „Scientific Research Organizations“ bez ohledu na značnou variabilitu škol i fakult a různost jejich poslání (některé mají blíže k „Public Service RO“, jiné k „Industry & Business Service RO“. Jde o krok proti diverzifikaci VŠ.
Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika •Výpočet financí podle FTE výzkumníků je problematický v obou variantách (závislost na přesném stanovení FTE, nebo rigidita a neadekvátnost vůči rychle rostoucím pracovištím) •Problematické (ne)započítávání spoluautorských podílů
Výzvy před novou metodikou Připomínky Rady VŠ k výstupům IPN Metodika • Nepřesvědčivé řešení problematiky hodnocení aplikovaného výzkumu (vše „peer review“, ale absence výsledků typu „prototyp“, „poloprovoz“, „software“). Jak vůbec bude panel hodnotit význam aplikovaných výsledků?
Co potřebujeme: ●
Zajistit solidní sběr dat týkajících se všech rolí univerzity (či jiné VO): ● vzdělávání, ● výzkum, ● spolupráce se státní správou, samosprávou a veřejným sektorem ● spolupráce s podnikovou a kulturní sférou, ● evropská a mezinárodní spolupráce ● atd.
Co potřebujeme: ●
Zajistit efektivní zpracování sebraných dat a formulaci výsledných doporučení.
Kvalitní data potřebujeme víc než slohová cvičení.
Shrnutí: Výzvy z pohledu VŠ (hodnotit všechny role a podpořit jejich synergii) ● Hodnocení a financování VŠ dnes (baterie kafemlejnků) ● Historická poučení (aplikace, hodnocení AV) ● Zamyšlení nad experty (“science is...”) ● VŠ připomínky k výstupům IPN Metodika ● Co potřebujeme (především dobrá data) ●
Děkuji za pozornost!
