Efektivní systém institucionální finanční podpory výzkumných organizací založených na výkonech (PRFS): principy a praxe Paul Hubbard
www.metodika.reformy-msmt.cz
O mně… •
vedoucí výzkumné politiky na HEFCE, od 2003 do 2013: expertní poradenství v oblasti návrhu systémů hodnocení a jejich využití při přidělování financí v podobě „blokových grantů“ univerzitám ve Velké Británii,
•
1992 – spolupráce na vývoji hodnocení RAE; 1996 – RAE manažer; vedl práce HEFCE, které přispěly k podstatnému přezkoumání principu hodnocení ve Velké Británii a vyústily v hodnocení RAE 2014; předsedou řídicí komise RAE.
Poznámka překladatele: HEFCE = Higher Education Funding Council for England RAE = Research Assessment Exercise PRFS = Performance-based Funding System
2
Efektivní PRFS: principy a praxe • Proč bychom měli hodnotit kvalitu a proč navázat výkon na financování? • Principy: v čem spočívá silný systém hodnocení a výběr principu hodnocení?
• Praxe: vědní disciplíny a výzkumné jednotky • Praxe: informace a indikátory
• Praxe: management a komunikace • Hodnocení a financování
• Několik myšlenek závěrem
3
Proč hodnotit kvalitu? Hodnocení kvality nám umožní „dívat se zpět“, abychom „viděli dopředu“ a plánovat na základě důkladného pochopení, odkud jsme začínali. Efektivní hodnocení kvality nám může:
• podat informace o tom, jak dobrý je národní systém, instituce nebo výzkumná skupina – poskytování informací veřejnosti a odpovědnost za veřejné financování,
• identifikovat silné a slabé stránky,
• povzbudit a informovaně podněcovat ke zlepšení standardů.
4
Proč provázat výkon s financováním? Hodnocení propojené s financováním má všechny tyto dopady a navíc poskytuje:
• mnohem silnější podněty ke zvýšení standardů a zároveň posiluje autoritu výzkumných lídrů a manažerů,
• lepší cílení financování v návaznosti na cíle politiky VaV, • posílení odpovědnosti za použité finance.
5
Co tvoří pevný hodnoticí systém? •
Objektivita a průhlednost: je vnímán jako férový a dobře informovaný,
•
důslednost: všechny obory jsou hodnoceny na základě podobných kritérií a souboru dat a společných měřítek excelence,
•
vhodnost účelu: systém je navržen tak, aby splnil cíle politiky,
•
vhodnost pro národní systém a kulturu: neexistuje jediné řešení, které vyhovuje všem zemím a nejvhodnější sytém pro jeden stát nemusí být nejlepší pro stát jiný,
•
včasnost a opakování: hodnocení je pravidelně aktualizováno a učíme se v něm z vlastních zkušeností, abychom zdokonalili náš postup,
•
důvěryhodnost: poskytovatelé, výzkumníci i ostatní přijmou, že výsledky hodnoticího systému jsou dobré. 6
Výběr principu hodnocení a financování (1) Co chceme znát a čeho se snažíme docílit?
• Jasný přehled silných a slabých stránek nám pomůže při volbě, jaká politická rozhodnutí pro zlepšení, případně pro cílené financování zvolit.
• Identifikace silných oblastí a důkladná pozornost věnovaná společenskému dopadu výzkumu předloženého k hodnocení nám pomůže zajistit, aby výzkumná základna plně podporovala národní hospodářství.
7
Výběr principu hodnocení a financování (2) Hlavní dostupné principy hodnocení jsou:
• Sebehodnocení, • Statistické hodnocení (“indikátory” nebo “metriky”),
• Peer review.
8
Sebehodnocení • Napomáhá výzkumníkům a hodnoceným výzkumným jednotkám zajistit, aby jejich silné stránky byly viditelné a plně doceněné.
• Podporuje reflexi a budování strategií ve výzkumných jednotkách. • Pokud je však použito jako hlavní prvek hodnocení nebo financování, tak vyvstávají nevyhnutelné otázky důvěryhodnosti a spolehlivosti.
9
Hodnocení pomocí statistik • Je objektivní a zakládá se na faktech, není jednoduše manipulovatelné nebo ovlivnitelné.
• Lze jej provést relativně jednoduše a levně a může být opakováno dle potřeby.
• Funguje však lépe v určitých oborech než v jiných a pro velké jednotky než pro menší.
• Kvantitativní informace nám ovšem nemohou říci všechno o výzkumné jednotce; vybraný statistický přístup a interpretace dat budou hojně kritizovány
10
Peer review • Dobře zavedená metodika, široce akceptována ve výzkumné komunitě. • Peer review hodnocení je pouze tak dobré, jak dobré jsou informace, na kterých se zakládá, a jaká je odbornost hodnotitelů. Dobře navržený systém a jeho ověření ve srovnání s mezinárodními standardy excelence jsou základem úspěchu.
• Významná účast mezinárodních hodnotitelů zajistí, že výstupy hodnocení budou porovnatelné s mezinárodními standardy, a zároveň bude minimalizován možný střet zájmů.
11
Vybíráme si svoje postupy • Nejlepší postup k tomu, abychom dospěli k vyváženému a kvalitnímu hodnocení napříč všemi obory a na úrovni jednotlivých institucí nebo jednotek, je peer review hodnocení, které čerpá z pečlivě vybraných a interpretovaných statistických a kontextuálních informací. Tento postup musí umožnit výzkumným organizacím a jednotkám, aby sdělily, v čem podle nich spočívá jejich hlavní síla.
• Hodnocení, které kombinuje jasné a široké indikátory se škálováním proti několika hodnoticím kritériím, může nejlépe zachytit celý rozsah rozdílných výzkumných metod a výstupů napříč akademickým spektrem. Mnohem lépe, než přidělení jedné jediné „známky“.
12
Praxe: obory a výzkumné jednotky (1) • Jak rozdělit práci mezi obory a jak definovat výzkumnou jednotku v praxi, to jsou klíčová rozhodnutí.
• Je nutné zajistit, aby hodnocení bylo provedeno na správné úrovni a bylo dostatečně detailní. Tím budou rozpoznatelné různé přístupy napříč obory a také bude možné získat informace pro politická rozhodnutí.
13
Praxe: obory a výzkumné jednotky (2) •
Je třeba zajistit, aby panely hodnotily výzkumné skupiny a jednotky, ne jednotlivce.
•
Informace o specifickém rozpoznatelném oboru nebo podoboru jsou užitečnější pro manažery a plánovače než pro širší posouzení.
•
Potřebujeme definovat oborové disciplíny, abychom reflektovali běžnou praxi – jak jsou výzkumníci seskupeni a řízeni v rámci svých institucí?
•
Je důležité, že hodnoticí panel funkční velikosti by neměl pokrývat příliš široký obor, aby byl důvěryhodný.
•
Velikost systému je relevantní – objem práce panelu by měl být zvladatelný.
•
Seskupení panelů do širokých oborových skupin pomáhá udržet společné standardy.
•
Systém musí dobře zvládat mezioborové disciplíny výzkumu.
14
Praxe: informace a indikátory • Musíme sesbírat dostatek informací, abychom dali panelům celkový obraz. • Zároveň nesmíme zahltit panely informacemi, které nepotřebují nebo kterým nerozumí.
• Je dobré mít kombinaci vstupních a výstupních dat. Vstupní data nám řeknou, se kterými zdroji musí jednotka pracovat; výstupní data nám ukáží, co umí jednotka z těchto zdrojů vytvořit. Obojí jsou dobrými indikátory kapacity a potenciálu jednotky k dosažení excelentního výzkumu v budoucnu.
• Kvantitativní indikátory by měly být použity k informování akademického posouzení: neměly by být použity přímo jako zdroj pro hodnocení kvality
15
Indikátory Ideálně potřebujeme množinu indikátorů, která pomůže hodnoticímu panelu porozumět:
• jaké zdroje má jednotka k dispozici (ukazují její kapacitu a závazky financujících),
• jaké vnější uznání (financování a jiné) si její úspěchy zasloužily, • celou škálu úspěchů a jejich dopadů, • může být ponechán prostor pro indikátory produktivity, zejména pokud je to v zájmu politiky, ale objem práce jako takové nemusí vždy být indikátorem kvality. 16
Indikátory: citační indexy (bibliometrika) Citační indexy jsou významným indikátorem kvality výzkumu:
• v oborech, kde je publikování v časopisech/sbornících zavedenou praxí, • v případě, že se hodnotí dostatečný počet výsledků v rámci oboru a úzce souvisejících činností,
• pokud jsou použity s jasným pochopením kontextu (porovnávání v rámci podoboru, ve kterém se citační praxe příliš neliší).
17
Indikátory: citační indexy (bibliometrika) Citační indexy jsou rovněž užitečné pro účely peer review i na úrovni jednotlivých výsledků, kdy hodnotitelé rozumí kontextu a publikačním a citačním zvyklostem v oboru.
18
Informace: nejlepší výstupy Požadavek, aby jednotky pro účely hodnocení identifikovaly svoje nejlepší výstupy, nám umožňuje udělat si dobrý obrázek o tom, co výzkumné jednotky umí: sílu, hloubku a šířku jejich práce.
• Ponechává objem práce hodnotitele na zvladatelné úrovni. • Zaměřuje pozornost na skutečně vynikající výzkumnou práci. • Je důležité rozlišovat rozmanitost forem výzkumných výstupů v jedné disciplíně i mezi vědními disciplínami.
19
Praxe: management a komunikace (1) Principy hodnocení a financování musí být pokládány za průhledné a spravedlivé. Pomůže, pokud:
• proces hodnocení a kritéria jsou publikována podrobně a v předstihu, • výzkumné organizace cítí, že jim bylo umožněno zcela ukázat své silné stránky,
• hodnoticí panely mají plnou podporu sekretariátu a pracují společně, aby zajistili společné standardy,
• panely poskytují souhrnnou a podpůrnou zpětnou vazbu, ve které identifikují silné i slabé stránky.
20
Praxe: management a komunikace (2)
Měli bychom udělat všechno, co můžeme, abychom odradili hodnocené výzkumné jednotky od přílišné připravenosti a „rozehrávání her“. Naším cílem by mělo být podněcování důvěry, že hodnoticí systém najde výjimečnost, ať už existuje kdekoliv.
21
Hodnocení a financování (1) Je často nejlepší provést hodnocení před konečným rozhodnutím o parametrech financování:
• snižuje se tak tlak na hodnoticí panely, • snižuje se tak rozsah „rozehrávání her” v podávaných přihláškách do hodnocení,
• umožňuje se vytvořit financování na míru na základě nalezeného vzorce výjimečnosti.
22
Hodnocení a financování (2) • Je vysoce žádoucí mít jasný názor na to, jaké objemy výzkumné činnosti jsou posuzovány a financovány u jednotlivých výzkumných jednotek a organizací.
• To vyžaduje nějakou formu počítání aktivních výzkumných pracovníků . Mezi financování a hodnocením lze vytvořit vhodnou „smyčku záporné zpětné vazby“, odrazující od „nadhodnocování“ FTE.
• Objem výstupů nelze napříč vědními disciplínami věrohodně srovnávat.
23
Několik myšlenek na závěr •
PRFS je silným nástrojem pro zkvalitňování národní výzkumné základny v souladu s cíli politiky VaV a podporou ze strany výzkumných manažerů.
•
Pravidelné opakování hodnocení umožňuje naladit postup na národní potřeby a podmínky. Neexistuje jediný nejlepší postup pro všechny výzkumné systémy.
•
Pokud se přístup k hodnocení bude zdát výzkumným jednotkám složitý a zatěžující, může se stát, že pro přípravu budou dělat více, než je skutečně nutné.
•
Dobře navržený systém nebude destabilizovat silné výzkumné jednotky. Tempo jakékoli změny bude z velké části určeno rozhodnutím o financování.
•
Průhlednost a dobrá komunikace s výzkumníky ve všech stádiích jsou nutností.
•
Vyskytne se kritika a jistá míry „rozehrávání her“. Pokud však bude systém dobře navržen a řízen, tak to neznehodnotí výsledky: naopak, jistá míra pokračující debaty je užitečná.
24
Děkuji za pozornost!
www.metodika.reformy-msmt.cz
