Hodnocení veřejných politik Devátá lekce kursu Veřejná politika Martin Potůček
O čem bude tato přednáška? Obecný rámec hodnocení Výstupy, účinky, výsledky veřejných politik Kotvy hodnocení: kritéria, indikátory Co hodnotíme? Kdy hodnotíme? Metody hodnocení
Teorie racionální volby Problémy hodnocení veřejných politik
Hodnocení veřejných politik „Stejně zásadní roli, jakou má na začátku procesu tvorby politiky nebo programu strukturace problému, má na konci tohoto procesu jeho vyhodnocení. (…) každá veřejná politika by měla být v průběhu své implementace monitorována a vyhodnocována tak, aby mohlo být rozhodnuto o jejím dalším pokračování, případných úpravách nebo ukončení.“ (Nekola 2007a, s. 338)
Monitoring a evaluace Hodnocení veřejných politik zahrnuje monitoring a evaluaci. Monitoring - systematický sběr primárních
dat charakterizujících objekt hodnocení. Evaluace - na základě stanoveného výzkumného designu a za pomoci zvolených kritérií vybírá z množiny primárních dat indikátory, sestavuje a interpretuje je a promítá je do výsledného hodnocení.
Obecný rámec hodnocení OVLIVNITELNÉ ČINNOSTI VSTUPY POLITIKY 1 2 3
VÝCHOZÍ PODMÍNKY 1 2 3
PROCESY POLITIKY 1 2 3
NEPŘEDVÍDANÉ UDÁLOSTI 1 2 3
NEOVLIVNITELNÉ PŘÍČINY
KONTROLOVATELNÉ VÝSLEDKY VÝSTUPY POLITIKY 1 2 3
ÚČINKY POLITIKY 1 2 3
VEDLEJŠÍ EFEKTY 1 2 3
NEKONTROLOVANÉ VÝSLEDKY
Zdroj: Nekola (2007a), upraveno z originálu Dunn (2004, s. 286).
Výstupy, účinky, výsledky veřejných politik Výstupy (policy outputs) představují změny způsobené implementací dané politiky (například zákony, poskytnuté služby, materiální i nemateriální produkty, změny chování, postojů , dispozic, sklonů nebo životních situací cílových skupin). Účinky (policy outcomes) představují změny chování, postojů , dispozic, sklonů nebo životních situací dotčených aktérů – koncových příjemců. Výsledky (policy impacts) jsou dlouhodobější pozitivní či negativní, kontrolované i nekontrolované změny, které lze přičíst působení dané politiky.
Kotvy hodnocení: kritéria, indikátory Hodnotící kritéria slouží jako měřítka hodnocení (Ochrana 2007, s. 292). Kvalitativní vs. kvantitativní. S jejich pomocí můžeme sledovat a hodnotit vývoj dané politiky v čase.
„…síla kvalitativních přístupů spočívá v komplementaritě vůči kvantitativním studiím“; jejich nevýhodou je ale obtížná zobecnitelnost získaných zjištění.
(Sirovátka a kol. 2006, s. 32).
Příklady: HDP, index lidského rozvoje (HDI), index národního štěstí (GNH), míra nezaměstnanosti či veřejného dluhu,…
Soustavy indikátorů a jejich uplatnění podávají koncentrovanou informaci mají větší význam při rozhodování politiků Příklad1: Národní indexy stavu budoucnosti
Prostřednictvím hodnocení vybraných expertů, identifikujících vývojové trendy, sociální problémy a variantní veřejné politiky lze dospět až k nalezení výběru těch politik, které mohou nejvíce přispět ke zlepšení Národního indexu stavu budoucnosti (a mohou tím zlepšit i kondici dané země jako celku). Příklad 2: Indikátory vládnutí
Analytici se pokoušejí navrhovat a uplatňovat sady indikátorů, měřících tento komplex a umožňujících srovnávat celkovou úroveň vládnutí v mezinárodním srovnání. Výsledky mohou sloužit například k lepší alokaci mezinárodní rozvojové pomoci, k vybídnutí zaostávajících členských zemí Evropské unie k tomu, aby srovnaly krok…atd.
Co hodnotíme? Konkrétní veřejnou politiku (např. rodinnou politiku státu) Konkrétní veřejně politický program (např. programové prohlášení vlády)
Uplatnění konkrétního nástroje (např. zavedení nové daně) Veřejně politické opatření (např. zákaz provozování hazardu) Konkrétní vlastnost veřejně politického procesu (např. kvalitu vládnutí, efektivitu boje s korupcí)
Výkon celé teritoriální nebo veřejnoprávní jednotky (např. státu, kraje, obce, vlády, resortu) v realizaci definovaného cíle (kvality vzdělávání, ochrany životního prostředí) Úroveň služeb poskytovaných konkrétní institucí (např. nemocnicí, škol, sociálních zařízení)
Kdy hodnotíme? Hodnocení lze uplatnit v různých fázích veřejně politického procesu. FÁZE VEŘEJNĚ POLITICKÉHO PROCESU
Typ hodnocení
Metody hodnocení
Formulace veřejných politik, rozhodování
Předběžné hodnocení – hodnocení ex ante
Metody ex ante
Implementace veřejných politik
Průběžné hodnocení – hodnocení in medias res
Metody průběžné kontroly
Hodnocení veřejných politik
Následné hodnocení – hodnocení ex post
Metody ex post
Zdroj: Drhová, Ochrana 2011. Upraveno.
Metody hodnocení Nákladově-výstupové metody hodnocení (často nepřesně souhrnně označované jako cost
benefit analysis): 1) jednokriteriální Název metody - česky
Název metody - anglicky
Možnosti uplatnění
Analýza minimalizace nákladů
Cost-minimization analysis - CMA Měření nákladů (např. ceny projektu)
Analýza nákladů a přínosů Analýza efektivnosti nákladů
Cost-benefit analysis - CBA
Analýza užitečnosti nákladů
Cost-utility analysis - CUA
Měření poměru přínosů a nákladů v peněžních jednotkách
Cost-effectiveness analysis - CEA Měření nákladů na naturální jednotku výstupu Měření stupně naplnění cíle a uspokojení s ohledem na náklady
Zdroj: Ochrana 2007, upraveno.
Metody hodnocení 2) vícekriteriální Metoda multikriteriálního hodnocení variant / vážení užitných vlastností (Černý, Glückaufová 1987). Jednotlivá dílčí kritéria jsou s ohledem na stanovené cíle různě důležitá a mají tedy různou váhu. Výběr i váha jednotlivých kritérií jsou stanovovány expertně. Agregací dosažených hodnot dospíváme ke stanovení celkového pořadí hodnocených variant.
Teorie racionální volby (Rational choice theory) Vznik na půdě Chicagské ekonomické školy (Buchanan a Tullock 1962). Předpoklad, že rozhodování všech aktérů a institucí (jednotlivců i kolektivních subjektů) je v daném institucionálním rámci založeno na sledování vlastního zájmu, maximalizaci vlastního prospěchu. Rozhodování na základě srovnávání přínosů a nákladů. Nejefektivnějším regulátorem je tedy (za jistých podmínek) trh.
Otázka k zamyšlení Co může mít teorie racionální volby společného s nákladověvýstupovými metodami?
Metody hodnocení Nevýhody ekonomických metod hodnocení ve veřejné politice: nejasně definované a nelegitimizované cíle veřejné politiky, nestálý charakter veřejné politiky, nedostatečná evidence účinků a výsledků veřejné politiky, omezené využití získaných poznatků (Nekola 2007b).
Metody hodnocení Další metody: Srovnávací analýza (např. srovnávání hodnocené veřejné politiky s nejlepším případem – benchmarking); Procesní analýza; Reflexivní přístup (frame-reflection) jako doplněk pozitivistických metod; Hodnocení dopadů (impact assessment) - uplatnění především (ne výlučně) ve fázi přípravy nových a novelizovaných zákonů a veřejných politik (hodnocení ex ante) s cílem sledovat jejich účelnost (EIA, SEA, RIA ad.).
Problémy hodnocení veřejných politik Fáze VP procesu, intence aktérů či jednotlivé politiky se mohou překrývat, mohou mezi nimi existovat zpětné vazby či mohou interferovat. Často se mění jejich sociální, ekonomický či politický kontext. Příklad komplikace při hodnocení veřejného programu, jehož realizace byla ovlivněna intervencí vnějších faktorů: Po r. 1989 se díky výraznému obohacení nabídky potravin na trhu a liberalizaci jejich cen změnil výživový režim české populace: snížila se konzumace nezdravých a zvýšila spotřeba zdravých potravin. Došlo k tomu i ve vybraných okresech, kde byl od 80. let 20. století uplatňován program prevence kardiovaskulárních chorob Světové zdravotnické organizace (CINDI). Jedním z cílů bylo snížení hladiny cholesterolu v krvi u mužů v ekonomicky aktivním věku. K tomu nakonec skutečně došlo. Sami realizátoři programu však tento pozitivní výsledek nepřičítají ani tak jeho působení, jako spíše globálním společenským změnám, zvláště výrazné změně spotřebního chování občanů v oblasti výživy.
Problémy hodnocení veřejných politik V procesu realizace veřejných politik vystupují do hry i nové, nečekané události a aktéři. Veřejné politiky mívají výsledky dlouhodobého charakteru, které lze ovšem jen těžko předvídat. Politiky však hodnotíme většinou hned po jejich skončení, rozhodně však ve výrazně kratších cyklech. Např. výsledky vzdělávací politiky se promítají do kompetencí populace, které se v ekonomice uplatňují po celou dobu ekonomické aktivity bývalého žáka či studenta.
Zdrojová a časová náročnost hodnocení vede k tomu, že se k němu rozhodovatelé odhodlávají jen zřídkakdy – a pokud, tak jen málokdy obsahově a metodologicky rigorózně.
Literature in English Bovens et al. 2006. „The politics of policy evaluation.“ Pp. 319-335 in M. Moran, M. Rein, R. E. Goodin (eds.). Oxford Handbook of Public Policy. Oxford: Oxford University Press. Buchanan, J. M., G. Tullock. 1962. The Calcuus of Consent. Ann Arbor: Michigan University Press. Buchanan, J. M., R. D. Tollison (eds.). 1972. The Theory of Public Choice I. Ann Arbor MI: University of Michigan Press. Buchanan, J. M., R. D. Tollison (eds.). 1984. The Theory of Public Choice II. Ann Arbor MI: University of Michigan Press. Dunn, W. N. 2004. Public Policy Analysis: An Introduction. Third ed. New Jersey: Pearson Prentice Hall. Nagel, S. (ed.). 2001. Handbook of Public Policy Evaluation. SAGE Publications. Schneider, F. (ed.). 2004. The Encyclopedia of Public Choice. New York: Kluwer Academic Publishers.
Literatura česky Černý, M., D. Glückaufová. 1987. Vícekriteriální rozhodování za neurčitosti. Praha: Academia. Drhová, Z., F. Ochrana. 2011. „Úvod k metodám pro hodnocení dopadů.“ Pp. 222-226 in M. Nekola, H. Geissler, M. Mouralová (eds.). Současné metodologické otázky veřejné politiky. Praha: Karolinum. Nekola, M. 2007a. „Monitoring a evaluace realizovaných politik.“ Pp. 337-382 in A.Veselý, M. Nekola. (eds.) Analýza a tvorba veřejných politik. Praha: Sociologické nakladatelství. Nekola, M. 2007b. „Rozdílné přístupy k hodnocení veřejných programů – ekonomická evaluace a její alternativy.“ Pp. 37-48 in F. Ochrana (ed.). Theoretical and practical aspects of public finance. Praha: Vysoká škola ekonomická. Ochrana, F. 2007. „Zhodnocení variantních politik.“ Pp. 291-309 in A. Veselý, M. Nekola (eds.). Analýza a tvorba veřejných politik. Praha: Sociologické nakladatelství. Potůček, M. a kol. 2015. Veřejná politika. Praha: C.H. BECK. Rukopis je prezenčně k dispozici ve studovně Knihovny společenských věd T. G. Masaryka, Jinonice. Sirovátka, T., V. Kulhavý, M. Horáková, M. Rákoczyová. 2006. Hodnocení efektivity programů aktivní politiky zaměstnanosti. Praha: Výzkumný ústav práce a sociálních věcí.
