Hodnocení aktivit podpory zdraví Vydáno v rámci řešení projektu: Podpora zdraví na úrovni kraje – determinanty zdraví a nová zdravotní politika (investice do zdraví) NO/7701-3, OK12 za rok 2003
Obsah: Hodnocení aktivit podpory zdraví .............................................................................................................................2 1. Úvod .................................................................................................................................................................................... 2 2. Hodnocení programů a projektů podpory zdraví: teoretické studie............................................................................. 3 2.1 Co je předmětem hodnocení (evaluace) v podpoře zdraví?........................................................................................... 3 2.2 Proč hodnotit? ............................................................................................................................................................... 4 2.3 Kdo by měl provádět hodnocení?.................................................................................................................................. 5 2.4 Kdy a co hodnotit? (klasifikace hodnocení) .................................................................................................................. 5 2.5 Hodnotící kritéria .......................................................................................................................................................... 7 2.6 Metodické přístupy k hodnocení ................................................................................................................................... 8 2.7 Výzkumné metody v hodnocení podpory zdraví......................................................................................................... 11 2.8 Hodnocení programů specializovaných na konkrétní prostředí .................................................................................. 12 2.9 Zveřejnění poznatků a jejich implementace ................................................................................................................ 13 3. Souhrn doporučení a postup pro hodnocení programů a projektů podpory zdraví.................................................. 14 4. Hodnocení politik podpory zdraví .................................................................................................................................. 14 5. Hodnocení v podpoře zdraví: příklady z praxe............................................................................................................. 18 5.1 Analýza výsledků ukončených projektů podpory zdraví v letech 1993-1996 (Rážová, 1998) ................................... 18 5.2 Formování negativních postojů dětí k užívání drog a látek vzbuzujících návyky (Ševčík, 2002) .............................. 18 5.3 Vyhodnocení efektivity projektů protidrogové prevence pro rok 2000 a návrh standardizace postupu (Kučera, Kasíková, 2001) .................................................................................................................................................................. 19 5.4 Programy prevence závislostí a možnosti jejich hodnocení (Nešpor, Csémy, Sovinová, 1998) ................................. 19 5.5 Program Zdravé město ČR .......................................................................................................................................... 19 5.6 Severokarelský program (Kučera, 2002)..................................................................................................................... 20 5.7 Hodnocení programu podpory kardiovaskulárního zdraví na pracovišti, Irsko (McMahon, A., Kelleher, C., 2002) . 20 5.8 Hodnocení programu Evropské Unie : Komunitní akce v podpoře zdraví, informace, výchova a trénink, 1996-2000 (Marks, D. F., Sykes, C. M., 2002) ..................................................................................................................................... 21 5.9 Hodnocení intervencí zdravotní politiky na komunální úrovni, Německo (Knesebeck, O., Joksimovic, L., 2002).... 22 5.10 Částečný model hodnocení komunitního preventivního programu zaměřeného na diabetes 2 . typu, Švédsko (Andersson, C. et al, 2002).................................................................................................................................................. 22 5.11 Výzkum pro zlepšení zdraví společnosti, USA (Wagner, E. H. et al, 2000)............................................................... 23 6. Závěry a diskuse............................................................................................................................................................... 24 7. Literatura.......................................................................................................................................................................... 24
Hodnocení aktivit podpory zdraví Ing. Pavla Hedrlínová Souhrn: Cílem této práce je podat přehled způsobu hodnocení aktivit podpory zdraví. Aktivity podpory zdraví lze z hlediska jejich rozsahu a propojení s ostatními sférami veřejného života rozdělit na politiky, programy a projekty (konkrétní akce). Programům a projektům podpory zdraví často nejsou přidělovány adekvátní finanční prostředky (s výjimkou protidrogových aktivit) mimo jiné i z důvodu nedostatku důkazů o jejich efektivitě. Tato studie by měla především informovat o používaných postupech, metodách a výsledcích v hodnocení aktivit podpory zdraví a tím zlepšit pochopení významu a nezbytnosti tohoto hodnocení mezi aktéry politiky podpory zdraví. Pro ostatní by pak měla tato studie umožnit přístupnou formou se zorientovat v základech problematiky hodnocení aktivit podpory zdraví. Klíčové otázky jsou v teoretické části soustředěny na vlastní hodnocení aktivit podpory zdraví (jaké jsou cíle hodnocení, jakým způsobem hodnotit, jaké používat hodnotící metody, kdo bude provádět hodnocení, které části aktivity podpory zdraví budou hodnoceny, kdy bude hodnocení probíhat a další). V navazující praktické části jsou otázky zaměřeny především na celkový přístup k hodnocení (použitý typ hodnocení a metody hodnocení) a popis jednotlivých aktivit podpory zdraví. V rámci této práce byly používány běžné výzkumné metody, především obsahová analýza dokumentů a srovnávací analýza u vybraných dokumentů. Závěrem lze na teoretické bázi konstatovat shodu řady autorů zabývajících se tímto tématem v chápání hodnocení jako nedílné součásti politik, programů a projektů podpory zdraví. Hodnocení by mělo být součástí každé aktivity podpory zdraví a mělo by být naplánováno předem. Již ve fázi přípravy by koordinátoři programu či projektu měli vědět kdo bude provádět hodnocení, kdy a co bude hodnotit, jaké budou výstupy jeho práce a jakým způsobem přispějí k větší efektivitě (účinnosti) tohoto programu/projektu podpory zdraví. Situace v praxi v ČR je poněkud odlišná od teorie – řada projektů nemá hodnocení zpracované vůbec, další ho mají zpracované v nedostatečném rozsahu, a to i přesto, že financování většiny projektů jde z veřejných rozpočtů. Od roku 1995 klesá objem finančních prostředků určených pro Národní program zdraví, jedním z důvodů může být i neznalost důkazů o efektivitě jednotlivých projektů. Je tedy nutno vypracovat takové nástroje, s jejichž použitím by bylo možné hodnocení aktivit podpory zdraví provádět jasně a srozumitelně i pro laickou veřejnost a tím umožnit lepší kontrolu nad čerpáním a využitím veřejných prostředků. Pro implementaci doporučení obsažených v závěrečné zprávě hodnocení do praxe je nutné upoutat zájem politiků. To může být zejména v případě negativních zjištění a nepopulárních doporučení značně problematické.
1. Úvod Podpora zdraví představuje všeobecný společenský a politický proces, který nezahrnuje pouze opatření zaměřená přímo na posílení schopností a dovedností jedinců, ale také opatření zaměřená na změny společenských, ekonomických1 a environmentálních podmínek s cílem zmírnit jejich vlivy na zdraví celé populace. Je to proces umožňující lidem zlepšit kontrolu nad determinanty zdraví a tím i nad svým zdravím (Health Promotion Glossary, 1998). K tématu podpory zdraví již byla uspořádána řada mezinárodních konferencí (Ottawa 1996, Adelaide 1988, Sundsvall 1991, Edinburgh 1998, Paříž 1999, Evora 2000), na nichž byly vytyčeny doporučené přístupy k podpoře zdraví. Poznatky z konferencí ovlivňují zdravotní politiku jednotlivých států i Světové zdravotnické organizace (WHO). Ta ve svém programu pro Evropu Zdraví 21 – 21 cílů pro 21. století stanovuje jednotlivé oblasti (cíle), které by se měly pomocí řady konkrétních projektů dále rozvíjet a tím zlepšovat zdraví celého evropského regionu. Aktivity podpory zdraví lze z hlediska jejich rozsahu a propojení s ostatními sférami veřejného života rozdělit na politiky, programy a projekty (konkrétní akce). Všechny tyto aktivity by měly být hodnoceny. V oboru podpory zdraví je hodnocení definováno jako postup stanovení hodnoty politiky/ programu/ projektu a často je určené sadou předem daných cílů nebo standardů akceptovatelnosti. Hlavním účelem hodnocení je zlepšit aktivity podpory zdraví a poskytnout odborníkům údaje o silných a slabých stránkách politik/programů/projektů (Modeste, 1996).
1
Přímý vztah mezi socioekonomickými aspekty života a zdravím je dnes již potvrzen mnoha studiemi. Např. v roce 1993 analytici Světové banky doporučili vládám všech států tři základní racionální opatření: 1. Co nejvíce investovat do zdraví sociálně slabých skupin za účelem snižování jejich chudoby a předcházení vzniku sociálních otřesů 2. Iniciovat veřejné akce v různých sektorech národního hospodářství vedoucí ke zdravotním ziskům, jež soukromý sektor není schopen zajistit 3. Kontrolními a regulačními opatřeními státu zabránit různým formám „selhání trhu“ ve zdravotním a sociálním prostředí (Žáček, 2000). Dalším dokumentem, který stručně a jasně shrnuje vliv sociálních determinant na zdraví je např. zpráva The Solid Facts, (WHO International Centre for Health and Society, 1998).
2
Vlastní rámec hodnocení v podpoře zdraví by podle Rootmana a kol. měl plnit tyto podmínky: • • • • • •
aplikovatelnost na všechny typy hodnocení s přihlédnutím k tomu, aby pro konkrétní hodnocený program nebo politiku byla vybraná ta nejvhodnější metoda shoda s principy podpory zdraví zaměření na kolektivní i individuální odpovědnost flexibilita, schopnost přizpůsobit se změněným okolnostem, příležitostem, prioritám obsahovat všechny kroky hodnotícího procesu požadovat všechny úrovně hodnocení
V souladu s výše uvedenými zásadami lze hodnocení v podpoře zdraví rozdělit do osmi kroků: 1. popis programu, 2. identifikace položek a otázek, 3. navržení způsobu sběru dat, 4. sběr informací, 5. analýza a interpretace shromážděných informací, 6. tvorba doporučení, 7. rozšiřování výsledků, 8. akce (Rootman a kol, 2001).
2. Hodnocení programů a projektů podpory zdraví: teoretické studie V této části práce se budeme zabývat problematikou hodnocení aktivit v oblasti podpory zdraví, a to především aktivit typu programů a projektů. Pro hodnocení politik podpory zdraví je z důvodu lepší přehlednosti práce vyčleněna zvláštní kapitola. Hlavním cílem této části studie je vysvětlit řadu otázek, spojených s hodnocením aktivit podpory zdraví – co je hodnocení, jaký je jeho smysl, kým by mělo být realizováno, v jakém rozsahu atd.
2.1 Co je předmětem hodnocení (evaluace) v podpoře zdraví? Evaluace podpory zdraví je hodnocením aktivit především ve vztahu k vymezeným hodnotám a cílům. Výsledky hodnocení jsou přínosem pro budoucí rozhodnutí na různých úrovních. V každém hodnocení existují dva základní prvky: identifikace kritérií (hodnot a cílů) a sběr a zpracování souvisejících údajů. Při výběru takových dat a způsobu jejich pořízení je potřebné velké množství praktických, etických a metodologických zkušeností. K potížím dochází v situacích, kdy nejsou dostatečně vymezeny cíle hodnocených aktivit. V takových případech vznikají velice snadno střety zájmů zúčastněných aktérů. Hodnotící postupy a jejich výsledky musí být veřejně přístupné a dostatečně transparentní. Tak se mohou stát nejen předmětem opakovaného použití, ale získávají charakter objektivity, neboť jsou i předmětem určitého hodnocení ze strany uživatelů (Katz, Peberdy, 1997). Je nutné rozlišovat mezi hodnocením a monitoringem. Monitoring zahrnuje systematické a kontinuální sledování určitých aspektů projektu nebo služeb v průběhu jejich realizace. Hodnocení je vždy širší než monitoring: nespočívá pouze ve sběru a zpracování informací, ale zahrnuje i jejich posouzení ve vztahu k širšímu okruhu hodnot a cílů (Katz, Peberdy, 1997). Dosud uvedené charakteristiky hodnocení v oblasti podpory zdraví lze shrnout do modelu hodnotícího cyklu s uvedenou časovou posloupností jednotlivých kroků. Hodnotící cyklus: • • • • • • •
1. stanovení předmětu hodnocení (co má být hodnoceno) 2. identifikace kriterií 3. sběr a zpracování dat 4. vyhodnocení údajů a jejich diskuse 5. rozhodování o dalším postupu 6. realizace přijatého postupu 7. = 1. rozhodnutí: co budeme hodnotit
Podle Simmonse – Mortona je hodnocení programu definováno jako systematický sběr, analýza a interpretace dat s účelem určit hodnotu sociální politiky nebo programu a s cílem použít data pro rozhodování o programu/politice. Hodnocení programu je vnímáno jako vnitřní součást programu, mělo by být zmíněno přímo mezi cíli programu (Simmons-Morton a kol., 1995).
3
Experti pracovní skupiny souhrnné publikace WHO o hodnocení v podpoře zdraví (Rootman a kol., 2001) identifikovali nejméně devět důležitých tvrzení týkajících se hodnocení v podpoře zdraví: • • • • • • • • •
je to rozvíjející se přístup může tvořit velmi hodnotný příspěvek pro praxi trpí nedostatkem důkazů efektivity zahrnuje široký okruh přístupů a modelů nabízí zákonné role pro kvalitativní i kvantitativní metodiky používá široký okruh sociálních disciplín a přístupů staví na řadě plánovaných modelů požaduje, aby teorie a další koncepty byly efektivní nabízí mnoho potenciálních rolí pro hodnotitele a výzkumníky
2.2 Proč hodnotit? Pro hodnocení v podpoře zdraví existuje pestré spektrum důvodů. Mezi ně patří otázky účinnosti, snaha o zlepšení realizovaných postupů, kritická sebereflexe, snaha učit se v průběhu praktické realizace aktivit. Velmi úzký vztah je mezi hodnocením a plánováním. Hodnotící postupy se stávají standardním požadavkem již na úrovni přípravy projektů a programů. Zvyšující se důraz na hodnocení je podmíněn rozvojem odpovědnosti při hospodaření s veřejnými finančními prostředky a také z hlediska nově vzniklých požadavků na efektivitu a hospodárnost vynaložených prostředků ve vztazích mezi veřejným a soukromým sektorem (smluvní vztahy, výběrová řízení – nástroje vnitřního trhu). Důležitým faktorem v této souvislosti jsou tedy zkušenosti a praxe vztahů mezi veřejným a soukromým sektorem. Někteří autoři také uvádí, že rozvoj kultury hodnocení je důsledkem politických a ideologických procesů, neboť legitimizuje nepopulární kroky státu při redukci veřejných rozpočtů. Souhrn nejdůležitějších důvodů pro realizaci evaluace: • objektivizovat oprávněnost dalšího financování aktivit • kontrola účinnosti programu • rozvoj a zlepšení metod, procedur a materiálů • hodnocení účinnosti investovaných zdrojů • průběžně potvrzovat hodnotu (užitek) realizované aktivity • poskytnout informace a podklady pro tvorbu dalších plánů • rozšířit znalosti o hodnotách a omezeních v podpoře zdraví • objektivizovat rozpočtová omezení a priority Při hodnocení v podpoře zdraví je nutné brát na vědomí i fakt, že důsledky řady intervenčních projektů se mohou projevit až po letech. U většiny aktivit podpory zdraví není možné očekávat okamžitý efekt na zdravotní stav populace - s výjimkou specifické primární (např. očkování) a sekundární (např. kolorektální nebo mamografický screening) prevence. Efekty medicínské léčby jedince jsou více viditelné než efekty intervenčních projektů v podpoře zdraví (Katz, Peberdy, 1997). Celkově lze říci, že hodnocení aktivit podpory zdraví (jakkoliv zaměřených) přispívá ke zvýšení jejich efektivity a tím i kvality. Kvalitnější projekt/program/politika se následně projeví ve zlepšení kvality života členů cílové populace2. 2
Jedním z konceptů kvality života, který je uznáván i WHO je tzv. Lindströmův model, který definuje kvalitu života jako „celkovou existenci jedince, skupiny nebo společnosti“ (Rootman a kol., 2001). V tomto modelu jsou rozlišovány čtyři základní oblasti života: • osobní, obsahující fyzické, duševní a duchovní zdroje • mezilidská, zahrnující rodinu, blízké přátele a širokou sociální sít • externí, včetně aspektů práce, příjmu a bydlení • globální, obsahující sociální prostředí, kulturní specifika, politiku lidských práv a sociální pohody. Další model, který vyvinuli vědci na Univerzitě v Torontu, je založen na názoru WHO, že zdraví je základní podmínkou spokojeného každodenního života. Kvalita života je zde definována jako míra využití důležitých možností (míra spokojenosti). Tato spokojenost se odehrává ve třech hlavních doménách: bytí (being), patření (belonging) a stávání se (becoming) – podrobněji viz tab. č. 1. Tab. č. 1: Tři domény spokojenosti života Doména Bytí (being)
Patření (belonging)
Stávání se (becoming)
Podkategorie Fyzická Psychologická Duchovní Fyzická Sociální Komunitní Praktická Volný čas Růst
Zdroj: Rootman a kol., 2001
4
Obsah fyzické zdraví, pohyblivost, cvičení, fitness, výživa, vzhled nezávislost, sebepřijetí, osvobození od stresu osobní hodnoty a standardy, víra fyzikální aspekty okolního prostředí vztahy s rodinou, přáteli a známými dostupnost sociálních zdrojů a služeb domácí, školní a pracovní aktivity koníčky, rekreace učení, zlepšování dovedností a vztahů, adaptace k životu
2.3 Kdo by měl provádět hodnocení? Hodnocení může být realizováno nezávislými vnějšími subjekty (např. výzkum). Převážná část hodnocení je však provedena jako součást probíhajících aktivit podpory zdraví. Oba přístupy mají své výhody a nevýhody. Vnější hodnotitel není přímo zainteresován na aktivitě a může tedy být více objektivní. Avšak nevýhodou tohoto typu hodnocení je potřeba proniknout do detailů realizačních procesů, vytvořit kontakty. V případě interního hodnocení jako součásti řídících funkcí odpovědných nositelů aktivit je nutné dbát na tvorbu potřebných motivačních stimulů. Zřetelná výhoda vzniká při kombinaci obou přístupů. Významným činitelem v hodnocení aktivit jsou také jejich uživatelé či adresáti. Někteří z nich jsou otevřenější ve vztahu k externím hodnotitelům. V jiných případech
mohou právě vnější hodnotitelé vzbuzovat nedůvěru. V rámci
jednotlivých typů hodnocení a aktivit je proto nezbytné pečlivě zvažovat řadu různých faktorů, které jsou ve hře. Výhody a nevýhody interního a externího hodnocení programu jsou popsány v tab. č. 2 (Rootman a kol, 2001). Tabulka č. 1: Porovnání externího a interního hodnocení • • • • • •
Externí odborníci provádějící hodnocení mohou přinést nový pohled na věc nejsou osobně zainteresováni nejsou součástí struktury programu nezískávají z programu nic, ale mohou získat prestiž z dobře provedeného hodnocení mají mnoho zkušeností a trénink z jiných hodnocení, jsou účastníky programu vnímáni jako odborníci jsou v nevýhodě neboť nemusí znát program nebo zúčastněné osoby Zdroj: Rootman a kol, 2001
• • • • • •
Interní odborníci provádějící hodnocení znají dobře program je pro ně obtížnější být objektivní jsou součástí struktury programu mohou být motivováni vyhlídkou na osobní zisk nemusí být zkušení v hodnocení, mohou mít málo nebo jen o nepatrně více zkušeností v problematice než ostatní jsou důvěrně seznámeni s programem a mohou interpretovat osobní chování i postoje
2.4 Kdy a co hodnotit? (klasifikace hodnocení) Otázka načasování hodnocení je těsně spjatá s účelem, kvůli kterému se hodnocení provádí. Jde o hodnocení krátkodobá či bezprostřední nebo dlouhodobá? Abychom si tuto skutečnost uvědomili, je třeba zavést nové termíny. Hodnocení již skončeného programu nebo projektu intervenčního charakteru se nazývá celkové hodnocení (summative evaluation) nebo hodnocení výsledků (outcome evaluation). Hodnocení, po jehož skončení se předpokládají změny v hodnoceném projektu se nazývá formativní (formative evaluation) nebo hodnocení procesu (evaluation of process). Předmětem průběžného (formativního) hodnocení jsou v oblasti podpory zdraví obvykle ukazatele charakteru vstupů, postupů, výstupů nebo meziproduktů. Tyto ukazatele vypovídají o realizovaných dílčích krocích. Rozhodnutí o konkrétním postupu a jeho rozsahu je podmíněno dostupnými zdroji, významem výsledků, formulovanými otázkami a vymezenými kritérii. Celkové dlouhodobé výsledky jsou
naproti tomu hodnotitelné s využitím ukazatelů zdravotního stavu obyvatelstva (nemocnost,
úmrtnost). Předmětem krátkodobých a střednědobých hodnocení jsou programy a projekty podpory zdraví realizované spíše na regionální či lokální úrovni. Z dlouhodobého hlediska jsou předmětem hodnocení širší kontext politiky podpory zdraví, dlouhodobé strategie či dlouhodobé národní programy. V publikaci Simmonse-Mortona jsou diskutovány dva typy klasifikace hodnocení programů a jejich vzájemný vztah (viz tab. č. 2). První klasifikace je založená na poznatcích Greena a Lewise, rozděluje hodnocení na celkové (summative) a hodnocení procesu (formative evaluation), v souladu s Katz, Peberdy. Třetím typem hodnocení, zde nově zaváděným je diagnostické hodnocení (diagnostic evaluation) jako součást procesu odhadování potřeb (needs assessment). Druhá klasifikace předkládá rovněž tři kategorie hodnocení programu: 1. hodnocení procesu (process evaluation), 2. hodnocení vlivu programu (impact evaluation) a 3. hodnocení výsledků (outcome evaluation). Často jsou používány kombinace v rámci jednotlivých klasifikací (Simmons-Morton a kol., 1995). Z níže uvedené tabulky vyplývá, že zatímco pojmy diagnostické hodnocení (=odhadování potřeb) a hodnocení procesu (=formativní hodnocení) jsou poměrně jasně specifikovány, u pojmů celkové hodnocení, hodnocení výsledků a hodnocení vlivu programu dochází k jejich částečné zaměnitelnosti a volba jejich používání je pak na hodnotiteli. 5
Tabulka č. 2: Vztah mezi dvěma rámci kategorizace hodnocení programů (Simmons-Morton a kol., 1995) Preferovaný název Analýza potřeb (needs assessment)
Jiný název Diagnostické hodnocení (diagnostic evaluation)
Hodnocení procesu (process evaluation) Hodnocení vlivu programu (impact evaluation)
Formativní hodnocení (formative evaluation) Celkové hodnocení (summative evaluation)
Hodnocení výsledků Celkové hodnocení (outcome evaluation) (summative evaluation) Zdroj: Simmons-Morton a kol., 1995
Cíle Zpětná vazba na znalosti, postoje, rizikové chování, zdravotní stav a potřeby cílové populace a stav dostupných programů Zpětná vazba na implementaci programu a odezvu účastníků a lékařů Zpětná vazba na znalosti, postoje, víru a chování účastníků programu, programy a politiky organizací a vlády Zpětná vazba na zdravotní stav, nemocnost a úmrtnost
Pro lepší představu o různých druzích hodnocení byly do poznámky pod čarou vloženy konkrétní příklady otázek vztažených k různým typům hodnocení)3 Hodnocení výsledků (outcome evaluation) je také někdy vnímáno jako vlastní hodnocení, jestli aktivita podpory zdraví funguje nebo ne (Raczynski, DiClemente, 1999). Tomuto vlastnímu hodnocení předcházejí následující kroky: • • •
Definice zaměření hodnocení pomocí před-hodnotících aktivit: Jaké otázky musí být zodpovězeny a komu? Implementace: Byla aktivita realizována podle plánu? Hodnocení procesu: Jak by aktivita podpory zdraví mohla být vylepšena?
Součástí hodnocení výsledků mohou (ale nemusí) být i tyto kroky: • • • •
3
Zařazení změn: Víme proč program funguje a z jakého důvodu je úspěšný? Srovnání: Fungoval program o mnoho lépe než jiné podobné programy? Zobecnění: Které druhy intervenčních programů jsou úspěšné pro jaké části populace? Účinnost: Odpovídá zisk programu nákladům?
Příklad hodnocení procesu (formativní hodnocení) – na úrovni programu Úroveň intervence Hodnocení procesu, formativní hodnocení - příklady otázek Individuální • Kdo se podílel na vývoji a implementaci programu? • Co je obsahem programu? • Byly některé části programu více úspěšné než ostatní? Proč? • Které vzdělávací metody byly použity v programu, jak byly efektivní? • Jaké zdroje byly použity (čas, peníze, osoby)? • Jaké byly metody komunikace mezi organizacemi? Co by se mělo zlepšit? • Byl program realizován dle plánu nebo byl v průběhu změněn? Jak? • V jakém rozsahu byly materiály k programu užitečné a praktické? • Které rysy programu se účastníkům nejvíce a nejméně líbily? Organizace • Kdo se podílel na vývoji programu? • Kteří jedinci nebo které organizace přijaly/podporovaly program? • Kdo podporoval inovace? Proč? Proč ne? • Které aktivity, metody, materiály byly používány ke změně? Jak byly efektivní? • Jaké zdroje byly použity (čas, peníze, osoby)? Vláda • Na jaké úrovni byl program projednáván? Která oddělení vlády byla zapojena? • Kdo byl klíčovou postavou při rozhodování? • Jakým způsobem se zapojilo Ministerstvo zdravotnictví (zdroje, osoby)? • Jaké dokumenty byly předloženy?
Příklad celkového hodnocení (hodnocení vlivu) – na úrovni programu Úroveň intervence Celkové hodnocení programu - otázky Individuální • Změnily se znalosti a postoje účastníků programu k alkoholu jako výsledek programu? • Jaký podíl účastníků snížil svou spotřebu alkoholu v rizikových situacích? • Poklesla spotřeba alkoholu v cílové populaci? Organizace • Byl program přijat? • Jaké prostředky byly na program uvolněny? • Měření kvality a úspěšnosti Vláda • Byly schváleny právní předpisy? • Byla přijata konkrétní opatření pro snížení zneužívání alkoholu v cílové populaci? • Vyvinula vláda strategii na snížení spotřeby alkoholu?
6
Ten, kdo provádí hodnocení, musí formálně stanovit design hodnotící studie, metody sběru dat a metody pro jejich analýzu. Sběr dat je prováděn pomocí sociologických nástrojů, např. testů, šetření, dotazníků a pozorování. V oboru podpory zdraví mohou tato měření zahrnovat i konkrétní standardizované fyziologické testy (např. hodnotu krevního tlaku). Je důležité, aby výběr měření a nástrojů k jejich analýze byl proveden současně (kvůli zajištění vhodných nástrojů ke konkrétnímu měření – aby se po sebrání určitých dat nezjistilo, že nevíme, jak je analyzovat). Je třeba rozlišovat: některé typy hodnocení jsou vázány na konkrétní cíle v čase, zatímco jiné jsou spojeny se specifickými hodnotícími otázkami. Tyto dva přístupy se mohou částečně překrývat a s několika málo výjimkami (např. costeffectiveness analýza) lze konstatovat, že žádná část nebo typ hodnocení není spjatá s konkrétní metodikou (Raczynski, DiClemente, 1999).
2.5 Hodnotící kritéria Nezbytným východiskem hodnocení je identifikace kritérií, která budou použita pro měření a vyhodnocování. Základními kritérii jsou obecné a instrumentální cíle aktivit, projektů či programů, ale je možné a vhodné také hodnotit ve vztahu k vnějším standardům a nebo hodnotám, mezi něž lze řadit např. přijatelnost z hlediska veřejnosti, efektivitu nákladů nebo výkonnost. Kritéria pro evaluaci: 1. 2. 3. 4. 5.
efektivita, účinnost – rozsah ve kterém byly cíle a úkoly splněny akceptovatelnost, přijatelnost přiměřenost, vhodnost – odezva na potřeby ekvita – spravedlivý přístup nákladová účinnost – poměr nákladů k užitku
Zvažme nyní podrobněji význam těchto kritérií. Prvním z nich je účinnost (působnost), která je považována za klíčové kritérium hodnocení. Většina z nás spojuje tento pojem s obsahem pojmu evaluace. 1. Efektivita, účinnost Toto kritérium se týká hodnocení dosažených výsledků (evaluation of outcomes) ve vztahu k předem formulovaným cílům a úkolům. Cíle jsou obsahem plánu spolu s předpokládanými efekty konkrétních aktivit. V každodenní praxi se nerozlišuje dostatečně mezi obecnými (aim) a operativními nebo instrumentálními cíli (objective). Programy a projekty často nemají jasně stanovený soubor cílů, ačkoli pro hodnocení efektivity programu je to důležité. Cíle a úkoly pro stanovení účinnosti by měly být formulovány jasně, specificky, dle priorit (seřazení dle důležitosti) a navzájem by měly být ve vzájemném souladu. 2. Akceptovatelnost, přijatelnost Důležité a někdy přehlížené kritérium. Existuje mnoho důvodů pro to, aby otázky společenské akceptovatelnosti byly běžnou součástí hodnocení v podpoře zdraví. Např. intervenční projekt, přijatelný pro většinu populace, může způsobit problémy etnickým a jiným menšinám4. Metody intervence nemohou být vysoce efektivní, jestliže nebudou pro cílovou skupinu přijatelné z hlediska estetického, náboženského či morálního. 3. Přiměřenost, vhodnost Toto kritérium se liší od přijatelnosti. Odpovídá na otázky typu: Je tato aktivita vhodná pro konkrétní potřeby cílové skupiny v daném čase a na daném místě?5
4
Např. ve Velké Británii byly vydány informační materiály k tematice HIV/AIDS, které popisovaly i africký původ viru. V důsledku této informace celospolečensky vzrostl počet útoků na minoritní etnické skupiny tmavé pleti. 5 Např. kampaň za používání cyklistických helem je obecně vysoce přijatelná, ale konkrétně je velmi nevhodné umísťovat billboardy na odpočinkových místech, kde je málo cyklistů.
7
4. Ekvita, spravedlnost Zlepšení rovnosti a spravedlnosti v péči o zdraví je jedním z dlouhodobých cílů WHO. Předmětem ekvity pro oblast podpory zdraví je otázka nakolik jsou realizované intervence spravedlivě dostupné jednotlivým populačním skupinám ve vztahu k jejich sociálně-ekonomickému postavení. Cíle Světové zdravotnické organizace se zaměřují na snížení existujících rozdílů dostupností intervencí nebo v ukazatelích zdravotního stavu o 25% a to jak z hlediska mezinárodního, tak i v rámci menších geografických celků jednotlivých států (např. regiony, okresy). Ekonomická rovnost (ekvalita), provázená sociální spravedlností (ekvitou) a harmonickým soužitím (kohezí) jsou pojmy velmi úzce asociované se zlepšením zdraví (Žáček, 2000). Je důležité, aby problematika sociálních determinant zdraví nebyla jen předmětem práce a diskuse specialistů, ale aby se stávala součástí širšího odborného i občanského vědomí (Holčík, Koupilová, 2001) a tudíž byla i zohledněna v hodnotících přístupech. Je tedy nezbytné brát v úvahu i dostupnost projektu/programu všem lidem z cílové skupiny6. 5. Efektivita, výkonnost Vztah mezi vynaloženými náklady a efektivitou je za podmínek omezených zdrojů a rozpočtů velmi důležitý. V tomto kontextu existují dvě základní metody: cost – effectiveness analysis (CEA, analýza efektivity nákladů) a cost-benefit analysis (CBA, analýza nákladů a výnosů). CEA porovnává náklady podobných intervenčních projektů, s nimiž bylo dosaženo stanoveného cíle.7 Jestliže jsou různé intervenční projekty stejně úspěšné, pak je důležité vědět, který byl levnější. Často existují rozdíly v úspěšnosti i nákladech intervenčních projektů a pak se hodnocení vztahuje na „náklady na jednotku účinnosti“ nebo „účinnost na jednotku nákladů“ (Katz, Peberdy, 1997). CBA porovnává náklady intervenčních projektů s finančním přínosem plynoucím z dosažení cíle, včetně přínosu vzniklého dosažením cíle projektu8. Podle Rootmana a kol. může být ekonomické hodnocení projektů podpory zdraví buď částečné nebo celkové (zde je možná jedna ze čtyř variant: hodnocení vztahu náklady-minimalizace, náklady- efektivita, náklady-užitek a náklady-přínos). Na obecné úrovni lze konstatovat, že ekonomické hodnocení sestává z následujících kroků: • • • • • • • •
definování ekonomických otázek a perspektivy studie určení alternativ k hodnocení a výběr hodnotící studie identifikace, stanovení a hodnocení nákladů identifikace, hodnocení a měření přínosu měření přírůstku nákladů a přínosu dávání nákladů a přínosu do souvislostí testy reliability výsledků prezentace výsledků
2.6 Metodické přístupy k hodnocení Před začátkem plánování hodnocení by (nezávisle na typu a úrovni hodnocení) měly být ujasněny některé základní otázky (Katz, Peberdy, 1997): • • • • •
Proč hodnotíme? Která kritéria budeme používat? Jaké informace potřebujeme? Jaké metody budeme využívat ke sběru informací ? Jak budou získané informace využity a zveřejněny (výsledná zpráva, uspořádání workshopu) ?
6
Příkladem nerovného přístupu (diskriminace) může být dostupnost informací pouze v psané formě, pouze v anglickém jazyce nebo pouze na internetu. 7
Např. porovnání úspěšnosti poradny odvykání kouření s poradenstvím rodinného lékaře v této oblasti
8
Např. náklady na protitabákové programy s finančním přínosem zanechání kouření
8
Zvážení těchto otázek je z hlediska přípravy koherentního a dobře realizovaného plánu hodnocení významné. Pro pokročilejší typy hodnocení a jejich realizátory přichází v úvahu podstatně podrobnější seznam dimenzí. Seznam důležitých otázek pro sestavení plánu evaluace: 1.
Kdo jsou hlavní zúčastnění aktéři a v kterých skupinách jsou reprezentováni?
2.
Co je účelem hodnocení?
3.
Jaký přístup, model či koncepční rámec bude pro hodnocení použit?
4.
Jaké jsou hlavní problémy a otázky, související s hodnocením?
5.
Které politické a etické aspekty je zapotřebí vzít v úvahu?
6.
Jaké standardy a kritéria budou pro hodnocení použity?
7.
Jaké zdroje jsou pro hodnocení k dispozici?
8.
Kdo bude hodnocení provádět?
9.
Jaké typy zdrojových údaje a informací jsou zapotřebí?
10. Jaké metody budou použity pro sběr a zpracování dat? 11. Jak budou získané údaje analyzovány? 12. Jak bude testovány validita a reliabilita dat? 13. Jak budou prezentována zjištění? 14. Komu budou zjištění dostupná? Základní metodické přístupy hodnocení Existující metodické přístupy k hodnocení jsou velmi odlišné. Do popředí vystupuje zejména kontrast mezi metodami založenými na poznání přírodních a medicínských věd (se snahou o zjištění vztahů mezi příčinami a důsledky) a mezi společenskovědními metodami (ty jsou založeny na využití holistického přístupu, opřeného o kvantitativní a kvalitativní sociologické metody). Sestavit plán hodnocení v podpoře zdraví znamená vybírat metody a přístupy, které jsou vhodné pro účely daného hodnocení. 1.
(kvazi)experimentální přístup - použití vědeckých metod z oblasti přírodních nebo medicínských věd (snaha o stanovení vztahu mezi příčinou a důsledkem),
2.
kvantitativní sociologické metody (dotazníková šetření, obsahová analýza dokumentů),
3.
kvalitativní metody (zúčastněné pozorování, focus groups, rozhovory, analýza dokumentů, případové studie).
1. (Kvazi) experimentální přístup Vzhledem k tomu, že lidské jednání je determinováno poměrně komplexním působením četných faktorů (multifaktoriální procesy), je poměrně obtížně zjistit kauzální vztah mezi konkrétní intervencí a souvisejícím důsledkem. Jestliže je určitá populační skupina varována před škodlivým působením kouření cigaret a dojde ke snížení spotřeby cigaret, nelze dospět k závěru, že to bylo způsobeno pouze varovnou informací. Snížení spotřeby cigaret totiž mohlo být způsobeno současně ještě jinými faktory. Experimentální přístup v hodnocení podpory zdraví má široké využití v projektech, které jsou konkrétně zaměřeny – např. při odvykání kouření, při intervenčních projektech ve školách nebo na pracovištích (tedy na místech, kde je možné dobře kontrolovat skupiny účastnící se projektu).
9
2.Kvantitativní sociologické metody Předmětem dotazníkových šetření jsou postoje, názory, preference, jednání, znalosti u vybraných aktérů (jednotlivci, komunity, populační výběrové vzorky) ve vztahu k probíhajícím nebo proběhlým procesům, událostem nebo k očekávaným výsledkům. Mezi konkrétní používané metody této skupiny patří dotazníková šetření (osobní nebo telefonické rozhovory či korespondence); podrobná obsahová analýza psaných dokumentů nebo projevů. Cílem těchto metod je zjistit určité zásadní změny určitých vzorců jednání a snaha o zjištění vývoje vybraných sociálních vztahů. Touto cestou nelze detailně ověřit vztahy mezi příčinami a důsledky. Lze však získat cenné kvantitativní a v menší míře i kvalitativní údaje.
3. Kvalitativní metody Kvalitativní přístup je relevantní v případech, kdy nám jde více o zjištění informací o tom, co se odehrálo, než o zmapování, jaké jsou ve hře kauzální vztahy mezi příčinami a důsledky. Míra našeho skutečného porozumění podstatě hodnocených procesů je u tohoto přístupu podstatně menší než u kvantitativních sociologických metod nebo při využití metod z oblasti přírodních a medicínských věd. Mezi často používané konkrétní metody tohoto přístupu patří zúčastněné pozorování, focus groups, rozhovory, workshopy, analýza dokumentů a případové studie. Zajímavým aspektem kvalitativního přístupu je, že umožňuje mnohem otevřenější přístup ke sledovaným procesům, kritickou reflexi. V oblasti hodnocení aktivit podpory zdraví je, že se kvalitativní přístup využívá u méně rozsáhlých nebo komunitních iniciativ. Použití kvalitativních metod umožňuje využít historický přístup, postihnout časový vývoj, participativní hodnocení s účastí významných aktérů, výzkum jednání. Zpracované hodnocení může být také součástí připomínkového řízení s klíčovými aktéry. To vše umožňuje úvahy o redistribuci mocenského vlivu, otevírá příležitosti pro vyslyšení širšího okruhu názorů, hodnot a priorit. Podmínkou je však předchozí detailní analýza jednotlivých aktivit. Mnohá hodnocení aktivit v oblasti podpory zdraví používají kombinaci všech tří přístupů a souvisejících metod. To však v praxi klade na hodnotitele větší nároky na syntetické zpracování takto získaných poznatků.
Informace a indikátory Seznam důležitých otázek pro sestavení plánu evaluace nás přivádí ke klíčovému významu indikátorů. Indikátory mohou být přirovnány ke značkám na silnici, které nám sdělují, jak daleko jsme již dojeli, zdali jsme na správné cestě a jak daleko nám ještě zbývá do cíle naší cesty. Indikátory pro hodnocení aktivit podpory zdraví nám poskytují informace o realizaci plánovaných kroků, procesů a postupů, o dosažených výsledcích a případných meziproduktech těchto výsledků. Indikátory mohou být jak kvalitativní tak kvantitativní povahy a jejich výběr nepochybně může být ovlivněn hodnotami a předpoklady ve spojitosti s různými přístupy k podpoře zdraví a nebo s již získanými zkušenostmi na základě provedených hodnocení. Změny v jednání jednotlivců jsou podmíněny multifaktoriálně. Působnost některých z těchto faktorů má časovou souslednost. Jde např. o pořadí: informovanost ⇒ porozumění informaci ⇒ důvěra v informaci ⇒ změna postoje ⇒ působení dalších podpůrných faktorů ⇒ změna jednání. Změny v informovanosti a postojích jedinců ještě nutně nevedou ke změně jednání lidí. Jde jen o dílčí predispozici změny jejich jednání. Dalším významným faktorem je potřeba dostupnosti takových statků jako je např. zdravější stravování nebo vyšší příjem. Působení dalších podpůrných faktorů zahrnuje ekonomické, strukturální i psychologické aspekty. Indikátorem pro hodnocení účinnosti vzdělávacího programu je v tomto rámci informovanost a porozumění informaci. Pro hodnocení vlivu informovanosti na zdraví tedy není vhodné použít indikátor, který zachycuje změnu jednání, neboť taková změna je ještě závislá na působení několika jiných faktorů (Katz, Peberdy, 1997).
10
Obecně se indikátory dělí na indikátory výsledků (outcome indicators) a na přechodné a nepřímé indikátory, které se používají v případech, kdy je obtížné získat informace o přímých výsledcích projektu.9 Hodnocení programů a projektů podpory zdraví patří do kategorie kontrolních postupů. Základní kontrolní proces se skládá ze tří kroků: 1) stanovení standardů, 2) měření vykonané práce vzhledem ke standardům, 3) korekce odchylek od standardů a plánů. Existuje mnoho druhů standardů (fyzické, nákladové, kapitálové, cíle jako kontrolní body, strategické plány a další), které by měly sloužit ke zjišťování odchylek a jejich následné korekci (Koontz, 1993). Standardy jsou tedy kriteria, která si při hodnocení aktivit podpory zdraví sami zvolíme a která jsou měřítkem plnění jednotlivých kroků projektu/programu podpory zdraví. Kontrola je nejčastěji chápána jako systém s jednoduchou zpětnou vazbou. Ve schématu č. 1 vidíme zjednodušené schéma kontroly (Marek a kol., 2001). Pod ním jsou kurzívou dopsané příklady vztažené na kontrolu projektů u programů podpory zdraví. Schéma č. 1: Zjednodušené schéma kontroly zdraví
2.7 Výzkumné metody v hodnocení podpory zdraví Volba používaných hodnotících metod závisí na hodnotiteli, na typu aktivity podpory zdraví a na datech, která chceme zjistit. Často jsou používány kvalitativní metody výzkumu. Umožňují dobře proniknout do podstaty věci (např. volný rozhovor nebo skupinová diskuse). Při šetřeních ve velkém měřítku je naopak vhodné použít strukturovaný rozhovor či dotazník.V dalším textu se budeme zabývat následujícími metodami: pozorování, rozhovory, dotazníkové šetření, případové studie a skupinová diskuse (focus group). 9
Např. Cambridge AIDS program se skládal ze 4 základních částí: AIDS telefonní linky, výměny injekčních stříkaček, HIV testování a výchovného doprovodného programu. Dlouhodobým cílem tohoto programu bylo snížit přenos HIV pomocí změny chování jednotlivců. Tento cíl je obtížně prokazatelný, proto byla do hodnocení programu včleněna řada přechodných a nepřímých indikátorů. Indikátory pro hodnocení AIDS/HIV programu Typ indikátoru Indikátory výsledků Indikátory zdravotního stavu Měření chování Měření postojů / znalostí
Poznatky o vlastní osobnosti Přechodné a nepřímé indikátory Indikátory výkonu Indikátory přínosu Indikátory zdravotně sociální politiky Indikátory procesu
Příklad Incidence HIV infekce Bezpečný sex Zacházení s injekčními stříkačkami Znalosti o rizikovém chování Znalosti o přenosu HIV Postoje k lidem s HIV Posílení bezpečného sexuálního chování Měření sebeúcty Počet uveřejněných materiálů Počet tréninkových sezení Počet odborných pracovníků programu Množství lidských a finančních investic Legislativa pro odstranění diskriminace Vztah mezi účastníky Rozsah začlenění členů skupiny
11
1. Pozorování Pozorování může být velmi zajímavou metodou umožňující porovnat to, co lidé skutečně dělají s tím, co říkají, že dělají. Částečně může být založeno i na nonverbální komunikaci. Problémem je, že chování pozorovaného objektu může být pozorovatelem ovlivňováno.10 2. Rozhovory Rozhovory se obecně dělí na strukturované (záměrem je, aby každá osoba odpovídala na stejné otázky ve stejném pořadí) a na nestrukturované (volný rozhovor). 3. Dotazníkové šetření Dotazníkové šetření je nejčastěji používanou metodou sběru dat. Vypracování dotazníku vyžaduje značné zkušenosti a jeho kvalitu je třeba vyzkoušet na malém vzorku respondentů (tzv. pilotní studie). Otázky mohou být dvojího typu – otevřené (žádná odpověď není předem daná, očekávaná) a uzavřené (respondent vybírá z několika uvedených variant odpovědí). Informace získané z dotazníků s uzavřenými otázkami se rychleji a snadněji vyhodnocují, naopak analýza otevřených otázek je zdlouhavější, ale můžeme získat zajímavé, detailní informace. 4. Případové studie Případové studie poskytují velmi detailní informace o zkušenostech konkrétních osob a mohou být velmi užitečné při zjišťování funkce procesů v praxi. Kritéria pro kvalitní případovou studii jsou: • • • •
význam (studie by měla být zaměřená na běžné zkušenosti nebo naopak na objevení dosud skrytých faktorů a procesů) kompletnost (musí dávat smysl jako celek, tzn., že musí obsahovat i vhodné doplňující informace) používání důkazů (čtenáři musí být poskytnuty vhodné důkazy pro vytvoření vlastního názoru) přehledná a kvalitní prezentace
5. Skupinová diskuse (focus group) Při realizaci skupinové diskuse je velmi důležitá její organizace: účastníkem diskuse je 6-12 osob, jejichž názory chceme zjistit, a moderátor diskuse, který je nezbytný pro usměrňování diskuse. Focus group je rychlejší metoda sběru dat, názorů a postojů než např. individuální rozhovory. V praxi se často používá kombinace focus group a individuálních rozhovorů, získáme tak dostatek konkrétních a kvalitních informací.
2.8 Hodnocení programů specializovaných na konkrétní prostředí Při hodnocení programů podporujících zdraví zaměřených na školy byly změny v postojích a znalostech žáků nejčastěji hodnoceny prostřednictvím dotazníků. Dalšími metodami při měření změn chování bylo například pozorování žáků rodiči nebo učiteli, telefonické šetření, pozorování žáků při hraní role (např. nácvik odmítání drogy). Nejčastější změny v chování byly pozorovány v souvislosti s programy podporujícími cvičení, zdravé stravování a snížení úrazovosti (např. používání cyklistických helem). Poznatky z těchto programů byly prostřednictvím dětí často přeneseny i na rodiče (Katz, Peberdy, 1997). Na základě dokumentů WHO bylo pro hodnocení programů podpory zdraví na pracovišti identifikováno pět hlavních důvodů, proč toto hodnocení provádět: • • • • • 10
zlepšení systematického plánování a aktivit podporujících zdraví na pracovišti zviditelnění podniku v sekci zdraví, což se může odrazit ve zlepšení vztahu veřejnosti k podniku poskytování přesvědčivých důkazů pro dlouhodobou firemní zdravotní politiku pomoc při identifikaci změn, které musí být zohledněny v plánu nebo politice podpory zdraví na pracovišti poskytování informací o sociálním prostředí zaměstnanců mezi organizacemi
Např. při hodnocení vztahu pacient – zdravotní sestra je možné, že v přítomnosti pozorovatele se oba budou chovat odlišně než v případě, kdy v místnosti třetí osoba nebude. 12
Intervenční aktivity zaměřené na podporu zdraví na pracovišti se dělí do dvou kategorií: 1. jednoduché konkrétní projekty a pozorování aktivit v podpoře zdraví a 2. aktivity, které pomáhají vytvořit zdravé organizace jako zařízení (tedy firemní politiky). Každé hodnocení intervenčních programů na pracovišti by mělo obsahovat následující kroky: vyjasnění cílů a úkolů programu, návrh rámce hodnocení a používaných otázek, rozhodnutí o způsobu měření změn, sběr dat, hodnocení výsledků s cílem určit efektivitu programu a závěrečná doporučení (Rootman a kol., 2001).
2.9 Zveřejnění poznatků a jejich implementace Při prezentaci zjištěných poznatků je důležité vědět, pro jaké účely budou dále využity. Využití poznatků z hodnocení konkrétního programu pomáhá při: • • • • • •
zlepšení organizace a managementu programu zlepšení plánování tvorbě politiky zjišťování potřebnosti dalšího výzkumu indikaci tréninkových přístupů poskytování informací veřejnosti.
Prezentace výsledků hodnocení závisí na okolnostech, v malých, neformálních projektech může být i ústního charakteru. U větších, formálních projektů by výstupem vždy měla být závěrečná zpráva. Závěrečná zpráva popisuje přístup k řešení výzkumných otázek, způsob získávání odpovědí na ně a transformuje zjištění do řady závěrů a doporučení. Každá závěrečná zpráva by měla obsahovat tyto části: 1. souhrn, 2. úvod (popis projektu a jeho význam), 3. použité metody, 4. výsledky, 5. závěry nebo diskuse a 6. doporučení. Pro implementaci doporučení obsažených v závěrečné zprávě hodnocení projektu do praxe je nutné upoutat zájem politiků. To může být zejména v případě negativních zjištění a nepopulárních doporučení značně problematické.
13
3. Souhrn doporučení a postup pro hodnocení programů a projektů podpory zdraví Na základě výše uvedených teoretických studií jsme se pokusili vytvořit nástroj pro hodnocení programů a projektů podpory zdraví (viz. schéma č. 2). V souladu s Katz, Peberdy se jeví vhodné striktně neoddělovat externí a interní pohled na hodnocení, ale provádět oba dva typy hodnocení souběžně nebo je případně vhodně kombinovat a doplňovat. Tato kombinace externího a interního hodnocení může být užitečná především při celkovém hodnocení (outcome evaluation) výsledků projektu. V rámci tohoto hodnocení může být velmi přínosné uspořádat diskusi, které by se účastnil řešitel, externí hodnotitel, cílová skupina, případně zástupci médií. Tak by bylo možno získat mnoho názorů na realizovaný projekt a z nich vycházet při realizaci dalších, navazujících projektů. Schéma č. 2: Externí a interní hodnocení programu nebo projektů podpory zdraví
4. Hodnocení politik podpory zdraví Jak již bylo uvedeno, aktivity podpory zdraví se z hlediska jejich rozsahu a propojení s ostatními sférami veřejného života dělí na politiky, programy a projekty. Tato terminologie zatím není používána a chápána zcela jednoznačně, například v případě některých lokálních „politik“ dochází k prolínání s jednotlivými programy. Součástí hodnocení každé politiky by mělo být i hodnocení vlivu na zdraví (Health Impact Assessment – HIA). Hodnocení vlivu na zdraví je kombinace přístupů, metod a nástrojů, kterými může být politika posuzována podle svých potenciálních účinků na zdraví populace a podle distribuce těchto účinků mezi populaci. HIA lze provádět na úrovni mezinárodní, národní i lokální11. HIA zahrnuje následující prvky: • • • •
uvážení důkazů o očekávaných vztazích mezi politikou a zdravím populace zohlednění názorů, zkušeností a očekávání těch, kteří mohou být navrhovanou politikou ovlivněni zajištění dostatečné informovanosti aktérů politiky a veřejnosti s ohledem na dopady politiky na zdraví návrhy pro úpravy/alternativy s cílem zlepšit kladné a minimalizovat záporné vlivy na zdraví
Posledním a nezbytným krokem je přijmout závěry plynoucí z HIA. Očekává se, že tvůrci politiky uváží doporučení z HIA zprávy a jejího návrhu, zváží zájmy populace proti dalším zájmům v navrhované politice a upraví politiku tak, aby bylo dosaženo nejlepšího možného vlivu politiky na zdraví populace (viz schéma. č. 3). 11
Další informace o HIA např. ve sborníku IZPE 1/2002 Analytická, hodnotová a koncepční východiska zdravotní politiky I.,
14
Schéma č. 3: Přístup k hodnocení dopadů veřejných politik na zdraví (HIA)
Zdroj: Gothenburg consensus paper, 1999 V publikaci WHO (Rootman a kol. 2001) autoři části o hodnocení politik vytvořili schémata (viz schéma. č. 4, 5), která by mohla být vzorem a návodem pro hodnotitele a aktéry zdravotní politiky. Tato schémata zahrnují všechny důležité oblasti lidského života, které přímo souvisí s podporou zdraví a které by při hodnocení aktivit podpory zdraví neměly být opomíjeny. Schéma č. 4 objasňuje vzájemné vztahy mezi jednotlivými aktéry politiky podpory zdraví a dopady realizované politiky podpory zdraví na oblasti veřejného a nepřímo i soukromého života. Schéma č. 5 se detailněji zabývá vlastním hodnotícím cyklem politik podpory zdraví. Poskytuje podrobný rozbor jednotlivých součástí hodnotícího cyklu a pomáhá hodnotiteli si uvědomit, jak multifaktoriálním oborem politika podpory zdraví je, kolik oblastí života na ni navazuje nebo se jí přímo týká.
15
Schéma č. 4: Organizace a tvorba zdravotní politiky
Zdroj: Rootman a kol, 2001 16
Schéma č. 5: Všeobecný model pro plánování a hodnocení podpory zdraví
Zdroj: Rootman a kol, 2001 17
5. Hodnocení v podpoře zdraví: příklady z praxe 5.1 Analýza výsledků ukončených projektů podpory zdraví v letech 1993-1996 (Rážová, 1998) Tento projekt byl zaměřen na provedení analýzy výsledků (hodnocení) projektů podpory zdraví (realizovaných v rámci Národního programu zdraví) v letech 1993 – 1996. Cílem bylo zhodnotit tématické okruhy, zúčastněné organizace, velikost cílových skupin projektů, výši finanční dotace, použité metody a další ukazatele. Projekt hodnotil celkem 268 projektů podpory zdraví realizovaných v daném období. Projekty byly tematicky rozděleny a následně hodnoceny dle kompozitního skóre. Řešitelé projektů vyplňovali dotazník s administrativními i dalšími údaji (údaje potřebné ke zjištění metodické propracovanosti, hodnocení účinnosti projektu, výstupů projektu atd). V rámci každého tématického okruhu byl vypracován ještě podrobnější druhý dotazník. Výsledné kompozitní skóre sloužilo k vzájemnému porovnávání úrovně hodnocených projektů podpory zdraví. Součástí projektu bylo i hodnocení jednotlivých projektů z hlediska odezvy u občanů a lékařů. Ve vybraných okresech byla provedena mezi občany anketa formou řízeného pohovoru. Lékaři byli dotazováni s cílem zjistit míru jejich informovanosti o projektech podpory zdraví a posoudit využívání výsledků těchto projektů v preventivní péči. Výstupem celého projektu byla řada doporučení sloužících jako podklad pro vypracování nové Metodické příručky pro realizátory projektů podpory zdraví v ČR. Celá tato analýza probíhala zpětně, po dokončení všech projektů. Jednalo se tedy o hodnocení výsledků projektů (outcome evaluation) externím hodnotitelem.
5.2 Formování negativních postojů dětí k užívání drog a látek vzbuzujících návyky (Ševčík, 2002) Výzkum byl rozdělen na dvě části – první, diagnostickou a navazující, intervenční. Experimentální skupinu tvořily děti z Teplic, srovnávací skupiny dětí byly z Prahy a Prachatic. V diagnostické části byly postupně zjišťovány postoje dětí k užívání drog a stanoveny metody pro jejich ovlivnění. Změna postojů a názorů je dlouhodobý proces, proto byla intervenční část projektu rozdělena do tříletého období. Z hlediska vlastní metodiky v intervenční části projektu je zajímavé navržení modifikace učebních plánů tak, aby byl dětem postupně (a se zřetelem na malé dávky informací) vštípen negativní postoj k užívání drog. Tato fáze byla realizována ve spolupráci s pedagogy. Dále byly používány prostředky ke kladné motivaci typu soutěží, her a zájmových aktivit. Rovněž byli vytipováni neformální vedoucí dětských kolektivů (v rámci tzv. peer programů) a ti speciálně motivováni. Dalšími skupinami metod byla spolupráce a osvěta mezi dětmi s pomocí skupiny odborníků (dětští, dorostoví, praktičtí lékaři a psychologové), využití působení regionálních sdělovacích prostředků. Poslední, velmi důležitou součástí metodiky, bylo využití a rozvinutí stávajících legislativních restriktivních prostředků a přísný dohled nad jejich dodržováním. Pro interní hodnocení změn postojů dětí ke drogám (tedy celkové hodnocení – outcome evaluation) byla využívána řada sociometrických testů, která potvrdila úspěšnost celého projektu. V závěru zprávy autoři konstatují možnost ovlivnění výskytu zdravotně a sociálně nežádoucích postojů dětí, ale současně upozorňují i na nutnost včasné (ve věku 11-13 let) a především dlouhodobé intervence.12 Tento projekt je výjimečný především tím, že už v návrhu obsahoval detailně rozpracovaný plán hodnocení (jak by tomu mělo být a není ve všech projektech podpory zdraví).
12 Na nutnost realizovat preventivní programy dlouhodobě poukazuje např. i A. Žáček, který zmiňuje populační experiment v USA MRFIT. Ten byl zaměřen na změnu diety, kouření a na podporu pohybové aktivity u osob náležejících do rizikové skupiny pro vznik koronární srdeční choroby. Navzdory soustředěnému výchovnému úsilí trvajícímu více než 6 let se podařilo dosáhnout jen nepatrné změny chování. Podobně vyznívají i mnohé další studie (Žáček, 2000).
18
5.3 Vyhodnocení efektivity projektů protidrogové prevence pro rok 2000 a návrh standardizace postupu (Kučera, Kasíková, 2001) Tento projekt byl zadán Magistrátem hlavního města Prahy částečně jako praktický (vyhodnocení efektivity 45 projektů) a částečně jako metodologický (s cílem vypracovat nástroj pro standardizaci postupu hodnocení účinnosti projektů). Externí hodnocení účinnosti projektů bylo realizováno v několika po sobě následujících krocích: • • • • • • •
hodnocení plánovací procedury (posouzení potřebnosti projektu, adekvátnost stanovených cílů, definice cílových skupin, souvislost mezi cíli a prostředky), deskriptivní hodnocení (forma evidence, forma kvantifikace, validita a reliabilita dat), formativní hodnocení (hodnocení procesu – validita a reliabilita dat, forma kvantifikace, reflexe) výzkum efektivity (hodnocení výsledků – charakter používaných dat, validita a reliabilita dat, zasažení cílové populace, dosažení cílů projektu atd). hodnocení závěrečné zprávy a strukturovaného rozhovoru s řešitelem (hodnocení obsahu zprávy a její formální úrovně, hodnocení interview s řešitelem) hodnocení oponentského posudku formální hodnocení finanční zprávy (oddělené vedení účtu, strukturovatelnost, transparentnost, dodržení rozpočtových položek, timing)
Zadavatel studie formuloval očekávaný výstup jako zhodnocení účelnosti vynakládaných prostředků. Toho bylo dosaženo, přestože zdaleka ne všechny projekty měly uspokojivě vedenou agendu a přestože toto hodnocení bylo prováděno zpětně (tzn., že byly hodnoceny již provedené a dokončené projekty). Bylo tedy prováděno externí celkové vyhodnocení projektů (outcome evaluation) včetně hodnocení finančního.
5.4 Programy prevence závislostí a možnosti jejich hodnocení (Nešpor, Csémy, Sovinová, 1998) Tato publikace je rozdělena na dvě části, první se zabývá tématikou primární prevence a druhá je zaměřena na vlastní hodnocení. Autoři preferují interní hodnocení metodikou vypracování celkového skóre přiděleného projektu (součet jedenácti hodnotících kriterií). Mezi hodnocené znaky patřily například tyto: výstižnost názvu programu, počet konkrétních cílů, objasnění východisek programu, dělení obsahu programu, popis programu, existence vyhodnocení jako součást programu a další. Cílem studie bylo vytvořit program na vyhodnocení projektů protidrogové politiky. K ověření nástroje byly použity projekty, které byly podpořeny z Národního programu zdraví MZ ČR. Metodika se snažila o potlačení subjektivního hodnocení, toho bylo dosaženo např. posuzováním projektů třemi nezávislými posuzovateli s rozdílným vzděláním i zaměřením (externí hodnocení) – vysoká shoda mezi nimi svědčí o dobré spolehlivosti nástroje.
5.5 Program Zdravé město ČR Národní síť zdravých měst ČR (NSZM ČR) je seskupení měst v České republice, která se aktivně zabývají zdravím, udržitelným rozvojem a kvalitou života. Tento dlouhodobý program vychází z mezinárodního programu Healthy Cities. Členství v projektu je otevřené – kromě řádných členů existuje i možnost stát se přidruženým členem (členství pro kraje, mikroregiony a právnické osoby) nebo členem – pozorovatelem (výhodné členství pro města, obce a městské části). Projekt má vlastní webové stránky a Informační bulletin Telegram Zdravých měst ČR. Liga Zdravých měst je oficiální žebříček (zveřejněný i na internetu) sloužící k internímu hodnocení pokroku jednotlivých Zdravých měst a k jejich vzájemnému porovnání. Titul „Zdravé město (obec) ČR“ získávají města, která aktivně a kvalitně realizují mezinárodní program Zdravé město WHO. Města jsou hodnocena podle 11 kriterií: Stav systému programu Zdravé město ve městě (dosažení stupně E-A).
19
• • • • • • • • • •
kritéria WHO (přijetí Aténské deklarace ZM, koordinátor na plný úvazek, vypracování Plánu zdraví a kvality života, systém hodnocení, členství v Evropské síti ZM) podpora ze strany zastupitelstva či města (schválení deklarace) zpracování Plánu zdraví a kvality života kvalita Strategie rozvoje města a její propojení s PZ management PZM (spojení s médii, granty města v propojení na ZM, město měsíce či roku) aktivita v rámci asociace velké akce (Den bez úrazů, Den bez aut, Dny zdraví, Den Země) účast zástupců na akcích NSZM ČR mezinárodní programy ve městě či obci) další aktivity (např. Běh Terryho Foxe, propojení ZM s kulturními akcemi)
Program Zdravé město předpokládá každodenní úzkou spolupráci s řadou místních partnerů (institucí, nevládních organizací, škol, firem). Městské úřady mají vypracovány: • • •
přehled o prioritách strategického rozvoje v souladu s požadavky EU a zapojují veřejnost do diskusí o současných záměrech i o budoucnosti města místní Agenda 21 (podpora udržitelného rozvoje na místní úrovni ve spolupráci s veřejností) LEHAP (místní akční plán zdraví a životního prostředí)
Zdravá města se promyšleně snaží utvářet město jako příjemné a kvalitní místo pro život na základě dohody se svými obyvateli. Věří, že občané získají vztah k městu, že lidé budou město i okolní krajinu považovat za svůj domov a budou o ně také takto pečovat. Navíc Zdravá města otevírají svým obyvatelům prostor k pochopení a utváření regionálních i globálních souvislostí kvalitního života.
5.6 Severokarelský program (Kučera, 2002) Tzv. Severokarelský program patří mezi nejúspěšnější a nejčastěji citované preventivní programy. Byl zahájen počátkem 70. let (jako odpověď na petici sepsanou obyvateli jedné z finských provincií) s cílem snížit úmrtnost na kardiovaskulární onemocnění ovlivněním rizikových faktorů (jako rizikové faktory v populaci regionu byly identifikovány především kouření, zvýšená hladina cholesterolu v krvi a zvýšený krevní tlak). Severokarelský program se stal pilotním programem pro celé Finsko, realizoval se v letech 1972-1977 a hlavní využívané postupy byly vzdělávání (zdravotní výchova, osvětové materiály, využití médií, kampaně), podpora environmentálních změn (zákazy kouření), podpora pěstitelů zeleniny, spolupráce s výrobci a prodejci potravin a monitoring výsledků. Po pětileté pilotní fázi byl program rozšířen na celé Finsko Hodnocení programu bylo již od počátku plánováno jako jeho součást a bylo zaměřeno na čtyři základní oblasti (realizaci aktivit, změny rizikových faktorů u cílové populace, procesy změn a na finanční aspekty celého programu). Změny rizikových faktorů byly u cílové skupiny osob (30-59 let) sledovány s pětiletým odstupem, změny chování v souvislosti se zdravím byly zjišťovány poštovním šetřením , změny nemocnosti byly sledovány pomocí oficiálních statistik ve Finsku a registrů WHO zaměřených na kardiovaskulární a cerebrovaskulární choroby.
5.7 Hodnocení programu podpory kardiovaskulárního zdraví na pracovišti, Irsko (McMahon, A., Kelleher, C., 2002) Program podpory kardiovaskulárního zdraví na pracovišti se nazýval Šťastné srdce v práci a trval více než 10 let. Pomáhal zaměstnancům zlepšovat celkový životní styl a zaměstnavatelům zlepšovat image jejich podniku. Použité výzkumné metody pro hodnocení programu byly následující: poštovní šetření 785 platných registrovaných míst – vrátilo se 311 odpovědí (40%), z nichž 194 (63%) přistupovalo k programu vysoce iniciativně a aktivně. Vrácené dotazníky se vysoce shodovaly v údajích o zlepšení nekuřáckého prostředí, zdraví a pohody zaměstnanců a zdravých stravovacích návyků na pracovišti. Mezi další výzkumné metody byly začleněny i telefonické rozhovory koordinátorů projektu (n=18) a focus group
20
(7x) se zaměstnanci (n=42). Byla zde tedy použita kombinace externího (hodnotitel) a interního (zaměstnanci, zaměstnavatelé) hodnocení. Celková metodika hodnocení programu: Program byl spuštěn v roce 1992, po třech letech byl poprvé vyhodnocen (zjištění jeho zapracování a krátkodobých výsledků). Byla zjištěna nutnost přistupovat k programu více komplexně, zajistit externí hodnocení k odhadu vhodných potřeb klientů, zjistit zda-li se dosažené úspěchy programu shodují s cíli organizace, stanovit formu pokračování programu (bude-li stejná nebo se změní). Byl formulován trojitý metodologický přístup: 1. poštovní šetření všech plánovaných organizací + telefonické rozhovory s koordinátory projektu, 2. focus groups se zaměstnavateli a 3. posudek vypracovaný zaměstnanci IFH (Irish Heart Foundation).
5.8 Hodnocení programu Evropské Unie : Komunitní akce v podpoře zdraví, informace, výchova a trénink, 1996-2000 (Marks, D. F., Sykes, C. M., 2002) Tento program vznikl v důsledku rozhodnutí Evropského Parlamentu a Rady EU v březnu 1996. Externě byla hodnocena řada projektů: některé získaly vysoké ocenění, jiné byly vyhodnoceny jako velmi slabé. Nejzávažnější chybou mnoha hodnocených projektů bylo nedostatečné interní hodnocení. Bylo by vhodné rozšířit druhou fázi hodnocení tohoto programu, zejména pomocí zlepšení vzájemné komunikace a dialogu mezi koordinátory programu. Při ustanovení tohoto programu podpory zdraví v EU bylo přijato mnoho rezolucí s následující tématikou: • • • • • • • •
účinek stravování na zdraví užívání drog kouření znečištění životního prostředí prevence dopravních nehod prevence kardiovaskulárních onemocnění školy jako místa pro osvojení zdravého životního stylu v raném věku místní komunity, pracoviště a nemocnice v roli dalších míst zabývajících se výchovou ke zdraví
Hodnocené projekty byly vybírány podle řady konkrétních kriterií. Do programu bylo nakonec zahrnuto 52 projektů. První fáze jejich hodnocení proběhla v prvním roce tohoto programu (1996). Hodnocení bylo zaměřeno na proces a odhadováno z rozmanitých perspektiv – svým názorem přispěli členové komise programu, vedoucí projektů, úspěšní i neúspěšní zájemci a nezávislý panel expertů oboru podpora zdraví. Bylo tedy provedeno hodnocení externí i interní. Různé typy dokumentace byly analyzovány kvalitativně i kvantitativně. Cíle hodnocení byly následující - zjistit účinnost a užitečnost výše uvedeného programu s důrazem na: • • • •
snahu o zlepšení implementace programů poskytování podkladů pro další rozhodování identifikaci zisků komunity ve srovnání se stavem, kdy by projekt nebyl realizován vývoj metody pro hodnocení, která by byla přesná, dobrá, spolehlivá, nezávislá a nestranná.
Celková metodika hodnocení programu Informace byly čerpány z těchto zdrojů: 1. 2. 3.
databáze grantů komise EU (obsahová analýza dokumentů), dotazníkového šetření žadatelů (úspěšných i neúspěšných), ve vybraných případech doplněné telefonickým rozhovorem, z názorů nezávislých expertů na projekty ve vztahu ke stanoveným cílům (panel expertů).
Výběr a trénink expertů probíhal ve dvou kolech, v prvním kole absolvovali tréninkový workshop a podepsali deklaraci nezávislosti a ve druhém kole byl proveden jejich vlastní výběr. Panel expertů vycházel při hodnocení z počátečního popisu projektu a z výsledné zprávy o projektu (v případě dostupnosti obsahovala i hodnocení příjemce programu a souhrn psaný 21
příjemcem programu). Každý expert využíval v rámci hodnocení standardní sadu 14 kritérií, která vyhodnocoval na pětibodové škále (5-excelentní, 1-velmi špatné).
5.9 Hodnocení intervencí zdravotní politiky na komunální úrovni, Německo (Knesebeck, O., Joksimovic, L., 2002) Tento projekt trval 3 roky (1995-1998) a zúčastnilo se ho 28 komunit. Hlavním cílem bylo na lokální úrovni zlepšit zdravotní péči, zdravotní monitoring i přístup k podpoře zdraví. Hodnocení bylo zaměřeno na spojení mezi okolními podmínkami, aktivitami a výsledky iniciativ. Všechny zúčastněné obce byly úspěšné při vyvíjení a schvalování nových komunitních projektů a přes 40% naplánovaných projektů bylo spuštěno ještě v době trvání programu. Potenciální dopad na zdraví populace zatím není odhadován z důvodu nedostatečného časového odstupu pro toto hodnocení (příliš krátká doba od zavedení projektů). Celková metodika hodnocení programu Byla používána kombinace čtyř metod (1. diskuse u kulatého stolu, 2. expertní pracovní skupiny, 3. založení projektových kanceláří a 4. doplňující rozhovory se všemi aktéry), z nichž nejvíce se při tvorbě lokální politiky osvědčily diskuse u kulatého stolu. Ke kulatému stolu byli sezváni zástupci nejvýznamnějších organizací a institucí lokální zdravotní politiky, definovali priority lokální zdravotní politiky a tyto byly dále schvalovány a doplňovány expertní skupinou. Kvalita doporučení od kulatého stolu tedy velmi úzce souvisela s kvalitou týmu tvořícího expertní skupinu. Většina účastníků diskusí u kulatého stolu tuto metodu hodnotila velice kladně. Důležitou roli sehrálo i založení projektových kanceláří, které zajišťovaly plynulou komunikaci mezi účastníky projektu, pořádaly setkání a vykonávaly běžnou administrativní činnost spojenou s realizací projektu. Tyto kanceláře byly vedeny speciálně vyškolenými manažery, které zajistilo ministerstvo zdravotnictví a sociálních věcí. Vlastní hodnocení začalo odhadem počátečních podmínek programu, zejména stanovením důležitých lokálních aktérů a stupně transparentnosti a spolupráce v lokální zdravotní politice. Následovalo průběžné hodnocení procesu (process evaluation) - obsažené ve vzájemné spolupráci účastníků diskusí u kulatého stolu a expertní skupiny - a závěrečné hodnocení výsledků (outcome evaluation), které analyzovalo v jakém rozsahu a jak úspěšně byl program implementován do lokální zdravotní politiky.
5.10 Částečný model hodnocení komunitního preventivního programu zaměřeného na diabetes 2 . typu, Švédsko (Andersson, C. et al, 2002) Diabetes 2. typu je nejčastěji se vyskytující diabetes ve Švédsku, trpí jím nejméně 4% populace. Program prevence diabetu (Stockholm Diabetes Prevention Program, SDPP) obsahoval tři fáze: 1. vypracování základní a etiologické studie, 2. intervenci v rámci populace a 3. následnou studii výsledků po 10 letech. Intervenční program začal v roce 1995 ve Stockholmské oblasti s cílem snížit výskyt diabetu 2. typu. Intervence byla zaměřena na celou dospělou populaci ve třech městech. Hlavní aktivity prevence měly za cíl zlepšit rizikové faktory nemoci – obezitu, nedostatečnou fyzickou aktivitu, špatné stravovací návyky a kouření. Nejpřehlednější vyjádření struktury celého programu poskytuje obrázek (viz níže). Zleva doprava probíhá časová osa. Zkratky písmen u jednotlivých položek znamenají jejich zařazení do kategorií: organizace - O, strategie - S, cíle (targets) - T, hodnocení (evaluation) - E, financování - F. čas 22
Počáteční fáze
O1: tvorba týmu
Analýza populace
Návrh vstupního programu
O2: začátek diskusí se společností a získání O3: vytvoření skupiny poradců profesionálních vedoucích
Příprava a vývoj programu O4: založení organizace pro implementaci programu
S1: identifikace nemocí populace pro intervenci
S2: organizační profil:vytvoření možných intervencí
T1: přehled vědecké literatury: historie, epidemiologie, účinné intervenční projekty
T4: hloubkové T3: výběr T2: diagnóza rozhovory a focus rizikových groups společnosti: zdravotní faktorů / skupiny stav a zdravotní rizika v intervenované intervence populaci
F1: nalezení sponzorů
E2: identifikace kritérií pro intervenci
S3: výběr vstupní S4: Rozvinutí intervenčních řady intervencí strategií
E3: vývoj strategie pro hodnocení
T5: stanovení cílů a dílčích úkolů E5: základní šetření v populaci
Implementace programu a přehled O6: začátek implementace S6: pokračování vývoje intervenčních strategií s využitím prostředků formativní evaluace (hodnocení procesu): šetření, focus groups, rozhovory T6: periodický přehled cílů
E6: periodické šetření při studiu populace, hodnocení výsledků
F2: uvolňování financí pro intervence a hodnocení
Na základě výchozí studie byla identifikována kritéria pro intervenci (špatné stravovací návyky, nedostatek fyzické aktivity, obezita, kouření - E2 fáze projektu). S ohledem na tato kritéria byly vyvinuta strategie pro hodnocení projektu (E3 fáze), která se skládala z celkového hodnocení výsledků (outcome evaluation) a z hodnocení procesu (tato hodnocení byla předložena odděleně ve dvou zprávách). Pro hodnocení procesu byl stanoven monitorovací systém ke sledování každodenní praxe v zúčastněných městech (sběr protokolů, měsíčních a ročních zpráv). Byly realizovány i rozhovory s účastníky a profesionály, včetně zjišťování postojů např. provozovatelů fitness center nebo restaurací. Po 10 letech trvání programu je plánováno provedení velké studie, která bude hodnotit efekty intervence na životní styl a glukózovou toleranci obyvatel.
Výzkum pro zlepšení zdraví společnosti, USA (Wagner, E. H. et al, 2000)
5.11
Program se plným jménem nazývá Nadace Henryho J. Kaisera: program na podporu zdraví. Tento program reprezentuje velkou občanskou iniciativu v 11 západních komunitách USA. Programu se účastnilo 14 intervenovaných a kontrolovaných komunit, další 4 intervenované komunity sloužily ke speciálním měřením a další 4 jako kontrolní. Data pro hodnocení výsledků byla z šetření (každé 2 roky, 3x) vedoucích komunit (interní hodnocení) a vzorku dospělých a adolescentů a ze speciálně navržených šetření v obchodech. Výsledky ze všech 11 intervenovaných komunit byly srovnatelné s výsledky kontrolní skupiny. Celkové vyhodnocení programu bylo prováděno externě.
23
6. Závěry a diskuse Hodnocení aktivit podpory zdraví je složitým, ale nutným nástrojem pro jejich zlepšování. Vždy je třeba vzít v úvahu řadu měnících se okolností a determinant určujících cílovou skupinu, na niž je aktivita zaměřena. Reakci lidského jedince na intervenční projekt jakéhokoli charakteru lze tušit a předvídat, ovšem nikdy ji nelze předem určit se stoprocentní jistotou. Lidská individua se velmi liší, lidská psychika je determinována řadou zkušeností a zážitků a každý jedinec je jiný, neopakovatelný. Stejně tak i prostředí, okolnosti vzniku aktivity podpory zdraví, politické souvislosti a tradice místa, kde je politika/program/projekt aplikován a později hodnocen jsou neopakovatelné – přijetí programu Zdravá města dvěma městy s přibližně stejným počtem obyvatel a stejnými výchozími podmínkami ještě neznamená shodný výsledek po určité době. Při hodnocení aktivit v oblasti podpory zdraví tato studie rozlišuje, zda se jedná o politiku, program nebo projekt podpory zdraví. Z tohoto dělení pak vychází jednotlivá doporučení pro hodnotitele - aby v souladu s výše uvedenými informacemi stanovil rozsah hodnocení, hodnotící kritéria, přístup k hodnocení a metody sběru dat a následného vyhodnocení získaných údajů. U každé aktivity podpory zdraví je třeba mít jasně naformulované cíle. Co je nutné zdůraznit je nezbytnost naplánovat hodnocení předem (a kritéria, která budou v rámci hodnocení sledována – tedy standardy kontroly) přímo jako součást konkrétní aktivity podpory zdraví. Tato praxe zatím v České republice není zažitá, často je prováděno hodnocení výsledků (celkové zhodnocení) nezávislým hodnotitelem po skončení programu. Hodnocení procesu (formativní hodnocení), které slouží jako nástroj pro vlastní korekci již rozeběhnutého projektu se zatím téměř neprovádí (s výjimkou mezinárodních programů typu Zdravé město, Škola podporující zdraví, které jsme přejali i s „know-how“, tedy s celou metodikou včetně formativního hodnocení). V řadě případů nejsou aktivity podpory zdraví hodnoceny vůbec a pro aktéry i veřejnost tak chybí zpětná informace o účelnosti využití vložených finančních prostředků a o přínosu konkrétní aktivity. K nepřehlednosti celé situace přispívá i roztříštěnost v aktivitách podpory zdraví a malá spolupráce mezi jednotlivými aktéry na tomto poli zdravotní politiky.
7. Literatura Akční plán rozvoje kraje: Analýza zdravotního stavu obyvatelstva Jihočeského kraje a jeho vývoje v členění podle okresů v porovnání s ČR a EU, sborník IZPE 2/2002 Analytická, hodnotová a koncepční východiska zdravotní politiky I., sborník IZPE 1/2002 Andersson, C., Bjärås, G., Claes-Göran Östenson A stage model for assessing a community-based diabetes prevention program in Sweden, in Health Promotion International 2002, Vol. 17, No. 4, p. 317-327 Busse, R., Wismar, M. Health target programmes and health care services – any link? A conceptual and comparative study, part 1 , in Health Policy 59, p. 209-221 Busse, R., Wismar, M. Health target programmes and health care services – any link? A conceptual and comparative study, part 2 , in Health Policy 59, p. 223-241 Cooke, J., Owen, J., Wilson. A. Research and development at the health and social care interface in primary care: a scoping exercise in one National Health Service region, in Health and Social Care in the Community 10, June 2002, p. 435-444 Communication from the Comission to the Council, The European Parliament, The economic and social comittee and the Comittee of the regions on the health strategy of the European Community, European Comission, COM 285 final Ensuring a high level of health protection, A practical guide, European Commission 2001 Fuat, A., Hungin, A., P., S., Murphy, J., J. Barriers to accurate diagnosis and effective management of heart failure in primary care: qualitative study, BMJ 2003:326:196 - 200 Gothenburg consensus paper, konference WHO Budapest, December 1999 Hamouz, Z.: Pracují praktičtí lékaři preventivně? Praktický lékař 83, 2003, č.1, str. 51 Holčík, J., Koupilová, I.: Sociální determinanty zdraví, Základní fakta a doporučení pro praxi v kontextu programu Zdravá města, Časopis lékařů českých, 140, 2001, č.1 Holčík, J., Žáček, A.: Sociální lékařství, LF MU Brno, 1995 24
Holčík, J.: Evropská cesta ke zdraví, Závěrečná zpráva o řešení grantu IGA MZČR, 2652-1, 1995 Health Promotion Glossary, WHO, 1998 Improving policy instruments through impact assessment, Sigma paper No. 31, CCNM/SIGMA/PUMA2001 Katz, J., Peberdy, A. Promoting health, knowledge and practice. The Open University 1997 Knesebeck, O., Joksimovic, L., Badura, B., Siegrist, J. Evaluation of a community-level health policy intervention, in Health Policy 2002, 61, p. 111-122 Koontz, H., Weihrich, H.: Management, McGraw-Hill, 1993 Kučera, Z., Kasíková, M.: Vyhodnocení efektivity projektů protidrogové prevence pro rok 2000 a návrh standardizace postupu hodnocení účinnosti, závěrečná zpráva k výzkumu, Praha 2001 Kučera, Z.: Teoretické studie preventivních programů a jejich užitku, in: Sborník IZPE 2/2002 Lalonde, M.: A new perspective on the Health of Canadians, Ottawa 1974 Modeste, N., N: Dictionary of Public Health Promotion and Education, Sage Publications, 1996 Marek, J., Kalvach, Z., Sucharda, P. a kol.: Propedeutika klinické medicíny, TRITON, 2001 Marks, D., Sykes, M. Evaluation of the European Union Programme of Community Action on Health Promotion, Information, Education and Training 1996 – 2000, in Health Promotion International, 2002, Vol. 17, No. 2, p. 105-118 McMahon, A., Kelleher, C., Helly, G., Duffy, E. Evaluation of a workplace cardiovascular health promotion programme in the Republic of Ireland, in Health Promotion International 2002, Vol. 17, No. 4, p. 297 – 307 Nešpor, K., Csémy, L., Sovinová, H. Programy prevence závislostí a možnosti jejich hodnocení, Národní program zdraví, SZÚ 1998 Niederle, P. Komentář k článku MUDr. E. Sovové, Praktický lékař 82, 2002, č. 6, str. 334-335 Raczynski, J., M., DiClemente, R., J. Handbook of Health Promotion and Disease Prevention, Kluwer Academic / Plenum Publishers, 1999 Rážová, J. Analýza výsledků ukončených projektů podpory zdraví, období 1993 – 1996, závěrečná zpráva PPZ 301/1997, SZÚ 1998 Rážová, J. Kritéria hodnocení projektů podpory zdraví Národního programu zdraví, IPVZ Praha, 2001 Rootman, I. et al. Evaluation in health promotion, Principles and pespectives, WHO Regional Publications, European Series, No. 92, 2001 Simons-Morton, B., G., Greene, W., H., Gottlieb, N., H. Introduction to health education and health promotion, Waveland Press, Inc., 1995 Scott, D., Weston, R. Evaluating Health Promotion, Nelson Thornes Ltd. 1998 Sovová E., Lukl, J. Prevence kardiovaskulárních onemocnění v praxi, Praktický lékař 82, 2002, č. 6, str. 332–334 Ševčík, J. Formování negativních postojů dětí k užívání drog a látek vzbuzujících návyky, závěrečná zpráva za období 1999 – 2001, projekt č. V 15, Národní program zdraví, OHS Teplice, 2002 The Solid Facts, WHO International Centre for Health and Society, 1998 Wagner, E. H. et al. Community Health Improvement Research: The Kaiser Family Foundation Community Health Promotion Grants Program: Findings from an Outcome Evaluation, Health Services Research 35:3, p. 561 – 589, 2000 Ziglio, E., Hagard, S. Appraising Investment for Health Opportunities, WHO 1999 Žáček, A: Determinanty zdraví a zdravotní politika, část 2: Kategorizace a účinnost determinant, Časopis lékařů českých, 139, 2000, č.5 Žáček, A: Determinanty zdraví a zdravotní politika, část 3: Od intervence ke kvalitě života, Časopis lékařů českých, 139, 2000, č.6
25
