Evropská síť pro předcházení trestné činnosti (EUCPN)

Evropská síť pro předcházení trestné činnosti (EUCPN)

Soubor nástrojů EUCPN Řada č. 3

Hodnocení iniciativ v oblasti předcházení trestné činnosti

V rámci projektu „Směrem k Evropskému odbornému středisku pro předcházení trestné činnosti“ – sekretariát EUCPN, červen 2013, Brusel

S finanční podporou z programu Evropské unie „Předcházení trestné činnosti a boj proti ní“ Evropská komise – Generální ředitelství pro vnitřní věci

ČÁST 2: Praktické pokyny k hodnocení iniciativ v oblasti předcházení trestné činnosti Úvod Druhá část tohoto souboru nástrojů se snaží vymezit snadno použitelný přístup k hodnocení1, jejž by mohly uplatňovat osoby, které se zabývají problematikou předcházení trestné činnosti. Soubor nástrojů byl navržen pro osoby s minimálními zkušenostmi s hodnocením. V zájmu vývoje užitečného nástroje pro „neodborníky“ na hodnocení byly uspořádány dva semináře, jeden v Dublinu a druhý Bruselu, jichž se zúčastnili tvůrci politiky a osoby, které politiku provádějí v praxi, jakož i akademičtí odborníci na tuto problematiku (viz seznam účastníků na str. 39). Tato příručka vychází z diskusí, návrhů a doporučení formulovaných na těchto dvou seminářích. Obsahu řadu praktických kroků, rady, příklady a pracovní listy, které lze použít při plánování, provádění a používání hodnocení 2.

1

Podrobnější informace o různých tématech, jimiž se tato příručka zabývá, lze nalézt v části 1 tohoto souboru nástrojů, která obsahuje tematický dokument. 2 Upozorňujeme, že tato příručka neobsahuje analýzu nákladů a přínosů. Praktický průvodce k analýze nákladů a přínosů spojených s projekty předcházení trestné činnosti je k dispozici v nedávné publikaci, kterou rozeslala Dánská rada pro předcházení trestné činnosti: Jacobsen, Hands-on guide to cost-benefit-analysis of crime prevention efforts (Praktický průvodce k analýze nákladů a přínosů spojených s předcházením trestné činnosti), Centre for Economic and Business Research (Středisko hospodářského a podnikatelského výzkumu), Kodaň, 2013.

2

Obsah Proč provádět hodnocení? ................................................................................................................. 5 V čem spočívá hodnocení? ................................................................................................................ 5 Pár „mýtů“ o hodnocení ................................................................................................................ 6 Různé typy hodnocení ...................................................................................................................... 7 Jak tuto příručku používat ................................................................................................................ 8 Oddíl 1: Plánování hodnocení ............................................................................................................ 9 A: Příprava hodnocení ................................................................................................................... 9 1. 2. 3. 4. 5. 6.

Je třeba pochopit, čeho chcete dosáhnout ........................................................................... 9 Zapojení zúčastněných stran ............................................................................................ 10 Tvorba rozpočtu .............................................................................................................. 10 Kdo by měl hodnocení provést? ......................................................................................... 11 Vytvoření hodnotícího týmu .............................................................................................. 12 Poradní skupina .............................................................................................................. 13

B: Vypracování hodnocení ............................................................................................................ 13 1. 2. 3. 4. 5.

Vyhledávání podkladů ...................................................................................................... 13 Vypracování hodnotících otázek ........................................................................................ 17 Druhy informací .............................................................................................................. 18 Vývoj ukazatelů .............................................................................................................. 20 Výběr koncepce hodnocení pro měření dopadu .................................................................... 20

Koncepce „před-po“ ............................................................................................................... 21 Intervenční a kontrolní skupina (kvazi-experimentální koncepce) ................................................ 21 Nahodilé kontrolní zkoušky (experimentální koncepce) ............................................................... 22 6.

Vývoj plánu hodnocení ..................................................................................................... 23

Oddíl 2: Sběr a analýza dat ............................................................................................................. 24 A: Sběr dat ................................................................................................................................ 24 1.

Kvantitativní přístupy....................................................................................................... 24

Průzkumy ............................................................................................................................. 24 Standardizovaných psychologických a subjektivních hodnocení ................................................... 26 2.

Kvalitativní přístupy ......................................................................................................... 26

Podrobné pohovory ................................................................................................................ 26 Cílové skupiny....................................................................................................................... 27 Pozorování ........................................................................................................................... 27 Kontrola programové dokumentace ......................................................................................... 28 B: Analýza a interpretace dat........................................................................................................ 28 1.

Kvantitativní data ............................................................................................................ 29 3

Čištění dat ............................................................................................................................ 29 Analýza dat .......................................................................................................................... 29 Interpretace dat .................................................................................................................... 30 2. 3.

Kvalitativní data .............................................................................................................. 31 Diskuse o zjištěních se zúčastněnými stranami ................................................................... 32

Oddíl 3: Podávání zpráv a informování o výsledcích ............................................................................ 32 1. 2.

Struktura závěrečné zprávy .............................................................................................. 32 Sdělování výsledků .......................................................................................................... 33

Přílohy: pracovní listy...................................................................................................................... 35 Pracovní Pracovní Pracovní Pracovní Pracovní Pracovní Pracovní Pracovní Pracovní Pracovní Pracovní

list list list list list list list list list list list

1.A.1 – Stanovení příslušných zúčastněných stran ......................................................... 35 1.A.2 – Rozpočet ....................................................................................................... 35 1.A.3 – Kontrolní seznam pro zadávací dokumentaci ...................................................... 35 1.B.1 – Popis programu .............................................................................................. 36 1.B.2a – Seřazení činností a výsledků .......................................................................... 36 1.B.2b – Přehled vstupů, činností, výstupů a výsledků ................................................... 37 1.B.3 – Předchozí výzkum/hodnocení ........................................................................... 37 1.B.4a – Hodnotící otázky ........................................................................................... 37 1.B.4b – Přiřazení hodnotící otázky k údajům ................................................................ 37 1.B.5a – Hodnocení postupů ....................................................................................... 38 1.B.5b – Hodnocení výsledků ...................................................................................... 38

Poděkování ................................................................................................................................ 39 Odborníci, kteří se zúčastnili seminářů .............................................................................................. 39

4

Proč provádět hodnocení? „Zcela jistě není nic nesmyslnějšího, a nakonec ani nudnějšího, než donekonečna opakovat ty samé chyby, nebo naopak nevyužít úspěšnou metodu z přesvědčení, že je zbytečné zjišťovat, zda metoda funguje a proč, jelikož takový úkol odvádí od nové činnosti.“ 3 Předcházení trestné činnosti je velice náročnou oblastí. Lidé, kteří v ní pracují, nesou odpovědnost za řešení velmi závažných sociálních otázek, ale často mají k dispozici jen omezené zdroje. Možná mají jen velmi málo času na to, aby zpětně uvažovali o práci, kterou odvedli, nebo o tom, zda programy dosahují žádoucích výsledků. Osoby, které se zabývají předcházením trestné činnosti, by však měly svoji práci hodnotit z mnoha dobrých důvodů.



Hodnocení mohou být užitečnou příležitostí k lepšímu pochopení toho, zda anebo jak program v krátkodobém, střednědobém či dlouhodobém výhledu dosáhl svých cílů.



Hodnocení pomáhají určit problémy, k nimž může v rámci programu docházet.



Hodnocení mohou zvýšit účelnost a efektivnost tím, že ukáží, jak lze nejlépe využívat zdroje.



Hodnocení mohou poskytnout informace užitečné pro budoucí plánování programu.



Jestliže hodnocení prokáží funkčnost programu, zvyšují jeho celkovou důvěryhodnost.



Hodnocení mohou pracovníkům programu pomoci lépe porozumět, jaký má jejich práce význam.



Hodnocení mohou pomoci dalším skupinám, které mají zájem o vytvoření obdobných programů, poskytnutím cenných poznatků o fungování zásahů a jejich případném zlepšení.

Nebojte se hodnocení a nebojte se poučit se z věcí, které nefungují! Hodnocení by nemělo být vnímáno negativně jako činnost, která pouze poukazuje na problémy. Naopak by mělo být příležitostí zjistit, co funguje dobře, a zároveň navrhnout změny v oblastech, které by bylo možné zlepšit. Nebojte se hodnotit programy (nebo jejich části), o nichž máte pochybnosti. Ačkoli lidé obecně raději vyprávějí a poslouchají úspěšné příběhy, poučit se z toho, co nefunguje, je ještě důležitější!

V čem spočívá hodnocení?4 Jednoduše řečeno, hodnocení je užitečným způsobem, jak se zamyslet nad prací, která byla v programu odvedena, nad tím, zda bylo dosaženo žádoucích výsledků, či nikoli, a proč (ne). Hodnocení spočívají ve velmi praktických činnostech. Jejich cílem je shromáždit údaje, na jejichž základě bude možné program systematicky posoudit. Lze uplatnit různé přístupy (např. průzkumy, pohovory atd. v závislosti na tom, co 3

Dixon, B. (2002: 97). Not rocket science: evaluating crime prevention (Žádná velká věda: hodnocení předcházení trestné činnosti). In Pelser, E. (ed.): Crime Prevention Partnerships: Lessons from Practice (Partnerství při předcházení trestné činnosti: poznatky z praxe). Institute for Security Studies, Pretoria. – kapitola 8. 4 Viz také: „Tip sheet 4: Monitoring and evaluating your project. How to measure progress.“ (Rady č. 4: Jak můžete monitorovat a hodnotit svůj projekt: jak zjistit pokrok). National Community Crime Prevention Programme (Národní komunitní program předcházení trestné činnosti), Úřad generálního prokurátora, Canberra, Austrálie – http://www.crimeprevention.gov.au/NationalCommunityCrimePreventionProgramme/Documents/Tip_Sheet_4.pdf

5

je předmětem přezkumu). Hlavním cílem informací je ale posloužit jako zpětná vazba, která má pomoci při rozhodování o programu. Užitečný = úspěšný! Hodnocení programu bude pravděpodobně úspěšné, pokud pracovníci budou výsledky vnímat jako užitečné informace, které jim mohou pomoci lépe vykonávat jejich práci.

V ideálním případě by plánování hodnocení mělo probíhat současně s plánováním programu. Začleníte-li hodnocení do programu hned na začátku, V čem hodnocení programu NESPOČÍVÁ můžete zajistit pravidelné monitorování způsobu, jímž je program prováděn, a Monitorování je systematické, pravidelné výsledků programu. Tato měřítka výkonnosti shromažďování informací během provádění budou velmi užitečným zdrojem informací zejména programu, které má zjistit, zda provádění probíhá při shromažďování údajů v analytické fázi podle původního plánu (např. kolik osob během hodnocení. posledních 6 měsíců úspěšně dokončilo zkušební Jak tato příručka ukáže, existují různé způsoby, jak program). Pokud hodnocení plánujete ve fázi program posoudit (viz níže). plánování programu, měli byste zvážit, zda nezavedete systém monitorování shromažďující Hodnocení je však často mylně zaměňováno za jiné údaje, které by se později použily při hodnocení typy posuzování programu, což by mohlo vést postupů. k chybným závěrům. Tyto jiné typy zahrnují mimo jiné monitorování programu a audity. Audit posuzuje, jak dobře je program řízen, zda jsou zdroje využívány účinně a zda jsou řádně dodržována pravidla, předpisy a postupy (UNEG, 2005).

Pár „mýtů“ o hodnocení

Ačkoli se stále více uznává, že hodnocení je důležitou součástí programu, stále panuje určitá nechuť k jeho provádění. Tato neochota často pramení z různých „mýtů“ o obtížích spojených s hodnocením. Uveďme alespoň několik z nich5: 

Hodnocení je příliš náročné

Inspekce je obecné šetření, které má identifikovat zranitelné oblasti a selhání a navrhnout nápravná opatření (UNEG, 2005). Analýza nákladů a přínosů srovnává peněžní náklady a přínosy programu například z hlediska finančních a lidských zdrojů, vynaloženého času, materiálů a infrastruktury. K těmto analýzám často přihlížejí osoby rozhodující, kam nasměrovat vzácné zdroje. Náklady a přínosy programu je někdy nutné zjistit, aby se prokázala jeho hodnota.

I když hodnocení vyžaduje určité minimální dovednosti a může jít o náročnou práci, nejde o nic složitého. Pamatujte si, že jste odborník na svůj vlastní program a že již pravděpodobně (Poznámka: seznam není úplný.) shromažďujete většinu nezbytných údajů. Tato příručka vám pomůže v hodnocení pokročit a pracovat systematičtěji.

5 Viz též: Dixon, B. (2002: 92–98). Not rocket science: evaluating crime prevention (Žádná velká věda: hodnocení předcházení trestné činnosti). In Pelser, E. (ed.): Crime Prevention Partnerships: Lessons from Practice (Partnerství při předcházení trestné činnosti: praktické zkušenosti). Institute for Security Studies, Pretoria, kapitola 8.

6



Hodnocení je příliš nákladné

I když dobré hodnocení vyhovující všem osvědčeným standardům bude zcela jistě nákladné, z dlouhodobého hlediska znalost toho, co funguje, a co nikoli, ušetří všem stranám značné úsilí. Zvažte, zda potřebujete provést hodnocení, „které je mnohem lepší než jen dost dobré“. (Dixon, 2002: 97). Jak ušetřit peníze? Místo toho, abyste se snažili vyhodnotit od všeho něco, je lepší vybrat si jen několik projektů a ty vyhodnotit řádně. Můžete například využít vysokoškolské studenty (důsledně vedené) nebo kolegy z jiných oddělení, kteří mají patřičné dovednosti, jsou levnější než externí hodnotitelé a nezávisí na výsledcích tak, jak by mohli být interní hodnotitelé.



Hodnocení odrazuje

Hodnocení může být někdy vnímáno jako hrozba pro existenci programu, neboť může poukázat na nedostatky a neefektivní místa, a tím vyvolat dojem, že nic nefunguje. Celkový závěr hodnocení však téměř jistě nepotvrdí, že nic nefunguje, ale „že některé věci fungují po určitou dobu v některých místech za určitých podmínek“.

Různé typy hodnocení6 Neexistuje jen jediný způsob, jak provádět hodnocení. Jaká metoda je pro vás nejlepší, to závisí na vašich cílech, okolnostech a rozpočtu. Složitější hodnocení může provádět externí tým hodnotitelů, obvykle z vysoké školy či výzkumného ústavu. Jednodušší, menší hodnocení mohou účinně provádět pracovníci projektu odpovědní za fungování programu. V některých případech lze oba přístupy kombinovat. Zpravidla se rozlišuje mezi hodnocením postupů a hodnocením výsledku. Hodnocení postupů poskytuje informace o provádění vašeho programu. Jeho pomocí zjistíte, zda byl program proveden podle plánu, zda vznikly potíže či překážky, v jakých oblastech a za jakých okolností program funguje a zda se objevily neočekávané (kladné nebo záporné) vedlejší účinky. Hodnocení výsledku či dopadu vám poskytne informace o účinnosti programu. Zjistíte, zda program přinesl žádoucí výsledky a v jakém rozsahu. Bez hodnocení postupů se však nedozvíte, zda pozorované změny souvisejí s (ne)vhodným prováděním vašeho programu. Je důležité mít na paměti, že jak hodnocení postupů, tak hodnocení výsledku přinášejí o programu konkrétní informace a lze je provádět souběžně během provádění programu či po jeho skončení. Nepřinesl-li program očekávané výsledky, hodnocení postupů vám pomůže zjistit, zda se vyskytla chyba v základní logice programu, či zda došlo k selhání během jeho provádění (nebo obojí).

6

Viz rovněž část 1: tematický dokument na s. 7–10, kde jsou uvedeny podrobnější informace o hodnocení postupů a výstupu.

7

Hodnocení a účast Bez ohledu na zvolený postup hodnocení dbejte na to, aby se do celého hodnocení zapojili všechny příslušné zúčastněné strany (viz oddíl 1.A.2 Zapojení zúčastněných stran, str. 10). Hodnocení, která jsou vnímána jako vnější povinnost, pravděpodobně nebudou úspěšná.

Jak tuto příručku používat Pokud uvažujete o tom, že provedete hodnocení, nebo jste o něj byli požádáni, asi máte určitou základní představu o tom, čeho chcete dosáhnout. Například můžete chtít zjistit, zda váš program předcházení trestné činnosti funguje podle plánu. Nebo vás více zajímá, zda program dosáhl plánovaných cílů, případně vám jde o obojí. Ať už je to cokoli, tato příručka vám pomůže dosáhnout cíle hodnocení, protože vás provede třemi hlavními fázemi procesu hodnocení: Oddíl 1 se zaměřuje na plánování a vypracování hodnocení a na tato témata: 

vyjasnění účelu hodnocení



zapojení zúčastněných stran



tvorba rozpočtu



interní vs. externí hodnocení



zřízení hodnotícího týmu a poradní skupiny



vyhledávání podkladů a vypracování hodnotících otázek



volba koncepce hodnocení



vypracování plánu hodnocení

Oddíl 2 se zabývá praktickými aspekty shromažďování a analýzy údajů potřebných k zodpovězení hodnotících otázek: 

kvantitativní a kvalitativní postup shromažďování údajů



analýza shromážděných údajů a výklad výsledků

Oddíl 3 vám poskytne informace o fázi podávání zpráv o hodnocení a zaměří se na to, jak: 

uspořádat strukturu vaší závěrečné zprávy o hodnocení a



šířit a sdělovat výsledky hodnocení.

8

Oddíl 1: Plánování hodnocení A: Příprava hodnocení 1. Je třeba pochopit, čeho chcete dosáhnout Prvním krokem k úspěšnému hodnocení je pochopit, čeho chcete dosáhnout (nebo co se od vás žádá). I když to může vypadat samozřejmé, stojí to za zmínku. Vědět, co od hodnocení chcete, má zásadní význam, neboť to usměrní celý proces hodnocení a v konečném výsledku vám pomůže rozhodnout se, zda je hodnocení ve vašem případě proveditelné. Vaše počáteční představy o hodnocení se rozpracují během fáze plánování (viz B: Vypracování hodnocení, str. 13). Od počátku je ale důležité vědět, co chcete. Při rozvíjení počátečních představ o hodnocení zvažte: 

Jaké jsou požadavky subjektů, které na program poskytly finanční prostředky?



Kdo by se mohl do hodnocení zapojit?



Jaký rozpočet je k dispozici?



Co by mohlo být součástí hodnocení (pohovory, statistické analýzy atd.)?



Jaké odborné znalosti a dovednosti jsou vyžadovány?



Jaký je časový rámec hodnocení?



Jak se mohou případné výsledky hodnocení použít ke zlepšení vašeho programu?



...

Je rovněž užitečné předem si přečíst něco o tomto tématu, abyste se seznámili s některými otázkami, jimž se chcete v průběhu hodnocení věnovat. Podrobnější informace o vyhledávání podkladů se budou podrobně rozebírat ve fázi vypracování (viz B.1, str. 13). Buďte jasní, jednoduší a přesní! Celkový cíl hodnocení vyjádřete jasně, jednoduše a přesně. Snažte se vyhnout neurčitým prohlášením, která by mohla obsahovat několik myšlenek najednou. Porovnejte např. tyto dvě otázky: Fungují resocializační programy pro mladé pachatele trestných činů? – Snižují tyto programy počet recidiv u osob, které programem prošly, v průběhu dvou let po ukončení programu? Nebo jaké jsou silné a slabé stránky programů pro odrazování mladých pachatelů trestných činů a v jakých oblastech je třeba tyto programy zlepšit?

9

2. Zapojení zúčastněných stran V počáteční fázi plánování byste se měli zamyslet nad zapojením zúčastněných stran. Zúčastněnými stranami jsou jednotlivci či organizace, kteří do vašeho programu investovali a zajímají se o výsledky programu nebo jsou těmito výsledky dotčeni nebo mohou váš program ovlivnit. Pro úspěch hodnocení je proto zapojení zúčastněných stran velice důležité. Dobrá hodnocení nejsou nařízena z vnějšku, naopak se jich účastní všichni, kdo mají na hodnoceném programu zájem od počátečních fází jeho vývoje až do dokončení. Mezi zúčastněné strany mohou patřit: 

pracovníci programu (např. vedoucí pracovníci a hlavní realizátoři programu)



osoby, které program využívají nebo jsou do něj zapojeny (tj. cílové skupiny)



subjekty, které využijí výsledky hodnocení (např. financující subjekty)



osoby žijící v místní komunitě (např. vedoucí představitelé komunity)



osoby s odbornými znalostmi v oboru, které se na projektu přímo nepodílejí (akademičtí pracovníci, inspektoři, tvůrci politiky atd.)



jiné subjekty (odborná sdružení, veřejnost, sdělovací prostředky, kritici programu atd.)

Míra zapojení zúčastněných stran do hodnocení se bude různit. Některé strany se mohou podílet na plánování a provádění programu, jiným naopak mohou stačit pravidelné aktuální informace o jeho pokroku.

Jak vybrat zúčastněné strany? Výběr příslušných zúčastněných stran může být obtížný. Při zvažování, koho do hodnocení zapojit, si položte tyto dotazy: -

Zvýší tyto osoby kvalitu či spolehlivost hodnocení?

-

Podílejí se programu?

-

Mohly by provést, podpořit či financovat změny, které zpráva o hodnocení případně doporučí?

na

denním

fungování

Bez ohledu na míru jejich zapojení bude ve všech - Jsou do programu zapojeny (tj. cílové fázích hodnocení užitečné porozumět názorům a skupiny)? zájmům každé z těchto skupin. Zúčastněné strany mohou mít o programu podrobné znalosti. Budete-li (Viz pracovní list 1.A.1, str. 35). s nimi diskutovat o svých názorech, pomůže to zvýšit spolehlivost hodnocení. Také snadněji rozpoznáte dotazy, které jsou z hlediska hodnocení podstatné, a co je důležité, dokážete na ně odpovědět. 3. Tvorba rozpočtu Důležitým faktorem při rozhodování o tom, jak bude hodnocení prováděno, je velikost rozpočtu, který máte k dispozici. V závislosti na výši finančních prostředků můžete najmout externího hodnotitele, aby pro vás navrhl hodnocení, nebo zaměstnat výzkumného pracovníka, aby analyzoval údaje nebo vedl pohovory s uživateli služeb. Větší rozpočet vám také umožní provést komplexnější hodnocení s využitím nejrůznějších zdrojů údajů. Pokud máte naopak omezené finanční zdroje, můžete provést hodnocení interně. I v takovém případě si budete muset být vědomi nákladů spojených s každou částí hodnocení od fáze koncipování po zveřejnění závěrečné zprávy.

10

Rozpočtový plán Abyste mohli sledovat potenciální náklady, vytvořte rozpočtový plán. Projděte si každou fázi procesu hodnocení a určete související náklady. (Viz pracovní list 1.A.2, str. 35).

4. Kdo by měl hodnocení provést? Jakmile máte jasnou představu: 

čeho chcete dosáhnout,



co k tomu bude pravděpodobně zapotřebí, a



kolik to bude stát,

můžete se zamýšlet nad tím, zda by bylo nejlepší provést hodnocení interně, nebo je prostřednictvím nabídkového řízení zadat externím hodnotitelům. Obecně vzato, pokud se hodnocení požaduje, aby se odůvodnilo pokračování programu (tj. zda program plní cíle a zasluhuje další financování), jsou zpravidla najati externí hodnotitelé, aby se zabránilo případnému střetu zájmů a byla zaručena objektivita. Pokud je ale cílem hodnocení zlepšit stávající pracovní postupy nebo prozkoumat, jak jsou programy prováděny, mohou se v závislosti na míře jejich složitosti provádět interně. Někdy je nejvhodnější využít kombinaci interního hodnocení s pomocí externích hodnotitelů. Tabulka 1 níže uvádí přehled výhod a nevýhod různých přístupů 7. Druh hodnocení Interní hodnocení (Hodnocení provádějí osoby, které program realizují).

Výhody Nižší náklady.

Snadnější přístup k údajům a lidem. Hlubší znalost programu.

Externí hodnocení (Hodnocení provádějí externí odborníci, často z vysoké školy nebo výzkumného ústavu).

Pomáhá organizacím, aby lépe pochopily samy sebe a také to, čím se zabývají. Lidé s odbornými znalostmi a zkušenostmi s prováděním vysoce kvalitních hodnocení. Považováno za nejobjektivnější druh hodnocení.

Nevýhody Možný nedostatek nezbytných odborných znalostí k vedení pohovorů nebo analýze údajů. Nemusí být vnímáno jako objektivní. Nemusí být vhodné pro zdůvodnění dalšího financování. Může od pracovníků programu vyžadovat, aby se věnovali hodnocení, a nikoli své obvyklé práci. Vyšší náklady.

Žádné přímé zkušenosti s fungováním programu, a tím možné menší pochopení programu.

Lze dobře ukázat, jak efektivně programy plní své cíle.

Tabulka 1: Výhody a nevýhody interního a externího hodnocení

7 Viz také: Australian Institute of Criminology (Australský kriminologický ústav) (2006). Tip sheet 3: External and/or internal evaluation. Deciding what works best for your organisation (Rady č. 3: Externí a/nebo interní hodnocení. Jak se rozhodnout, co je pro vaši organizaci nejlepší). [Vyvinuto pro národní komunitní program předcházení trestné činnosti]. Canberra: úřad generálního prokurátora. http://www.crimeprevention.gov.au/NationalCommunityCrimePreventionProgramme/Documents/Tip_Sheet_3.pdf

11

Komplexní hodnocení Pokud hodláte provést komplexní hodnocení, které využívá řadu různých metod a podílí se na něm značný počet účastníků, je vhodnější najmout externí hodnotitele s příslušnými odbornými znalostmi a zkušenostmi. Tím se lépe zaručí, že je hodnocení dostatečně spolehlivé a že jsou vyvozeny pouze závěry, které se opírají o dostupné údaje. (Viz také oddíl 2 – odstavec B.1, str. 31 pro více informací o platnosti a spolehlivosti hodnocení.) Pokud se rozhodnete pro externí hodnocení, je třeba vypracovat zadávací dokumentaci s podrobnostmi o očekávané práci, termínech, výstupech atd. (v pracovním listu 1.A.3, str. 35 je uveden kontrolní seznam bodů, které taková dokumentace může obsahovat). Musíte si důkladně promyslet úlohu, povinnosti a úkoly externího hodnotitele. Nezapomínejte, že hodnotitelé mohou mít vedle hodnocení i konkurenční priority, např. publikaci článků v akademických časopisech. S externími hodnotiteli se jasně dohodněte Definujte, jaké výsledky (tj. výstup) od hodnocení očekáváte, a od počátku zcela jasně vymezte, kdo je vlastníkem shromážděných údajů a závěrečné zprávy o hodnocení. Stanovte jasné termíny!

5. Vytvoření hodnotícího týmu Jakmile jste se rozhodli, kdo ponese hlavní odpovědnost za hodnocení, měli byste uvažovat o vytvoření hodnotícího týmu. Hodnotící tým přispěje k hladkému průběhu hodnocení, jelikož odpovědnost za jeho provádění ponese konkrétní skupina osob a každá z těchto osob bude mít konkrétní soubor úkolů. Mezi tyto úkoly patří:



celková odpovědnost za provádění hodnocení



vypracování konkrétních cílů hodnocení



plánování a sestavení rozpočtu hodnocení



sběr a analýza údajů



podávání zpráv o výsledcích



práce s poradci, zúčastněnými stranami a dalšími subjekty

(Více informací o tom, co by měl plán hodnocení obsahovat, viz B.6, str. 23.) Podle toho, zda má být hodnocení provedeno interně nebo externě (nebo kombinací obou postupů, viz tabulka 1 výše), mohou hodnotící tým tvořit interní pracovníci programu, externí zúčastněné strany a případně výzkumní poradci. Může být užitečné, bude-li jedna či více osob dohlížet na postup hodnotícího týmu, povede-li v patrnosti termíny a výstupy a bude řešit problémy, pokud nastanou. 12

6. Poradní skupina Kromě hodnotícího týmu je též vhodné zřídit poradní skupinu, která dohlédne na hodnocení z vnějšku. Tvoří ji zúčastněné strany, které se na hodnocení přímo nepodílejí, ale v dané oblasti mají odborné znalosti. Do poradní skupiny mohou patřit: 

místní, regionální či vnitrostátní (akademičtí) odborníci



zástupci donucovacích orgánů



příslušné státní agentury



...

B: Vypracování hodnocení Když už máte o hodnocení programu předběžnou představu a rozhodli jste se, kdo za něj ponese hlavní odpovědnost, můžete začít hodnocení podrobněji plánovat. 1. Vyhledávání podkladů Pro rozpracování hodnocení je důležité získat hlubší znalosti o hodnoceném programu, předchozím výzkumu a hodnoceních, která byla provedena v oblasti relevantní pro váš program předcházení trestné činnosti. Poznání programu Při vyhledávání podkladů k hodnocenému programu je důležité mimo jiné pochopit: 

Jaké jsou cíle programu? / Čeho měl program dosáhnout?



Jak měl program těchto cílů dosáhnout?



Jaké činnosti přispějí k dosažení těchto cílů? Popis programu Užitečným zdrojem informací by v tomto ohledu mohla být podkladová dokumentace programu (poslání a vize, strategický plán atd.). Užitečné může být promluvit si s pracovníky programu. Při popisu hodnoceného programu dbejte na co největší ucelenost a podrobnost. Pomůže vám to hodnocení nasměrovat a později vypracovat správné hodnotící otázky. (Seznam viz pracovní list 1.B.1, str. 36 – zdroj: Ministerstvo zdravotnictví USA, 2011. Introduction to program evaluation for public health programs: A self-study guide – Úvod k hodnocení programů v oblasti veřejného zdraví: příručka pro samostudium).

13

Je důležité popsat každý krok programu z hlediska teorie a mechanismů, o které se činnosti prováděné v rámci programu opírají. Proč vy (nebo vedoucí pracovníci programu) očekáváte, že tyto činnosti budou fungovat? Jak tyto činnosti dosáhnou očekávaného výsledku? Negativní výsledky Dávejte pozor na případné neplánované účinky či negativní výsledky, např. na přesun trestné činnosti do jiné oblasti nebo na zvýšený strach z trestné činnosti u neformálních zásahů, které zvyšují povědomí o trestné činnosti, atd.

Ačkoli existuje řada způsobů, jak můžete program popsat, velmi užitečným nástrojem při promýšlení těchto otázek a hledání odpovědí by mohl být logický model8. V logickém modelu jsou vztahy mezi činnostmi programu a jeho plánovanými výsledky popsány prostřednictvím základní logiky programu. Uspořádáním činností a výsledků v určitém pořadí a využitím šipek ke znázornění příčinných vztahů mezi činnostmi anebo krátkodobými, střednědobými a dlouhodobými výsledky pomáhá logický model vizualizovat očekávanou logickou posloupnost vašeho programu. Má-li například program zabránit vloupání do domácností a snížit počet takových případů, existuje řada příčinně souvisejících činností, které lze v zájmu dosažení tohoto cíle provést. Jednou z cest by mohla být celostátní preventivní kampaň ke zvýšení informovanosti veřejnosti. Pouhým výčtem činností a plánovaných výsledků – které lze snadno zjistit, pokud věnujete náležitý čas podrobnému popisu programu, jak je zmíněno výše – v logickém pořadí, tedy „co je třeba učinit nejdříve a co až později“, učiníte první krok k vytvoření logického modelu (viz příklad v tabulce 2 – podle tabulky na str. 29 v dokumentu Ministerstva zdravotnictví USA, 2011. Úvod k hodnocení programů v oblasti veřejného zdraví: příručka pro samostudium). Příklad – prevence vloupání do domácností Počáteční činnosti

Pozdější činnosti

Počáteční výsledky

Pozdější výsledky

Identifikace cílových skupin

Vývoj plánu a nástrojů pro komunikaci

Více poznatků o tom, jak předcházet vloupání

Více bezpečnostních opatření v rodinných domech, která mají zabránit vloupání

Posouzení citlivých oblastí

Organizace tiskové konference

Více nahlášených případů podezřelého chování v okolí

Nižší počet případů vloupání

Shromáždění poznatků o vloupáních

Zahájení informační kampaně

...

...

Výměna osvědčených postupů s jinými oblastmi ...

...

Tabulka 2: Příklad uspořádání činností a výsledků (Viz také pracovní list 1.B.2a, str. 36).

8 Viz také: Mayne, J. (2008). Contribution analysis: An approach to exploring cause and effect (Analýza přínosu: přístup ke zkoumání příčiny a následku). Ilac Brief 16, 4p. http://www.cgiar-ilac.org/files/ILAC_Brief16_Contribution_Analysis_0.pdf

14

Základní logický model by pak mohl vypadat takto: Činnosti

Identifikace cílových skupin Posouzení citlivých oblastí

Krátkodobé výsledky

Vývoj plánu a nástrojů pro komunikaci

Organizace tiskové konference

Shromáždě ní poznatků o vloupání

Zahájení informační kampaně

Střednědobé výsledky

Více poznatků o tom, jak předcházet vloupání

Více nahlášených případů podezřelého chování v okolí

Více bezpečnost ních opatření v rodinných domech

Dlouhodobé výsledky

Nižší počet případů vloupání

Výměna osvědčených postupů s jinými oblastmi

Obr. 1: Příklad základního logického modelu Kromě toho lze do modelu doplnit vstupy a výstupy programu, jak znázorňuje tabulka 3 níže, aby se doplnil celkový obraz. Příklad – prevence vloupání do domácností Vstupy

Počáteční činnosti

Pozdější činnosti

Výstupy

Počáteční výsledky

Pozdější výsledky

Financování

Identifikace cílových skupin

Vypracování komunikačního plánu a nástrojů

Zpráva

Více poznatků o tom, jak předcházet vloupání

Více bezpečnostníc h opatření v rodinných domech

Vyškolení pracovníci

Posouzení citlivých oblastí

Organizace tiskové konference

Brožury, letáky, plakáty atd.

Více nahlášených případů podezřelého chování v okolí

Nižší počet případů vloupání

Shromáždění poznatků o vloupání

Zahájení informační kampaně

...

...

...

Výměna osvědčených postupů s jinými oblastmi ...

...

...

Tabulka 3: Příklad uspořádání činností a výsledků se vstupy a výstupy (Viz také pracovní list 1.B.2b, str. 37).

15

Předchozí výzkum a metastudie týkající se vašeho programu Kromě poznání samotného programu a ještě před vypracováním konkrétních hodnotících otázek je důležité zjistit, o co se snažily jiné/obdobné programy a jakým způsobem. Stojí za to prohlédnout si stávající sítě anebo databáze pro sdílení osvědčených postupů, zda neposkytují informace o podobných programech. Při přemýšlení, jaké poznatky z jiných programů by pro vás mohly mít význam, můžete využít svůj logický model. Např. vrátíme-li se k dříve zmíněnému příkladu preventivní kampaně o vloupání do domácností, můžete si položit otázku: Co již víme o informačních kampaních pro veřejnost? Dosáhly tyto kampaně plánovaných výsledků? Často je možné nalézt různé metastudie nebo systematické přezkumy, které se snaží identifikovat a posoudit informace, které jsou již k danému tématu k dispozici, a provést jejich syntézu. Budete-li se tímto předchozím výzkumem zabývat, můžete se poučit z toho, co už v této oblasti učinili druzí, a zároveň získáte možnost porovnat výsledky vlastního hodnocení s jinými výsledky (viz pracovní list 1.B.3, str. 37 pro sestavení seznamu předchozích výzkumů). Většinu těchto informací lze najít v knihovnách a na internetu, např. pomocí vyhledávače Google Scholar.

Využívání zdrojů na internetu Existuje řada dobrých webových stránek, které obsahují užitečné informace o existujících programech předcházení trestné činnosti. Např.: The Campbell Collaboration for systematic reviews (společnost pro systematické přezkumy) http://www.campbellcollaboration.org/ COPS/Community Orientated Policing Services (komunitně zaměřené policejní služby) http://www.cops.usdoj.gov/ The Australian institute of Criminology (australský kriminologický ústav) http://www.aic.gov.au/publications.html The National Criminal Justice Reference Service (národní referenční služba pro trestní soudnictví) https://www.ncjrs.gov/App/Publications/AlphaList.aspx Crime Solutions.Gov (řešení trestné činnosti) http://crimesolutions.gov/ The International Centre for the Prevention of Crime (mezinárodní středisko pro předcházení trestné činnosti) http://www.crime-prevention-intl.org/en/publications.html (Poznámka: seznam není úplný)

16

2. Vypracování hodnotících otázek Po vyhledání podkladů můžete přejít k vypracování konkrétních hodnotících otázek, na které je třeba při hodnocení odpovědět. Pomůže vám to zajistit, aby informace získané během hodnocení měly praktický užitek a nešlo o samoúčelné poznatky. Hodnotící otázky již možná existují v základní podobě, ve formě cílů programu. Pravděpodobně ale bude nutné je rozpracovat. Při vypracování hodnotících otázek zvažte kontext hodnoceného programu, celkový účel hodnocení a zájmy zúčastněných stran. Vypracování hodnotících otázek Dobré hodnotící otázky by měly: 

být zodpověditelné



vycházet z konkrétních cílů programu



být jasné a přesně vymezené

(Viz pracovní list 1.B.4a, str. 37 – formulace dotazů pro hodnocení)

Příklady otázek pro hodnocení postupů a výsledků9: •

Dosáhli jsme cíle, tedy přijetí 1 000 uživatelů služby do programu za rok? Pokud nikoli, proč?

•

Mají uživatelé služby díky programu lepší úroveň společensky prospěšného chování? Lze změnu chování vysvětlit jiným způsobem?

•

Dosáhli jsme v celé lokalitě rovnoměrného rozmístění sousedských hlídek? Pokud nikoli, proč? Na jaké překážky jsme narazili? Jaké faktory souvisely s úspěchem?

•

Došlo díky zvýšené účasti v sousedských hlídkách k poklesu krádeží vozidel v celé oblasti, na kterou se program zaměřil? Pokud byly úspěšné jen některé oblasti, jaké faktory tento úspěch ovlivnily? Jaké překážky existovaly v jiných oblastech?

Klíčovou zkouškou každé hodnotící otázky je, zda na ni existuje odpověď. Proto se zamyslete nad tím, kde nalézt k zodpovězení těchto otázek správné informace. V této souvislosti zvažte následující body: •

Jaký druh informací potřebujete? Kde informace najdete? Jak je budete shromažďovat?

•

Co s informacemi chcete dělat?

•

Jaký druh informací by uspokojil zúčastněné strany?

•

Máte čas a nezbytný rozpočet na to, abyste informace shromáždili sami?

9

Více příkladů viz tabulka 1 v: Morgan, A. & P. Homel (2013: 3). Evaluating crime prevention: Lessons from large-scale community crime prevention programs (Hodnocení předcházení trestné činnosti: poznatky z velkých komunitních programů předcházení trestné činnosti). Trends & Issues in crime and criminal justice, č. 458. http://www.aic.gov.au/media_library/publications/tandi_pdf/tandi458.pdf

17

•

Máte odborné znalosti nutné k analýze shromážděných informací/údajů?

•

...

3. Druhy informací V zásadě existují dva hlavní druhy informací nebo údajů, které použijete k zodpovězení vašich hodnotících otázek  kvantitativní a kvalitativní údaje. Ke kvantitativním údajům (např. administrativní údaje, policejní záznamy či jiné statistické údaje) mohou patřit: 

demografické údaje (věk, pohlaví, etnická příslušnost atd.)



sociálně-ekonomické údaje (příjem, přístup ke zdrojům atd.)



kriminologické údaje (míra recidivy, míra výskytu relevantních typů trestných činů v místní oblasti atd.)



údaje založené na psychologických či obdobných stupnicích (úroveň empatie, sklony k riskování, strach z trestné činnosti atd.)

Je důležité, abyste se v plánu hodnocení rozhodli, zda budete nezbytné údaje shromažďovat sami, tedy zda půjde o shromažďování primárních údajů, nebo zda existují zdroje údajů, kde můžete najít informace odpovídající na vaše otázky, tedy zda půjde o shromažďování sekundárních údajů. Ke stávajícím údajům však musíte vždy přistupovat kriticky (spolehlivost, nestrannost, platnost?) a musíte dbát na to, aby je bylo možné použít pro účely vašeho hodnocení. Např. údaje o trestné činnosti zaznamenané policií nemusejí být příliš spolehlivými ukazateli skutečné míry trestné činnosti. Některé trestné činy mohou být hlášeny méně často, což může mnohdy odrážet snahy a priority policie spíše než skutečnou míru trestné činnosti. Stávající údaje z průzkumů na druhé straně nemusejí klást ty správné dotazy nebo mají příliš malý rozsah vzorku pro vaši cílovou populaci. Kvalitativní údaje (např. údaje založené na názorech a vyprávění, a ne na číslech) mohou zahrnovat např. názory a stanoviska poskytovatelů služeb nebo uživatelů služeb.

Kvantitativní vs. kvalitativní údaje Obecně lze říci, že kvalitativní údaje se používají k vypracování teorie, kvantitativní naopak ke zkoušení teorie. Kvantitativní metody jsou proto vhodnější pro měření účinků programu. Je třeba si uvědomit, že jak kvalitativní, tak kvantitativní údaje mají vlastní metodická úskalí a je nezbytné mít potřebné dovednosti k jejich sběru, analýze a interpretaci. Výsledky kvalitativních údajů (např. pocity cílových skupin zjištěné během důkladných pohovorů) mohou být velice užitečné, neboť mohou podpořit či vylepšit kvantitativních zjištění, ALE je třeba je odlišit od hodnocení dopadů či výsledků!

Tradičně se mělo za to, že kvalitativní a kvantitativní výzkumné přístupy k šetření se vzájemně vylučují a vycházejí z velmi odlišných filosofií. Využití kombinace kvalitativních a kvantitativních metod však může být v mnoha ohledech přínosné. 18

Např. údaje shromážděné během kvalitativních pohovorů lze použít jako vstup pro vypracování otázek průzkumu. Naopak dílčí skupinu lidí dotázaných v rámci průzkumu lze vybrat pro kvalitativní pohovory s cílem hlouběji poznat jejich názory. Některé hodnotící otázky mohou vyžadovat, aby byly zodpovězeny oba druhy údajů. Pravděpodobně ale bude třeba větší rozpočet (viz pracovní list 1.B.4b, str. 37). Existující zdroje údajů Některé zdroje sekundárních údajů, které mohou obsahovat informace užitečné pro programy předcházení trestné činnosti: 

Střediska pro sledování údajů nebo monitorovací střediska na místní, regionální či celostátní úrovni, která často shromažďují údaje o opatřeních v rámci boje proti trestné činnosti, v oblasti veřejného zdraví či o sociálně-ekonomických opatřeních, např. regionální středisko pro sledování bezpečnostních politik v Itálii nebo l’Observatoire national de la délinquance ve Francii. Často vytvářejí geografické informační systémy (GIS), které kombinují údaje o trestné činnosti s informacemi o zeměpisné poloze.



Soudní a vězeňské služby jsou zdrojem informací o charakteristických rysech pachatelů a vězňů, o typech trestů a režimu, o opětovném páchání trestných činů atd.



Průzkumy zabývající se viktimizací nebo studie, kdy se respondenti sami hodnotí, se soustředí na specifické problémy s trestnou činností nebo na cílové populace a často se provádějí v řadě různých zemí, např. mezinárodní průzkum u obětí trestných činů (ICVS) http://www.unicri.it/services/library_documentation/publications/icvs/statistics/ .



Cenné informace o demografických a sociálně-ekonomických ukazatelích, ale také o tom, jaké postoje lidé zaujímají k určitým otázkám, jak je vnímají a jaká k nim mají stanoviska, mohou poskytnout jiné pravidelně prováděné průřezové či dlouhodobé průzkumy, např. policejní a soudní modul evropského společenského průzkumu (http://ess.nsd.uib.no/ess/round5/) nebo průzkumy Eurobarometr prováděné Evropskou komisí.



Eurostat zajišťuje on-line přístup k demografickým a sociálně-ekonomickým údajům (ačkoli údaje jsou často zpožděné) http://epp.eurostat.ec.europa.eu/portal/page/portal/statistics/themes a o zaznamenaných trestných činech a trestním soudnictví http://epp.eurostat.ec.europa.eu/portal/page/portal/crime/data/database, a to ze všech evropských členských států, a dokonce i na regionální úrovni NUTS 3.



Evropské monitorovací centrum pro drogy a drogovou závislost (EMCDDA) poskytuje informace a údaje o drogách a drogové závislosti v Evropě.



Dalšími zdroji údajů mohou být školy, sociální služby, organizace občanské společnosti, ubytovací služby, vysoké školy či výzkumné ústavy, soukromé organizace atd.

Řádně zkontrolujte, zda ve vašem místním či vnitrostátním kontextu neexistují databáze, které by mohly obsahovat údaje, jež byste mohli použít! (Poznámka: seznam není úplný.)

19

4. Vývoj ukazatelů Abyste mohli odpovědět na hodnotící otázky a shromáždit výše zmíněné údaje, musíte vypracovat ukazatele. Ukazatele poskytují velmi specifické měřitelné informace o vašem programu a jako takové by měly být konkrétní a jasné. Jaké druhy ukazatelů vyberete, závisí na programu a na tom, zda se hodláte zaměřit na postupy nebo na výsledky. Mezi ukazatele výsledků programu zaměřeného na snížení počtu případů vloupání mohou patřit například 

změny v počtu vloupání v dané oblasti,



změny v tom, jak bezpečně se lidé cítí.

Příkladem procesních ukazatelů programu zaměřeného na snížení počtu případů vloupání mohou být •

informace o počtu účastníků programu,

• informace o tom, jak byli poskytovatelé a účastníci s programem spokojení. Snadno si všimnete, že monitorování výstupu programu lze využít pro hodnocení postupů. Pamatujte ale, že monitorování – tedy pouhé systematické a pravidelné shromažďování informací – NENÍ hodnocení. Hodnocení postupů jde o krok dále a analyzuje shromážděné údaje, interpretuje výsledky a v případě, že program stále běží, vymezuje kroky k nápravě určitých procesů, je-li to nutné (viz pracovní listy 1.B.5a & 1.B.5b, str. 38). Definování těchto výsledkových ukazatelů vám také pomůže při rozhodování o koncepci hodnocení, druhu informací a metodách shromažďování údajů. Abyste například dokázali určit, zda se zvýšil počet lidí, kteří vědí, jak předejít vloupání, musíte zjistit, kolik lidí to vědělo již předtím, než jste program realizovali (viz také další odstavec o koncepci hodnocení). Můžete se rozhodnout, že tyto údaje shromáždíte např. prostřednictvím průzkumu (viz také oddíl 2 o sběru a analýze dat). „Více nahlášených případů podezřelého chování v okolí“ by šlo analyzovat prostřednictvím policejních záznamů (druhy informací); mohlo by se pozorovat (metodou shromažďování údajů) „více bezpečnostních opatření v rodinných domech“ (např. lepší venkovní osvětlení) atd. (další informace viz část 1: tematický dokument, str. 7–9). Úspěch či selhání? Abyste porozuměli informacím získaným prostřednictvím ukazatelů, musíte vypracovat kritéria, podle nichž posoudíte, zda jsou zjištěné změny důkazem úspěchu (větší pocit bezpečí), nebo selhání (nízká účast v programu).

5. Výběr koncepce hodnocení pro měření dopadu Pokud jste se rozhodli, že provedete hodnocení výsledků, pak z toho důvodu, že chcete zjistit, zda váš program vedl ke konkrétnímu výsledku. To však může být složité. Abyste mohli činit jakékoli soudy o výsledku či dopadu programu, budete nutné, abyste: •

měli informace o situaci před provedením programu,

•

měli informace o změně/pokroku v situaci po provedení programu;

20

•

byli schopni přičíst tuto změnu/pokrok programu.

Existují tři postupy, jak prokázat, že ke změně došlo v důsledku programu. To, jaký si vyberete, závisí na informacích, které chcete získat, na závěrech, které chcete vyvodit, a na tom, kolik času a zdrojů (lidských a rozpočtových) máte k dispozici. Všechny tři postupy jsou velmi stručně popsány v následujících odstavcích (viz také část 1: tematický dokument str. 8–9 pro více informací). Koncepce „před-po“ V rámci tohoto přístupu je změřen stav před začátkem programu a poté znovu po jeho ukončení. Změny zjištěné při testu po ukončení programu se přičtou programu. Tento typ koncepce je nejlevnější a nejsnadnější z hlediska provádění, není však možné účinně vyloučit riziko, že změna byla způsobena jinou proměnnou. Základní koncepce hodnocení může vypadat takto:

Obr. 2: Příklad základní neexperimentální koncepce „před-po“

Např. v oblasti, kde jste zahájili preventivní kampaň, klesl počet vloupání, ale během kampaně se v téže oblasti zároveň zlepšilo pouliční osvětlení. Lze tedy pokles přičítat vašemu preventivnímu programu, nebo lepšímu pouličnímu osvětlení (nebo oběma faktorům)? Intervenční a kontrolní skupina (kvazi-experimentální koncepce) Abyste zjistili, jaký má váš program skutečný dopad, potřebujete vědět, jaká by situace byla v případě, že by program proveden nebyl. Z toho důvodu musíte do koncepce začlenit kontrolní skupinu/oblast, která má z hlediska velikosti, míry trestné činnosti a sociálního složení stejné vlastnosti jako skupina/oblast ve vašem programu, a je tedy srovnatelná, nebyla však do programu prevence zařazena. V rámci kvazi-experimentální koncepce výběrově rozřadíte účastníky do kontrolní skupiny a do intervenční skupiny. Tato koncepce umožňuje porovnat změnu/pokrok v obou skupinách/oblastech. V našem příkladu kontrolní skupina/oblast s obdobnými vlastnostmi nebyla zařazena do kampaně o prevenci vloupání, ve stejném období v ní však bylo namontováno nové pouliční osvětlení. Programu lze přičítat změnu patrnou u intervenční skupiny, avšak nikoli u kontrolní skupiny. Na rozdíl od experimentálních koncepcí (viz další příklad) není možné zcela vyloučit možnost, že změnu vyvolal jiný faktor, i když lze takové riziko snížit.

21

Kvazi-experimentální koncepce hodnocení může vypadat takto: Intervenční skupina/oblast:

Kontrolní skupina/oblast:

Obr. 3: Příklad základní (kvazi-)experimentální koncepce

Vyhněte se vedlejším účinkům Abyste se vyhnuli vedlejším účinkům či kontaminaci, snažte se vybrat srovnatelnou oblast, která NESOUSEDÍ s cílovou či experimentální oblastí. Vaše výsledky budou mít závažná omezení např. budete-li srovnávat účinky programu prevence v jedné oblasti města, ve které je zpravidla vysoká kriminalita a která je znevýhodněná, se zbytkem města.

Nahodilé kontrolní zkoušky (experimentální koncepce) Účastníci jsou nahodile rozděleni do jedné či více experimentálních či kontrolních skupin. Všechny skupiny (experimentální a kontrolní) jsou posouzeny před zásahem (programem) a po něm, přičemž se zkontrolují všechny rozdíly ve srovnání se stavem před programem či jiné události, které mohou mít vliv na výsledek (např. nové pouliční osvětlení). Veškeré zaznamenané změny lze přičíst zásahu (programu). Experimentální koncepce se považují za osvědčený standard; jsou však složité, nákladné a zcela jistě vyžadují vstup ze strany osob s příslušnými odbornými znalostmi.

Krátko-, středně- či dlouhodobé výsledky Bude třeba, abyste zvážili, zda chcete měřit krátkodobé, střednědobé či dlouhodobé výsledky. Může určitou dobu trvat, než bude program realizován a dojde ke změnám.

22

6. Vývoj plánu hodnocení Jakmile jste učinili rozhodnutí ohledně všech výše zmíněných kroků, vypracuje hodnotící tým plán hodnocení, který vám pomůže sledovat pokrok. Plán by měl obsahovat: 

úkoly, které je třeba provést



požadované výstupy z úkolů



rozdělení odpovědností



časový rámec



náklady na každý úkol

Plán hodnocení by měl také obsahovat zadání hodnocení. Tento dokument stanoví, co hodnocení zahrnuje a je třeba jej odsouhlasit před zahájením hodnocení. Zadání by mělo obsahovat: 

účel hodnocení



hodnotící otázky



požadavky hodnotitelů



očekávaný formát závěrečné zprávy



rozpočet

Jak již bylo zmíněno, může být užitečné, aby někdo monitoroval plán hodnocení a řídil hodnotící tým. Po naplánování různých aspektů hodnocení může být vhodné některé z nich přepracovat či přehodnotit s ohledem na jiné kroky.

23

Oddíl 2: Sběr a analýza dat A: Sběr dat Existuje řada možných způsobů sběru dat. Přístup, který zvolíte, bude vycházet z následujících skutečností: 

typu dat, která chcete/potřebujete získat, aby bylo možné odpovědět na otázky, které si klade hodnocení,



dostupnosti potřebných dat,



nejschůdnějšího řešení z hlediska Vašich rozpočtových, časových a personálních možností.

Níže uvádíme několik nejčastějších postupů a metod užívaných při sběru dat, i když lze použít i celou řadu dalších postupů.

Další informace V této kapitole se stručně zmíníme o některých nejběžnějších postupech a metodách sběru dat, avšak podat odborný výklad o výzkumných metodách již přesahuje možnosti této příručky. Pokud mezi členy Vaší skupiny hodnotitelů nejsou odborníci s příslušnými znalostmi například v oblasti výběru vzorků, statistických analýz, vytváření nástrojů šetření, chyb měření nebo kvantitativních a kvalitativních výzkumných strategií, možná budete potřebovat pomoc výzkumného pracovníka/statistika. Kvalitní základní úvod do problematiky statistiky a sběru dat lze nalézt také v kapitolách 4 až 8 publikace The Magenta Book: guidance notes for policy evaluation and analysis – vydání z roku 2007: http://resources.civilservice.gov.uk/wpcontent/uploads/2011/09/the_complete_ma genta_book_2007_edition2.pdf

V některých případech se dokonce pro doplnění a posílení některých závěrů doporučuje použít kombinaci více metod, tzv. triangulaci10. Jako příklad lze uvést charakteristiku vyloupených domů (kvantitativní) versus zkušenosti obětí vloupání (kvalitativní). Je třeba mít na paměti, že každá užitá metoda má své výhody, ale zároveň určitá omezení, která mohou ovlivnit kvalitu dat (přehled výhod a nevýhod kvantitativních a kvalitativních metod viz např. tabulka 6.1 publikace The Magenta Book: guidance notes for policy evaluation and analysis – vydání z roku 2007, str. 6:3). Mějte na paměti celkový účel a cíle Při hodnocení lze snadno sklouznout k přílišnému soustředění se na data a na širokou škálu metod jejich sběru. Dbejte na to, abyste bez ohledu na zvolenou metodu shromažďovali pouze informace, jež máte v úmyslu využít pro zodpovězení otázek, které jste si za účelem hodnocení vytyčili. Dříve, než tyto informace shromáždíte, byste rovněž měli vědět, jak je použijete.

1. Kvantitativní přístupy Průzkumy Průzkumy obvykle vycházejí ze strukturovaných dotazníků. Lze je použít v případě, že shromažďujete faktické informace, například o pohlaví a věku, ale také informace o chování a postojích, například jak často se určitá osoba zapojuje do programu nebo jak je s určitým programem spokojena, případně zjišťujete-li míru znalostí určité osoby o daném programu (nebo o samotné jeho existenci). Průzkumy jsou velmi účinným způsobem, jak shromáždit velké množství standardizovaných informací v relativně krátkém časovém období.

10 Triangulace znamená propojení různých druhů dat a někdy i různých úhlů pohledu na ně s cílem zodpovědět otázky výzkumu (Magenta Book (2007), str. 8:29).

24

Vytváření dotazníků Pokud se rozhodnete vytvořit vlastní dotazník, mohly by Vám pomoci následující kroky. 

Otázky uvedené v dotazníku by měly konkrétně souviset s otázkami, které si klade Váš výzkum.



Snažte se, aby byl dotazník co nejstručnější, a vyhýbejte se otázkám, které nejsou bezpodmínečně nutné.



Promyslete si, jak využijete a jak budete analyzovat informace, které na základě jednotlivých otázek získáte.



Pokud možno se vyhněte, nebo co nejvíce omezte užívání otevřených otázek.



Maximálně omezte počet kategorií v rámci uzavřených otázek a snažte se, aby tyto kategorie nebyly dvojznačné a nepřekrývaly se.



Vyhýbejte se „dvojitým otázkám“ (dotaz na dvě věci najednou v jedné otázce) a dvojitým záporům.



Vyzkoušejte si počáteční návrh dotazníku na malém počtu respondentů, abyste zjistili, zda není třeba některou z otázek změnit.



Zajistěte zřetelné vytištění a dobré rozvržení dotazníku.

Příklad: Otevřené a uzavřené otázky11

Otevřená otázka Jaký je podle Vašeho názoru největší přínos tohoto programu? __________________________________________________________________ __________________________________________________________________ ______ (Respondent dostane k dispozici prostor, kde může vlastními slovy uvést odpověď.) Uzavřená otázka Jak často se účastníte tohoto programu?       

Denně Několikrát týdně (ale ne denně) Jednou týdně Několikrát měsíčně (ale ne každý týden) Jednou měsíčně Méně než jednou měsíčně Nikdy

(Respondenti musí označit jednu z předem určených alternativ.)

Tabulka 4: Příklad otevřené a uzavřené otázky 11 Přehled výhod a nevýhod otevřených otázek oproti otázkám uzavřeným, viz tabulka 6.5 publikace The Magenta Book: guidance notes for policy evaluation and analysis – vydání z roku 2007, str. 6:12.

25

Dotazníky lze vyplnit buď osobně (např. standardizované osobní dotazování typu face-to-face), telefonicky, na internetu (například pomocí průzkumu typu „survey monkey“) nebo poštou 12. Každý z těchto přístupů má své výhody i nevýhody (viz např. přehled v tabulce 4.2, str. 60 publikace US Department of Health and Human Services, 2011. Introduction to program evaluation for public health programs: A self-study guide – http://www.cdc.gov/eval/guide/CDCEvalManual.pdf.). Volba postupu při provádění průzkumu Zvolte si postup, který nejvíce vyhovuje podmínkám Vašeho hodnocení. Jedná se například o účel shromažďovaných informací, typ a počet osob, od nichž hodláte tyto informace získávat, nebo Váš přístup k dostupným zdrojům: rozpočet, čas a odborné znalosti členů Vaší skupiny hodnotitelů i osob mimo ni.

Standardizovaných psychologických a subjektivních hodnocení Při vyhodnocování určité škály otázek, jako je například celkový zdravotní stav, duševní zdraví, sociální fungování a zdravotní postižení atd., je možné využít standardizovaných psychologických a subjektivních hodnocení. Tato hodnocení mohou být velmi užitečná pro stanovení dopadu programů na uživatele služeb. Například u programu prevence kriminality, který se snaží snížit riziko recidivy zlepšením prosociálních funkcí, lze uživatele služeb hodnotit před účastí v programu a po ní s cílem zjistit, jaký na ně má tento program dopad. Standardizované dotazníky vypracovávají výzkumní pracovníci a jejich výhodou je, že jsou vytvářeny a testovány v terénu.

2. Kvalitativní přístupy Podrobné pohovory Podrobné nebo také nestrukturované pohovory slouží ke sběru podrobných kvalitativních informací o složitých tématech, která nelze vyjádřit v číselné podobě, jako jsou například, názory a pocity týkající se určitého programu. Tato metoda Vám také často může pomoci prozkoumat nové téma nebo oblast, o kterou se zajímáte a na kterou můžete později navázat strukturovanějším kvantitativním přístupem. Proto bývá kvalitativní dotazování častěji spojováno s vytvářením teorií než s jejich testováním, které je spíše doménou přístupů kvantitativních. Kvalita informací získaných v rámci kvalitativních pohovorů bude záviset na schopnostech tazatele a na jeho vztahu s respondentem. Pohovory tohoto typu mohou zahrnovat celou škálu možností – od souborů velmi specifických otázek (polostrukturované rozhovory) po v podstatě neformální konverzaci (nestrukturované rozhovory). Tato variabilita na rozdíl od strukturovaného postupu užívaného v průzkumech umožňuje tazatelům při pohovorech značnou flexibilitu. Pohovory lze vést buď s jednotlivci, nebo v rámci tzv. cílových skupin. Jako vodítko pro vedení podrobného pohovoru Vám mohou posloužit tyto body: 

Připravte si seznam obecných tematických oblastí, na které se hodláte zaměřit (tj. průvodce pohovorem).



Neklaďte návodné otázky.

12 Osobní, telefonické nebo internetové dotazování je často prováděno pomocí počítače: CAPI (osobní dotazování za pomoci počítače), CATI (telefonické dotazování za pomoci počítače), CASI (samostatné vyplňování dotazníků pomocí počítače), na rozdíl od PAPI (osobní dotazování prostřednictvím rozhovoru, při kterém se odpovědi zaznamenávají do papírového dotazníku).

26



Formulujte otázky tak, aby Vám pomohly zodpovědět dotazy Vašeho průzkumu, ale buďte při pohovoru flexibilní.



Otázky pokládejte v jazyce, který bude pro respondenta srozumitelný.



Nechte respondenty, aby se beze zbytku vyjádřili, avšak snažte se, aby příliš neodbíhali od tématu.



Klaďte doplňovací otázky (tzv. sondování), pokud se dotazovaný zmíní o relevantní problematice, kterou hodláte prozkoumat podrobněji.



Během pohovoru si zapisujte poznámky včetně informací o jménu, věku, pohlaví, čase stráveném v programu apod., které Vám poskytnou potřebný kontext.



Pohovor zaznamenávejte na magnetofon nebo diktafon (napřed si však vyžádejte souhlas respondenta).



Pohovor veďte na klidném místě, kde Vás s největší pravděpodobností nebude nikdo vyrušovat.

Počet pohovorů, které je zapotřebí provést, bude záviset na okolnostech Vašeho hodnocení. V porovnání s průzkumem je však nutný jen malý počet rozhovorů vzhledem k tomu, že cílem je shromáždit podrobné informace, a nikoli extrapolovat odpovědi vzorku respondentů na širší skupinu. Cílové skupiny Cílová skupina je typem skupinového rozhovoru, jehož se účastní více respondentů (maximálně 10 až 12 osob v jedné skupině, aby bylo možné poskytnout v diskusi prostor každému respondentovi). Téma cílové skupiny je zpravidla přesně definováno a je kladen důraz na interakci jednotlivých respondentů v rámci cílové skupiny a na jejich odpovědi na otázky jednak v rámci skupiny a jednak skupiny jako celku. Výběr těchto jednotlivců zpravidla probíhá na základě určitého významného společného rysu, například všichni jsou účastníky téhož programu jako zaměstnanci nebo jako klienti, a diskuse se obvykle zaměřuje na tuto společnou zkušenost. Pohovory s klíčovými zaměstnanci programu a s uživateli služeb Podrobné pohovory mohou být dobrou metodou shromažďování podrobných informací od klíčových osob v rámci daného programu, jako je například ředitel programu nebo jiné osoby, které disponují konkrétními odbornými znalostmi a vhledem do problematiky v souladu se svým postavením. Individuální a/nebo skupinové pohovory jsou rovněž dobrou metodou, jak prozkoumat názory menších skupin uživatelů služeb.

Pozorování Údaje shromážděné na základě pozorování mohou vhodně doplnit informace získané na základě průzkumu nebo pohovorů. Mohou být užitečné zejména v případě, že je Vaším cílem shromáždit informace o silných a slabých stránkách fungování Vašeho programu na základě pozorování a dokumentace činnosti zaměstnanců projektu a uživatelů služeb. Pozorování je užitečné z následujících důvodů:

27



Získáte lepší celkový vhled do kontextu programu (lokalita, zaměstnanci, uživatelé služeb, celková atmosféra atd.).



Umožní Vám vytvořit si otázky, které později využijete v dotaznících nebo pohovorech.



Umožní Vám odhalit aspekty fungování programu, kterých si zaměstnanci buď nejsou vědomi, nebo nejsou ochotni o nich hovořit.

Pokud se rozhodnete jako jednu z metod sběru dat využít pozorování, je dobré mít na paměti, že pokud respondenti vědí, že jsou pozorováni, může se jejich chování změnit. Je také zapotřebí získat souhlas pozorovaných osob. Kontrola programové dokumentace Cenným zdrojem informací umožňujícím lepší pochopení programu mohou být interní programové dokumenty. Součástí takové dokumentace mohou být: 

programová prohlášení a/nebo strategické plány



organizační diagramy



výroční zprávy



plány aktivit



deníky



zápisy z jednání



návrhy financování



prezenční listiny



propagační literatura (brožury, bulletiny, plakáty…)

Formulujte otázky na základě pozorování a přezkumu dokumentace Z pozorování a přezkumu dokumentace můžete získat informace, které Vám pomohou formulovat otázky pro průzkumy nebo pohovory.

Uvedené materiály mohou obsahovat důležité informace o souvislostech programu konkrétního projektu a rovněž informace o změnách programu v průběhu času.

a o výsledcích

Jako příklady kvalitativních přístupů lze uvést i jiné metody, jako je například metoda Delphi, ankety nebo odborné semináře. V souvislosti s uvedenými kvantitativními a kvalitativními metodami je nutné zvážit některé otázky, jako je například návratnost, pravděpodobnost, platnost a důvěryhodnost odpovědí atd., z nichž některé jsou popsány v tematickém dokumentu této sady nástrojů (viz část 1 tematického dokumentu, str. 14–17).

B: Analýza a interpretace dat Jakmile shromáždíte potřebná data, měli byste provést následující kroky: 

Pročistit shromážděná data, tj. uspořádat informace a zkontrolovat, zda neobsahují chyby



Popsat získané informace



Analyzovat a interpretovat data v kontextu skutečnosti, kterou posuzujete 28



Prodiskutovat svá zjištění se zúčastněnými stranami Interpretace dat Při interpretaci dat a podávání zpráv o výsledcích jasně a otevřeně uvádějte omezení Vámi získaných dat (tj. interní a externí validita a spolehlivost) a nepokoušejte se zveličovat nebo přeceňovat závěry, ke kterým jste dospěli. Tak zajistíte, že Vaše hodnocení bude spolehlivé a že nedospějete k neplatným závěrům.

Typ provedené analýzy a její interpretace bude záviset na tom, zda jsou data, která jste shromažďovali, kvantitativního nebo kvalitativního typu. 1. Kvantitativní data Složitost kvantitativní analýzy se může pohybovat od pouhého výpočtu průměrů až po složitější statistické metody, které zkoumají vztah mezi různými proměnnými. Jednodušší kvantitativní analýzu, která pracuje s procenty a průměry, mohou vytvořit sami zaměstnanci programu, kdežto složitější statistickou analýzu by měla provádět osoba s odpovídající kvalifikací a odbornými znalostmi v oblasti výzkumu. Při analýze a interpretaci kvantitativních dat je nutno postupovat podle následujících kroků: Čištění dat Jakmile data shromáždíte, je nutno provést následující kroky: 

uspořádat informace vložením dat do statistického programu, jako je například Excel nebo SPSS, a



zkontrolovat, zda se v datech nenacházejí chyby.

Analýza dat V závislosti na zvoleném modelu výzkumu (např. experimentální, kvaziexperimentální nebo model pre-post) budete zjišťovat následující informace: 

Je u vzorku dat, která jste shromáždili (tj. je skupina hodnocená při určitém zásahu nebo před ním odlišná od kontrolní skupiny nebo skupiny po zásahu), patrný rozdíl v oblasti proměnné, která Vás zajímá?



I když to není u hodnocení v malém měřítku zcela běžné, může Vás v některých případech zajímat i zjištění, zda lze existenci tohoto rozdílu předpokládat také v širší populaci (tj. u všech osob zapojených do programu).



Jaká je pravděpodobnost, že došlo k chybě (tj. že jste identifikovali rozdíl, který ve skutečnosti neexistuje, nebo opačně)?

Typ statistických testů, které lze použít k zodpovězení těchto otázek, bude záviset na povaze údajů, které jste shromáždili. Jak jsme již uvedli dříve, rozsah úvodní příručky neumožňuje poskytnout podrobné vysvětlení jednotlivých metod analýzy a interpretace. Odborné znalosti Pokud nejste dostatečně obeznámeni s problematikou kvantitativní analýzy, neprovádějte ji sami, ale vždy se obraťte na statistika nebo datového analytika.

29

Interpretace dat Při interpretaci výsledků a dříve, než vyvodíte závěry nebo zformulujete doporučení, vezměte v úvahu následující skutečnosti (Zdroj: US Department of Health and Human Services, 2011. Introduction to program evaluation for public health programs: A self-study guide, str. 77): 

Existují i jiná možná vysvětlení Vašich výsledků?



Jak se jeví vaše výsledky v porovnání s výsledky podobných programů?



Jsou vaše výsledky v souladu s teoriemi podporovanými předchozím výzkumem?

Pokud jste své hodnocení pečlivě připravili a ve fázi jeho plánování jste náležitě prozkoumali jeho souvislosti, nemělo by pro Vás být příliš obtížné zodpovědět kteroukoli z výše uvedených otázek (viz B. 1., str. 13).



Vyplynuly z různých metod sběru dat, které jste užili pro měření pokroku Vašeho šetření, obdobné výsledky?



Jsou výsledky v souladu s Vaším očekáváním? Pokud nikoli, proč se podle Vás liší?

Příčinná souvislost a korelace Uvědomte si rozdíl mezi příčinnou souvislostí a korelací. Příčinná souvislost znamená, že jedna věc je příčinou věci jiné. Například čím více budete cvičit, tím více kalorií spálíte. V tomto případě fyzická aktivita zapříčinila, že Vaše tělo spaluje kalorie. Naproti tomu korelace znamená, že dvě události, které se odehrávají ve stejné době, sice spolu vzájemně souvisejí, ale jedna není příčinou druhé a naopak. Například lidé chodí častěji plavat ve dnech, kdy jde více na odbyt zmrzlina. V tomto případě návštěva koupaliště není příčinou konzumace zmrzliny (ani naopak), spíše lze konstatovat, že obě tyto činnosti se odehrávají ve dnech, kdy je horko. Stejně tak byste měli být opatrní v momentě, kdy přímo přisuzujete určitý vliv (např. snížení počtu krádeží aut) Vašemu programu (např. zvyšování povědomí o krádežích aut), aniž byste nejprve uvažovali i o jiných možných vysvětleních.

Při interpretaci dat se ujistěte, že jste zohlednili příslušná omezení, tj. (interní a externí) validitu a spolehlivost výsledků. Validita výsledků se může týkat míry, v níž je možné výsledky zobecnit nebo je extrapolovat na větší skupinu než skupinu respondentů, případně se může týkat kvality nastavení výzkumu a/nebo otázek příčinné souvislosti, tj. přisuzování.

Validita Jak jsme již uvedli dříve, řada kvalitativních metod není určena k zobecnění výsledků, takže z nich nelze vyvozovat závěry týkající se dopadu Vašeho programu!

Spolehlivost výsledků se odvozuje od toho, zda výsledky jsou nebo nejsou konzistentní, tj. například zda lze při opětovném použití téže výzkumné metody dospět ke stejným výsledkům. Více informací o validitě a spolehlivosti lze nalézt také v tematickém dokumentu této sady nástrojů (str.15–16).

30

2. Kvalitativní data Interpretace kvalitativních dat je poněkud odlišná od analýzy číselných dat, neboť její součástí je rozbor smyslu příběhů respondentů a jejich rozpracování do jednotlivých témat vztahujících se k otázkám Vašeho hodnocení. Tento proces může být často velmi náročný vzhledem k tomu, že kvalitativní výzkumné metody mohou generovat obrovské množství dat, ale neexistuje jednoznačný návod, jak se v takových informacích orientovat. Jednotný přístup ke kódování a analýze kvalitativních dat tedy sice neexistuje, avšak při hledání smyslu shromážděných kvalitativních informací lze použít například následující postup 13. 

Vytvoření přehledu Pročtěte si přepisy pohovorů, poznámky z pohovorů apod. a vypracujte si obecné poznámky o všech tématech, charakteristických rysech nebo bodech zájmu, na které jste narazili. Přepis pohovorů Přepis kvalitativních pohovorů může být zdlouhavý a často náročný proces. Vyčleňte si na přepis dostatek času, a pokud Vám to rozpočet dovolí, zvažte i to, zda si na přepis pohovorů nenajmout další osobu.



Zahajte proces kódování informací. Kódováním rozumíme kategorizaci třídění informací podle celkových témat, trendů a charakteristických rysů. Nečekejte, až budou dokončeny všechny rozhovory, ale zahajte tento proces co nejdříve, protože Vám to umožní pracovat s menším, a tedy lépe zvládnutelným množstvím dat a nebudete se jimi cítit zahlceni. Opakujte tento postup a vytvářejte si podrobnější a četnější poznámky. Nyní provádíte kódování dat.

Barevné kódování Při ručním zpracování informací získaných v rámci kvalitativních pohovorů existuje jednoduchý, ale užitečný způsob jejich kódování, a tím je použití barev. Každá barva představuje určité téma. Jakmile provedete barevné kódování přepisů, umožní Vám to snáze uspořádat témata do skupin podle barev.



Zkontrolujte kódy/kategorie. K jakému konceptu (konceptům) se vztahují kategorie, které jste odlišili (viz evaluační otázky)? Odrážejí se některé z těchto myšlenek v literatuře? Souvisejí spolu některé z těchto kategorií?



Vytváření představ. V této fázi byste měli být schopni vytvořit určité obecné představy o shromážděných datech. Pokuste se nastínit souvislosti mezi pojmy/tématy, které jste rozlišili, a zkuste uvést vysvětlení těchto souvislostí.

13 Více informací o analýze kvalitativních dat viz publikace: The Magenta Book: guidance notes for policy evaluation and analysis – vydání z roku 2007, str. 8:36 http://resources.civilservice.gov.uk/wp-content/uploads/2011/09/the_complete_magenta_book_2007_edition2.pdf

31

3. Diskuse o zjištěních se zúčastněnými stranami Jakmile dokončíte analýzu všech dat a vytvoříte návrhy zjištění, může být přínosné zapojit do vypracování konečného znění hodnotící zprávy i zúčastněné strany. Mělo by se konat několik setkání hodnotícího týmu, poradního výboru a ostatních příslušných zúčastněných stran, aby bylo možné prodiskutovat výsledky hodnocení a společně rozhodnout o podávání zpráv a šíření těchto výsledků.

Oddíl 3: Podávání zpráv a informování o výsledcích Poté, co jste naplánovali a provedli hodnocení, je důležité, abyste účinně sdělili, co jste o programu zjistili. Zapojení zúčastněných stran Nezapomeňte, že hodnocení mají pomoci činit o programu rozhodnutí. Všechny zúčastněné strany by proto měly co nejdříve diskutovat o tom, jak nejlépe a komu sdělit výsledky hodnocení. To vám pomůže pochopit požadavky příslušných zúčastněných stran a snadněji je zohlednit v závěrečné zprávě o hodnocení. Může být užitečné zapojit zúčastněné strany do redigování závěrečné zprávy. Naplánujte několik setkání s hodnotícím týmem a poradní skupinou, na nichž budete moci o výsledcích hodnocení diskutovat a společně rozhodnout, jak budou vykázány a šířeny.

Bez ohledu na to, jaký přístup k hodnocení zvolíte, by závěrečná zpráva o hodnocení měla: 

být sepsána jasně,



přesně odrážet výsledky hodnocení a jasně popisovat, co funguje, co nikoli (a proč!), pro koho a v jakém kontextu či za jakých okolností,



popisovat silné stránky, ale také omezení hodnocení,



být srozumitelná pro cílové publikum. To znamená, že byste ji měli přizpůsobit potřebám publika, na které se zaměřujete, a použít takový styl, tón a jazyk, který bude moci publikum snadno pochopit, a to bez technického žargonu,



obsahovat informace anebo doporučení, které usnadní rozhodování.

Kromě toho, že vám účinně zveřejněné zprávy o hodnocení pomohou při rozhodování, budou přínosné i jinak, např. tím, že financujícím a jiným příslušným subjektům demonstrují vaši odpovědnost, různému publiku ukážou kladné dopady programu, zlepší znalosti o prevenci trestné činnosti, a to zejména v místní komunitě, a zvýší podporu pro obdobné programy. 1.

Struktura závěrečné zprávy

I když lze zprávy o hodnocení předkládat různými způsoby, měly by zpravidla obsahovat následující oddíly a mít následující strukturu (na základě dokumentu Ministerstva zdravotnictví USA, 2011. Úvod k hodnocení programů v oblasti veřejného zdraví: příručka pro samostudium, str. 86):

 Shrnutí: mělo by obsahovat stručný přehled vašich hlavních zjištění a začínat těmi nejdůležitějšími a nejzajímavějšími výsledky; zpráva může také před touto částí obsahovat jednu stránku, kde jsou 32

v bodech uvedeny hlavní závěry hodnocení (viz formát 1:3:25 v rámečku s radami níže), pro zaměstnané čtenáře. 

Souvislosti a účel

o souvislosti programu a popis: obsah a kontext o

popis zúčastněných stran a míra jejich účasti

o zdůvodnění hodnocení: vysvětlení, proč bylo hodnocení provedeno a čeho mělo dosáhnout o 

klíčové hodnotící otázky / zaměření

Metodika hodnocení o

popis metodiky (koncepce, výběr vzorků, ukazatele, postupy shromažďování údajů…)

o

shrnutí shromážděných údajů

o analýza údajů: vysvětlení provedených analýz + omezení 

Výsledky o

zjištění a závěry, které lze ze zjištění vyvodit

o

doporučení plynoucí ze zjištění a získaných poznatků

 Dodatky: pro všechny další související a užitečné informace, které nejsou obsaženy v hlavním textu zprávy (např. dotazníky, pokyny k pohovorům a další dokumenty použité během hodnocení) Zdůrazněte významné informace! Čtenáři vaší zprávy budou mít pravděpodobně náročný pracovní program. Proto byste měli na prvním místě uvést důležité informace, a to ve srozumitelném jazyce (např. zdůrazněte hlavní výsledky odrážkami). To pomůže zaručit, že čtenáři budou mít zjištění a doporučení vyplývající z vaší zprávy o hodnocení v patrnosti. Jako příklad, jak psát srozumitelné a čtivé zprávy, lze použít formát 1:3:25, který používá ministerstvo vnitra Spojeného království a australské a kanadské zdravotnictví. Jedna strana s body popisujícími hlavní sdělení, 3 strany shrnutí a 25 stran, na nichž popíšete zjištění, a to jazykem, který je jasný a srozumitelný i pro neodborníky (viz http://www.hse.gov.uk/research/producing-reports-advice.pdf).

2.

Sdělování výsledků

V závislosti na tom, jaký rozpočet máte k dispozici a jaké publikum chcete oslovit, existuje řada způsobu, jak můžete výsledky hodnocení zveřejnit. Mezi ně patří výtisky celé závěrečné zprávy, elektronické verze, které lze zpřístupnit na internetu, zpráva se stručným

Zpráva by měla být zajímavá a čtivá Zprávy, které vypadají zajímavě, si pravděpodobně přečte více lidí. Podle potřeby používejte grafy, tabulky a výňatky z pohovorů, aby byla vaše zpráva zajímavější a čtivější.

33

shrnutím, která jednoduchými pojmy popisuje hlavní výsledky hodnocení anebo dokonce krátký film o programu a hodnocení. Podělte se o získané poznatky! Je zřejmé, že lidé raději vyprávějí a poslouchají o úspěchu. Proto může být často obtížné poukazovat na nedostatky či slabé stránky programu. Je však o to důležitější o těchto výsledcích informovat, aby se budoucí programy v budoucnosti mohly poučit z případných chyb.

Použijte různé metody a kanály k informování publika o výsledcích vaší zprávy o hodnocení, např.: 

sociální média a jiné webové stránky, na nichž zdůrazníte hlavní výsledky,



konference a semináře, na nichž je možné o výsledcích hodnocení diskutovat s jinými profesionály a odborníky,



prezentace pro komunitní skupiny, místní organizace atd. Osvědčené postupy a prezentační techniky K zesílení účinku využijte interaktivní metody komunikace. Při prezentaci výsledků například používejte osvědčené postupy či různé prezentační techniky, účinek tak bude větší a hodnocení se začlení do standardního způsobu práce.



tiskové konference a rozhovory se zástupci sdělovacích prostředků (televize, rozhlasu, tisku…),



bulletiny různých (partnerských) organizací,



k šíření zjištění použijte osobní sítě, databáze a kanály vedoucích pracovníků programu,



zvažte případně sepsání recenzovaného článku pro uznávaný akademický časopis,



zprávy přijímají některé významné databáze, např.: https://www.ncjrs.gov/library/contribute.html http://opengrey.eu/about/contribute

34

Přílohy: pracovní listy Pracovní list 1.A.1 – Stanovení příslušných zúčastněných stran Nejprve sestavte seznam potenciálních zúčastněných stran a jako vodítko použijte tyto dotazy:    

Zvýší dané osoby/organizace kvalitu (spolehlivost) hodnocení? Jde o osoby/organizace, které program provozují? Je možné, že osoby/organizace případně využívají výsledky hodnocení? Ovlivní program tyto osoby/organizace? Pracovní list – Zúčastněné strany

Zúčastněná strana

např. místní orgány

Způsob zapojení zúčastněné strany např. zvýšení spolehlivosti hodnocení např. provedení a zdůvodnění změn např. financování programu

např. vedoucí představitelé komunity

např. zvýšení spolehlivosti hodnocení např. vliv na výsledky programu

např. mládežnická organizace

Oblast zájmu související s programem např. podpora pro mladé pachatele trestných činů např. program sníží počet případů opětovného páchání trestných činů např. podpora pro mladé pachatele trestných činů a jejich rodiny

Pracovní list 1.A.2 – Rozpočet Pracovní list – Rozpočet Fáze projektu (plánování, provádění, podávání zpráv) např. plánování

Úkol

Odhadované náklady

Zdroj

např. setkání zúčastněných stran

např. xxx EUR

např. financování prostřednictvím grantů

Pracovní list 1.A.3 – Kontrolní seznam pro zadávací dokumentaci Pokud se rozhodnete zadat hodnocení externím hodnotitelům, měla by zadávací dokumentace, kterou vypracujete, obsahovat tyto body: • • • • •

souvislosti programu/projektu, který chcete nechat vyhodnotit, účel hodnocení (tedy čeho má hodnocení dosáhnout), jak chcete nechat hodnocení provést (podrobné pohovory s klíčovými zúčastněnými stranami, průzkum mezi uživateli služeb, analýza údajů před zahájením programu atd.), různé úkoly, které má úspěšný uchazeč vykonat (shromáždění údajů, analýza, sepsání zprávy atd.), lhůty pro vypracování hodnocení,

35

• •

• • •

finanční specifikace (kolik prostředků má být poskytnuto, podrobnosti o příslušných finančních nařízeních), údaje požadované od uchazeče včetně:  kontaktních údajů,  odborných znalostí v dané oblasti,  životopis pracovníků uchazeče,  požadovaný formát informací (např. prezentace, písemný návrh nabídky), kritéria pro výběr úspěšného uchazeče (zkušenosti, proveditelnost návrhu, hodnota za vynaložené prostředky atd.), kontaktní místo pro podání žádostí, lhůta pro podání žádostí.

Pracovní list 1.B.1 – Popis programu (Zdroj: Ministerstvo zdravotnictví USA, 2011. Introduction to program evaluation for public health programs: A self-study guide – Úvod k hodnocení programů v oblasti veřejného zdraví: příručka pro samostudium). Pracovní list – Popis programu Činnost Potřeba: Jaký problém se program snaží řešit? Cíle: Která skupina/organizace se potřebuje změnit nebo má provést opatření, aby byl zaručen pokrok při řešení problému? Výsledky: Jak a jakým způsobem je třeba tyto cílové skupiny ovlivnit? Jaká opatření je v souvislosti s nimi třeba přijmout? Činnosti: Jak program tyto cílové skupiny přiměje, aby se změnily či provedly určitá opatření? Výstupy: Jaké konkrétní výstupy budou výsledkem činností programu? Zdroje/vstupy: Čeho je zapotřebí od širšího okolního prostředí, aby bylo možné úspěšně zahájit činnosti? Vztah mezi činnostmi a výsledky: Jaké činnosti se provádějí, aby bylo dosaženo pokroku z hlediska konkrétních výsledků? Stupeň vývoje: Program právě začal, je prováděn nebo již nějakou dobu probíhá? Kontext: Jaké faktory/tendence v širším okolním prostředí mohou ovlivnit, zda bude program úspěšný, či nikoli?

Popis

Pracovní list 1.B.2a – Seřazení činností a výsledků Činnosti

Výsledky

Rané činnosti

Pozdější činnosti

Rané výsledky

Pozdější výsledky

např. identifikace

např. vytvoření

např. více poznatků o

např. více 36

cílových skupin

komunikačního plánu a nástrojů

tom, jak předcházet vloupání

bezpečnostních opatření v rodinných domech, která mají zabránit vloupání

Pracovní list 1.B.2b – Přehled vstupů, činností, výstupů a výsledků Vstupy

Počáteční činnosti

Pozdější činnosti

Výstupy

Počáteční výsledky

Pozdější výsledky

např. financová ní

např. identifikace cílových skupin

např. vývoj plánu a nástrojů pro komunikaci

např. komunikační zpráva se sdělením

např. více poznatků o tom, jak předcházet vloupání

např. více bezpečnostníc h opatření v rodinných domech

Pracovní list 1.B.3 – Předchozí výzkum/hodnocení Předchozí výzkum/hodnocení Autor (jména v abecedním pořadí)

Název (název publikace)

Zdroj + rok vydání (časopis / kniha / zdroj na internetu)

Klíčové body / hlavní výsledky

např. Verwee, I.; Ponsaers, P. & Enhus, E.

např. Burglar is my trade, texture and practice of burglary

např. kniha (2007)

např. nutnost integrálního a integrovaného přístupu

Pracovní list 1.B.4a – Hodnotící otázky Formulování hodnotících otázek Složka programu (činnost/výsledek) Hodnotící otázka např.: 6 měsíců po dokončení programu vzroste např.: Dosáhl program cíle zvýšit počet hlášených počet hlášených případů podezřelého chování o případů podezřelého chování? 25 %. např.: Po jednom roce klesne strach uživatelů např.: Vykazují uživatelé služeb po programu nižší služeb z trestné činnosti o 40 %. úroveň strachu z trestné činnosti oproti osobám, které služby nevyužívají?

Pracovní list 1.B.4b – Přiřazení hodnotící otázky k údajům Přiřazení hodnotících otázek ke shromažďování údajů Hodnotící otázka

Druh údajů

Zdroj údajů

Metoda 37

např.: Dosáhl program cíle zvýšit počet hlášených případů podezřelého chování? např.: Vykazují uživatelé služeb po programu nižší úroveň strachu z trestné činnosti oproti osobám, které služby nevyužívají?

např. kvantitativní

např. policejní záznamy

např. kvantitativní

např. průzkum viktimizace (ICVS)

a např. kvalitativní

např. individuální uživatelé služeb a osoby, které služby nevyužívají

shromažďování údajů např. sekundární údaje analyzované výzkumným oddělením např. sekundární údaje analyzované statistickými odborníky z vysoké školy např. sběr primárních údajů: důkladné pohovory vedené vyškolenými odborníky a analyzované výzkumným oddělením

Pracovní list 1.B.5a – Hodnocení postupů Hodnocení postupů Zamýšlený postup (činnost) např.: Bude vyškoleno 25 dobrovolníků z řad místní policie ke zvyšování informovanosti o této tematice.

Uskutečněný postup (činnost) např.: Bylo vyškoleno 10 policistů.

Důvod úpravy např. nedostatek zájmu ze strany místních policistů

Nutná další změna (doporučení) např.: Školení bude povinné pro všechny místní policisty.

Pracovní list 1.B.5b – Hodnocení výsledků Hodnocení výsledků Plánovaný výsledek např.: 6 měsíců po dokončení programu vzrostl počet hlášených případů podezřelého chování o 25 %.

Skutečný výsledek např. 10% nárůst

(Možné) příčiny rozdílu např.: Letáčky v místní knihovně se nedostanou k cílové skupině. Např.: Nedostatek vyškolených pracovníků k návštěvám domácností

Navrhovaná úprava např.: Použijte jiné distribuční kanály. např.: Školení bude povinné pro všechny místní policisty.

38

Poděkování Chtěli bychom poděkovat všem odborníkům, kteří se zúčastnili seminářů a jejichž plodné podněty byly pro sepsání této příručky nepostradatelné. Zvláště je třeba uvést pana prof. Marka Leyse z bruselské univerzity (Vrije Universiteit) (Belgie), jemuž patří poděkování za to, že po celou dobu přípravy tohoto souboru nástrojů poskytoval sekretariátu EUCPN intenzivní podporu a také moderoval druhý bruselský seminář. Na závěr bychom rádi vyjádřili vděčnost paní Erice Sallanderové ze Švédské národní rady pro předcházení trestné činnosti (Brottsförebyggande rådet – Brå), která se nezúčastnila seminářů, ale ochotně se s námi podělila o své odborné znalosti této problematiky a poskytla nám zpětnou vazbu a některé velmi užitečné připomínky k dřívějším verzím tohoto dokumentu. Odborníci, kteří se zúčastnili seminářů Seminář I – 25. března 2013, Dublin, Irsko Barry Connan, An Garda Síochána Analysis Service (analytická služba), Irsko Dr. Yvonne Daly, Dublin City University, Irsko Jenny Jakobson, ministerstvo vnitra, Estonsko Philip Jennings, Safer Blanchardstown, Dublin, Irsko Prof. Wolfgang Kahl, německé fórum pro předcházení trestné činnosti (DFK), Německo Dr. Aogan Mulcahy, University College Dublin, Irsko Dr. Kieran O’Dwyer, nezávislý konzultant, Irsko Sarah O’Gorman, South Dublin County Council, Irsko Supt. Colette Quinn, ředitelka resocializačního programu pro mladistvé pachateletrestných činů, An Garda Síochána, Irsko Sean Redmond, Irish Youth Justice Service (irský orgán soudnictví ve věcech mládeže), Department of Children and Youth Affairs (ministerstvo dětí a mládeže), Dublin, Irsko Gurchand Singh, vedoucí analytické služby An Garda Síochána Analysis Service, Irsko Dr. Helga Sneddon, Centre for Effective Services (středisko efektivních služeb), Dublin, Irsko Charlotte Vincent, dánská rada pro předcházení trestné činnosti, Dánsko

Seminář II – 6. června 2013, Brusel, Belgie Ileana Bogatoniu, generální policejní ředitelství v Bukurešti – oddělení analýzy a prevence trestné činnosti, Rumunsko Alessandro Carini, Polizia di Stato – Direzione Centrale Anticriminelle, Itálie Peter Colle, Local Prevention and Security (místní prevence a bezpečnost), Gent, Belgie 39

Saskia De Clercq, ministerstvo vnitra – generální ředitelství pro místní a celkovou bezpečnost, Belgie Tomas Jansson, policie, Halland, vítěz European Crime Prevention Award 2012, Švédsko Dr. Theo Lorenc, London School of Hygiene & Tropical Medicine (londýnská škola hygieny a tropického lékařství), Spojené království Robert Pawlak, policejní ředitelství, Łódź, Polsko Dr. Aiden Sidebottom, University College London – Department of Security and Crime science (fakulta bezpečnosti a kriminologie), Spojené království Prof. Nick Tilley, University College London – Department of Security and Crime science (fakulta bezpečnosti a kriminologie), Spojené království Didier Vanbesien, ministerstvo vnitra – generální ředitelství pro místní a celkovou bezpečnost, Belgie

40

Kontaktní údaje: Sekretariát EUCPN Tel: +32 2 557 33 30 Fax: +32 2 557 35 23 E-mail: [email protected] Web: www.eucpn.org [D.P : Philip Willekens – Boulevard de Waterloo 76 – 1000 Brusel]

41