Autorský tým: Mgr. Alena Husárová, Univerzita Palackého v Olomouci, ČR Mgr. Magdalena Filipczyk, WASKO S.A., Polsko

Autorský tým: Mgr. Alena Husárová, Univerzita Palackého v Olomouci, ČR Mgr. Magdalena Filipczyk, WASKO S.A., Polsko Editorka: Martina Vexlerová, ASPRA a.s., ČR Poděkování za spolupráci na přípravě brožury patří všem členům mezinárodního partnerství TCA Id. No.4287, Outplacement jako podpora zaměstnancům i zaměstnavatelům. Publikace byla připravena v rámci projektu IS Equal „Outplacement pro velké podniky“ číslo EQUAL/054 CZ.04.4.09/3.3.00.4/0047 Tento projekt je spolufinancován z prostředků Iniciativy Equal a státního rozpočtu České republiky.

© Design, konzultace, produkce a tisk: ASPRA a.s. a 94 minutes, s.r.o., 2008

Brozura CZ_prehozeny.indd 38

6.3.2008 18:13:16

Obsah 1. Příběh o evaluaci

3

2. Úvod

4

3. Cíl brožury o evaluaci

4

4. Teoretická východiska pro evaluaci

5

5. Kdo je evaluátor

6

6. Evaluace podle cíle

8

7. Předmět evaluace a zdroje pro evaluaci

10

8. Vztah mezi monitoringem a evaluací

12

9. Indikátory

13

10. Logický model evaluace

15

11. Evaluační strategie

18

12. Plán evaluace

19

13. Metody a techniky evaluace

21

14. Struktura závěrečné zprávy

23

15. Diseminace

24

Přílohy

26


6.3.2008 18:12:50

Mgr. Alena Husárová Absolvovala sociologii a filozofii na Univerzitě Palackého v Olomouci. V profesním zaměření se věnuje metodologii sociologického výzkumu a její praktické aplikaci. Koordinovala či participovala na sociologických a evaluačních šetřeních v rámci EU projektů (Socrates Grundtvig, OP RLZ (MŠMT), European Commission – DG Employment, Social Affairs and Equal Opportunities). Působí jako sociolog v Profesně poradenském centru Filozofické fakulty Univerzity Palackého v Olomouci a v neziskové společnosti TARA Professionals, o.p.s.

Mgr. Magdalena Filipczyk Absolvovala psychologii na Slezské Univerzitě v Katowicích, v Polsku. V rámci operačních programů Evropské Unie participovala na projektu „Zvýšení konkurenceschopnosti podniků“ a stala se koordinátorem trenérů, trenérem a také auditorem. Její profesní zkušenosti jsou spojeny s oblastí lidských zdrojů – recruitment a tréninky. Vzdělávání jako hlavní předmět evropských projektů je pro ní motivací zapojit se do práce projektových týmů. Působí jako evaluátor, což jí poskytuje příležitost získávat další zkušenosti v oblasti HR, ale nejen v ní.


6.3.2008 18:12:52

1

1. Příběh o evaluaci Autor: A. Husárová

O muzeu a validitě Bylo jednou v jednom krásném městě krásné Muzeum objevů vědy a techniky. Jeho ředitelem byl podnikavý a sečtělý mladý muž a ten se jednou dočetl o evaluační studii podniknuté v jednom muzeu v Chicagu, která použila opotřebení koberce před jednotlivými exponáty jako ukazatele pro hodnocení jejich popularity u návštěvníků. Dočetl se také, že tato technika byla použita i jinde, a tak se rozhodl, že ji použije i ve svém muzeu. Výsledky evaluace byly poněkud překvapivé. Jako nejúspěšnější byl vyhlášen exponát věnovaný úspěchům Čtyřletého plánu hospodářské výstavby, skříň s uprášenými diagramy a plakáty, věcmi, o které v té době předstírali zdvořilý zájem jen reprezentanti nejvyšších mocenských orgánů. Výsledky byly publikovány, ředitel dostal vyznamenání a muzeum podstatně zvýšený rozpočet. Jenom několik set zasvěcenců vědělo, že kolem nejúspěšnější expozice vede jediný přístup k jediným toaletám v muzeu. Zpracováno podle: Disman, M.: JAK SE VYRÁBÍ SOCIOLOGICKÁ ZNALOST

Absolutní znalost neexistuje. Každá informace je neúplná. Musíme k ní přistupovat pokorně. J. Bronowski, THE ASCENT OF MAN

3


6.3.2008 18:12:53

2

2. Úvod Autor: M. Filipczyk & A. Husárová

Tento dokument je jednou ze závěrečných publikací 2. expertní pracovní skupiny vytvořené v rámci Mezinárodního partnerství „Outplacement – podpora pro zaměstnance a zaměstnavatele“, které je nadnárodním tématem dvou národních projektů realizovaných s podporou Evropského sociálního fondu v rámci Iniciativy Equal: „Wisdom comes from knowledge“ (PL) a „Outplacement pro velké podniky“ (CZ). Evaluace je poměrně novým jevem a je spojena zejména s řešením projektů financovaných z prostředků Evropské Unie. Využívá metody, techniky a strategii aplikovaného sociologického výzkumu, ale zároveň má svá specifika: klade tzv. evaluační otázky, má kontrolní funkci a vztah ke kvalitě věcí. Evaluace si klade otázky: Co se stalo? Jak se to stalo? Proč se to stalo? Bylo dosaženo cíle? Jak je cíl kvalitní? Evaluace poskytuje cennou zpětnou vazbu na kvalitu, efektivitu a funkčnost produktů, procesů či aktérů. Bez zpětné vazby by mnohé činnosti nedospěly k požadované kvalitě nebo se minuly očekáváním.

3

3. Cíl brožury o evaluaci Autor: A. Husárová

Z příběhu o evaluaci jsme se mohli dovědět mnoho poučného. Např. že špatně zvolený ukazatel či technika měření znehodnocuje platnost našeho zjištění. Také to, že o špatných výsledcích se někdy nedozví ani výzkumník ani samotný zadavatel.

Neúspěch v měření lze svalovat na složitost reality, do níž vstupujeme, ale daleko lepší je znát základní pravidla evaluace a díky znalostem provádět výzkum s co možná největší dosažitelnou korektností.

Tato brožura o evaluaci si klade za cíl stručně seznámit čtenáře s některými principy pro korektní provádění evaluačních šetření. Nabídne teoretické ukotvení evaluace, ale více než to zprostředkovává a abstrahuje zkušenosti autorek s reálným prováděním a koordinací mnoha evaluačních šetření, realizovaných zejména v kontextu evropských grantových projektů. 4


6.3.2008 18:12:53

4

4. Teoretická východiska pro evaluaci Autor: M. Filipczyk

Evaluace představuje proces systematického shromažďování dat o aktivitách, charakteristikách a výsledcích programů, personálu a produktech. Shromážděné údaje jsou následně využity k tvorbě či zlepšení efektivnosti programů a slouží jako základ pro přijímání konkrétních rozhodnutí týkajících se programu, aktivit, personálu a produktů. U sociálních činností je hodnocení prováděno pomocí metod sociálního výzkumu s cílem posoudit efektivnost sociálních programů systematicky. Stručně řečeno: evaluace představuje systematické posouzení přínosu, hodnoty a smyslu programů a opatření na základě předem stanovených kritérií a konkrétních shromážděných údajů. Evaluace umožňuje měřit efektivnost realizovaných činností posouzením míry, do jaké bylo dosaženo předem stanovených cílů. V projektech EU jsou nejčastěji používanými hodnotícími kritérii řešení potřeb (určitého sektoru, příjemců projektu apod.), účinnost, efektivnost, vliv a trvalost výsledků. Samotný proces evaluace zahrnuje mnoho různých výzkumných činností a operací. Nejčastěji používaná typologie hodnocení vychází z dělení podle role, jakou má hodnocení v konkrétních fázích projektu. Rozlišujeme tři druhy hodnocení: 1. Evaluace ex ante je prováděna na samotném začátku projektu, před realizací jakýchkoliv opatření. Jejím cílem je zjistit, zdali daný program řeší skutečné sociální potřeby. Evaluace ex ante je zaměřeno na posouzení výhod a nevýhod programu a na posouzení kvality strategie, která by měla vést k předpokládaným výsledkům. Je rovněž základem pro další monitoring a hodnocení, poněvadž popisuje měřitelné ukazatele, které mají vazbu na dosahování výsledků. 2. Střednědobá/průběžná evaluace je prováděna v polovině realizační fáze projektu. Nejprve jsou analyzovány účinky projektu, kvalita řízení, kvalita finančního řízení, jakož i kvalita metod, pomocí nichž je program realizován. Tento druh hodnocení využívá informace ze systému monitoringu a vychází z ukazatelů popsaných v rámci hodnocení ex ante. Jeho cílem je zlepšit řízení projektu v současném okamžiku. 3. Evaluace ex post shrnuje a vyhodnocuje program/projekt jako celek, zejména pokud jde o jeho účinky po realizaci. Tento druh hodnocení analyzuje efektivnost programu a kvalitu použitých zdrojů. Často je spojen i s formulací závěrů a doporučení, které jdou nad rámec hodnoceného programu/projektu. Evaluace má čtyři základní funkce: Funkce formativní. Formativní role hodnocení se vyskytuje souběžně s procesem, který je předmětem hodnocení. V daném okamžiku hodnocení upozorňuje na oblasti, kde je vyžadována náprava či zlepšení, a předkládá důvody takových změn a stanovuje směr, kterými by se měly ubírat. Sumativní funkce. Tato role hodnocení přichází na řadu v okamžiku, kdy jsou požadovány zprávy o plnění projektu (reporting), nebo je využívána jako východisko pro přijímání závazných rozhodnutí. Tento druh 5


6.3.2008 18:12:53

hodnocení popisuje konečné výsledky hodnocených opatření, hledá vysvětlení vazeb mezi vstupy a výstupy (viz: Logický model), přičemž je porovnává s původními předpoklady. Funkce psychologická. Tato funkce se vztahuje na případy, kdy jsou hodnocení a jeho výsledky využívány pro vytváření povědomí o určitých opatřeních, pro přesvědčování lidí o určitých myšlenkách a vzorcích chování nebo pro prosazování určitých sociálních vztahů. Funkce administrativní. Tato role hodnocení je využívána při výkonu moci a uplatňování vlivu na určité lidi, firmu či instituci. U projektů EU má evaluace zejména tyto funkce: − testování efektivnosti realizovaných programů (tj. definování faktorů, které mají vliv na úspěšnost dosahování požadovaných cílů – podporování faktorů pozitivních a eliminování faktorů negativních) − vytváření pozitivního společenského klimatu pro projekt (lepší komunikace v rámci projektu, zpětná vazba o image projektu) − podpora strategického řízení (předkládání analýz a doporučení – východiska pro tvorbu strategie a přijímání rozhodnutí Hodnocení je velmi důležité, poněvadž umožňuje vědomé zopakování úspěchu, a navíc je zdrojem nezbytných informací pro přijímání zásadních rozhodnutí.

5

5. Kdo je evaluátor Autor: A. Husárová

Evaluaci by měl provádět člověk, znalý alespoň základů metodologie sociologického výzkumu. Kompetenčně nejvíce vyhovujícími jsou: • sociologové • psychologové Evaluátor by měl mít kompetence ve vztahu k evaluačním aktivitám. Pokud evaluaci neprovádí jeden člověk, ale tým lidí, pak není nezbytně nutné, aby všichni členové týmu měli zkušenosti s evaluací, protože některé zkušenosti lze částečně nahradit specifickým školením. Obecně by měly mezi členy evaluačního týmu patřit osoby, které mají: • • • • •

zkušenosti s výběrem dat a analýzou dat zkušenosti s prováděním strukturovaných pohovorů zkušenosti s řízením skupinové diskuse zkušenosti s přípravou závěrečné zprávy zkušenosti s prezentací a diseminací

6


6.3.2008 18:12:53

Úkolem evaluátora je mimo jiné i zhodnotit efektivitu výstupů ve vztahu ke vstupům a eliminovat neplánované a nežádoucí jevy v procesu dosahování výstupů. Na základě toho, čemu nebo komu mají výsledky sloužit a jaké máme alokované zdroje pro provedení evaluace, se rozhodujeme, zda evaluaci bude provádět interní či externí evaluátor. Interní evaluátor Provádí evaluaci za využití vnitřních zdrojů (finance, lidské zdroje, kompetence, čas). Angažování interního evaluátora je levnější, ale při výběru je potřeba dbát na to, aby měl vyžadované kompetence či alespoň dostatek zkušeností s prováděním evaluací. Výhodou je, že interní evaluátor může evaluovat častěji, různoroději, průběžně, cyklicky apod. Externí evaluátor Zahrnuje externí konzultanty a odborníky. Využití služeb externího evaluátora je náročnější na alokaci zdrojů (finančních, časových, organizačních). Angažujeme ho nepravidelně, pokud se vyskytne potřeba. Služby externího evaluátora nelze využívat příliš často.

Rozhodnutí o interním či externím evaluátorovi činíme dle toho: Co je cílem evaluace? Dokdy má být evaluace provedena? Nakolik je evaluace metodologicky náročná? Komu jsou určeny výstupy z evaluace? Kolik máme alokovaných zdrojů?

Při jakémkoli výzkumném šetření, např. evaluaci, je potřeba si uvědomit, že každý výzkumník má svou vlastní perspektivu, ze které nahlíží na získaná data. Perspektiva externího evaluátora je vzdálenější a může se stát, že osobní neznalost kultury, poměrů, terminologie cílové skupiny způsobí dezinterpretaci ve výsledku. Na druhé straně, interní evaluátor postrádá značnou míru objektivity právě kvůli jeho osobní zainteresovanosti do procesů uvnitř zkoumané reality. Důležitou zásadou se zdá být přijetí premisy, že evaluátor se svou interpretací stojí vždy jakoby nad zkoumanou realitou, má svou vlastní perspektivu, ze které interpretuje, své vlastní kulturní vzorce, své specifické „brýle“, kterými nahlíží.

Jakýkoli výzkumník, třeba evaluátor, je ve vztahu ke zkoumané realitě cizincem. Metodologicky korektně provedeným výzkumem lze jenom maximalizovat šanci, že uchopení a interpretace zkoumané reality se přiblíží pravdě. 7


6.3.2008 18:12:53

6

6. Evaluace podle cíle Autor: M. Filipczyk

Existují dva základní metodologické přístupy k evaluaci: kvantitativní a kvalitativní. Oba se navzájem doplňují a během evaluačního procesu by měly být oba využívány. Cílem kvantitativního výzkumu je nalézt obecný výskyt určitého jevu. Například při hodnocení školicího programu se hledá odpověď na otázku týkající se počtu lidí, kteří získali nové dovednosti. Naproti tomu si kvalitativní výzkum klade za cíl nalézt odpovědi na otázky týkající se příčin výskytu určitého jevu. Například: proč lidé nepoužívají své nové dovednosti v praxi, přestože je doloženo, že si tyto dovednosti během školení osvojili. Kvantitativní hodnocení – charakteristika a funkce Jak bylo uvedeno výše, při použití kvantitativního přístupu hledá hodnotitel pravidelnosti a všeobecné charakteristiky určitého jevu. Snahou výzkumníka je získat velké množství srovnatelných dat. Za tímto účelem používá techniky, jako např. dotazník nebo strukturovaný rozhovor, které umožňují posoudit míru výskytu určitého jevu. Otázky jsou obvykle strukturovány, standardizovány a formulovány tak, aby neovlivňovaly výslednou odpověď a aby zajišťovaly spolehlivost a platnost získaných údajů a dávaly možnost tyto údaje zobecnit. Při výzkumu se obvykle používají metody náhodného nebo kvótního výběru (to znamená, že dané podskupiny mají ve vzorku stejné poměrné zastoupení jako v celé populaci, tj. pokud např. 61 % polské populace žije ve městech, bude příslušný kvótní vzorek obsahovat rovněž 61 % občanů z měst). Zpracování kvantitativních dat vychází striktně ze statistických metod. Charakter a hloubka analýzy závisejí na použité metodě měření (nominální, ordinální, intervalové nebo poměrové měření). Popisné statistické charakteristiky podávají informace o struktuře dané proměnné a o vztazích mezi proměnnými (korelacích). A díky statistice je možné i ověřit stanovené hypotézy. Nicméně je velmi důležité mít na paměti, že z korelace proměnných nutně nevyplývá jejich příčinná souvislost – takový předpoklad je častou chybou. Je třeba vždy zdůraznit, že korelace mezi dvěma proměnným nutně neznamená, že je mezi nimi vztah příčiny a následku. Druhý problém dobře vyjadřuje věta: „Vše lze dokázat statisticky.“ Způsob, jakým jsou data tříděna, může zdůraznit či setřít významné rozdíly. Z tohoto důvodu by měl být výzkumník odborníkem na danou problematiku, který má zkušenosti s eliminací tohoto druhu rizika souvisejícího se statistickým šetřením. Hlavní výhody tohoto přístupu jsou tyto: - umožňuje efektivně shromažďovat platné a spolehlivé informace od velkého počtu respondentů; - jeho používání je flexibilní (lze shromažďovat široký okruh informací); - jeho provádění a správa jsou snadné; - jeho výsledky lze prezentovat jasným a srozumitelným způsobem.

8


6.3.2008 18:12:53

Jeho hlavní nevýhody jsou tyto: - závislost na tom, zdali respondenti odpovídají pravdivě a zdali jsou ochotni spolupracovat; - odpovědi uváděné v uzavřených otázkách mohou mít pro různé respondenty různý význam, např. „průměrná doba sportovní aktivity” může být jedním respondentem chápána jako jedna hodina týdně, zatímco pro jiného jako jedna hodina denně. Kvalitativní hodnocení – charakteristika a funkce Jak bylo řečeno výše, u kvalitativního přístupu má hodnotitel již k dispozici číselné údaje a hledá odpovědi na otázky týkající se příčin určitého jevu. Shromažďování dat výzkumník obvykle provádí pomocí řady různých technik, které jsou pro kvalitativní hodnocení typické, jako např.: pozorování, nestrukturovaný rozhovor, skupinové techniky, odborné posudky. Tyto techniky umožňují hlouběji posoudit daný problém a získat o něm více informací, na druhé straně je však mnohem obtížnější získané údaje zpracovat a srovnávat. Zpracování kvalitativních údajů je komplikované, zejména ve srovnání se zpracováním dat kvantitativních. Výzkumný pracovník by měl být připraven takovou analýzu provést, přičemž velmi důležité jsou jeho zkušenosti v daném oboru, které mají přímý dopad na kvalitu výsledků analýzy. Výzkumník získá velké množství nestrukturovaných údajů a tyto musí uspořádat a nalézt v nich určité zákonitosti. K analýze kvalitativních dat existují dva možné přístupy. 1. Výzkumník se snaží nalézt zajímavé (z hlediska hodnoceného projektu) problémy a hledá odpovědi na výzkumné otázky (týkající se záležitostí, které jsou důležité pro hodnotící proces). Při analýze rozhovoru s manažerem projektu se výzkumník může zaměřit na nalezení informací např. o skutečnostech, které napomáhají realizaci projektu. 2. Výzkumník může roztřídit získané údaje do skupin a poté z nich vybrat ty nejdůležitější informace. Tyto informace jsou následně porovnávány s hodnoceným projektem (viz: Plán evaluace) a posuzovány z hlediska hodnotících výzkumných otázek. První přístup je sice méně časově náročný, ale je také spojen s rizikem opomenutí informací, které se nakonec ukážou jako důležité, i když v plánu hodnocení se s nimi nepočítalo.

9


6.3.2008 18:12:53

Kvalitativní a kvantitativní hodnocení – shrnutí V následující tabulce je uvedeno stručné srovnání kvantitativního a kvalitativního přístupu: Kvantitativní přístup

Kvalitativní přístup

Odpovídá na otázky typu: Kolik? Jak mnoho?

Odpovídá na otázky typu: Co? Jak? Proč?

Cílem je najít zákonitosti, obecné jevy

Cílem je prozkoumat jednotlivé případy, jejich specifický charakter a složitost

Objektivita – v úvahu jsou brány pouze skutečnosti, které lze empiricky prokázat

Objektivizace – skutečnosti jsou charakterizovány způsobem, jakým je respondenti vidí

Nástroje měření – dotazník

Nástroje měření – neomezené (rozhovor, otevřené otázky)

Výběr vzorku: náhodný nebo kvótní

Výběr vzorku: účelový

Velikost vzorku: velká (100 – 1000 osob)

Velikost vzorku: malá (20 – 50 osob)

Souhrnně vzato lze říci, že kvalitativní výzkum představuje pokus o prohloubení poznatků získaných pomocí kvantitativního výzkumu. Umožňuje činit závěry a doporučení, které jsou důležité pro hodnotící proces.

7

7. Předmět evaluace a zdroje pro evaluaci Autor: A. Husárová

Při stanovování předmětu evaluace je potřeba mít na paměti, jak budeme se získanými informacemi dále pracovat. Je potřeba brát v potaz, za jakým účelem evaluaci provádíme a jak hodláme využít její výsledky. Záměrem evaluace může být získání informace, co funguje velmi dobře, co nefunguje zas tak dobře, kde je třeba učinit opatření, jaký má být rozsah těchto opatření, apod. Hlavní předměty evaluace (1) Produkty - co bylo uděláno a dosaženo, např. webová stránka, vzdělávací kurz, výsledky výzkumného šetření (2) Procesy - jakým způsobem byly produkty dosaženy, např. pracovní setkání, metodologie, vztahy na pracovišti (3) Aktéři - kdo realizoval produkty prostřednictvím procesů, např. evaluace nadřízených, koordinátora

10


6.3.2008 18:12:53

Zdroje pro evaluaci vždy vybíráme a selektujeme dle předem stanoveného jasného cíle, na základě toho, co všechno nám může pomoci daného cíle dosáhnout a naplnit jej. Při výběru zdrojů je potřeba klást si otázku o jejich adekvátnosti. Důležité je vybrané zdroje ověřovat a získávat informace vždy z vícero zdrojů. Příklady zdrojů dat

Způsob uchování dat

Systém analýzy dat

Dokumenty (strategické dokumenty, zápisy z porad, manuály, závěrečná zpráva, výstupy z evaluace)

1. „papírový“ archiv 2. počítačová databáze

1. komplexní analýza sdělení provedena manuálním způsobem 2. analýza prostřednictvím počítačové databáze vyžaduje adekvátní dovednost a techniku

Pozorování aktérů či procesů

1. zápis do záznamových archů, videonahrávání 2. volný přepis poznámek

1. možno použít specializovaný software nebo počítačové databáze 2. manuální zpracování je náročné na kompetence

Dotazníkové šetření

1. uzavřené otázky z dotazníků se uchovávají prostřednictvím jejich zadání do specializovaného statistického softwaru, který umožňuje jejich kvantifikaci a různé statistické operace 2. otevřené otázky se uchovávají manuálním přepisem

1. analýza provedena specializovaným statistickým softwarem umožňuje pohodlně a přehledně zpracovat velké množství dotazníků 2. manuální analýza vyžaduje daleko větší profesionalitu a kompetence

Přímé rozhovory (telefonické, tváří v tvář)

1. zapisování do záznamového archu, audio nahrávání 2. přepis do počítačové databáze

Vyžaduje velkou profesionalitu a kompetence.

Skupinová diskuze

1. jeden až dva zapisovatelé diskuze 2. audio nebo video nahrávání diskuze

Sumarizace obsahu diskuze, rozdělení dle diskutovaných témat, zaznamenání klíčových poznámek, uvedení důležitých citací.

Ve fázi, kdy se rozhodujeme o zdrojích pro evaluaci, je potřeba uvědomit si přímou návaznost identifikovaných zdrojů na další fáze evaluačního procesu. Tuto provázanost lze schematicky vyjádřit v logickém modelu, který je popsán v kapitole „Logický model evaluace“. 11


6.3.2008 18:12:53

8

8. Vztah mezi monitoringem a evaluací Autor: M. Filipczyk

Monitoring a evaluace představují základní techniky používané pro posuzování toho, zdali jdou podniknutá opatření správným směrem, a pro srovnání jejich účinků s účinky původně plánovanými. Evaluaci však nelze zaměňovat s procesem monitoringu a kontroly. Monitoring je proces sledování pokroku v rámci realizovaných opatření a ověřování jeho legitimity a souladu s programovými dokumenty a plány. Nenabízí žádná řešení zjištěných problémů – pouze upozorňuje na problémy a případný nesoulad mezi plány a realitou. Proces monitoringu a kontroly však umožňuje získat velké množství informací o procesu a opatřeních (činnostech), které mají být hodnoceny. Při hodnocení se využívají ukazatele a údaje z monitoringu, tudíž čím lepší jsou tyto údaje a ukazatele, tím lepší bude základ, ze kterého bude hodnocení vycházet. Hodnocení sice vychází z monitoringu, ale nepochybně nahlíží na projekt z širší perspektivy než monitoring. Bere totiž v úvahu i data, která nejsou do systému monitoringu zahrnuta, a zkoumá neplánované dopady, přičemž jde nad rámec běžných ukazatelů. Hodnocení poskytuje více možností k realizaci opatření ke zlepšení, jako např. ověření racionality a kvality ukazatelů a systému jejich shromažďování.

Vztahy mezi jednotlivými operacemi a jejich návaznost v rámci celého procesu zobrazuje následující schéma:

AKTIVITY

MONITORING

AKTIVITY MONITORING PLÁN EVALUACE

KOREKCE PLÁNU EVALUACE

KOREKCE PLÁNU

12


6.3.2008 18:12:53

9

9. Indikátory Autor: M. Filipczyk

Indikátor je měřitelnou formou předkládání výsledků. Používání ukazatelů představuje zjednodušený způsob uspořádání dat a chápání skutečného stavu projektu. Aby mohl výzkumník říci, zdali určitá skutečnost nastala, musí vyhodnotit (pomocí kvantitativních či kvalitativních technik) atributy týkající se dané skutečnosti. Tento proces se rovněž nazývá evaluace pomocí indikátorů (ukazatelů). Díky použití indikátorů je možné měřit, posuzovat a vyhodnocovat složité jevy a opatření. Indikátory nás informují o tom, zdali jsme učinili pokrok směrem k našim cílům či nikoliv. Pomocí ukazatelů by měly být popsány veškeré výsledky projektu. To umožňuje určit, zdali bylo daného výsledku dosaženo, např.: zlepšení dovedností zaměstnanců v oblasti mezilidských vztahů. Obvykle lze výsledky charakterizovat pomocí více než jednoho ukazatele. Při tvorbě a řízení projektu je důležité se rozhodnout, jaké ukazatele budou používány. Je rovněž důležité zvážit, jaké nástroje jsou k dispozici, jak velký by měl být hodnotící tým a jak spolehlivé jsou zdroje dat. Aby byly indikátory pro projekt použitelné, je nezbytné je vhodně vymezit. Každý ukazatel by měl mít svůj název a měla by být uvedena i jeho definice a měrná jednotka. Ukazatel by měl být charakterizován následujícím způsobem:

Výsledek Název ukazatele:

Definice:

Indikátor č. 1

Indikátor č. 2

Snížení nezaměstnanosti v regionu/ městě

Zlepšení dovedností v oblasti mezilidských vztahů

1) Nová pracovní místa 2) Míra nezaměstnanosti 1) Nová pracovní místa vytvořená ve firmách nebo institucích, která by bez daného programu/projektu neexistovala 2) Údaje z místního úřadu práce

Jednotka:

1) Počet míst 2) Počet nezaměstnaných

Průměrné zlepšení v psychologickém testu Porovnání výsledků měření dovedností v oblasti mezilidských vztahů před testem a po něm

Body v dotazníku

13


6.3.2008 18:12:54

Další aspekty indikátorů, které lze zmínit: • Rozsah shromažďovaných dat, • Metoda sběru dat, • Osoby odpovídající za sběr, • Četnost registrace, • Zdroj dat. Přestože existuje celá řada nejrůznějších ukazatelů, je možné ukazatele rozdělit do dvou skupin: „měkké“ indikátory a „tvrdé“ indikátory. Jde o nejjednodušší hodnocení, které vychází z kritéria objektivity a subjektivity. Měkké indikátory Měkké ukazatele se používají u nekvantifikovatelných výsledků, jako jsou např. subjektivní mínění, postoj, spokojenost příjemců projektu apod. Používají se i při hodnocení dosažených výsledků, pokud jde o získání určitých dovedností či pokrok směrem k určitému cíli. Tyto ukazatele se obtížněji posuzují než tvrdé ukazatele. Nejčastější výsledky projektu jsou tyto: • zvýšení motivace • zvýšení sebedůvěry • menší obava ze změn • zvýšení pocitu odpovědnosti za plnění úkolů, atd. Tvrdé indikátory Tvrdé ukazatele se používají u kvantifikovatelných výsledků, jako např.: • počet příjemců projektu, kterým byla poskytnuta podpora v rámci projektu • počet hodin připadajících na každé školení v rámci projektu • počet aktivních uživatelských účtů v systému vytvořených v rámci projektu • poměr mezi dvěma metodami školení v rámci školení poskytnutého příjemcům projektu, atd. Metody měření Metody měření závisí striktně na měřeném výsledku (tvrdý či měkký). Zatímco měření tvrdých výsledků je poměrně snadné, v případě měkkých výsledků je vše obtížnější a komplikovanější. Měření měkkých výsledků vyžaduje použití speciálních výzkumných systémů, přizpůsobených potřebám cílové skupiny. Lze používat nejrůznější nástroje – od jednoduchých dotazníků až po složité počítačové systémy. Měkké ukazatele by měly být posuzovány alespoň dvakrát – na začátku a na konci projektu. To umožňuje stanovit, zdali došlo ke zvýšení či snížení dané schopnosti/handicapu. Rovněž je možné provádět hodnocení pravidelně během projektu. Pravidelné hodnocení má dvě hlavní výhody; časté měření a analýza umožňují: • charakterizovat pokrok v dosahování měkkých výsledků během projektu • zlepšit školicí programy a metody a pružně reagovat na změny v potřebách příjemců projektu

14


6.3.2008 18:12:54

Nejčastěji používanými nástroji měření měkkých výsledků jsou tyto: • rozhovory (s příjemci projektu, školitelem, atd.) • dotazníky • psychologické testy • focus groups • sběr a analýza názorů (manažerů, majitelů firem, atd.) • případové studie Aby získaná data byla spolehlivá, musí proces sběru dat probíhat ve všech případech podobným způsobem, např. scénář rozhovoru by měl být vždy stejný a závěry by vždy měly být vyvozeny podle stejného schématu. Jednotlivé nástroje (např. dotazník) musí být standardizovány nebo alespoň částečně standardizovány. Standardizovaným nástrojem se rozumí nástroj řízený a hodnocený jednotným způsobem. Proces standardizace umožňuje používat nástroj jednotným způsobem, čímž se minimalizuje vliv vedlejších faktorů na výsledek měření. Musí být stanovena pravidla měření pomocí konkrétního nástroje a pro vyhodnocování výsledků a tato musí být používána během celého procesu.

10

10. Logický model evaluace Autor: M. Filipczyk

Stručně řečeno začíná proces projektového řízení definováním potřeb a problémů, stanovením obecných a konkrétních cílů a následně využíváním zdrojů na realizaci konkrétních opatření, které v konečném důsledku vedou k širokým sociálním změnám. To je důvodem, proč je ve fázi plánování hodnocení často používán logický model. Jedná se o všeobecný rámec pro popis pracovních činností v určité organizaci. Model pracuje se čtyřmi kategoriemi: vstupy, činnosti, výstupy a výsledky. Je velice užitečný, neboť umožňuje sledovat pokrok směrem k výsledkům, což je obtížnější u neziskových projektů (jako jsou např. EU projekty) než u projektů, kde je zisk hlavním cílem realizovaných opatření.

15


6.3.2008 18:12:54

Model lze nejjednodušeji zobrazit následujícím způsobem:

VSTUPY

AKTIVITY

Co je investováno Zaměstnanci Dobrovolníci Čas Peníze Výzkumná základna Materiál Stroje a zařízení Technologie

Jaké činnosti jsou prováděny Organizace workshopů, schůzek Poskytování služeb Vývoj produktů, zdrojů Školení Poradenství Hodnocení Podpora

VÝSTUPY Jaké jsou krátkodobé výsledky Povědomí Znalosti Postoje Dovednosti Názory Aspirace Motivace

DOPADY Jaké jsou střednědobé výsledky Chování Praxe Rozhodování Politiky Sociální opatření

Jaký je konečný dopad Sociální Ekonomický Občanský Ekologický

VSTUPY. První složka modelu je charakterizována jako „vstupy”. Tato kategorie zahrnuje zdroje, jako jsou např. zaměstnanci, zařízení a peníze, které jsou k dispozici či které jsou potřebné pro realizaci projektu. Tyto jsou používány během projektových činností nebo procesů s cílem sloužit klientům a obvykle se zdají být typické pro různé programy a organizace. AKTIVITY. Další složka zahrnuje činnosti, programy a procesy, které jsou realizovány za účelem plnění potřeb příjemců projektu, např. poradenství, učení, nasycení, léčba apod. VÝSTUPY. Jedná se o veškeré bezprostřední výstupy/efekty činnosti v rámci projektu, které jsou dodávány zákazníkům. Existují dvě základní kategorie těchto efektů. První skupina zahrnuje veškeré významné objekty a služby vytvořené během realizace projektu pomocí výše uvedených vstupů (peníze, zaměstnanci, materiál, zařízení). Typickými produkty tohoto druhu jsou IT nástroje, školení, školicí programy, poradenská služba apod. Vyjadřují významný pokrok v realizaci projektu. Druhá skupina zahrnuje výsledky projektu, tj. přímé a bezprostřední efekty projektu. Podávají informaci o změnách, které nastaly v důsledku opatření realizovaných v rámci projektu. Je možné získat jak úmyslné (plánované a vycházející z projektu), tak i neúmyslné (neplánované) výsledky. Tyto výsledky lze rovněž rozdělit na výsledky měkké a tvrdé (viz Indikátory). U projektů EU jsou nejdůležitější měkké výsledky – zlepšení schopností a dovedností nebo snížení handicapů nejrůznějšího druhu. DOPADY. Jedná se o skutečné přínosy/efekty/změny pro příjemce projektu, které vzniknou během nebo po skončení programu/projektu – např. u vzdělávacího programu může být výsledkem to, že „účastníci nad 45 let mají zájem o další školení a skutečně je navštěvují“ (prosím, všimněte si, že tento výsledek se liší od výstupu, kterým je např. „počet osob, které se účastnily školení konaných v rámci projektu“). 16


6.3.2008 18:12:54

Změny jsou obvykle vyjadřovány pomocí: • znalostí a dovedností (tyto jsou obvykle považovány spíše za krátkodobé výsledky) • chování (tyto jsou obvykle považovány spíše za střednědobé výsledky) • hodnot, podmínek a stavu (tyto jsou obvykle považovány spíše za dlouhodobé výsledky) Je důležité mít na paměti, že nejdůležitějšími složkami předloženého modelu jsou výstupy a dopady. Umožňují posoudit, zdali bylo dosaženo cílů projektu. Jednoduše řečeno: dobrým ukazatelem úspěšnosti projektu není např. čas strávený pracovníky na projektu. Výstupy a výsledky lépe informují o tom, zdali pomoc, která byla poskytnuta příjemcům projektu, skutečně odpovídala jejich potřebám. Je ale důležité všimnout si jejich vzájemného rozdílu. Výstupy jsou obvykle prezentovány pomocí číselných údajů (počet účastníků školení, počet manuálů, školicích programů apod.) a uvádějí jen málo o změnách, kterých dosáhli příjemci projektu – to je role dopadů. Logický model v evaluační praxi Samotnou evaluaci lze provést podle výše uvedeného modelu. Má-li k dispozici všechny potřebné zdroje, může hodnotitel provést veškeré potřebné činnosti a následně přispět k dosažení výstupů a dopadů, které povedou ke zlepšení projektu v konkrétních oblastech. Níže uvedená tabulka uvádí možné schéma hodnocení provedeného podle logického modelu pracovních činností v rámci organizace. VSTUPY • lidé • stroje a zařízení: počítače s nezbytným softwarem (tj. textový editor, statistický software), tiskárny atd. • standardizované nástroje pro sběr údajů o měkkých výsledcích

ČINNOSTI • vytvoření plánu a projektu hodnocení • vytvoření/ shromáždění nástrojů pro sběr dat • sběr a analýza dat • zpracování doporučení • distribuce doporučení

VÝSTUPY • pokyny (různé druhy) a zprávy pro osoby odpovědné za realizaci a řízení projektu • soubor optimálních postupů (příkladů dobré praxe), které budou použity při realizaci obdobných projektů

DOPADY • zlepšení opatření realizovaných v rámci projektu • zlepšení produktů/ výsledků • produkty/výsledky jsou více přizpůsobeny potřebám/očekáváním příjemců projektu • spokojenost příjemců projektu • zlepšení řízení u obdobných projektů

17


6.3.2008 18:12:54

11

11. Evaluační strategie Autor: A. Husárová

Strategie evaluace by měla vést ke zlepšení produktu či zkvalitnění činnosti, což je cílem každé evaluace. Aby byl projekt evaluace úspěšný a dospěl ke kýženým výsledkům, je zapotřebí na začátku stanovit svou strategii. Evaluační strategie obecně vychází ze zodpovězení pěti hlavních otázek: Proč je nutno provést evaluaci? Kdy je potřeba provést evaluaci? Co je potřebné evaluovat? Jak bude evaluováno? Kdo bude evaluátor? Strategie evaluace zahrnuje tyto postupné kroky: Alokaci zdrojů (finančních, lidských, časových, organizačních) Stanovení rozsahu evaluačních úkolů a souvisejících otázek Akceptaci standardů „dobré“ evaluace Stanovení složení a kompetencí evaluačního týmu Precizování překážek a rizik Určení způsobu/techniky získávání dat Rozhodnutí o velikosti a struktuře vzorku Přípravu materiálů Přípravu na vstup do „terénu“ Strategie patří do fáze plánování evaluačního výzkumu. Tato fáze je velmi důležitá. Má totiž přímý vliv na kvalitu a platnost našich výsledků. Ve fázi strategického plánování lze opět aplikovat logický model: Je potřeba jistých zdrojů pro realizaci evaluace.

1. VSTUPY

Pokud máme k těmto zdrojům přístup, pak je lze pro realizaci evaluace využít.

Pokud se podaří zrealizovat naplánované aktivity , pak lze úspěšně dosáhnout výstupů, které jsme si naplánovali.

2. AKTIVITY

3. VÝSTUPY

Plánovaná práce

Pokud se podaří zrealizovat naplánované aktivity v celém rozsahu, pak stanovená cílová skupina bude mít jistý prospěch. 4. DOPADY

Pokud dosáhneme prospěch pro cílovou skupinu, pak můžeme očekávat změny ve zkoumaném systému. 5. DŮSLEDKY

Očekávané výsledky

18


6.3.2008 18:12:54

Tvorbě evaluační strategie předchází důkladná konzultace se zadavatelem evaluace, která by měla přinést zejména sladění v oblasti podmínek realizace evaluace a v oblasti očekávání přínosů evaluace. Desatero pro zadavatele evaluace: 1. 2. 3. 4. 5. 6. 7. 8.

Zadám si evaluaci v případě, pokud jsou na její realizaci finance. Vytvořím dobré podmínky pro výzkumníka. Výzkumníka vyslyším, ale budu od něho požadovat to samé (aby on vyslyšel mne). Nebudu mít předsudky, ani falešná očekávání vůči výsledkům evaluace. Nebudu čekat, že evaluace přinese jen nové informace. Budu připraven i na nepříjemná sdělení. Zadám přesnou formulaci cíle evaluace. Budu se striktně přidržovat zadání evaluačního výzkumu a nebudu chtít data o předmětech či ze zdrojů, které jsme si s výzkumníkem předem nedohodli. 9. Mohu žádat více praktických doporučení a řešení. 10. Zavazuji se k odpovědnému užití doporučení.

12

12. Plán evaluace Autor: M. Filipczyk

Evaluační proces se skládá z několika kroků, které jsou naprosto nezbytné pro jeho kvalitu a užitečnost. Těmito kroky jsou: plánování a projekce hodnocení, sběr a analýza dat, zpracování zpráv s realizačními pokyny. Nejdůležitějším z výše uvedených je řádná a precizní příprava celého procesu. Při plánování evaluace je třeba vzít v úvahu následující otázky: • užitečnost hodnocení (pro ty, kteří projekt realizují) • realitu plánu hodnocení (s uvážením časového rámce, finančních omezení, dostupnosti zdrojů dat) • etické aspekty výzkumu (týkající se zejména způsobu, jakým jsou data shromažďována, a objektivity hodnotitele) • metodickou správnost (výzkum je prováděn podle uznávaných pravidel) Plánování evaluace se skládá ze dvou kroků: I. Stanovení cílů a příjemců evaluace Hlavním cílem hodnocení je obvykle posoudit kvalitu projektu. Na základě toho by mělo dojít ke zlepšením projektu a jeho efektivnosti. Hodnocení umožňuje identifikovat slabé a silné stránky projektu. Jde o užitečný nástroj upozorňující na problémy a informující o tom, jak se podařilo projekt realizovat v porovnání s původními předpoklady. Osoby odpovídající za řízení projektu jsou obvykle zároveň i příjemci hodnocení. 19


6.3.2008 18:12:54

II. Vypracování evaluačního projektu Evaluační projekt by měl obsahovat následující složky: 1. Charakteristika předmětu hodnocení Obvykle se nehodnotí celý projekt, pouze konkrétní oblasti, které jsou pro projekt důležité. 2. Otázky kladené v rámci výzkumu Je nezbytné, aby otázky byly formulovány jasně a přesně, poněvadž budou sloužit jako základ pro závěrečnou evaluační zprávu. Mezi obvyklé otázky patří tyto: • Jakého pokroku bylo dosaženo ve vztahu k předpokládaným výsledkům? • Je nezbytné změnit či doplnit strategii rozvoje firmy/projektu? Pokud ano, jaké změny je třeba učinit? 3. Evaluační kritéria Jak bylo uvedeno výše, hodnocení nelze zaměňovat s monitoringem, jehož cílem je stanovit, zdali se určitá věc uskutečnila či nikoliv. Při hodnocení jde hlavně o posouzení faktů podle předem stanovených kritérií. Nejčastěji používanými hodnotícími kritérii jsou tato: • Relevance. Relevance obecně vyjadřuje souvislost mezi předpokládanými cíli projektu a problémy zjištěnými v dané oblasti. Podrobně informuje o tom, jak obsah a metody použité v rámci projektu souvisejí s očekáváními a potřebami příjemců projektu. • Užitečnost. Toto kritérium informuje o tom, zdali teoretický model vytvořený za účelem řešení daného sociálního problému je vhodný či nikoliv. • Účinnost. Toto kritérium umožňuje zhodnotit ekonomické aspekty projektu. Umožňuje stanovit vztah mezi náklady (kterými se rozumějí investované peněžní prostředky, lidská práce a čas strávený na projektu) a dosaženými výsledky. • Efektivnost. Umožňuje posoudit míru, do jaké bylo dosaženo stanovených cílů, což je velice důležitý faktor v rámci hodnotícího procesu. • Dopad. Toto kritérium informuje o tom, jaký vliv měla realizovaná opatření na příjemce projektu, sektor ekonomiky, určitou sociální skupinu nebo někdy dokonce i celou zemi. • Udržitelnost. Toto kritérium podává odpověď na otázku, zdali výsledky projektu budou trvat i po jeho skončení. Rovněž umožňuje určit, jaké dlouhodobé účinky bude mít projekt na příjemce projektu, sociální prostředí, sektor ekonomiky apod. 4. Indikátory Je důležité, aby hodnotící projekt uváděl ukazatele, které budou používány při hodnocení toho, zdali bylo či nebylo dosaženo předpokládaných výsledků. Ukazatele jsou dobrým způsobem vyjádření pokroku učiněného směrem k předpokládaným cílům, poněvadž je možné je monitorovat a měřit. Příklad: počet nezaměstnaných, kteří našli novou práci během programu a v období do šesti měsíců po jeho skončení.

20


6.3.2008 18:12:54

5. Vzorek Při plánování školení je důležité určit skupinu osob, od níž budou shromažďovány údaje. V případě menších projektů/programů, které jsou určeny malé skupině osob, je do šetření zahrnuta celá skupina. U větších skupin se doporučuje vytvořit vzorek, poněvadž se tím sníží náklady a čas vynaložené na výzkum. Respondenti mohou být zvoleni náhodně (pokud je skupina osob homogenní) či nikoliv. V případě nehomogenní skupiny se často používá kvótní výběr. Tento druh výběru znamená, že jednotlivé podskupiny mají ve vzorku stejný podíl jako v celé populaci. 6. Výzkumné metody Výběr výzkumných metod závisí na zvolených oblastech hodnocení, cílových skupinách, možnostech a dalších faktorech, které mohou mít vliv na předmět hodnocení. (Metodám se věnuje samostatná kapitola tohoto dokumentu.) 7. Časový rozvrh Důležitou součástí hodnocení je i organizace času. Je nezbytné vytvořit časový rozvrh zahrnující následující etapy: zpracování hodnotícího projektu, sběr a analýza dat, zpracování závěrečné zprávy, distribuce informací. Pro každou etapu musí být stanoven čas potřebný pro její realizaci. 8. Závěrečná zpráva Jedná se o poslední složku procesu evaluace. Musí být stanovena forma zprávy, datum jejího předložení a osoby, kterým je určena. Struktura závěrečné zprávy je popsána v samostatné kapitole tohoto dokumentu.

13

13. Metody a techniky evaluace Autor: A. Husárová

Výběr metod a technik závisí zejména od cílů evaluace. Rozlišujeme, zda je naším cílem něco změřit či srovnat, to je tzv. kvantitativní cíl a pro dosažení tohoto typu cíle je nejlepší použít dotazník, standardizovaný rozhovor nebo kvantitativní obsahovou analýzu dokumentů. Pokud je naším cílem poznat postoje či příčiny jevů, pak se jedná o tzv. kvalitativní cíl a pro jeho dosažení je vhodné získávat data nestandardizovaným rozhovorem, prostřednictvím tzv. skupinových rozhovorů (focus groups) či pozorováním. Ideální je použít kombinaci metod a technik. Kombinační možnosti se odvíjejí od definovaných cílů evaluace, možností jednotlivých technik a alokovaných zdrojů.

21


6.3.2008 18:12:54

Cíl

dokáže

klást otázky?

… a využívá techniku

Kvantitativní – pracuje s rozsáhlými soubory několik set nebo i tisíc jednotek (lidí, textů, situací)

ověřit, změřit, srovnat

kolik lidí? kde všude je identifikováno?

dotazník, standardizovaný rozhovor, obsahová analýza

Kvalitativní – je pružný typ výzkumu. Umožňuje měnit výzkumné otázky v průběhu sběru dat

pochopit, nalézt, vyzkoušet

jak je vnímáno? v čem tkví problém?

hloubkový rozhovor, focus groups, pozorování

Druhým kritériem, na základě kterého se rozhodujeme, jakou metodou a technikou dosáhneme na požadovaná data, jsou možnosti jednotlivých metod a technik. Posuzujeme, co která metoda a technika umí, jestli je organizačně, finančně, kompetenčně či jinak náročná a jaké se s ní pojí výhody a nevýhody. Technika Dotazník

dokáže ověřit, změřit, srovnat informace na velkém počtu respondentů

Rozhovor

ověřovat, srovnávat, rozpoznává příčiny, je měřit, ale také flexibilní a kontaktní chápat a nalézat

Skupinový nalézt příčiny rozhovor problémů, které nemají přesně definovanou podstatu Pozorování být objektivní, protože se zajímá o předmět, ne objekt výzkumu

výhody nevýhody obsáhne velký počet lidí, je nerozpozná anonymní a levný příčiny, nízká flexibilita a návratnost náročné na tazatele a organizaci

specifika • je omyl myslet si, že zkonstruovat dobrý dotazník je hračka • provedení adekvátní statistické analýzy dat vyžaduje specifické kompetence • postup kladení otázek se doporučuje od konkrétních přes všeobecné a ukončit zase konkrétními • citlivé otázky se kladou uprostřed nebo na konci rozhovoru

• pracuje s tzv. skupinovou dynamikou náročný na moderátora, nedůvěryhodná anonymita, obtížná organizace • probíhá v přirozeném prostředí, což náročné na má pozitivní dopad na kvalitu dat výzkumníka, čas i organizaci, problém získat povolení Analýza být objektivní, nenáročné na výzkumníka, X = nejsou známy • je ohrožena rizikem zkreslení, dokumentů protože dokumenty zpracování, čas a organizaci protože psaný materiál může apriory obsahovat zkreslení, o kterém nevznikly za účelem výzkumník nemusí vědět analýzy vyjasňuje podstatu problémů, je flexibilní, bohatý zdroj dat při časové úspoře, dobře pracuje s komunikačními bariérami zachytává dění v přirozených podmínkách

22


6.3.2008 18:12:54

Volba metody a techniky sběru dat je klíčovým rozhodnutím v evaluačním procesu. Má vliv na všechny další kroky, zejména na způsob analýzy a interpretace získaných dat. Volba metody a techniky však není definitivní záležitostí, protože evaluace je proměnlivou záležitostí, proto zvolené metody a techniky musí být do vysoké míry flexibilní.

14

14. Struktura závěrečné zprávy Autor: M. Filipczyk

Struktura zprávy Konečným výsledkem každého procesu evaluace je zpráva. Tato zpráva musí mít jasnou strukturu a její jazyk musí být uzpůsoben potřebám jejího příjemce. I když neexistuje ustálená struktura zprávy, ve většině případů platí, že by měla obsahovat některé základní prvky: 1. Předmět a kontext evaluace Je nezbytné uvést, co bylo hodnoceno a za jakých okolností. Rovněž by měly být uvedeny základní informace o dotyčné organizaci. 2. Výzkumný proces Evaluátor by měl uvést informaci o koncepci hodnocení, hodnotícím projektu a použitých metodách. Toto je nezbytné k předložení dat spolehlivým způsobem. Měly by být rovněž uvedeny dodatečné informace o použitých metodách: • Jaké druhy dat byly shromažďovány • Jakým způsobem byla data shromážděna (charakteristika použitých nástrojů apod.) • Jak byla data analyzována • Jaká byla omezení – podmínky, za nichž lze použít výsledky hodnocení 3. Výsledky výzkumu Tato část zprávy podává informace o shromážděných datech, jejich interpretaci a výsledcích provedeného výzkumu. Jejím cílem je předložit shromážděná data a seznámit adresáta zprávy s hodnocenými záležitostmi. Data by měla být prezentována organizovaným způsobem a vhodnou formou (grafy, schémata, tabulky, popisy apod.). 4. Závěry evaluace Jako shrnutí celého výzkumu musí být uvedeny závěry. Je nezbytné zdůraznit slabé i silné stránky hodnoceného programu/projektu. Závěry by měly být uvedeny jasným, stručným a jednoznačným způsobem. Měly by vycházet přímo z dat získaných během procesu hodnocení.

23


6.3.2008 18:12:54

5. Doporučení Doporučení by měla mít podobu rady či návrhu. Jejich cílem je upozornit na opatření, která by měla být podniknuta ke zlepšení programu/projektu. Důvod, proč by doporučení měla být prezentována jasným způsobem a aby je šlo snadno realizovat v praxi. Přílohy • Nástroje použité při sběru dat/informací • Data • Reference, připomínky uživatelů produktu/programu/služby • Případové studie uživatelů produktu/programu/služby • Logický model • Plán evaluace Forma zprávy Zpráva, která je z věcného hlediska hotova, by měla být dále vhodnou formou prezentována. Je možné použít různé druhy forem. Nejdůležitější je přizpůsobit formu zprávy jejím příjemcům a ujednáním, která byla učiněna na začátku spolupráce. Někdy není nutné distribuovat celou zprávu, ale jsou předkládány pouze její konkrétní části nebo shrnutí či pouze hlavní myšlenky. Je vhodné uvést shrnutí zdůrazňující klíčové body hodnocení. Nejčastějšími formáty závěrečné zprávy jsou tyto: • tištěná zpráva, • elektronická zpráva, • multimediální prezentace výsledků, • ústní prezentace (např. seminář).

15

15. Diseminace Autor: A. Husárová

Účelem evaluace je zlepšení kvality, nebo zvýšení či zefektivnění procesů. Proto mezi výsledky evaluace, které jsou prezentovány zadavateli a případně propagovány navenek, patří nejen závěry, ale také doporučení. Tato doporučení by měl zadavatel vyhodnotit a pokud uzná za vhodné, realizovat za účelem zlepšení produktu, procesů či aktérů, které byly předmětem evaluace. Role diseminace v rámci evaluace (1) Shrnout závěry evaluačního šetření (2) Definovat klíčová doporučení, která povedou ke zlepšení 24


6.3.2008 18:12:54

Pro diseminaci výsledků evaluace lze použít různorodé nástroje, zejména ale závěrečné zprávy, webovou prezentaci, tiskovou zprávu v médiích, briefing, a další. Pro nástroj diseminace se rozhodujeme dle povahy výsledků evaluace a efektivity komunikačního kanálu ve smyslu rychlé „dopravy“ informace směrem k jejím příjemcům. Pokud by identifikace doporučení nebyla součástí diseminace výsledků, postrádala by evaluace velmi důležitou součást. Při prezentaci výsledků a doporučení z evaluace je nutno zmínit: • • •

návratnost investic spojených s realizací evaluace měřitelné přínosy vedoucí ke zlepšení postupné kroky implementace doporučení vedoucí ke zvyšování kvality a zefektivnění procesů

Akční plán diseminace Výstupem z evaluace by mělo být zvýšení kvality či zefektivnění procesů. Proto je nutné vypracovat mechanizmus využití výsledků. Tato fáze nemůže být součástí evaluačního plánu, protože výsledky jsou v době tvorby plánu neznámé. Role akčního plánu • zajistit osobu, která je za diseminaci odpovědná • určit komunikační kanály pro diseminaci • zajistit postoupení různých typů informací pro různé skupiny příjemců • negativní závěry zveřejňovat společně s doporučením jejich nápravy • sledovat přijetí opatření v časovém horizontu 1 – 2 měsíců

Výsledky prezentujeme jako výstupy ze statistického programu SPSS nebo je lze, pokud jsou pro příjemce výsledků evaluace špatně čitelné, převést do přehlednější formy, např. textové a grafické formulace závěrů a doporučení, analýzy SWOT apod.

25


6.3.2008 18:12:55

Příloha 1

Příloha 1 Příklad dobré praxe evaluace Autor: A. Husárová

EVALUACE INDIKÁTORU KVALITY PRACOVNÍCH SCHŮZEK A SETKÁNÍ Příklad dobré praxe ilustruje aplikaci teoretické části brožury na praktický příklad řešení. Pokusíme se na základě stručně a přehledně popsaného reálného zadání projektu evaluačního šetření, ukázat postupné kroky uplatnění metodologie, která směřovala k dosažení kýžených výstupů a návrhů doporučení, jak zkoumaný proces zlepšit/optimalizovat. Cíle šetření: Změřit kvalitu pracovních schůzek a setkávání a navrhnout jejich optimalizaci. Zadavatel: Řešitelé projektu „Outplacement pro velké podniky“. Úloha provést evaluaci s tímto cílem vyvstala zejména ze své potřeby, ale mimo jiné byla i v plánu DPA (smlouva o spolupráci). Evaluátor: Byla zvolena interní evaluace zajištěna týmem, který má v projektu zadavatele na starosti výzkumná šetření a evaluaci. Jedná se o pěti-členný tým psychologů a sociologů. Dle rozsáhlosti řešeného úkolu vznikají adhoc týmy. Konkrétně tento úkol řešili koordinátor – psycholog a jeden z členů týmu – sociolog. Předmět evaluace a zdroje pro evaluaci Předmět evaluace procesy

Indikátory 1. (velké) • pracovní schůzky • pracovní setkání

Indikátory 1.1. (malé) • plán • průběh • efektivita stráveného času • relevance výstupů

aktéři

•

• • •

•

vedoucí pracovních schůzek a setkání účastníci pracovních schůzek a setkání

efektivita vedení schůzek kompetentnost účastníků postoje k účasti na schůzkách

Zdroje pro evaluaci: DPA (smlouva o spolupráci), pozorování pracovních schůzek a setkání, focus groups, polostandardizované rozhovory

26


6.3.2008 18:12:55

Finanční rozpočet Náklady na evaluační šetření, čili náklady na lidské zdroje, cestovné, technickou podporu a další byly hrazeny z rozpočtu projektu. Časový harmonogram Realizace celého evaluačního projektu, od přijetí zakázky až po diseminaci a prezentaci výstupů, byla naplánována na měsíce březen – květen 2007. Metody a techniky • analýza dokumentů - DPA (smlouva o spolupráci) • focus groups – s účastníky pracovních schůzek a setkávání • polostandardizované rozhovory – s vedoucími pracovních schůzek a setkávání • pozorování pracovních schůzek a setkávání Vzorek Vzorek tvořilo 14 respondentů, z nichž s pěti byl veden polostandardizovaný rozhovor a ostatní byli účastníky focus groups. Schéma respondentů:

Vedoucí projektu

Schůzky na úrovni vedení

Koordinátorka projektu

Koordinátorky pracovních týmů Schůzky na úrovni účastníků Vedoucí pracovních týmů

Členové pracovních týmů Sběr dat • ex-post definované kategorie vztahující se k cíli evaluačního šetření byly abstrahovány z dokumentu DPA (smlouva o spolupráci) • z vedení focus groups byla pořízena audio nahrávka • z vedení polostandardizovaných rozhovorů byla pořízena audio nahrávka a byl využit také záznamový arch • byl pořízen záznam z pozorování 27


6.3.2008 18:12:55

Analýza dat Vzhledem k metodě sběru dat byla analýza dat manuální. Nebyl využit žádný software zejména proto, že data byla kvalitativní, ne kvantitativní povahy. Závěry Hlavní zjištění byly prezentovány mimo jiné i prostřednictvím analýzy SWOT. Příklady některých silných a slabých stránek procesů a aktérů pracovních schůzek a setkávání ilustruje schéma: Silné stránky

Slabé stránky 1) nízká efektivita nejvyššího vedení projektu

1) dobrá kooperace na úrovni členů pracovních týmů

2) velké množství administrativy

2) efektivně fungující kooperace a řízení nižší 3) nejasné finanční řízení projektu úrovně vedení 4) nenaplňování výstupů projektu

Doporučení • odebrání dalších činností vedle vedení projektu vedoucímu projektu • nastavení pravidelné frekvence pracovních schůzek a setkávání vedení projektu • pořádání team-buildingových akcí pro posílení „ducha partnerství“, zlepšení neformální komunikace (např. pracovní obědy) • proškolení partnerů projektu v projektové administrativě • zasílat pracovní materiály pro porady předem • více strukturovat body programu pracovních schůzek a setkání • program pracovních schůzek a setkání přizpůsobovat aktuálním problémům a komplikacím Diseminace výsledků • závěrečná zpráva, která obsahovala i analýzu SWOT • prezentace závěrů a doporučení vedení projektu a partnerům projektu • zavázání se ke sledování implementace doporučení v časovém horizontu 1. – 2. měsíců • zavázání se k opakování měření po době 1 roku

28


6.3.2008 18:12:55

Příloha 2

Příloha 2 Příklad dobré praxe evaluace Autor: M. Filipczyk

HODNOCENÍ ŠKOLENÍ V RÁMCI PROJEKTU „WISDOM COMES FROM KNOWLEDGE” Úvod Projekt „Wisdom comes from knowledge” je realizován u osob nad 44 let, pracovníků zbrojního průmyslu ze tří polských vojvodství: Śląskie, Świętokrzyskie a Podkarpackie, a po jeho dalším rozvoji (k 1. říjnu 2007) i u pracovníků železnic z vojvodství Śląskie. Cílem projektu je poskytnout modelová řešení, která příjemcům projektu umožní zlepšit jejich dovednosti a zvýšit jejich kvalifikaci pomocí nejnovějších Informačních technologií. V tomto dokumentu je uveden přehled hodnocení školení. Zahrnuje následující: 1. Charakteristika školení jakožto předmětu hodnocení v tomto dokumentu 2. Případový problém a výzkumné otázky – co bylo cílem hodnotícího procesu v této oblasti 3. Metodika provádění hodnocení školení 4. Doporučení – faktory úspěchu a neúspěchu Školení v rámci projektu „Wisdom comes from knowledge“ Hlavní fáze projektu „Wisdom comes from knowledge ” byla zahájena v lednu 2007 a měla by být ukončena do března 2008. Konkrétně pro tento projekt byla vytvořena komplexní řešení, která mají napomáhat učebnímu procesu, včetně moderních IT nástrojů, díky nimž může být školení uspořádáno např. formou e-learningu. Příjemci projektu se mohou účastnit 15 různých školení, například v oblasti IT či cizích jazyků, nebo odborných kurzů (kurzy jako např. oprávnění k řízení vysokozdvižného vozíku nebo kurzy pro svářeče). V konečné fázi se školení bude účastnit asi tisíc pracovníků. Hmatatelné výsledky dosažených účastníky projektu „Wisdom comes from knowledge ”: • • • • • • • •

Zvýšení konkurenceschopnosti na pracovním trhu Lepší využívání osobního i odborného potenciálu Získání nových či odborných dovedností Zvýšení všeobecného potenciálu získat zaměstnání (např. cizí jazyky, IT, tvořivost) Zlepšení schopností řídit a poskytovat rady (např. mentorské dovednosti) Zvýšení schopnosti adaptace a profesní flexibility Lepší chápání a sledování změn na trhu, jakož i aktivní navrhování a realizování změn v nejbližším okolí Zlepšení mezilidských, komunikačních a psychologických dovedností

Je důležité poznamenat, že záměrem školení je hlavně využít již existujícího potenciálu pracovníků nad 44 let a poskytnout účastníkům školení příležitost dosáhnout větší osobní spokojenosti a profesionální seberealizace. 29


6.3.2008 18:12:55

Náplň školení je velmi různorodá. Důraz je kladen na individuální a systematický rozvoj na mnoha úrovních. Díky tomuto projektu se pracovníci mohou účastnit následujících školení: 1. Základy práce s počítačem 2. Kurzy cizích jazyků – angličtina 3. Zlepšení a kvalita práce na své vlastní pracovní pozici 4. Pokročilé školení v oblasti IT (pět modulů: MS Office pro pokročilé, Systémy CAD, Digitální umění, Teorie a praxe digitálních zařízení, Používání internetu) 5. Správa dat a dokumentů 6. Řízení týmu a řízení své vlastní práce v řídící funkci 7. Mediace (zprostředkování) a vyjednávání 8. Provoz a programování numericky řízených strojů 9. Podnikání – provozování vlastní firmy 10. Kurzy cizích jazyků – němčina 11. Finance a účetnictví 12. Technologie sváření 13. Provoz průmyslových vozidel, např. vysokozdvižného vozíku 14. Rozvoj a mentoring lidských zdrojů 15. Sebehodnocení a řízení vlastní kariéry 16. Ženy nad 40 let na pracovišti – školení pro ženy v oblasti specifických dovedností potřebných pro rozvoj jejich vlastní kariéry 17. Profesionální zákaznický servis Vzhledem k tomu, že potřeby příjemců projektu jsou nepochybně tím nejdůležitějším ukazatelem účinnosti projektu v každé jeho fázi, jsou průběžně sledovány a analyzovány názory a připomínky příjemců projektu, a to formou průzkumů (anket), rozhovorů a diskusí. Výzkumný problém a výzkumné otázky Hlavním cílem hodnocení je monitoring a zlepšení procesu školení tak, aby byl hodnotnější a přínosnější. Výzkumným problémem hodnocení je: Jakým způsobem by měla být školení realizována, aby bylo příjemcům projektu poskytováno školení odpovídající jejich potřebám a schopnostem? Aby bylo možné na tuto otázku odpovědět, byly položeny následující výzkumné otázky: 1. Co lze učinit pro zvýšení účinnosti školení? 2. Co lze učinit pro zvýšení efektivnosti školení? 3. Co lze učinit pro zvýšení užitečnosti (přínosu) školení? 4. Co lze učinit pro zvýšení relevance školení (v porovnání s potřebami)? 5. Co lze učinit pro zvýšení udržitelnosti účinků školení? Proces hodnocení školení v rámci projektu „Wisdom comes from knowledge“ byl uskutečněn podle výše uvedených otázek. Cílem bylo nalézt odpovědi na tyto otázky, stanovit doporučení a aplikovat je v rámci projektu. 30


6.3.2008 18:12:55

Metodika provádění evaluace školení Úrovně evaluace Evaluace představuje proces zlepšování školení, který probíhá v mnoha fázích. Cílem tohoto procesu je zvýšit pravděpodobnost dosažení předpokládaných cílů. V rámci projektu „Wisdom comes from knowledge“ byla školení hodnocena na třech úrovních podle Kirkpatrickova modelu hodnocení školení: Úroveň 1: Reakce – spokojenost příjemců projektu Základními metodami používanými na této úrovni byly: telefonický rozhovor s příjemcem projektu, telefonický rozhovor se školitelem, kontroly školení, dotazník pro příjemce projektu, doplňkový dotazník, hodnotící karta pro školení, statistické údaje z IT systémů a e-learningové platformy. Dále byla použita i metoda pozorování – školitelé uváděli své závěry ze školení na zvláštní formulář, který byl vyplněn po skončení školení. Úroveň 2: Učení – rozšiřování znalostí Na této úrovni představoval základní metodu dotazník pro posouzení efektivnosti školení. Dále byly použity i testy znalostí. Úroveň 3: Chování – výsledky školení v praxi Základní použitou metodou hodnocení na této úrovni byla tabulka jednotlivých projektů vytvořená příjemci projektu během školení a aplikovaná na pracovní pozici. Úroveň 4: Efekty – tato úroveň zahrnuje poznámky (připomínky) příjemců projektu a není využívána během procesu hodnocení projektu. Metody používané při evaluaci – charakteristika 1. Telefonický rozhovor s příjemcem projektu. Cílem rozhovoru je posoudit míru spokojenosti příjemců projektů. Měl by být uskutečněn do týdne po absolvování školení. Rozhovor probíhá podle scénáře obsahujícího šest otázek. Vzhledem k velkému počtu příjemců projektu nebyla tato metoda příliš často použita. Používá se zejména v extrémních případech, např. velmi spokojení či velmi nespokojení příjemci projektu. 2. Telefonický rozhovor se školitelem. Cílem rozhovoru je posoudit účinnost školení ve srovnání s konkrétními potřebami zaměstnanců nad 44 let. Tento rozhovor by měl být uskutečněn alespoň dvakrát během celého školení, přičemž probíhá podle scénáře obsahujícího šest otázek. 3. Kontroly školení. Cílem kontrol je posoudit disciplínu v rámci školení a jejich formální úroveň a obsahovou náplň. Kontrola by měla být uskutečněna alespoň jednou během školení trvajícího déle než 30 hodin. Po provedené kontrole kontrolor vyplní protokol podle schématu obsahujícího otevřené a uzavřené otázky ve dvou kategoriích: hodnocení školení z hlediska formy a hodnocení z hlediska obsahu. Kontrolor posuzuje: komunikační úroveň školitele, vztahy mezi školitelem a skupinou, úroveň znalostí školitele, kvalitu učebních materiálů a cvičení, pracovní tempo, úroveň aktivity účastníků, motivaci účastníků, kvalitu zpětné vazby o jednotlivých školeních aj. 31


6.3.2008 18:12:55

4. Dotazník pro příjemce projektu. Cílem tohoto dotazníku je posoudit názor příjemců projektu, pokud jde o účinnost školení a faktory, které ji ovlivňují. Na základě toho budou školení přizpůsobena potřebám zaměstnanců nad 44 let. Obsahuje šest otázek a měl by být vyplněn během kontroly školení. Jsou zkoumány konkrétní oblasti školicího procesu: úroveň obtížnosti školicího kurzu, možnost využití nových dovedností v praxi, učební proces, opatření podniknutá k přizpůsobení školicích materiálů a školicího procesu specifickým potřebám cílové skupiny nad 44 let a jejich úspěchu. 5. Doplňkový dotazník. Akce zorganizovaná pro příjemce projektu (návštěva Mezinárodní výstavy vojenské techniky v Kielcích) poskytla příležitost pro jejich hodnocení pomocí doplňkového dotazníku. Cílem tohoto dotazníku bylo posoudit jejich úroveň angažovanosti, motivace a aktivity a jejich názor na účinnost školení. Tento nástroj obsahoval šest otázek (čtyři základní otázky a dvě doplňkové) a byl použit během návštěvy výše uvedené akce. 6. Hodnotící karta pro školení. Cílem tohoto dotazníku („karty”) je posoudit spokojenost příjemců školení a vyhodnotit školení z věcného hlediska. Tento výzkum byl prováděn online v půli školicího procesu (přibližně). Pro každé školení byl použit samostatný list s otázkami, přičemž příjemci projektu listy vyplňovali podle školení, jichž se zúčastnili. Každý dotazník obsahuje 41 uzavřených otázek týkajících se: orientace cílů školení, kvality poskytnutých informací, praktického uplatnění poznatků, schopností školitele atd. 7. Statistické údaje z IT systémů a e-learningové platformy. Zahrnují seznamy docházky (účasti) na schůzky se školiteli a údaje z e-learningového systému o pokroku, kterého příjemci projektu dosáhli při provádění e-cvičení. 8. Pozorování. Po schůzce s příjemci projektu každý školitel vyplnil následný formulář týkající se školení. 9. Dotazníky pro hodnocení efektivnosti školení. Hlavním ukazatelem efektivnosti školení je rozšíření znalostí a rozvoj dovedností. Aby bylo možné tento ukazatel vyhodnotit, byl proveden dotazníkový výzkum, který se skládal ze dvou kroků: na samotném začátku školení byl uskutečněn předběžný test a na konci byl realizován následný test. Výsledky obou těchto testů pak byly porovnány. Několik dotazníků se týkalo různých druhů znalostí (podle předmětu školení). 10. Testy znalostí. V případě některých školení byly provedeny testy znalostí. 11. Tabulka jednotlivých projektů vytvořených příjemci projektu. Jedno ze školení v rámci projektu je spojeno s tvorbou projektů zaměřených na zlepšování pracovní pozice. Tyto projekty jsou formou použití nových znalostí v praxi. Doporučení Údaje získané pomocí výše uvedených metod byly utříděny a analyzovány. Na základě toho byl vytvořen seznam následujících doporučení:

32


6.3.2008 18:12:55

Doporučení týkající se provádění školení 1. • • •

Organizace školení. Účastníci školení zdůrazňují nezbytnost: častého opakování (zejména u kurzů cizích jazyků) více času na plnění úkolů během školení více času na úkoly v oblasti e-learningu (stránky by měly být měněny ručně, nikoliv automaticky)

2. Učení praxí. Školicí proces vyžaduje velké množství praktických příkladů a cvičení. Musí být vytvořena možnost využít získané dovednosti a znalosti v praxi. Možnost praktického využití obsahu školení je pro účastníky nad 44 let tou nejdůležitější složkou učebního procesu. V mnoha případech příjemci projektu uvedli, že počet praktických cvičení během školicího kurzu by měl být vyšší. Rovněž byla zdůrazněna potřeba používat cvičení mnoha různých druhů. Nejlepšími „praktickými“ formami cvičení jsou: případová studie, pracovní simulace, hraní rolí, poněvadž ty zvýší efektivnost vzdělávacího procesu. 3. Zkušenosti účastníků jako východisko pro cvičení. Je důležité využít profesionálních zkušeností a znalostí účastníků školení nad 44 let. Jde o vynikající způsob spojení nových informací se znalostmi, které již mají, a cvičení jsou tak více prakticky zaměřena. Další výhodou používání této techniky školení je zvýšení sebedůvěry účastníků. Nejlepšími formami školení jsou v tomto případě diskuse, brainstorming a práce ve skupinách. Pokud jde o úkoly a hraní rolí, je důležité je začínat větou: „na základě vašich vlastních zkušeností…” nebo „zkuste si vzpomenout na situaci ze svého vlastního života, kdy…” apod. 4. Charakteristika cílů. Lidé nad 44 let dávají přednost efektivnímu využívání času. To je důvodem, proč je nezbytná prezentace cílů školení. Dosahují při cvičení lepších výsledků, pokud znají jeho účel. 5. Nízká úroveň stresu. Je důležité používat specifické metody a techniky k budování sebedůvěry účastníků a překonání možných zábran a obav. Hodně záleží na reakcích a empatii školitele. Ke snížení stresu spojeného se vzdělávacím procesem je rovněž důležité vybudování pozitivní pracovní atmosféry a dobrých vztahů se skupinou. Doporučují se cvičení, při kterých se „prolomí ledy”, a úkoly vyžadující spolupráci (žádná soutěživá cvičení). 6. Možnost úprav a flexibilita. Školitel by měl monitorovat proces školení ve skupině. Musí být připraven provést v případě potřeby v cvičeních změny. Účastníky školení nelze do účasti na úkolech nutit. Celkový čas školení by neměl přesáhnout šest hodin, přičemž mělo by se počítat i s přestávkami. 7. Vybudování respektu pro školitele. Účastnící školení nad 44 let preferují školitele, který je zkušenější než oni. Jeho znalosti a schopnosti by měly být větší než jejich. Na druhé straně by však ústředním bodem procesu školení měla být spolupráce a výměna zkušeností. Školitel by neměl vytvářet vztah typu učitel-student. 8. Školicí materiály. Jako doplněk školicích materiálů by měly být vytvořeny materiály v papírové formě, jako např. letáky pro účastníky školení. Po skončení školení by měly být k dispozici navazující školicí materiály. Rovněž se doporučuje vypracovat seznam doplňkových přednášek pro nejaktivnější účastníky (resp. ty, kteří mají zájem).

33


6.3.2008 18:12:55

Doporučení týkající se věcné náplně školení 1. Analýza potřeb školení. Doporučuje se provést tuto analýzu nejen před začátkem celého školicího programu/projektu, ale i před každým jednotlivým školením (mělo by být realizováno krátké cvičení nebo dotazník). Díky tomu bude možné přizpůsobit školení potřebám a očekáváním účastníků školení. Navíc budou účastníci školení méně pasivní, jestliže jim bude dána možnost mít vliv na obsah školení. 2. Školení v oblasti IT. Při tvorbě programu školení v oblasti IT by měly být vzaty v úvahu následující záležitosti: a. Zaměstnanci nad 44 let mají zájem o praktické využití počítačů, přičemž hlavními oblastmi jejich zájmu je internet a posílání e-mailů. b.

Mnozí respondenti (byl proveden dotazníkový průzkum) rovněž zaškrtli používání textového procesoru, tabulkového kalkulátoru a instant messengeru.

c.

Je důležité zdůraznit, že nemají žádný zájem o informace týkající se konstrukce počítače.

3. Školení v oblasti cizích jazyků. Při tvorbě programu školení v oblasti cizích jazyků by měly být vzaty v úvahu následující záležitosti: a. Zaměstnanci nad 44 let mají zájem o praktické využití cizích jazyků. Jejich cílem je schopnost komunikovat v základních mezilidských a veřejných situacích. To je důvod, proč jsou preferovány úkoly související s poslechem a mluvením. Znalost základní slovní zásoby je pro ně důležitější než gramatická pravidla. b.

Často byla zmiňována i potřeba technické terminologie.

4. Odborná školení. U některých školení je důležité vzít v úvahu certifikační standardy a předpisy. Doporučení týkající se organizace školení 1. Program školení. Lidé nad 44 let mají zájem zejména o školení v oblasti cizích jazyků a IT. Z tohoto důvodu by tato školení měla být zařazena na seznam navrhovaných školení. Nicméně nabídka školení pro zaměstnance nad 44 let by měla být široká, zejména pokud jsou školení určena nejen fyzickým pracovníkům, ale i kancelářským zaměstnancům, managementu nebo lidem s VŠ vzděláním. 2. Kontrola a vynucování docházky a plnění úkolů v oblasti e-learningu. Jedním z hlavních problémů bezplatných školení je docházka. Účastníci často vynechávají hodiny. V rámci projektu „Wisdom comes from knowledge“ byl za účelem minimalizace tohoto problému používán systém dohod (smluv) s finanční

34


6.3.2008 18:12:55

sankcí. Bylo stanoveno povinné minimum: 80procentní docházka do hodin a 80 % hotových úkolů v oblasti e-learningu. Ukázalo se však, že tento systém není účinný. Po třech měsících pouze 77 % účastníků začalo s plněním úkolů v oblasti e-learningu, a čtvrtina z nich dokonce ani nezačala (tyto údaje se týkají školení v anglickém jazyce). Obdobná analýza byla provedena i po skončení školení. Ukázalo se, že 7 % účastníků vůbec nezačalo s plněním úkolů v oblasti e-learningu a že pouze 58 % z nich školení úspěšně absolvovalo (získali 50 % bodů). Pokud jde o docházku, pouze čtyři účastníci (ze 148) dosáhli úrovně 80 %, přičemž dvě třetiny účastníků navštívilo 60 % školicích schůzek. Vedoucí školení se sice rozhodl nevyměřit pokuty, nicméně je důležité zavést jiný systém opatření, který by vedl ke zvýšení účasti na bezplatných školeních. 3. Venkovní školení. V případě školení „měkkých“ dovedností se doporučuje zorganizovat venkovní školení. Hlavní výhody venkovních školení jsou tyto: a. Lidé jsou více ochotni účastnit se bezplatného venkovního školení. b.

Školení je intenzivnější – účastníci se naučí více během jednoho víkendu než během několika krátkých schůzek. Rovněž je pravděpodobnější, že vypracují dokonalejší produkty školení.

c.

Lidé jsou spokojenější a jejich angažovanost je větší.

4. Organizace odborných školení. Školení, při nichž je potřeba zvláštní výbavy (stroj, vozidlo, laboratoř), musí být plánována a organizována v předstihu. Je obtížné najmout školitele a pronajmout si místnosti či vybavení. 5. Integrovaná školení. V případě školení „měkkých“ dovedností je velmi důležitý skupinový proces. Z tohoto důvodu by na tato školení měla být vyčleněna alespoň šestihodinová setkání. To znamená zorganizovat školení během víkendů (preferovány jsou soboty) a zajistit večeři pro účastníky (nejen pití a svačinu) – toto by mělo být vzato v úvahu při tvorbě rozpočtu těchto školení. 6. Odborné poradenství. V rámci projektu „Wisdom comes from knowledge“ si účastníci vybírali zejména tzv. bezpečná školení – tedy ta, která jsou považována za užitečná bez ohledu na typ pracovní pozice (školení v anglickém jazyce a školení v oblasti IT). Většina účastníků nemá žádný profesionální či kariérní plán a málokdy si volí konkrétní odborná školení. Doporučuje se před školením zorganizovat schůzky s odborným poradcem, který by jim měl pomoci vybrat si vhodné školení.

35


6.3.2008 18:12:55

7. Školní rok a letní prázdniny. Při organizaci školení během letních prázdnin by měly být vzaty v úvahu následující záležitosti: a. Během letních prázdnin je obtížnější sehnat školitele i účastníky školení. b.

Školitelé a účastníci školení již často mají své vlastní plány, jak strávit dobu prázdnin, a nechtějí se jich vzdát.

Nicméně na začátku školního roku školitelé obvykle oznámí potřebu změny rozvrhu – zahájí jiné hodiny a tyto nové hodiny chtějí kombinovat se starými. Účinnost kombinované výuky (blended-learning). Ukazuje se, že metoda kombinované výuky není vždy účinná. V případě technických školení („Technologie sváření“ či „Provoz průmyslových vozidel“) se účastníci zaměřují na praktická cvičení a zanedbávají plnění úkolů v oblasti e-learningu. V takovém případě účinnost kombinované výuky klesá a je preferována tradiční forma školení.

36


6.3.2008 18:12:55

Autorský tým: Mgr. Alena Husárová, Univerzita Palackého v Olomouci, ČR Mgr. Magdalena Filipczyk, WASKO S.A., Polsko

Recommend Documents