Hodnocení výsledků vzdělávání a učení Efektivita a kvalita
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
FAKTORY EFEKTIVITY VÝUKOVÝCH PROCESŮ • • • • • • •
Koncepce přípravy pracovníků Určení vzdělávacích (učebních) cílů Výběr účastníků do kurzů a školení Diagnostika účastníků Obsah (program) kurzu Forma a metodika vzdělávání Vyhodnocení výsledků Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
FAKTORY PŮSOBÍCÍ NA EFEKTIVITU PROFESNÍHO VZDĚLÁVÁNÍ DOSPĚLÝCH Projekt
Vyhodnoce ní průběhu a ověřování výsledků
Použitá forma metody a pomůcky
Určení cílů
Efektivita PVD
Výběr a diagnóza účastníků
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
KRITERIA EFEKTIVITY VÝUKOVÝCH PROCESŮ Výsledek?
Čas
Energie
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
ZÁKLADNÍ POHLEDY NA EFEKTIVNOST VÝUKY DOSPĚLÝCH Účastník
Čemu se naučil
Kolik vynaložil osobní námahy, volného času (peněz)
Podnik
Okamžitý nebo dlouhodobý efekt (rizika!)
Celkové náklady
Lektor
Akceptování lektorského vystoupení (odměna)
Čas, energie spotřebované na přípravu
Vzdělávací zařízení
Posílení image firmy
Náklady versus příjmy (zisk, případně jiný efekt)
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
HODNOCENÍ VZDĚLÁVACÍCH AKCÍ I (Kirkpatrick 2003 – upraveno) Reakce • Jaké pocity mají účastníci ze vzdělávacího programu, jak jsou spokojeni (dotazníky).
Vyučování a učení • Do jaké míry zvětšili účastníci své znalosti, zlepšili dovednosti, případně změnili postoje.
Chování • Do jaké míry změnili účastníci své chování na pracovišti.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
HODNOCENÍ VZDĚLÁVACÍCH AKCÍ II (Kirkpatrick 2003 – upraveno) Výsledky • Jaké konečné výsledky se projevily (množství, kvalita, bezpečnost, prodej, náklady, zisk, návratnost investic apod.).
Doporučení • Používat pokud možno všechny úrovně. • Mít na mysli náklady versus užitek (zážitek) versus exaktní důkaz.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
ÚROVEŇ MĚŘENÍ EFEKTIVITY VÝUKY Úroveň
Stručný popis cílů měření
1. Reakce
Měření reakce účastníka na program, často zaměřená na jeho spokojenost
2. Učení
Měření zlepšení v dovednostech, znalostech nebo postojích vzniklé vlivem programu
3. Chování
Měření změn v chování v praxi, v nichž se odrazil vliv programu
4. Výsledky
Měření změn v klíčových výkonnostních parametrech vlivem programu
5. Návratnost investic (ROI)
Srovnání finanční hodnoty výsledků s náklady vloženými do vzdělávání
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
STRATEGIE HODNOCENÍ PODLE HAMBLINA
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
JINÝ AUTOR (ARMSTRONG, 1999) ROVNĚŽ PŘISTUPUJE K HAMBLINOVU POJETÍ A UVÁDÍ POUZE PĚT ÚROVNÍ 1. Reakce školených osob na zážitky ze vzdělávání. 2. Hodnocení poznatků (posun ve znalostech, dovednostech a změny v chování). 3. Hodnocení chování účastníků (jak v praxi uplatňují, co se naučili). 4. Hodnocení na úrovni organizační jednotky (dopad změn pracovního chování účastníků na výsledky). 5. Hodnocení konečné hodnoty (prospěch organizace jako celku z uskutečněného vzdělávání). Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
ROLI Model (Greeno 2005) I (Return on Learning Investment) Východiska 1. Produktivita a ziskovost 2. Kvalita a cena 3. Spokojenost a kompetentnost
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
ROLI Model (Greeno 2005) II (Return on Learning Investment) Postupy 1. Doména podniku (návratnost) – výkon, kompetence, motivace, … 2. Doména podniku (vstupy) – lidský kapitál, distribuce tréninků, finanční náklady 3. Doména zaměstnance (vstupy) – profesionalita, čas, úsilí 4. Doména zaměstnance (návratnost) – schopnosti, motivace, obohacení, konkurenceschopnost… Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
ZÁSADY PRO ZPĚTNOU VAZBU PŘI HODNOCENÍ VÝSLEDKŮ VÝUKY (Danne, Knabe 2003) 1. 2. 3. 4. 5.
Motivace ke vzdělávání a rozvoji Cílová orientace výuky a účastníka Hodnocení (účastník, lektor) Náměty na zlepšení výuky Akční plán – jak budou použity poznatky a dovednosti a v čem se dále rozvíjet (účastníci). Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
VYHODNOCOVÁNÍ VÝSLEDKŮ A ÚČINNOSTI VZDĚLÁVACÍHO PROGRAMU (podle Koubka) 1. Porovnání výsledků vstupních a výstupních testů 2. Monitorování vzdělávacího procesu 3. Praktický přínos vzdělávání pomocí ekonomických ukazatelů
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
HODNOCENÍ PRŮBĚHU A OVĚŘOVÁNÍ VÝSLEDKŮ VÝUKY Vyhodnocení průběhu a ověřování výsledků výuky Kontrola
Ověřování
- Vstupní ověřování - Průběžné ověřování
Ústní forma - Individuální zkoušky - Kolektivní zkoušky
Create think tank!
Písemná forma - Písemné zadání - Testy - Aplikační práce
Doc. PhDr. Jaroslav Mužík DrSc.
ÚČINNOST VYUČOVÁNÍ Obsahová validita - Nebyla (byla) vynechána určitá část programu. Validita cílů - Výukové cíle byly v určité míře naplněny. Validita profesní - Výsledky výuky zaváděné do praxe. Validita komparativní - Výsledky lze srovnat s výsledky jiných lektorů s podobně tvořenými skupinami. Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
HODNOCENÍ UČENÍ • Měření znalostí před, v průběhu a po skončení vzdělávání. • Měří se postoje, znalosti, dovednosti. • Pokud je to praktické, používejte srovnání s jinými skupinami účastníků. Každý lektor by měl mít vlastní nástroj měření efektivity učení! Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
HODNOCENÍ PODNIKOVÉHO VZDĚLÁVÁNÍ 1. Účastníci (profil) 2. Školitelé a organizátoři (zdroje školení, reakce účastníků a jejich učení) 3. Linioví manažeři (relevantnost obsahu k naplnění práce podřízených, vliv školení na výkonnost) 4. Vrcholoví manažeři (náklady versus přínos vzdělávání pro podnik) Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
HODNOCENÍ EFEKTIVITY PVD SE ZAMĚŘUJE NA TO: 1. Zda byly při vzdělávání použity adekvátní nástroje tj. cíle, obsah, formy, metody, pomůcky a organizace. 2. Jaká je odezva účastníků (může být zkreslena). 3. Míra získaných informací, vědomostí a návyků. 4. Do jaké míry uplatňují účastníci zkušenosti z výuky ve své praxi. Také hodnocení má své možnosti a relativitu! Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
HODNOCENÍ EFEKTŮ PODNIKOVÉHO VZDĚLÁVÁNÍ 1. Podpora vyššího a kvalitnějšího pracovního výkonu. 2. Větší využití výrobních zařízení, technologií a kapacit služeb. 3. Pozitivní vliv na firemní kulturu, firemní klima, identifikaci pracovníka s podnikem a pracovní motivaci. 4. Formuje se vztah pracovníků nejen k podniku a spolupracovníkům, ale také k zákazníkům.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
KROKY K HODNOCENÍ VÝSLEDKŮ VYUČOVÁNÍ A UČENÍ (AUDIT) 1. Stanovení požadované úrovně vstupů a výstupů výuky (standardy V, D, N, postojů). 2. Hodnocení reálného času k dosažení cílů výuky. 3. Jednoznačnost instrukcí k provedení požadovaných výkonů účastníků. 4. Vlastní realizace výuky, vedení záznamů. 5. Rozbor výsledků učení. 6. Poskytování zpětné vazby. 7. Poskytnutí návodů k odstranění nesprávných návyků účastníků, odstranění chyb a odchylek.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
FAKTORY ÚSPĚŠNOSTI PODNIKOVÉHO VZDĚLÁNÍ Znalosti
Motivace
Dovednosti
Spokojenost
Postoje
Profil
Hodnoty
Sebevědomí
Jack Welsch, Formacion la espresa, SA Mexiko City 2006
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
PŘEDNOSTI PVD V PODNIKU I 1. Umožňuje průběžné formování pracovních schopností pracovníků podle specifických potřeb podniku. 2. Ovlivňuje pracovní výkon, produktivitu práce a tím i kvalitu výrobků a služeb. 3. Zlepšuje vztah pracovníků k podniku a zvyšuje jejich motivaci. 4. Rozšiřuje sociální jistoty pracovníků podniku. Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
PŘEDNOSTI PVD V PODNIKU II 5. Zvyšuje kvalitu a tím i tržní cenu individuální pracovní síly a tím i její potencionální šance na vnitropodnikovém i vnějším trhu práce. 6. Urychluje personální a sociální rozvoj pracovníků, zvyšuje jejich šance na funkční a platový postup. 7. Přispívá ke zlepšování mezilidských vztahů.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
MODEL STUDIA S POUŽITÍM DIAGNOSTIKY
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
OBSAH A METODY JEDNOTLIVÝCH OBLASTÍ DIAGNOSTIKY V PVD Vstupní diagnostika
Průběžná diagnostika
Výstupní diagnostika
Vstupní testy Individuální konzultace
Orientační sondy Průběžné testy znalostí
Výstupní testy Individuální konzultace
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
PŘÍNOS DIAGNOSTIKY VE VZDĚLÁVÁNÍ DOSPĚLÝCH I • Umožňuje systematický přístup k realizaci vzdělávání. • Vytváří podmínky pro účelné plánování etap vzdělávání. • Přináší komplexnější pohled na motivaci účastníků. • Dává možnost k měření dosažených pedagogických cílů. • Zajišťuje didaktickou efektivitu a ekonomiku práce lektorů i organizátorů.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
PŘÍNOS DIAGNOSTIKY VE VZDĚLÁVÁNÍ DOSPĚLÝCH II • Zajišťuje informovanost účastníka o vzdělávacím procesu, o stavu a charakteru jeho vědomostí a o možnostech jeho dalšího růstu. • Urychluje adaptaci účastníka na podmínky, způsoby i režim studia. • Působí na studijní motivaci účastníků. • Umožňuje přesnější a objektivnější klasifikaci zkoušek účastníků a vyrovnání jejich studijních problémů.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
FUNKCE DIAGNOSTIKY DOSPĚLÝCH I • Funkce poznávací Je funkcí primární a vyplývá vlastně z podstaty metody. • Funkce regulační Díky získaným údajům lze regulovat proces vyučování i učení. • Funkce motivační Spočívá v sebepoznání účastníků a jejich „vyladění“ v průběhu studia. Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
FUNKCE DIAGNOSTIKY DOSPĚLÝCH II • Funkce sociálně integrující Pomáhá vytvořit skupinovou výukovou situaci. • Funkce adaptační Urychluje adaptaci účastníků na jejich studium.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
ČINITELÉ DIAGNOSTIKY VE VÝUCE DOSPĚLÝCH
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
METODICKÁ DOPORUČENÍ K INDIVIDUÁLNÍM KONZULTACÍM S ÚČASTNÍKY V RÁMCI VSTUPNÍ DIAGNOSTIKY I • Při výuce dospělých dochází často k porušení rovnováhy mezi vnitřními schopnostmi účastníka a objektivními požadavky okolí. • Východiskem pro konzultaci je prvotní zjištění celkového postoje účastníka k učení a vzdělávání.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
METODICKÁ DOPORUČENÍ K INDIVIDUÁLNÍM KONZULTACÍM S ÚČASTNÍKY V RÁMCI VSTUPNÍ DIAGNOSTIKY II • Cílem konzultace je ujasnění a upřesnění některých osobních údajů účastníků, které byly získány při úvodním testování a konkretizaci osobnostních charakteristik a dispozic. • Konzultace musí být řádně metodicky a organizačně připraveny, dodržování etických zásad a diskrétnost zacházení s individuálními údaji je samozřejmostí. Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
METODICKÁ DOPORUČENÍ PRO PRÁCI S DIAGNOSTICKÝMI ORIENTAČNÍMI SONDAMI I • Zpracovatelem orientační sondy by měl být sám lektor. • V praxi se osvědčilo následující členění orientačních sond: 40% otázek z poznatkových struktur, které lektor již nehodlá ve výuce sdělovat, 40% otázek ke stěžejnímu výkladu látky, 20% otázek týkajících se postojů k učební látce a možnosti jejího praktického uplatnění.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
METODICKÁ DOPORUČENÍ PRO PRÁCI S DIAGNOSTICKÝMI ORIENTAČNÍMI SONDAMI II • Účastníci musí být jasně a přesně informováni o smyslu účelu sondy. • Osvědčila se praxe, kdy lektor uplatní totožnou sondu i po skončení určitého tematického bloku.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
METODICKÁ DOPORUČENÍ PRO PRÁCI S VÝSTUPNÍ DIAGNOSTIKOU • Výstupní diagnostika představuje vlastně komparativní činnost předchozích etap diagnostiky. • Důležitým cílem výstupní diagnostiky je postižení studijního vývoje účastníka. • Doporučuje se vypracování celkové zprávy postihující celkový průběh a výsledky výuky.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
VYUŽITÍ VÝSLEDKŮ DIAGNOSTIKY I • V pedagogické práci s účastníky Např. při vytváření a vědomostní homogenizaci studijních skupin, ovlivňování motivace dospělých k učení, usměrňování efektivních způsobů učení apod. • Při zdokonalování didaktického procesu Určování učebních cílů výuky, výběr učební látky, volba vzdělávacích forem, rozvoj didaktických metod, použití vyučovacích pomůcek a didaktické techniky.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
VYUŽITÍ VÝSLEDKŮ DIAGNOSTIKY II • Pro zkvalitnění lektorské činnosti Při výběru vhodných metod výuky, uplatnění učebních pomůcek i objektivnějším přístupu při ověřování znalosti účastníků • Pro práci s externími lektory Z hlediska slaďování jejich způsobů výuky vzhledem ke složení účastníků, lepší komunikaci s lektory apod. • Pro personální činnosti obecně Zlepšení výběru pracovníků do kurzů, posuzování schopností pracovníků apod. Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
PŘEDPOKLADY PRO ZAVEDENÍ DIAGNOSTIKY DO LEKTORSKÉ PRAXE • Získání nezbytných podkladů od organizátora vzdělávací akce (profesní a funkční složení účastníků, věk, pohlaví, předchozí vzdělání apod.). • Vytvoření vlastního systému diagnostiky včetně kriterií pro hodnocení efektivity výuky a interpretaci výsledků.
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
SROVNÁNÍ CERTIFIKACÍ VZDĚLÁVÁNÍ DOSPĚLÝCH ČSN EN 9001:2001
Q FOR
Oborová certifikace
Zaměření: všeobecné
Zaměření: vzdělávací a poradenské firmy
Zaměření: vzdělávací a poradenské firmy
Zakladatel: Mezinárodní organizace pro normalizaci
Zakladatel: Síť EEIG Q FOR sídlící v Belgii
Zakladatel: AIVD ČR
Časové nároky na zavedení: 6 měsíců
Časové nároky na zavedení: 1 den – vyplnění dotazníku 3 hod – návštěva auditora
Časové nároky: 1 měsíc
Platnost auditu: 3 roky
Platnost auditu: 3 roky
Platnost auditu: 3 roky
Cena: 100 – 200 000,- Kč
Cena: 35 – 50 000,- Kč
Cena: 30 000,- Kč
Výstup auditu: příručka jakosti, logo
Výstup auditu: zpráva o auditu, logo
Výstup auditu: příručka jakosti
Využití: Mezinárodně neomezené ve všech oblastech podnikání a státní sféry
Využití: Marketingové využití pouze Využití: Marketingové v oboru vzdělávání a poradenství využití pouze v oboru vzdělávání a poradenství
Známost: ***** v celé Evropě
Známost: *** především v zapojených státech
Create think tank!
Známost: ** pouze v ČR
Doc. PhDr. Jaroslav Mužík DrSc.
OSM PRINCIPŮ ŘÍZENÍ KVALITY PODLE ISO 9001 1. 2. 3. 4. 5. 6. 7. 8.
Orientace na zákazníka Vedení Zapojení osob Procesně orientovaný koncept Systémově orientovaný koncept Neustálé zlepšování Věcný koncept pro rozhodování Dodavatelské vztahy k vzájemnému užitku Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
ČSN EN ISO 9001:2001 I
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
ČSN EN ISO 9001:2011 II
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
Q FOR – průběh auditu I
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
Q FOR – průběh auditu II
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
Q FOR – FÁZE AUDITU • • • •
Předávání podkladů Telefonická anketa Návštěva auditora ve firmě Uzavření auditu
Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.
OBOROVÁ CERTIFIKACE (Přehled oblastí požadavků na systém řízení jakosti žadatele) • • • • • • • • • •
Požadavky obecné a organizační Požadavky z oblasti ekonomiky a řízení Řízení a plánování Systém řízení jakosti Komunikace s klientem Vývoj nového produktu Proces poskytování služby vzdělávání dospělých Personál Vnitřní kontroly Monitorování, vyhodnocování Create think tank!
Doc. PhDr. Jaroslav Mužík DrSc.