Zkušenosti s hodnocením získaného efektu elektronického vzdělávání lékařských knihovníků ČR Eva Lesenková, Helena Bouzková, Adéla Jarolímková, Jitka Feberová
Národní lékařská knihovna • Veřejná specializovaná knihovna • Získává a organizuje kvalitní a důvěryhodné klasické i elektronické informační zdroje a buduje z nich archivní i moderní informační fondy, které zpřístupňuje odborné i laické veřejnosti • Doplňuje infrastrukturu zdravotnického výzkumu a odborného vzdělávání ve zdravotnictví • Odborné činnosti – – – – – – – – –
Bibliographia Medica Čechoslovaca Český překlad tezauru MeSH (Medical Subject Headings) Knihovnický systém a portál Medvik Digitální knihovna Souborné katalogy, soubory autorit Dokumentační centrum WHO pro Českou republiku Zdravotnické muzeum Vzdělávání knihovníků ze zdravotnických knihoven Metodika, statistiky
Síť zdravotnických knihoven v ČR Zařízení řízené MZ ČR
Zařízení mimorezortní
Zařízení integrované
Celkem ČR
Lékařské fakulty a jiné VŠ
0
4
4
8
Fakultní nemocnice
4
0
4
5
Nemocnice
1
51
0
52
Ostatní lůžková zařízení
7
0
0
7
Odborné léčebné ústavy
13
1
0
14
Hygienické stanice
3
0
0
3
Léčebné lázně
0
2
0
2
Vyšší a střední zdravotnické školy
0
19
0
19
Ostatní zařízení
4
0
0
4
Celkem
32
77
5
114
Celoživotní vzdělávání knihovnicko-informačních pracovníků ve zdravotnictví KONTINUITA
OBDOBÍ 1977 - 1989 1990 - 2009 2009 - 2010 2011 – 2012
ILF - ÚVLI IPVZ - VISZ - VISK2 NLK - Veřejné informační služby ve zdravotnictví (VISZ) Klub lékařských knihoven při SKIP – VISK2 - IPVZ NLK – VISZ – KLK – VISK2 - IPVZ
„Program kontinuálního vzdělávání lékařských knihovníků“ Ústav vědeckých lékařských informací ( NLK) v kooperaci s ILF, později IPVZ Institutem postgraduálního vzdělávání ve zdravotnictví v Praze
„ Mimoškolní vzdělávání knihovníků VISK 2 „
E-learningové kurzy NLK • Moderní knihovnicko-informační práce v lékařských knihovnách • Cíl: prohloubení znalostí v oblasti knihovnickoinformačních systémů ve zdravotnictví, v přístupu ke specializovaným zdrojům a pro využívání moderních vyhledávacích technologií • Obsah: – Systém knihoven v ČR, legislativa, lékařské knihovny – Lékařská terminologie, MeSH – Specializované informační zdroje pro medicínu
• Tutorovaný kurz, 6 týdnů • LMS Moodle
E-learningové kurzy NLK Přihlášených
Začalo kurz
Dokončilo kurz
Pilotní kurz
Podzim 2010
15
15
15 (100%)
Kurz 1
Jaro 2011
39
39
36 (92%)
Kurz 2
Jaro 2012
24
20
18 (90%)
Počty v %
Máte zkušenost s e-learningem? 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
93% 79% 61%
39%
ano ne
7% Pilotní kurz
8% Kurz 1
Kurz 2
Hodnocení seminářů NLK/IPVZ • Dotazník ke každému semináři/kurzu – Organizační zajištění – Náměty na další semináře/kurzy – Kvalita přednášek • • • •
Aktuálnost Odborná úroveň Pedagogická úroveň Přínos pro praxi
Výběr modelu hodnocení efektivity pro e-learning Modely evaluace firemního vzdělávání – Donald L. Kirpatrick (1959) • • • •
Reakce Učení Chování Výsledky
– Treadway Parker (1973)- Pracovní výkon, Výkon skupiny, Spokojenost účastníka, Získané znalosti – Stephanie Jackson a Mary Jo Kulp (1979) – Reakce, Schopnosti, Aplikace, Hodnota – CIRO=Context, Input, Reaction, Outcome (Warr, Bird, Rakman, 1970) – CIPP=Context, Input, Process, Products (Galvin 1983) – Elwood F. Holton (1996) – Phillips Five-Level ROI Framework (1997) – reakce, učení, aplikace v práci, obchodní výsledky, návratnost investice
Kirkpatrickův čtyřúrovňový model Úroveň 4 Výsledky
• Do jaké míry jsou dosaženy plánované výsledky rozvojového projektu a následných podpůrných aktivit
Úroveň 3 Chování
• Do jaké míry účastníci využívají nové znalosti a dovednosti ve své každodenní práci
Úroveň 2 Učení
• Do jaké míry účastníci získali očekávané znalosti, dovednosti a přístupy díky své účasti na vzdělávacím projektu
Úroveň 1 Reakce
• Do jaké míry byli účastníci spokojeni s tréninkovým kurzem
Aplikace modelu pro hodnocení elearningového kurzu NLK
Úroveň 3
• Dotazník 3-6 měsíců po ukončení kurzu
Úroveň 2
• Srovnání výsledků pretestu a posttestu • Hodnocení úkolů
Úroveň 1
• Hodnotící dotazník na závěr kurzu • Diskuzní fórum • Setkání s účastníky
Aplikace modelu pro hodnocení elearningového kurzu NLK Úroveň 1
Úroveň 2
Úroveň 3
Hodnotící dotazník
Diskuzní fórum
Setkání s účastníky
Pretest/ Posttest
Úkoly
Dotazník po 3 měs.
Pilotní kurz
Ano
Ano
Ano
Ano
Ano
Ano
Kurz 1
Ano
Ano
Ne
Ano
Ano
Ne
Kurz 2
Ano
Ano
Ne
Ano
Ano
Ano
Úroveň 1 - Reakce • Hodnotící dotazník – 10 otázek – Hodnocení formy kurzu – spokojenost/nespokojenost s e-learningem – Hodnocení náplně kurzu – celkové hodnocení, hodnocení jednotlivých témat • • • •
Aktuálnost Odborná úroveň Úroveň tutorování Přínos pro praxi
– Náměty a připomínky
Úroveň 1 – celková spokojenost Splnil kurz Vaše očekávání? 90%
83% 78%
80% 70%
67%
Počty v %
60% 50%
Pilot Kurz 1
40%
33%
Kurz 2
30% 22% 17%
20% 10%
0%
0%
0% Zcela
Částečně
Vůbec ne
0%
Úroveň 1 – spokojenost s e-learningem Vyhovuje Vám e-learning? 100%
97%
Ano Ne
0% Pilot
3% Kurz 1
0%
Zúčastnil/a byste se dalšího případného e-learningového kurzu?
Kurz 2
120% 100%
97%
100% Počty v %
Počty v %
100% 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
94%
80% 60%
Ano
40%
Ne
20% 0%
3%
6%
0% Pilot
Kurz 1
Název osy
Kurz 2
Úroveň 1 – hodnocení jednotlivých lekcí Hodnocení lekce Systém knihoven 1,6
1,4 1,4
1,4
1,5 1,3
1,2 Známka
1,3 1,1 1,1 1,1
1,3
1,1 1,1
1,2
Hodnocení lekce Informační zdroje
1 Pilot
1,4
0,6
Kurz 1
1,2
0,4
Kurz 2
0,8
Známka
Aktuálnost
Odborná úroveň
Úroveň tutorování
Přínos pro praxi
Hodnocení lekce Terminologie, MeSH 1,2
1,1
1,1 1
1,1 1 1
1,1 1,1 1
1,1
1 1
1,11,1
1,2 1,11,1
1
0,8
Pilot
0,6
Kurz 1
0,4
Kurz 2
0,2
1,1 1
1
0 Aktuálnost Odborná Úroveň Přínos pro úroveň tutorování praxi
0,8 Známka
1,1
1
0,2 0
1,1 1,1 1
Pilot
0,6
Kurz 1
0,4
Kurz 2
0,2 0 Aktuálnost
Odborná úroveň
Úroveň tutorování
Přínos pro praxi
Úroveň 2 - Učení • Srovnání pretestu a posttestu – 17 shodných otázek (změněné pořadí)
• Plnění úkolů – Celkem 14 praktických úkolů
Úroveň 2 - Učení Výsledky pretestu a posttestu v jednotlivých bězích kurzů 18 16
15
14
16 14
15 13
14 12 10 8 6
Pretest
4
Posttest
2
0 Pilot
Kurz 1
Kurz 2
Běh kurzu
Pretest Posttest
Pilot Průměrný počet bodů Rozsah získaného počtu bodů 14 10-16 15 13-17
Kurz 1 Průměrný počet bodů Rozsah získaného počtu bodů 14 8-17 16 13-17
Kurz 2 Průměrný počet bodů Rozsah získaného počtu bodů 13 8-17 15 13-17
Úroveň 3 - Chování • Dotazník rozeslaný 3 měsíce po absolvování kurzu – 10 otázek – Změny v praxi zavedené po absolvování kurzu – Změny ve službách knihovny – Změny ve vyhledávání – Informování uživatelů knihovny o novinkách
Úroveň 3 – změny v poskytovaných službách Provedli jste na základě znalostí získaných v kurzu nějaké změny ve vámi poskytovaných službách? 70%
60%
50%
40% Ano Ne
30%
20%
10%
0% Pilotní kurz
Kurz 2
Úroveň 3 – nově využívané zdroje a služby Které činnosti nebo služby NLK, o kterých jste se dozvěděli v kurzu, nově používáte ve své praxi? 60% 50% 40% 30% 20% 10%
Pilot Kurz 2
0%
Úroveň 3 – rozšíření přístupu k informačním zdrojům V jaké oblasti jste rozšířili přístupy k informačním zdrojům? 90% 80% 70% 60%
50% 40%
Pilotní kurz
30%
Kurz 2
20% 10% 0% Katalogy
Databáze
Elektronické časopisy
Vyhledávání odborných informací na internetu
Medicína založená na důkazu (EBM)
Úroveň 3 – informování uživatelů Upozorňujete uživatele na zdroje o nichž jste se dozvěděli v kurzu? 120% 100% 80% Ano
60%
Ne 40% 20% 0% Pilotní kurz
Kurz 2
Úroveň 3 – změny ve způsobu vyhledávání Používali jste před absolvováním kurzu při vyhledávání deskriptory MeSH? 80% 70% 60% 50% 40% 30% 20% 10% 0%
Ano Ne
Pilotní kurz
Kurz 2
O kolik procent se přibližně zvýšilo používání deskriptorů MeSH oproti vaší předchozí praxi? 45% 40% 35% 30% 25% 20% 15% 10% 5% 0%
Pilotní kurz
Kurz 2
Problémy s hodnocením • Formulace otázek v dotaznících (úroveň 1 a 3) • Příliš jednoduché úkoly, problém s hodnotící škálou (úroveň 2) • Pouze subjektivní pohled na provedené změny (úroveň 3) • Chybí hodnocení celkového přínosu pro knihovnu – zvýšil se počet uživatelů, hodnotí uživatelé služby knihovny jako kvalitnější …
Budoucnost • Nový e-learningový kurz pro pokročilé, od 1.10. Obtížnější pre- a posttest, náročnější úkoly, autotesty ke každé lekci Nový hodnotící dotazník i dotazník na změny v praxi související s absolvováním kurzu
