Zkušební ověření vývojového prostředí CISKOM pomocí vzorku e-learningových modulů Závěrečná zpráva
31. 7. 2008 Centrum pro zjišťování výsledků vzdělávání Oxygen Solutions, s.r.o.
Obsah Obsah ...................................................................................................................................................... 2 Úvod ........................................................................................................................................................ 4 Řešitelský tým.......................................................................................................................................... 5 Cíle plánovaného projektu CISKOM ....................................................................................................... 6 Cíle zkušebního provozu CISKOM .......................................................................................................... 6 Co zkušební provoz nezahrnoval (bude součástí plánovaného projektu CISKOM) ............................... 6 Konkretizace velikosti plánovaného projektu CISKOM ........................................................................... 7 Počet rolí spadajících do vzdělávacího programu........................................................................... 7 Přehled kurzů členěných předmětově ............................................................................................. 8 Návrh implementace a ověření technologie LMS ve zkušebním provozu ............................................ 11 Východiska pro výběr technologie LMS ........................................................................................ 11 Ověřovací technologie LMS .......................................................................................................... 12 Návrh a tvorba prototypů vzdělávacích objektů ve zkušebním provozu ............................................... 13 Návrh a ověření procesů pro tvorbu obsahu ..................................................................................... 13 Tvorba jednotné grafické úpravy ....................................................................................................... 14 Šablony pro autory distančních textů ................................................................................................ 14 Implementace DMS jako podpůrného IS ........................................................................................... 14 Interpretační dokument pro programátora e-learningových modulů/kurzů (pracovní verze) ............ 14 Realizace modulárního konceptu pro strukturalizaci objektů obsahu ............................................... 14 Analýza použitelnosti LMS jako výukového konceptu ........................................................................... 17 Realizace zpětnovazebních dotazníků .............................................................................................. 17 Ověření komunikačních nástrojů pro podporu synchronní a asynchronní výuky.............................. 17 Naplnění cílů zkušebního provozu ........................................................................................................ 18 Harmonogram realizace zkušebního provozu ................................................................................... 18 Fáze 1 – školení účastníků zkušebního provozu .......................................................................... 18 Fáze 2 – zkušební provoz ............................................................................................................. 18 Fáze 3 – sběr zpětnovazebních dotazníků a připomínek k šablonám k tvorbě distančních textů 18 Fáze 4 – vyhodnocení zkušebního provozu .................................................................................. 18 Popis implementace LMS ze zkušebního provozu............................................................................ 19 Jednotné grafické zpracování............................................................................................................ 20 LMS ............................................................................................................................................... 20 Vzdělávací obsah .......................................................................................................................... 21 Ukázky vytvořených on-line testů .................................................................................................. 22 Výsledky hodnocení LMS .................................................................................................................. 25 Výsledky hodnocení kurzů................................................................................................................. 26 Kurz A ................................................................................................................................................ 26 Kurz B ................................................................................................................................................ 26 Kurz C1 .............................................................................................................................................. 27
2
Kurz C2 .............................................................................................................................................. 27 Kurz D ................................................................................................................................................ 27 Výsledky hodnocení modulů.............................................................................................................. 28 Co je e-learning ................................................................................................................................. 30 Hodnocení OÚ – matematika ............................................................................................................ 31 Metodika práce lektora ...................................................................................................................... 32 Průvodce přihlašování žáků k maturitní zkoušce a uchazečů k jednotlivé zkoušce ......................... 33 Tvorba distančních e-learningových textů ......................................................................................... 34 Tvorba videí ....................................................................................................................................... 35 Závěr ...................................................................................................................................................... 36 Přílohy.................................................................................................................................................... 37
3
Úvod Reforma maturitní zkoušky je komplexní a rozsáhlý proces, který vyžaduje uplatnění všech inovativních přístupů k zajištění efektivnosti, hospodárnosti a udržitelnosti implementovaných řešení. Jedním z inovativních přístupů je projekt CISKOM, jemuž předcházelo zkušební ověření vývojového prostředí CISKOM pomocí vzorku e-learningových modulů. Nezbytnost řešení dalšího vzdělávání pedagogických a organizačních pracovníků vyplývá na jedné straně ze zákonných ustanovení, týkajících se maturitní zkoušky, jednak z nutnosti cestou profesionalizace orgánů společné části maturitní zkoušky omezit rizikové působení lidského faktoru na spolehlivost logisticko-bezpečnostního systému maturitní zkoušky. Kvalitní příprava pedagogických pracovníků zajistí vysoký stupeň objektivizace průběhu a vyhodnocení dílčích zkoušek, konaných formou písemné práce a formou ústní, a to cestou distančního e-learningového vzdělávání. Světové zkušenosti ukazují, že e-learning je vysoce efektivní všude tam, kde: •
je cílem proškolit velké množství lidí v jednom kurzu;
•
účastníci kurzů jsou rozprostraněni na velkém území;
•
proškolení je potřeba realizovat s vysokou mírou standardizace, tzn. všichni účastníci musí obdržet stejný výklad i zdroje (dokumenty, diskusní témata, průběžné testy...);
•
účastníci kurzů nemohou nebo mohou obtížně opustit pracovní proces.
V době, kdy dostupnost rychlého připojení k internetu není pro většinu zaměstnanců ve školství problémem, je na čase uvést v život skutečnou podporu distančních forem výuky využitím e-learningu. Distanční e-learningové vzdělávání je chápáno jako forma řízeného samostudia, během kterého jsou účastník kurzu a vyučující od sebe fyzicky vzdáleni. Mezi jeho výhody nepochybně patří skutečnost, že účastník kurzu může pracovat svým vlastním tempem kdykoliv a kdekoliv, kde má přístup k internetu, a volit si témata v pořadí, která jsou mu blízká. Nezanedbatelné je i ekonomické hledisko, kdy se eliminují náklady za pronájem učeben, tisk a distribuci studijních materiálů, cena za lektora, dopravu a další. Plánovaný projekt CISKOM bude založen na kombinaci velkého podílu neprezenčních forem vzdělávání formou e-learningu a nezbytně nutného podílu prezenčních (kontaktních) vzdělávacích aktivit a je cílen na vývoj a implementaci vzdělávacího portálu s kapacitou, který vyhoví provozním nárokům resortu školství.
4
Řešitelský tým CERMAT •
Martina Bezuchová – vedoucí projektu CISKOM (Zkušební ověření vývojového prostředí CISKOM pomocí vzorku e-learningových modulů)
•
Lída Zajíčková – koordinátora, autorka vzdělávacího obsahu, lektorka
•
Eva Říhová – koordinátora, autorka vzdělávacího obsahu, lektorka
•
Eva Řídká – autorka vzdělávacího obsahu, lektorka
•
Monika Vítková – autorka vzdělávacího obsahu
Oxygen Solutions, s.r.o •
Petr Svoboda – vedoucí projektu
•
Pavlína Zábranská – projektový manažer
•
Milan Petr – LMS specialista
•
Jaromír Procházka – grafik
•
Marek Velas – autor vzdělávacího obsahu
5
Cíle plánovaného projektu CISKOM Hlavními cíli plánovaného projektu CISKOM jsou: •
zajištění školení, seminářů, ověřování a certifikace tzv. orgánů společné části maturitní zkoušky a dalších pedagogických a organizačních pracovníků;
•
informační podpora a semináře vedoucích pracovníků středních škol (ředitelé), pracovníků ČŠI a dalších cílových skupin odborné veřejnosti (např. učitelé maturitních předmětů, žáci, rodiče, OŠ KÚ, výchovní poradci ...), přímo dotčených reformou maturitní zkoušky;
•
•
vyškolení, ověření způsobilosti k výkonu funkce a certifikování cca 53 000 rolí1 z řad pedagogických a organizačních pracovníků; evidence vyškolených pedagogických a organizačních pracovníků, správa registru pedagogických pracovníků oprávněných k výkonu funkce školního maturitního komisaře, zadavatele a hodnotitele;
Cíle zkušebního provozu CISKOM •
vytvořit ukázkové distanční e-learningové objekty obsahu (kvalita, forma prezentace)
•
sestavit testové otázky k vytvořeným modulům (kvalita)
•
seznámit garanty a autory obsahu s tvorbou distančních e-learningových textů a dalších objektů obsahu
•
ověřit LMS a zjistit, zda je toto studijní prostředí uživatelsky příjemné
•
získat zpětnou vazbu k vytvořeným modulům a testům
Co zkušební provoz nezahrnoval (bude součástí plánovaného projektu CISKOM) •
vzdělávací portál, jehož součástí je LMS
•
proces registrace účastníků k on-line studiu
•
zpětná vazba k vytvořeným modulům a kurzům v LMS
•
úplný provoz LMS
•
proces certifikace (Osvědčení o absolvování kurzu, Certifikát za prezenční zkoušku formou on-line testu)
1
Uvedené role pokrývají potřebu realizace maturitní zkoušky. Uživatel vzdělávacího portálu CISKOM (fyzická osoba) může být v rámci MZ pověřen více rolemi (například učitel maturitního předmětu může být hodnotitelem i zadavatelem). V takovém případě tento uživatel projde více specifickými kurzy. Z toho plyne, že se dá předpokládat, že skutečný počet osob participujících na vzdělávacím procesu CISKOM jako účastníci kurzů bude nižší.
6
Konkretizace velikosti plánovaného projektu CISKOM Počet rolí spadajících do vzdělávacího programu
Poř. číslo
Název kurzu (=ROLE, CÍLOVÁ SKUPINA)
1
Autoři testových úloh (TÚ)
2
Revizoři testových úloh
Č. podoblasti (podskupiny)
1a 1b 1c 2a 2b 2c 3a 3b
3
Hodnotitelé 3c 3d 3e
4
SVP experti
5
Lektoři (tutoři) – spolupracující subjekty, CERMAT
6
Organizační pracovníci (ŠMK, ZAD, PŘEMEK, ČŠI...)
7
8
9
10
Ředitel střední školy
–
Specializace (podkurz)
Autor TÚ didaktického testu Autor TÚ písemné práce Autor TÚ pracovních listů k ústní zkoušce Revizor TÚ didaktického testu Revizor TÚ písemné práce Revizor TÚ pracovních listů k ústní zkoušce Hodnotitelé otevřených úloh didaktické testy Hodnotitelé písemných prací (Učitelé maturitních předmětů – jazyky) Hodnotitelé ústních zkoušek (Učitelé maturitních předmětů – jazyky) Hodnotitelé certifikované MZ_písemná práce Hodnotitelé/zkoušející certifikované MZ_ústní zkouška –
5a 5b 5c 5d
Lektor Lektor Lektor Lektor
6a 6b
Školní maturitní komisař Zadavatel zkoušek společné části Předseda mat. komise ústní zkouška Certifikovaný učitel pilotážní školy Česká školní inspekce Ředitel střední školy s maturitním ročníkem (rozšířeno o zástupce ředitele od 16.6.2008) Ředitel pilotážní školy Ředitel pilotážní školy pro akreditaci v cizích jazycích SEN SLOB KRTEK Další (např. sekce OVV) Executives Experts Supervisors Exam assessors Česká školní inspekce Učitelé maturitních předmětů Odbor školství krajského úřadu Krajské vzdělávací zařízení (KVZ) Výchovní poradci PPP (+IPPP) Žáci a rodiče Veřejnost + MŠMT Celkem účastníků ve všech kurzech
6c 6d 6e 7a 7b
7c 8a 8b Pracovníci CERMATu 8c 8d 9a 9b Standardizační komise (cizí jazyk B1,B2) 9c 9d 10a 10b 10c Ostatní 10d (informační část vzdělávacího portálu, 10e NE e-learning) 10f 10g 10h
– didaktický test – písemná práce – ústní zkouška – organizace (obecný)
Celkem kurzů členěno předmětově (cca) Celkem modulů členěno předmětově (cca) Kurzy se dále člení předmětově: celkem je 7 typů jazykových kurzů (cizí jazyky 5x, čeština 1x, čeština jako jazyk cizí 1x-řadí se mezi cizí jazyky) celkem je 9 typů kurzů z ostatních předmětů (MA, OSZ, INF, F, CH, BI, ZE, DE, DU) DOHROMADY 16 typů kurzů dle předmětů
Počet účastníků kurzů (rolí) odhad
400 60 200 180 70 70 200 13 000 13 000 500 500 30 35 140 140 60 1 700 15 000
Uvedené role pokrývají potřebu realizace maturi tní zkoušky. Uživatel vzdělávacího portálu CISKOM (fyzická osoba) může být v rámci MZ pověřen více rolemi (například učitel maturitního předmětu může být hodnotitelem i zadavatelem). V takovém případě tento uživatel projde více specifickými ku rzy. Z toho plyne, že s e dá předpokládat, že skutečný počet osob participujících na vzdělávac ím procesu CISKOM jako účastníci kurzů bude nižší.
4 500 100 50 2 700 75 500 30 15 11 4 5 15 5 75
53 370 149 184
7
Přehled kurzů členěných předmětově Poř. číslo
Název kurzu (=ROLE, CÍLOVÁ SKUPINA)
Č. podoblasti (podskupiny)
Specializace (podkurz)
Předměty
Poř. číslo kurzu
ČJ ČJ-L2 AJ NJ FJ
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Autor TÚ didaktického testu - 16
ŠJ
RJ 1a
1
MA
OSZ INF FY CH BI ZE DE DU
Autoři testových úloh (TÚ) Autor TÚ písemné práce - 7
ČJ ČJ-L2 AJ NJ FJ
1b
ŠJ
RJ
17 18 19 20 21 22 23
Autor TÚ pracovních listů k ústní zkoušce - 7 ČJ ČJ-L2 AJ NJ FJ
1c
ŠJ
RJ
24 25 26 27 28 29 30
Revizor TÚ didaktického testu - 16 ČJ ČJ-L2 AJ NJ FJ ŠJ
RJ 2a
2
MA
OSZ INF FY CH BI ZE DE DU
Revizoři testových úloh
31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46
Revizor TÚ písemné práce - 7 ČJ ČJ-L2 AJ NJ FJ
2b
ŠJ
RJ
47 48 49 50 51 52 53
Revizor TÚ pracovních listů k ústní zkoušce - 7
2c
ČJ ČJ-L2 AJ NJ FJ ŠJ
RJ
54 55 56 57 58 59 60
8
Hodnotitelé otevřených úloh didaktické testy - 16 ČJ ČJ-L2 AJ NJ FJ ŠJ
RJ
3a
MA
OSZ INF FY CH BI ZE DE DU
61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76
Hodnotitelé písemných prací - 7 (Učitelé maturitních předmětů – jazyky) ČJ ČJ-L2 AJ NJ FJ
3b
3
ŠJ
Hodnotitelé
RJ
77 78 79 80 81 82 83
Hodnotitelé ústních zkoušek - 7 (Učitelé maturitních předmětů – jazyky) ČJ ČJ-L2 AJ NJ FJ
3c
ŠJ
RJ
84 85 86 87 88 89 90
Hodnotitelé certifikované MZ_písemná práce 6 ČJ-L2 AJ NJ FJ
3d
ŠJ
RJ
91 92 93 94 95 96
Hodnotitelé/zkoušející certifikované MZ_ústní zkouška - 6 ČJ-L2 AJ NJ FJ
3e
ŠJ
RJ 4
SVP experti
–
–
97 98 99 100 101 102 103
Lektor – didaktický test - 16 ČJ ČJ-L2 AJ NJ FJ ŠJ
RJ
5a
5
MA
OSZ INF FY CH BI ZE DE DU
Lektoři (tutoři) – z KVZ, CERMATu
104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119
Lektor – písemná práce - 7 ČJ ČJ-L2 AJ NJ FJ
5b
ŠJ
RJ
120 121 122 123 124 125 126
Lektor – ústní zkouška - 7 ČJ ČJ-L2 AJ NJ FJ
5c
ŠJ
RJ 5d
Lektor – organizace (obecný)
127 128 129 130 131 132 133 134
9
6
7
8
9
Organizační pracovníci (ŠMK, ZAD, PŘEMEK, ČŠI...)
Ředitel střední školy
Pracovníci CERMATu
6a 6b 6c 6d 6e 7a 7b 7c 8a 8b 8c 8d 9a 9b 9c
Školní maturitní komisař Zadavatel zkoušek společné části Předseda mat. komise ústní zkouška Certifikovaný učitel pilotážní školy Česká školní inspekce Ředitel střední školy s maturitním ročníkem Ředitel pilotážní školy Ředitel pilotážní školy pro akreditaci v cizích jazycích SEN SLOB KRTEK Další (např. sekce OVV) Executives Experts Supervisors Exam assessors
135 136 137 138 139 140 141 142 143 144 145 146 147 148 149
ČJ-L2 AJ NJ FJ
Standardizační komise (cizí jazyk B1,B2) 9d
ŠJ
RJ
10
Ostatní (info rmační portál, NE e-learn ing)
10a 10b 10c 10d 10e 10f 10g 10h
Česká školní inspekce Učitelé maturitních předmětů Odbor školství krajského úřadu Krajské vzdělávací zařízení (KVZ) Výchovní poradci PPP (+IPPP) Žáci a rodiče Veřejnost + MŠMT Celkem kurzů
150 151 152 153 154 155
155
10
Návrh implementace a ověření technologie LMS ve zkušebním provozu Východiska pro výběr technologie LMS Štolba, Milan: Prováděcí studie modelu CISKOM s využitím e-learningu, Praha, 2008 Vzhledem
k velikosti
projektu
CISKOM,
který
dle
kapitoly
„
11
Konkretizace velikosti plánovaného projektu CISKOM“ dosahuje cca 1.000.000 hodin učiva, které je nutné prostudovat v období od 2/2009 do 2/2010 a zároveň je jedním ze základních východisek dostupnost celého systému. Funkcionalita potřebná pro realizaci zkušebního provozu byla až na výjimky, které jsou specifikované v kapitole „
12
Popis implementace LMS“ běžně dostupná v použitém produktu Oracle iLearning 4.3. Z pohledu systémového inženýrství leží tedy majorita kritérií v poli nefunkčních požadavků (a z pohledu produktu tedy ve funkcích zajištujících naplnění těchto nefunkčních požadavků). Jmenovitě se jedná o: 1. Dostupnost Systém musí umožnit horizontální škálování takové, aby byl zajištěn bezproblémový přístup řádově 1.500 konkurenčních uživatelů (souběžně pracujících uživatelů). 2. Bezpečnost Vzhledem k citlivosti údajů obsažených v jednotlivých modulech, je žádoucí maximální bezpečnost před přístupem neoprávněných osob. Také se zvedá požadavek na úroveň zabezpečení přístupu k obsahu dle úrovně oprávnění jednotlivých uživatelů systému. 3. Přístupnost Cílové řešení musí reflektovat požadavky na přístupnost, zejména z pohledu používaných technologií na straně klienta (Flash, Javascript, Shockwave) a z pohledu technologické zdatnosti účastníků. 4. Auditovatelnost Přesná vyhodnotitelnost zásahů (ať už administrativních nebo uživatelských) je nutným kritériem pro zajištění pozice CERMATu v řešení konfrontačních událostí jako je nespokojenost s evidovaným studijním výsledkem. 5. Rozšiřitelnost V rámci zkušebního provozu jasně vyvstaly podmínky definující potřebu portálové technologie, která bude nadřazená studijnímu prostředí. LMS tedy musí poskytovat takové funkce, které umožní integraci obsahu, studijního plánu a výsledků do vzdělávacího portálu. 6. Robustnost Je žádoucí, zejména z hlediska dodržení kvality poskytované služby vzdělávání směrem k pedagogické veřejnosti, aby systém byl dostatečně robustní a zvládnul dynamickou zátěž v řádech desítek tisíc účastníků. Součástí robustnosti chápeme i horizontální škálovatelnost kompletní HW a SW infrastruktury. 7. Udržitelnost Dodavatel technologie LMS by měl být dostatečně stabilní, aby bylo možné garantovat kontinuitu služby v horizontu desítek let. Je zřejmé, že e-learning jako takový prochází dynamickým vývojem a je tedy žádoucí, aby provozovaný systém byl vždy aktuální ve vztahu k momentálním trendům a nejnovějším vzdělávacím postupům.
Ověřovací technologie LMS Pro účely zkušebního provozu byla použita standardní instalace Oracle iLearning 4.3 s databází Oracle Enterprise 10g.
13
Návrh a tvorba prototypů vzdělávacích objektů ve zkušebním provozu Již zmiňovaný objem vzdělávacího obsahu vedl k návrhu následující podoby procesu tvorby obsahu. Základním kritériem, při návrhu procesu byla realizovatelnost v omezeném čase, který pro přípravu obsahu bude k dispozici. Proto je zde patrné oddělení použití znalostí a dovedností, kdy jsme se chtěli vyhnout „zahlcení“ autorů vzdělávacího obsahu problematikou tvorby HTML, CSS, Flash a nebo nástrojů pro tvorbu SCORM obálek. Všechny tyto technologické činnosti jsou uvažovány jako kompetence dodavatele technologie, nikoliv jako kompetence autora či garanta obsahu.
Návrh a ověření procesů pro tvorbu obsahu Obecný proces tvorby objektů obsahu CERMAT Přiřazení garanta obsahu
Garant obsahu odpovídá za určitou tematickou oblast výuky (obsah, rozsah, struktura jednotlivých modulů).
Garant/autor – tvorba objektu obsahu dle Pravidel pro garanty a autory obsahu
Objekty obsahu textové dokumenty, tabulky, grafy, schémata, prezentace, video atd. V DMS probíhá editace a aktualizace vždy na jednom originálu.
NE
Obsahový korektor posuzuje obsahovou stránku objektů obsahu.
Formální korektura
NE NE
Obsahová korektura
Jazykový korektor posuzuje gramatickou, jazykovou a stylistickou stránku objektů obsahu.
Jazyková korektura
Supervizor
Schválení objektu obsahu (dokumentu) supervisorem ke konverzi do HTML
odpovídá za celou oblast (obsah; organizace; bezpečnost) a za své garanty.
Interní koordinátor Interní koordinátor zaměstanec CERMATu; zajišťuje koordinaci prací mezi CERMAT/CISKOM a dodavatelem.
Dodavatel
Konverze do HTML (e-learningu)
Mediátor NE komunikuje s interním koordinátorem CISKOM při konverzi dokumentů do HTML, např. při zprostředkování schůzek mezi programátorem a autorem obsahu.
Grafická a stylová korektura HTML verze
NE
NE QA - Funkční testování
Interní koordinátor
CERMAT NE
Schválení supervisorem k nasazení do ostrého provozu LMS
Interní koordinátor
Dodavatel
Zavedení do produkčního prostředí LMS
14
Tvorba jednotné grafické úpravy Vzhledem k objemu vzdělávacích objektů (modulů), které je třeba vyvinout pro zajištění naplnění objemu přípravy pedagogických pracovníků je nezbytné, aby měli uživatelé se vzdělávacím prostředím pokud možno konstantní zkušenost a aby navigace a funkce byla pro uživatele maximálně zjednodušena. Pro majoritní část potenciálních účastníků bude projekt CISKOM jejich prvním setkáním s e-learningem (potažmo blended-learningem) a proto je tato „jednotnost“ základním stavebním kamenem pro vybudování důvěry účastníka v systém samotný. Pokud budou funkce předvídatelné (což se dá zajistit pomocí přesných, ale stručných popisů funkcí) a přehledné (budou vždy realizovány na stejném grafickém konceptu), bude celková zkušenost účastníka pozitivnější, protože bude moci po velmi krátkém užívání zhodnocovat nabyté zkušenosti s prostředím.
Šablony pro autory distančních textů Pro maximální zjednodušení procesu vývoje objektů obsahu jsme připravili šablony, které autorům zjednodušují práci při tvorbě textových, obrazových a video materiálů. Tato šablona definuje sadu značek, které následně programátoři interpretují při konverzi prostého textu do podoby HTML a tím umožňují autorům obsahu definovat formátování výsledného kurzu/modulu, aniž by byla nutná jakákoliv znalost technologií SCORM, HTML, FLASH atp. Zároveň je pak tento výstup používán jako tištěná verze ve formátu PDF, čímž se zvyšuje dostupnost obsahu z hlediska účastníka, protože tím má jednoduchou možnost studijní téma vytisknout a studovat off-line.
Implementace DMS jako podpůrného IS Pro účely realizace zkušebního provozu, jsme ověřovali vhodnost technologie DMS (Document Management System - Systém pro správu dokumentů) pro údržbu veškerých podkladových materiálů od autorů obsahu. Pro tyto účely dodavatel zrealizoval DMS na technologii MS Sharepoint Services, který se pro tyto účely jevil jako dostačující. Nebylo však možné vyzkoušet veškerou možnou funkcionalitu (např. automatizované workflow, detailní nastavení oprávnění dle adresářové struktury či automatické verzování obsahu) zejména z důvodu limitovaných prostředků pro implementaci a zaškolení pracovníků CERMATu.
Interpretační dokument pro programátora e-learningových modulů/kurzů (pracovní verze) Jako protistrana šablony pro autory obsahu, byl definován tzv. Interpretační dokument, který slouží jako příručka pro programátora e-learningového kurzu a specifikuje, jak v kódu HTML nebo FLASH interpretovat formátovací značky použité autorem (např. umístění ikon, obrázků, formátování textu, strukturování textu v rámci stránky, dělení na více stránek apod.)
Realizace modulárního konceptu pro strukturalizaci objektů obsahu Pro potřeby zkušebního provozu byla definována potřeba ověření následujících vzdělávacích modulů, které byly součástí kurzů A až D (viz tabulka):
1. Co je e-learning 2. Metodika práce lektora 3. Tvorba distančních e-learningových textů 4. Tvorba videí
15
5. Hodnocení OÚ-matematika 6. Průvodce přihlašováním žáků k maturitní zkoušce a uchazečů k jednotlivé zkoušce Součástí modulu „Hodnocení OÚ – matematika“ byla výuková videa a flashe. Obsah jednotlivých modulů byl vytvořen pracovníky CERMATu a dodavatelskou firmou Oxygen.
Dokumenty v této fázi neprošly obsahovou a ani jazykovou korekturou. Uvedené moduly byly zvoleny zejména z důvodů: •
Realizace jednotlivých technologických typů obsahu o HTML o FLASH o VIDEO – nahrávání o VIDEO – distribuce
•
Pro účely vzdělávání skupiny autorů, kteří dle výše uvedeného procesního modelu budou mít na starosti splnění prvních termínů s přípravou obsahu pro následné technologické zpracování. Jejich vzdělávání formou e-learningu je zároveň předmětem testu vhodnosti e-learningu jako výukové technologie.
•
Pro účely získání charakteristikami
zkušenosti
s problematikou
přípravy
obsahu
s odlišnými
o Modul „Co je e-learning“ je spíše charakteru úvodu do problematiky účastníkovi neznámé a s pedagogickou praxí nespojené o Modul „Hodnocení OÚ – matematika“ je naopak pro účastníka oblast známá, kde se pouze mění používaná metodika a e-learning je tedy pouze nová forma předání známého typu informace •
Pro účely ověření realizace testů o Auto-test
16
Na úrovni objektu FLASH
Na úrovni LMS, Banky testových úloh
o Průběžný on-line test
17
Analýza použitelnosti LMS jako výukového konceptu Realizace zpětnovazebních dotazníků Pro získání zpětné vazby z pilotního provozu jsme připravili 3 typy zpětnovazebních formulářů. Jeden se zaměřením na zkušenosti účastníků s LMS – hodnocení systému jako takového. Druhý pak na hodnocení modulu – jednotky vzdělávacího obsahu a poslední pak zaměřený na kurz – jako na program sdružující několik modulů pro dosažení jmenovité kompetence. Ukázka části dotazníku „Hodnocení modulu“:
Formuláře všech typů dotazníků jsou v příloze tohoto dokumentu.
Ověření komunikačních nástrojů pro podporu synchronní a asynchronní výuky Diskusní skupiny Pro ověření funkcí LMS podporujících komunikace a spolupráci budeme v rámce testování pracovat s diskusními skupinami, včetně moderátora, který bude definovat témata. Pro účely ověření bude postačující realizace role moderátora lektorem kurzu.
Chat Kromě diskusních skupin bude předmětem ověření také funkcionalita a zejména vhodnost komunikace prostřednictvím tzv. chatu, tzn. nástroje používaného zejména pro realizaci synchronního modelu výuky. V chatu dostává každý účastník zprávu okamžitě na monitor a může tak v reálném čase reagovat – vhodné pro interakci Lektor – Účastník.
18
Naplnění cílů zkušebního provozu Harmonogram realizace zkušebního provozu Fáze 1 – školení účastníků zkušebního provozu Délka školení cca 1,5 až 2 hod Doba konání: •
7. 2008 od 9,00 hod a od 13,00 hod
•
7. 2008 od 15,00 hod
Počet účastníků kurzů:
42 (45 rolí)
Prezentace ke školení účastníků je součástí přílohy tohoto dokumentu.
Fáze 2 – zkušební provoz Zkušební provoz:
7. 7. – 15. 7. 2008
http://www.edugate.cz/ilearn/en/learner/jsp/login.jsp?site=CISKOM •
přístup do systému na základě uživatelského jména a hesla
•
studijní prostředí k dispozici i po ukončení zkušebního provozu, všichni účastníci si budou moci projít zbývající moduly od 21. 7. 2008
•
role „host“ – univerzální přihlašovací jméno a heslo do všech kurzů – vydává oddělení personální infrastruktury
Fáze 3 – sběr zpětnovazebních dotazníků a připomínek k šablonám k tvorbě distančních textů •
Sběr probíhal v období od 15. 7. 2008 do 23. 7. 2008
•
Celkem bylo odevzdáno o 19 dotazníků hodnocení LMS o 25 dotazníků hodnocení kurzů o 67 dotazníků hodnocení modulů
Fáze 4 – vyhodnocení zkušebního provozu •
Vyhodnocení zkušebního provozu probíhalo v období od 24. 7. 2008 do 28. 7. 2008
19
Popis implementace LMS ze zkušebního provozu Instalace Oracle iLearning LMS byla graficky upravena pro potřeby CISKOM pomocí grafických šablon, které se realizovaly v koordinaci s grafickým vzhledem modulů následně provozovaných vně systému. Součástí implementace bylo zavedení struktury uživatelů dle následujícího schématu:
Tato implementace naplnila základní potřeby, nicméně pro nasazení v celorepublikovém měřítku je třeba uvažovat nad následujícími funkcemi a úpravami, které se ukázaly jako nezbytné po vyhodnocení zpětnovazebních dotazníků a po realizaci celého procesu tvorby a testování obsahu: 1. Funkce vzdělávacích cest 2. Funkce ověření průběžných výsledků studenta 3. Realizace komplexních zpětnovazebních dotazníků s různými úrovněmi napojení (modul, kurz, systém) 4. Vyhodnocení dichotomického typu testové otázky ve svazcích 5. Přiřazovací a uspořádací typ testové otázky 6. Typografické chyby 7. Čitelnost výstupního obsahu obslužných stránek
20
Jednotné grafické zpracování LMS Byly ověřeny způsoby realizace grafického přizpůsobení pomocí kaskádových stylů (CSS) a HTML šablon. V záhlaví byla použita hlavička CISKOM, ESF – Kvalita 1. http://www.edugate.cz/ilearn/en/learner/jsp/login.jsp?site=CISKOM Úvodní stránka
Domovská stránka účastníka po přihlášení
21
Vzdělávací obsah Zde je vidět ukázka realizovaného modulu v prostředí LMS, který je vytvořen v jednotné grafické šabloně CISKOM.
Kurz D – náhled studia modulu Co je e-learning – prostý text
Kurz D – náhled studia modulu Tvorba videí – ukázka spuštění vida a slovního komentáře k videu formou rozbalovacího textu
22
Ukázka rozbalovacího textu
Ukázky vytvořených on-line testů Ukázka testu – modul „Metodika práce lektora“
Hvězdičkou označená odpověď je správná.
23
Ukázka testu – modul „Hodnocení OÚ – matematika“
Pokyny k hodnocení
24
Správné hodnocení
Chybné hodnocení
25
Výsledky hodnocení LMS Otázky: 1. 2. 3.
Prostředí LMS bylo stabilní - fungovalo bez chybových hlášení Vzhled uživatelského prostředí Navigační prvky (tlačítka, odkazy) srozumitelně popisovali funkci (např. tisk, spuštění kurzu, přihlášení do chatu apod.)
4.
Čitelnost - jednoduchost porozumění struktuře systému (Domovská stránka, detail kurzu, okno s přehrávačem kurzu) byla
5. 6. 7.
Rozsah konaného interního školení pro studium v systému LMS byl Rychlost práce se systémem LMS (studijní prostředí) byla Chyby v zobrazení (špatné vykreslení ovládacích prvků, špatné vykreslení stránky - chybějící obsah apod.) se vyskytovaly
8. 9.
Zobrazení informací (osnova) o kurzech a modulech bylo Počet funkčních komponent je (Kalendář, Fórum, Chat, Přehrávač kurzu)
Průměrné hodnocení dle otázky 2,5
2,0
1,5 ak m á Zn 1,0
0,5
0,0 0
1
2
3
4
5
6
7
8
9
Otázky
26
Výsledky hodnocení kurzů Otázky: 1.
Má očekávání od kurzu byla splněna
2. 3. 4. 5. 6.
Vzhled uživatelského prostředí E-learningová forma kurzu Co Vás na kurzu zaujalo, mile překvapilo? Co Vám v kurzu chybělo? Hodnocení kurzu po grafické stránce: barevné ladění vzhledu a textu okna (obrazovky modulu)
7. 8. 9.
Souhrnné hodnocení kurzu Jiné Vaše náměty na otázky, které by mohly být ještě v této části dotazníku týkajícího se hodnocení celého kurzu pro použití ve "velkém CISKOMu"
Kurz A
Kurz B
27
Kurz C1
Kurz C2
Kurz D
28
Výsledky hodnocení modulů Otázky: 1.
Informace poskytnuté v modulu byly:
2.
Informace mohu využít ve své práci:
3.
Jak hodnotíte teoretické partie prezentovaného učiva?
4.
Jak hodnotíte srozumitelnost textu?
5.
Jak hodnotíte odbornou úroveň obsahu?
6.
Jak hodnotíte strukturu textu (výběr a sled kapitol)?
7.
Považujete obsah některých kapitol, témat za méně významný, nepodstatný? Pokud Ano, vypište.
8.
Postrádal/a jste nějaká témata? Jestliže Ano, uveďte pokud možno výstižný název či charakteristiku.
9.
Obsahoval modul obrázky, které se vztahovaly ke studijnímu textu?
10.
Zobrazily se vám všechny obrázky bez problémů? Pokud ne, uveďte číslo stránky modulu, kde se vyskytnul problém.
11.
Byly obrázky dostatečně velké? Pokud ne, uveďte číslo stránky modulu.
12.
Byly obrázky dostatečně čitelné (ostré)? Pokud ne, uveďte číslo stránky modulu.
13.
Byl obsah zobrazený obrázkem srozumitelný? Pokud ne, uveďte číslo stránky modulu, kde se vyskytl problém.
14.
Souvisel obrázek s výkladem v textu? Pokud ne, uveďte číslo stránky modulu, kde se vyskytl problém.
15.
Obsahoval modul videa, které se vztahovaly ke studijnímu textu?
16.
Zobrazila se Vám všechna videa bez problémů? Pokud ne, uveďte číslo stránky modulu, kde se vyskytnul problém a stručně jej popište.
17.
Byla videa dostatečně velká? Pokud ne, uveďte číslo stránky modulu.
18.
Byla videa dostatečně čitelná (ostrá)? Pokud ne, uveďte číslo stránky modulu.
19.
Vyhovovala Vám rychlost animací? Pokud ne, uveďte číslo stránky modulu, kde se vyskytnul problém.
20.
Bylo využití videa v daném tématu vhodné? Pokud ne, uveďte číslo stránky modulu, kde se vyskytnul problém a důvod, proč si myslíte, že jiná forma předání informace by byla vhodnější.
25.
Fungovaly Vám všechny ovládací prvky/tlačítka? (konkrétně se jedná o: tisk stránky, předchozí/další stránka, začátek/konec modulu, rozbalení textu "+/-", hypertextové odkazy).
29
Pokud ne, uveďte číslo stránky modulu, kde se vyskytnul problém a stručně jej popište.
26.
Jak hodnotíte interaktivitu vložených videí/flash
27.
Jak hodnotíte Vaši potřebu lektora při práci s tímto modulem?
28.
Jaký byl on-line test na konci modulu?
29.
Byla uvedená časová dotace pro studium modulu dostatečná? Uveďte Váš přibližný čas strávený studiem tohoto modulu.
30
Co je e-learning
31
Hodnocení OÚ – matematika
32
Metodika práce lektora
33
Průvodce přihlašování žáků k maturitní zkoušce a uchazečů k jednotlivé zkoušce
34
Tvorba distančních e-learningových textů
35
Tvorba videí
36
Závěr Na základě zkušebního ověření lze konstatovat, že účastníci hodnotili e-learningovou formu vzdělávání jako vhodnou pro daný účel. Při realizaci jsme narazili na celou řadu problémů, zejména při realizaci obsahu, kdy bylo nutné připravit takový proces, který nebude zatěžovat autory obsahu technickými parametry a zároveň udržení řízeného procesu produkce s programátory a grafiky. Navržený proces se osvědčil a veškeré moduly byly vytvořeny v požadované kvalitě. Prostředí LMS se jeví jako vhodné, i když je třeba pro ostrý provoz upravit zejména texty, které nebyly vždy účastníky jednoznačně pochopeny. Nástroje pro komunikaci jsou vnímány pozitivně a jeví se jako vhodný doplněk pro standardní řízení vzdělávacího procesu. U testových úloh se podařilo realizovat banku testových úloh, které je možné opakovaně využívat napříč všemi moduly se zachováním informací o absolvování. Pro finální přípravu obsahu je nutné připravit informační systém, který podobně jako implementované Document Management System (DMS) podpoří proces tvorby a validace obsahu ze strany autorů, garantů a realizátorů (projektových manažerů, grafiků a programátorů). Tento nástroj se osvědčil jako přehledná platforma pro zachování a výměnu podkladů ve strukturované podobě.
37
Přílohy Příloha I – Formuláře zpětnovazebních dotazníků (pouze na přiloženém CD) Příloha II – Souhrnné výsledky zpětné vazby (pouze na přiloženém CD) Příloha III – Kompletní výsledky zpětné vazby (pouze na přiloženém CD) Příloha IV – Šablony pro autory distančních textů (pouze na přiloženém CD) Příloha V – Prezentace pro školení účastníků zkušebního provozu (pouze na přiloženém CD)
38
