JAK VYBÍRAT VIRTUÁLNÍ PROSTŘEDÍ PRO ONLINE LEARNING ANEB JSOU NÁSTROJE NA SROVNÁVACÍ ANALÝZU VHODNÝM PORADCEM? LUSTIGOVÁ ZDENA, ZELENDA STANISLAV Matematicko-fyzikální fakulta, Univerzita Karlova v Praze, Ke Karlovu 3, 121 16 Praha 2
[email protected],
[email protected] Abstrakt: Článek se zabývá problematikou evaluace a komparativní analýzy dostupných systémů pro online learning. Připomíná vysokou variabilitu hodnotících kritérií i jejich různou závažnost. V první části se autoři zabývají webovými nástroji Edutech a Landonline, které hodnotí zejména funkce učebního prostředí (z hlediska studujícího i tutora), dále pak autorské prostředí a technickou a administrativní náročnost systému. Autoři je rozebírají z hlediska jejich vnitřní konzistence, srozumitelnosti pro uživatele, i z hlediska vzájemného souladu hodnocení (korelace). Ve druhé části pak autoři nabízejí pohled studie Gartner Group, která uvažuje jinou skupinu kritérií (především plánování, kontrolu a řízení studia v případě velkého počtu studujících) a jiného potenciálního uživatele. Klíčová slova: Systémy pro výuku po Webu, online learning, srovnání Abstract: The paper deals with the quality of different web based tools for comparative analyses of online educational applications. As such we attempt to judge the internal consistency of these tools (sites), the correlation between evaluation they offer, and finally the set of criteria, they are using for comparison and evaluation of online educational applications, and its relevancy to the different purposes of different prospective users, who are looking for this kind of information. Specific needs of “University users” are emphasised and Learning Management System parameters are mentioned in the last part. Key words: Web delivery systems, online learning, comparison
ÚVOD Mnohé university se již při výběru a nákupu prostředí pro on-line learning přesvědčily, že nelze spoléhat na jednoho poradce, který mnohdy zná pouze jediný nástroj a to ještě špatně, ale že se jim vyplatí důkladná analýza. Jsou v tomto ohledu dobrým a objektivním pomocníkem tzv. Web tools for comparative analysis neboli webovské nástroje na pomoc uživatelům při hodnocení a porovnávání existujících systémů pro online výuku, často vytvořené v rámci velkých projektů, jako například kanadského Telelearning? Nebo jsou i ony tendenční popřípadě neúmyslně zavádějící? Jeden z nejstarších a také nejznámějších komparativních nástrojů se nachází v Kanadě. Z tohoto webu se můžete dostat na evropský, přesněji švýcarský Edutech, kterému dá jistě řada Evropanů přednost z toho prostého důvodu, že se bude domnívat, že zvolená kritéria budou lépe odpovídat evropským tradicím a socioekonomickým či kulturním aspektům. Rozeberme si nyní základní vlastnosti nejcitovanějších z těchto nástrojů (Edutech a Landonline).
1
EDUTECH
Server uvádí na titulní stránce, že hodnotí 108 kritérií u 9 systémů (20.-28. březen 2002). Přes veškerou snahu jsme našli pouze 84 hodnocených kritérií, počet systémů souhlasí.
Přehled systémů, které srovnává Edutech
Tab:1 Ariadne
Blackboard
DLS IBT
LearningSpace
ToolBook (Click2learn, dříve Asymetrix)
Medit
TopClass
WebCT
Po technické i logické stránce je velmi přehledný, nabízí doplňující informace k tomu, co se vlastně tím kterým kritériem myslí.Uživatel může při používání tohoto stroje postupovat v zásadě dvěma způsoby: buď bude porovnávat (jednotlivé vlastnosti či celé systémy) nebo se podívá na celkové hodnocení jednoho systému (ať již slovní, či „bodové“) ve všech hodnocených parametrech. Podívejme se například prvním postupem na porovnání komunikačních možností systémů. Tab:2 Asynchronous student-student communication One-to-one email
Porovnání komunikačních možností systémů na Edutech
Ariadne
Black board
DLS
IBT
Learnin gSpace
Medit
Tool Book
Top Class
WebCT
One-to-many email Discussion forums Teamwork tools Synchronous student-student communication Chat room Shared whiteboard Audio conferencing Videoconferencing
Soustřeďme se dále například na diskusní fóra, která jsou považována za jeden z nejdůležitějších komunikačních nástrojů a podívejme se, jak tento srovnávací nástroj hodnotí diskusní fóra systémů WebCT a LearningSpace, které známe. Tab:3
Porovnání diskusních fór systémů LearningSpace a WebCT na Edutech LearningSpace
WebCT
Discussion forums The learning environment integrates the communication within a group of persons as a discussion forum. A post of a person to a forum is automatically visible to all members of it. very important feature
Web based forum included
The async conferencing tool (called "discussions") is multi-fora, threaded, and searchable. Postings can have file attachments. Student can create own discussion topic. A set of postings can be compiled to a single file for futher processing. Private subtopics can be created for students groups Many views, tools and customisation options are available.
, u WebCT se rozepisuje doširoka o jeho Ačkoliv oba hodnotí známkou nejvyšší – to jest vlastnostech – byť samozřejmých, jako například o možnosti připojování souborů, kterou ale LearningSpace má samozřejmě také. V neznalém čtenáři však automaticky vzniká dojem, že LearningSpace touto vlastností nedisponuje.
Podívejme se tedy, jakou roli hraje počet slov v hodnocení Edutech. Výsledek našeho srovnání reprezentuje tabulka 4. Tab:4 Ariadne
Počet slov, kterými jsou hodnoceny parametry jednotlivých systémů (84 parametrů)
Blackboard
769
DLS
1115
LearningS pace
IBT
769
517
Medit
809
ToolBoo k
TopClas s
WebCT
147
1500
2106
297
1/ Do celkového počtu slov není zahrnut obecný úvod, který je ve všech případech velmi krátký, s jedinou výjimkou IBT= 968 slov.
Na první pohled je zřejmé, že rozdíly jsou obrovské. U ToolBook je například vyplněna pouhá polovina parametrů. Druhá polovina (42) zůstala prázdná. Lze z toho soudit, že autoři o řadě aspektů tohoto nástroje nevědí nic nebo jen velmi málo? Asi ANO. Běžný uživatel, který si prohlédne téměř prázdnou tabulku ToolBook na jinak velmi seriózně vyhlížejícím zdroji Edutech, má však velmi intenzivní dojem, že tento nástroj (ToolBook) je naprosto k ničemu, neboť si prázdné kolonky intuitivně nahradí slovy “not supported”. Podívejme se nyní podrobněji na druhý možný postup uživatele, hledajícího na Edutech informaci. Edutech hodnotí jednotlivá kritéria v podstatě na pětistupňové, přičemž rozdíl mezi prázdným kolečkem a úplně vynechaným hodnocením není zcela zřejmý. Stejně tak není zřejmý význam hodnocení . Uživatel má snahu se domnívat, že důležité znaky (označené dvěma vykřičníky) mohou být hodnoceny dvěma plusy, a že se tedy vlastně jedná o vážené hodnoty, což by mu pomohlo se lépe orientovat v celkovém hodnocení systémů. Bohužel letmý pohled do tabulky toto vyvrátí. Je škoda, že když už Edutech uvádí „váhu“ jednotlivých parametrů, že ji také systematičtěji nevyužívá při jejich hodnocení. Znak ++ tedy musíme chápat spíše jako hodnocení kvality zpracování parametru Uživatel, který chce získat určitý celkový dojem o kvalitě systému tedy pravděpodobně intuitivně použije oblíbené „sčítání “ na základě nahrazení v tabulce 6 nebo ještě jednodušeji pouhé sčítání typů „má/nemá“. O ztrátě informace zejména u druhého uvedeného postupu přitom není pochyb, ale málokdo z návštěvníků tohoto stroje bude mít čas data zpracovávat jinak. Převedení „pětistupňové“ hodnotící škály do čtyřkové soustavy
Tab:5
Prázdná buňka -1
0
+1
+2
0
Výsledné “hodnocení” nebo spíše dojem, založený na tomto postupu, vypadá následujícím způsobem. Tab:6
Základní skupiny kritérií
Výsledek možného intuitivního “hodnocení” uživatele metodou podle tabulky 5 Ariadne Blackboard 23
61
DLS
IBT
46
43
LearningS ToolBo TopCl Medit WebCT pace ok ass 66
2
40
68
94
Zde je na místě otázka, zda „dojem“, či hodnocení, získané na základě počtu slov koresponduje s „dojmem“ získaným na základě intuitivního sčítání hodnot u jednotlivých parametrů. Obě kriteria budeme uvažovat na ordinální škále, viz tabulka 7, kde nejvyšší pořadové číslo reprezentuje nejvyšší hodnotu příslušného kritéria. Tab:7
Pořadí jednotlivých systémů v obou “hodnoceních”
Ariadne Blackboard DLS
Pořadí podle slov Pořadí podle "bodů"
5 8
2 4
6 5
Learning IBT Space Medit ToolBook TopClass WebCT
7 6
6 7
2 1
1 3
7 8
9 9
Pro ordinální data (tedy pořadí) je Spearmanův korelační koeficient 0,7. Považujeme tedy hypotézu že “Edutech lépe hodnotí systémy, o kterých jeho experti dokáží napsat více slov “ za prokázanou. Mohli bychom usuzovat ještě na něco dalšího? Požádali jsme o vyplnění kritérií Edutech dva odborníky, kteří znají relativně dobře systémy LearningSpace a WebCT (jako studenti, instruktoři i tvůrci učebních materiálů) a nejsou osobně zainteresováni na propagaci jednoho či druhého. Tabulka 3 (viz výše) v jejich podání vypadala úplně jinak. Ačkoliv hodnocení obou systémů byla velmi různá, počet slov byl velmi blízký. Na základě uvedeného je patrně vhodné zvážit platnost hypotézy, že čím více toho Edutech (či spíše jeho experti) o systému ví, tím lépe jej hodnotí. Podívejme se ještě pro zajímavost na následující graf, ve kterém je vyneseno hodnocení systémů na ordinální škále.
hodnocení podle bodů
GRAF 1 10 5 0 0
5
10
slovní hodnocení
Graf 1:
Vidíme, že se nám v podstatě všechny systémy umístily pouze ve dvou kvadrantech: horní levý (pozitivní slovní hodnocení, pozitivní bodové hodnocení), dolní pravý (nedostatečné slovní hodnocení, negativní bodové ohodnocení). Prázdné zbývající kvadranty jen potvrzují to, že “ Edutech hodnotí pozitivně zejména ty systémy, které jeho experti dobře znají”. Nabízí se však otázka, proč se tedy Edutech o hodnocení ostatních systémů (a to v podstatě nadpoloviční většiny) vůbec pokouší. Věrohodnost celého tohoto komparativního nástroje by se výrazně zvětšila, kdyby posuzoval pouze ty nástroje, které doopravdy zná.
2
Systém LAndonline
Systém Landonline používá trochu jinou logiku. Hodnotí “pouze” 64 vybraných vlastností avšak 56 systémů. Kritéria pro hodnocení (celkem 64) jsou poněkud jinak strukturovaná, než na Edutech, ale v zásadě mezi nimi není velký rozdíl. Co se pod jednotlivými vlastnostmi rozumí, je poměrně podrobně popsáno, avšak systém hodnotí pouze binárně (0,1) neboli hvězdička ano, hvězdička ne. Na rozdíl od Edutech však umožňuje větší přizpůsobení uživateli – můžete si například vybrat jen ta kritéria, která Vás zajímají a přiřadit jim Vaše váhy. Podle jednoduchého hodnocení (všechna kritéria váhu 1) WebCT obdrželo 52 hvězdiček z 64 hodnocených rysů, LearningSpace 47 (z toho však 3 “body” ztratil na cenové politice), Blackboard 60, ToolBook se v tomto systému zase až tak špatně neumístil a nasbíral 38 bodů, z toho 3 ztratil na cenové politice, TopClass má 44 bodů (z toho 1 ztratil na cenové politice). Ostatní systémy, které hodnotí Edutech, kanadský zdroj Landonline vůbec nehodnotí.
Interní konzistenci Landonline jako prostředí pro komparativní analýzu budeme těžko posuzovat, zdroj neuvádí žádné další hodnocení kromě již zmíněných „hvězdiček“. 3
POROVNÁNI NÁSTROJE EDUTECH A LANDONLINE Ověřme tedy, zda hodnocení Landonline koreluje s hodnocením Edutech. Uvažujme pouze ty systémy, které hodnotí oba stroje. Pomineme–li body, získané za cenovou politiku1, umístily se podle Landonline systémy v pořadí Blackboard (57), WebCT (49), LearningSpace (47), TopClass (43) a ToolBook (38) vždy z maxima 61 bodů. Pořadí v Edutech (opět bez hodnocení za cenovou politiku, které je stejně v případě Edutech nulové u všech hodnocených systémů) je následující: WebCT (94), TopClass (68), LearningSpace (66), Blackboard (61) ToolBook (40). Protože „ body“ mají v obou systémech jiný význam, budeme opět uvažovat pouze pořadí (ordinální data). Tab:8
Pořadí systémů na Edutech a Landonline podle uvedených způsobů hodnocení
Landonline (hodnocení +1,0) Edutech (hodnocení – 1,0,+1,+2)
Blackboard
LearningSpace
TopClass
WebCT
ToolBook
1 4
3 3
4 2
2 1
5 5
Korelace mezi těmito nástroji je na první pohled velmi nízká (Spearmanův korelační koeficient 0,3). Vynecháme-li ToolBook, jehož hodnocení je na Edutech prokazatelně sporné, vychází korelační koeficient dokonce záporný (-0,4). Je zajímavé, ale nikoliv neočekávané, že výsledek korelace v případě druhého postupu hodnocení na Edutech (má, nemá neboli 0,1), za cenu zmiňované ztráty informace, dává pozitivní korelaci relativně vysokou (0,8). Tento výsledek svědčí o tom, že oba stroje se na hodnocení typu „má/nemá“určité parametry docela shodnou a zároveň ukazuje, jak poskytnutí více informací (vážení jednotlivých parametrů, posouzení kvality řešení parametru) výrazně ovlivní hodnocení sytému jako celku. Z hlediska uživatele, kterého nezajímá celkové hodnocení, nýbrž porovnání, u obou komparativních strojů chybí celá řada kritérií, jejichž vážnost pochopí teprve tehdy, začne-li systém doopravdy používat, ať již jako učitel, či jako student. Závažnost některých kritérií ještě vzroste, pracuje-li v cizojazyčném prostředí (nejen sytému, ale i učebního materiálu a diskusí). To je však právě to, co řada univerzit chce dělat (nabízet své kurzy zahraničním studentům, či naopak, v kurzech pro naše studenty nechat učit zahraniční odborníky). K některým z těchto „chybějících“ kritérií přihlíží zpráva Gartner Group. 4
ZPRÁVA GARTNER GROUP Podle úplně jiných kritérií hodnotí v podstatě stejnou skupinu systémů zpráva Gratner Group z 8. února 2002 - The 2002 E-Learning LMS Magic Quadrant: Who Survives? Zde si můžeme si přečíst: „By 2005, 70 percent of large corporations will own learning management system applications. Enterprises must understand this landscape to make the right purchases. LMSs are a critical part of an e-learning deployment.“ Zpráva je sice určena spíše podnikům a vzdělávacím institucím, které na vzdělávání musí profitovat, jinak by nepřežily, tudíž výběr dostatečně optimálního systému je pro ně často otázkou života a smrti, ale možná může být poučná i pro naše univerzity. Ve zprávě Gartner Group je kladen důraz zejména na ty vlastnosti, které dělají ze systému tzv. Learning Management system (LMS). Learning management považují autoři nejen za řídící, kontrolní a administrativní část online learning, ale také za rozhodující pro tzv. knowledge transfer a knowledge management. Autoři také na rozdíl od předchozích, neposuzují jednotlivé verze (Například
1
Landonline ji v některých případech hodnotí, v jiných nikoliv
LearningSpace 3.5 se výrazně liší od LearningSpace 4.0), ale spíše filosofii a trend firmy, která je nabízí.
Graf 2: E-Learning LMS Magic Quadrant
Za povšimnutí stojí, že zde se produkty firmy Click2Learn (například systém ToolBook), umísťují docela dobře. Produkty IBM (LearningSpace) jsou spíše hodnoceny jako vizionářské, což v tomto kontextu znamená něco jaké “zajímaví snílci, ale nic pro tvrdou praxi”. Velmi pozitivně je hodnocen například systém Docent (dostatečně známý i v Evropě) a systém Pathlore, který používá University of Phoenix (jejíž zisky na online learning byly v minulých letech v odborné literatuře často citovány) a který naopak v Evropě není téměř vůbec znám. Všechny závěry, uvedené v tomto článku, jen potvrzují s trochou humoru tu skutečnost, kterou každý, kdo se problematikou online learning delší dobu zabývá, dobře zná. A to, že si každý uživatel (univerzita) musí vytyčit svá vlastní kritéria, která budou odrážet jeho potřeby, potřeby jeho cílové skupiny, stylu výuky a těm přiřadit jinou váhu
LITERATURA 1. Lustigová, Z., Zelenda, S.: Virtual Learning Environments - a brief view Elfa, Košice, 2000, s. 189-193, stať ve sborníku, sborník konference ICTE 2. Lustigová, Z., Zelenda, S.: Virtual learning environments - general view and tendencies, Gaudeamus, Hradec Králové, 2000, s. 44, sborník konference
