PROJEKT ZJIŠŤOVÁNÍ A POROVNÁVÁNÍ EFEKTIVNOSTI STUDIA PREZENČNÍ A DISTANČNÍ FORMOU IVANA ŠIMONOVÁ Univerzita Hradec Králové
Abstrakt: Příspěvek popisuje průběh tříletého projektu, ve kterém byly mapovány a porovnávány vědomosti studentů odborné angličtiny vyučované prezenční nebo distanční formou na Fakultě informatiky a managementu Univerzity Hradec Králové. Projektu se celkem zúčastnilo více než 600 studentů, kteří podstoupili 27 testů a 3 dotazníková šetření. Klíčová slova: distanční vzdělávání, prezenční forma, distanční forma, odborný anglický jazyk, IT, efektivnost. Abstract: The article describes course of a three-year-long project monitoring students knowledge of professional English taught in present or distance form of study at the Faculty of Informatics and Management, University of Hradec Kralove. More than 600 students participated in the project, took 27 tests and answered 3 questionnaires. Key words: distance education, present form, distance form, professional English, IT, efficiency.
1. EDUKAČNÍ PROCES Distanční vzdělávání přináší novou kvalitu do edukačního procesu. Potřeba celoživotního vzdělávání je neoddiskutovatelnou skutečností a současný životní styl (rychlost, pracovní vytížení, nedostatek času, dojíždění za prací, vzděláváním) nelze výrazně ovlivnit. Jediné, co upravit lze, je organizace celého edukačního (tj. výchovně-vzdělávacího) procesu, tedy změna formy studia. Technický rozvoj a ekonomická dostupnost informačních a komunikačních technologií (IKT) k tomu vytvářejí vhodné podmínky. Nejrychleji se distanční forma uplatňuje v oblasti celoživotního vzdělávání, ale nezadržitelně se dostává i do školských institucí všech stupňů. Edukační proces je druh dění, interakce v systému, které je determinováno parametry prostředí (Průcha, 1997). Prostředí člení na: geografické, sociální, ekonomické,
politické a edukační. v tomto prostředí rozlišuje vstupy, které vymezují edukační proces, tj. jeho průběh, obsah, vlastnosti, a výstupy edukačního procesu, tj. výsledky (bezprostřední výsledky) a efekty (dlouhodobé výsledky nebo vlivy na bývalého studenta, v té době již dospělého, minimálně po 5 letech). Hladký průběh implementace IKT do edukačního procesu souvisí s věkem edukanta (mladší žák je přístupnější novému obecně, mimoškolní činnosti s počítačem patří k jeho koníčkům, což se projeví i v pozitivním přijetí počítače ve výuce), úrovní vybavenosti školy a odborností učitele. Proto je přirozené, že místem, kde IKT nejdříve vstoupily do vzdělávacího procesu, jsou školy zaměřené na studium informatických oborů. Proces, který začal zveřejňováním studijních materiálů, pokračoval elektronickým procvičováním a testováním vědomostí, využíváním komunikačních nástrojů a nástrojů pro řízení vzdělávacího procesu, vyústil v tvorbu elektronických kurzů a vznik eLearningu jako metody elektronického učení, která umožňuje snadnější realizaci distanční formy vzdělávání.
2. EFEKTIVNOST EDUKAČNÍHO PROCESU I přes svůj současný rychlý rozvoj bude mít elektronické distanční vzdělávání vždy své příznivce a odpůrce. Jestliže je zcela jasné, že časová a místní flexibilita patří k největším výhodám, je třeba věnovat se také otázce jeho efektivnosti, přínosu, porovnání s tradiční prezenční formou studia. Pedagogika
v minulosti
nepoužívala
pojem
efektivnost
edukačního
procesu
explicitně, tj. přesně podle definice, protože ta neexistovala. Aktivity pedagogů však k naplnění obsahu tohoto pojmu směřovaly. Snahy o přesné určení míry efektivnosti byly do pedagogiky přeneseny z jiných, nepedagogických věd. Turek (1997) uvádí, že v pedagogické literatuře není pojem efektivnost dosud jasně vymezen, a proto není jednotlivými autory chápán jednoznačně. Nejčastějšími synonymy jsou produktivita, účinnost, hospodárnost, účelnost, užitečnost. Pala a Všianský (1994) jako synonyma k podstatnému jménu efektivita uvádějí účinnost, výkonnost. Krátky slovník slovenského jazyka (1997) definuje termíny takto:
efektivita a efektívnosť jsou synonyma, efektivita pracovného času – miera využitia, efektívny – účinný. Slovník spisovné češtiny pro školu a veřejnost uvádí pojmy efektivita a efektivnost jako vzájemně ekvivalentní. v pedagogické literatuře se ale využívá termín efektivnost. Stejnou nejednoznačnost vykazuje i anglická terminologie (Fronek, 2000, 2002): effectiveness – účinnost, působnost, efficiency – účinnost, výkonnost, efektivnost, efficacious – účinný, efektivní, efektivita viz efektivnost, efektivnost – effectiveness, efficiency, efficaciousness. Obecně aplikovatelný přístup ke zjišťování efektivnosti stroje, investice i edukačního procesu vychází z porovnání vstupů do systému a výstupů ze systému. v oblasti technických
věd
zjišťujeme
účinnost,
v ekonomických
vědách
efektivnost.
Pedagogická disciplína edukometrie, která se zabývá měřením v pedagogice, převzala původně ekonomický pojem přidaná hodnota ve vzdělávání. v technických vědách je účinnost definována jako míra využití energie v zařízení. Z ekonomického pohledu je vzdělávání chápáno jako investice do oblasti lidských zdrojů. Tato investice by měla nepřímo napomáhat ekonomickému růstu a rozvoji společnosti prostřednictvím rozvoje jednotlivce. Proto i tady je efektivnost definována jako podíl výstupů a vstupů, neboli podíl účinku a nákladů. V pedagogických
vědách
v souvislosti
s potřebou
posouzení,
zda
finančním
prostředkům vkládaným do vzdělávacího systému odpovídají výsledky, kterých tento systém dosahuje, byl také aplikován ekonomický přístup. Edukometrie je pedagogická disciplína, která se zabývá měřením pedagogických jevů. Jejím hlavním úkolem je měření výsledků výuky prostřednictvím konstrukce a aplikace didaktických testů jako nástrojů objektivního měření pedagogických jevů. Edukometrie vytváří teoretickou bázi a rozpracovává metodologickou základnu pro pedagogickou evaluaci. Cílem pedagogické evaluace je zjišťování, porovnávání a vysvětlování dat charakterizujících stav, kvalitu, fungování, efektivnost škol, částí nebo celku vzdělávacího systému. Proto byl zaveden pojem přidaná hodnota ve vzdělávání který
je definován jako rozdíl mezi výstupy ze systému a vstupy do systému (Průcha, 1997). Realizace měření je obtížná, a to ze dvou hledisek: Edukační proces je proces multifaktorový. To znamená, že jeden faktor může ovlivňovat několik důsledků, stejně jako jeden důsledek může být způsoben nebo ovlivněn spolupůsobením několika faktorů. Edukační proces je proces dlouhodobý. Oba uvedené faktory jsou příčinou toho, že v praxi je velmi obtížné stanovit, nakolik se na vytvoření kvality dané veličiny (vstupní a výstupní kompetence, vědomosti, dovednosti, postoje) podílel edukační proces, a nakolik ostatní spolupůsobící faktory (např. rodinné prostředí, širší sociální prostředí, vliv masově komunikačních médií aj). Přes uvedené těžkosti je pojem přidaná hodnota ve vzdělávání pro edukometrii důležitý, protože je východiskem k dalšímu rozpracování teorie a provádění výzkumů v oblasti evaluace edukačního procesu. Učitel v každodenní praxi nezkoumá budoucí ekonomický přínos studenta, ale zaměřuje se na bezprostřední nárůst jeho vědomostí. To je položka, kterou měřit lze. Jedním z nástrojů měření je standardizovaný didaktický test. Protože proces standardizace je náročný, v praxi učitelé využívají testy, které si sami vytvořili. Kvalita (reliabilita, validita) těchto nestandardizovaných testů závisí na pedagogické a odborné úrovni autora, jeho zkušenostech. Každý nestandardizovaný test by měl projít alespoň procesem posouzení kolegů z oboru. 3. PROJEKT MĚŘENÍ EFEKTIVNOSTI Učitelé Fakulty informatiky a managementu (FIM) Univerzity Hradec Králové (UHK) začali s implementací IKT do edukačního procesu krátce po vzniku fakulty (1993) využíváním sdílených adresářů na síťových discích, do nichž umisťovali studijní materiály. Postupně se rozšiřovalo používání elektronické pošty pro komunikaci mezi studenty a učiteli a byly přičleňovány další služby - elektronické zapisování zápočtů a zkoušek, přihlašování na zkoušky, prezentace sylabů, rozvrhu výuky, zveřejnění výsledků přijímacích zkoušek, vytvoření webových stránek fakulty a vydávání časopisu Telegraf. Poměrně statické sdílené adresáře ale postupem času přestaly vyhovovat stále náročnějším požadavkům, a proto dalším krokem byly internetové stránky podporující výuku, následovalo používání profesionálního virtuálního
studijního prostředí
Learning Space. Od roku 2001 začalo využívání virtuálního
studijního prostředí (VLE) WebCT, a to pro distanční studium vybraných předmětů v kombinované formě studia nebo pro podporu většiny předmětů vyučovaných prezenční formou. Dnes studenti považují současný stav implementace IKT do vyučovacího procesu za samozřejmý standard. Po překonání počátečních problémů souvisejících s technickou stránkou fungování VLE a vyškolení tvůrců-designérů kurzů, nastalo období, kdy je třeba věnovat další pozornost pedagogické stránce distančního elektronického vzdělávání, včetně posouzení jeho kvality. Proto byl v akademickém roce 2003/4 zahájen tříletý projekt zabývající se efektivností výuky distanční formou prostřednictvím eLearningu. Jeho příprava ale začala už v roce 2001/2. Projektu se celkem zúčastnilo více než 600 studentů 1. ročníků informatických oborů zapsaných v předmětu Odborná angličtina v prezenční i kombinované formě studia. Projekt byl zaměřen do tří oblastí souvisejících s výukou distanční formou prostřednictvím eLearningu: 1. Hodnocení VLE WebCT a distanční formy studia. 2. Testování vědomostí studentů. 3. Mapování motivace studentů ke studiu v kombinované formě studia. K získání a zpracování výsledků byla použita dotazníková metoda, metoda testování a statistické metody. 3.1 Hodnocení VLE WebCT a distanční formy studia Úvodní dotazníkové šetření (předvýzkum) bylo zahájeno v akademickém roce 2002/3. Již v roce 2001/2 byl dotazník pilotně ověřen u 160 studentů 1. ročníku prezenční formy studia. Následně byl zahájen předvýzkum projektu dotazníkem „Tři otázky k VLE WebCT", který zjišťoval: 1. Jak se Vám pracovalo ve VLE WebCT? 2. Jestliže vidíte nějaké klady na této formě studia, které to jsou? 3. Jestliže vidíte nějaké zápory na této formě studia, které to jsou, a jaká byste doporučili zlepšení? Otázky byly zadány s volnou formou odpovědi. Tato volba byla záměrná, aby neomezovala studenty v odpovědích a nevedla je jen k výběru z nabízených možností. Dotazník tak poskytl široký zdroj materiálu pro další šetření.
Otázky dotazníku v letech 2001/2-2004/5 postupně zodpovědělo 430 studentů prezenční formy studia a v letech 2003/4-2004/5 186 studentů kombinované formy, tj. celkem 616 studentů. Návratnost dotazníku je 100%. Na základě výsledků předvýzkumu byl vytvořen druhý dotazník s názvem „Studium distanční formou ve VLE WebCT“. Jeho cílem bylo získat podrobnější názory studentů na hodnocení studia distanční formou ve VLE WebCT. Dotazník obsahoval 50 otázek rozdělených do tří oblastí: pedagogické, technické a ekonomické. Po odevzdání dotazníku následovalo interview s výzkumným pracovníkem s cílem upřesnění některých odpovědí studenta, které bylo následně zapracováno do výsledných závěrů. Pilotní testování podstoupilo 40 studentů prezenční formy studia informatických oborů v roce 2003/4. Tento dotazník byl použit v letech 2003/4 a 2004/5 a odevzdalo ho 116 studentů kombinované formy studia z 151 oslovených. Návratnost dotazníku je 76,82%. Výsledky získané v obou dotazníkových šetřeních byly prezentovány v tabulkách s uvedením procentuálního výskytu jednotlivých názorů.
3.2 Testování vědomostí studentů Vědomosti studentů byly testovány třemi testy v předmětu Odborná angličtina pro informatiky. Jedná se o 6 semestrový předmět, jehož náplní je kromě jiného mluvnice (přibližně na úrovni B2, tj. základní státní zkouška) a odborná slovní zásoba převážně z oblasti informatiky, částečně z ekonomie a managementu. Testování probíhalo v letech 2003/4 a 2004/5. Zúčastnilo se ho přibližně 70-90 studentů v každém testu. Z celkového počtu studentů v každém roce byla pro jednotlivé testy vytvořena skupina experimentální a kontrolní. Jelikož se jednalo o studenty kombinované formy studia, kteří předmět Odborná angličtina studovali distančně, jediným termínem prezenčního testování, a tím i možným kritériem pro rozdělení do skupin, byl termín konání zápočtového testu. Po jeho skončení probíhal samotný experiment. Je proto pravidlem, že studenti, kteří byli při prvním testu např. ve skupině experimentální, při dalších testech mohli být členy skupiny kontrolní, a naopak. Žádný z termínů nebyl časově extrémně výhodný nebo nevýhodný.
Důvodem pro volbu tohoto kritéria byl fakt, že všichni studenti tohoto oboru a formy studia studovali předmět distančně. v té době neexistovala přirozená kontrolní skupina, která by byla vyučována prezenčně. Proto ti, kteří se dostavili na první termín zápočtu, se stali členy kontrolní skupiny vyučované prezenčně učitelem. Experimentální skupina byla vytvořena ze zbývajících studentů. Ti vybranou látku nastudovali samostatně ze e-kurzů ve VLE WebCT připravených speciálně pro distanční formu studia, které zajišťují všechny fáze vzdělávacího procesu: poskytují studijní materiály, příklady k procvičení včetně klíče a vysvětlení, možnost otestování svých znalostí a další nástroje. Zkušenosti učitelů a tutorů často ukazují na to, že studenti s lepšími znalostmi skládají zápočty a zkoušky v dřívějších termínech než studenti se slabšími výsledky. Na základě vlastní zkušenosti se však domníváme, že v kombinované formě studia, která je velmi náročná na soulad pracovních a studijních povinností studentů, je tento argument oslaben, protože nedostatek času neumožňuje studentům vzít toto kritérium příliš v úvahu. Naopak slabší student může upřednostnit termín na začátku zkouškového období, kdy se zkoušení účastní větší počet studentů, a doufá v „pomoc skupiny”. Dodatečně, po zakončení druhého roku testování v kombinované formě studia, podstoupila testování skupina 40 studentů 1. ročníku prezenční formy studia informatických oborů. Pro testování byly použity tři sady testů. Jelikož standardizované didaktické testy nejsou dostupné, byly použity nestandardizované testy. Jejich obsah a formulování úkolů bylo upraveno na základě požadavků odborné literatury, pilotního testování, po konzultacích s odborníky z oblasti testování a zkušenými učiteli. Každá sada se skládala ze tří subtestů takto: didaktický test pro zjištění vstupní úrovně vědomostí (pretest), didaktický test pro zjištění nárůstu vědomostí po výuce v kontrolní nebo experimentální skupině (posttest), didaktický test pro zjištění trvalosti získaných vědomostí po 4 měsících (posttestT). Jednotlivé testy byly zaměřeny takto: test Zkratky (Abbreviations) na testování slovní zásoby, test Vyjadřování účasti (Condolences) na testování slovní zásoby a mluvnice, test Gerundia (Gerunds) na testování tohoto mluvnického jevu.
Tematické zaměření testů bylo vybráno po zohlednění následujících podmínek: předchozí studentova neznalost sledovaného obsahu testu, vyšší obtížnost jevu, odborné zaměření a použitelnost v praxi, bezproblémové zpracování studijních materiálů a cvičení v elektronické formě, jev pro studium angličtiny typický, významný, nikoli okrajový, jev v češtině se nevyskytující, ne snadno nahraditelný jiným prostředkem, Všechny tři jevy, na které se testy zaměřují, splňují kritérium předchozí neznalosti většinou studentů. Studenti uvedli, že ještě nikdy během svého předchozího studia angličtiny nestudovali téma Zkratky (96 %), slovní zásobu ani větné konstrukce k Vyjadřování účasti (98 %), neslyšeli termín Gerundium (42 %). Po prostudování posledně jmenovaného tématu připustili předchozí znalost (58 %), ale ve velmi rozdílné míře, od nekonkrétních představ až po přesnou znalost pravidel a jejich správného použití. Výsledky pretestu jsou ovlivněny pasivními znalostmi studentů, ale ne systematickým studiem. U všech testů byla požadována odpověď volnou formou, tj. aktivním vytvořením odpovědi studentem. Výsledky tedy nejsou ovlivněny nabídkou možných odpovědí. Také podmínka vyšší obtížnosti je splněna u všech tří jevů. Gerundia jsou pro českého studenta obtížná už jen proto, že v mateřském jazyce neexistuje stejný ani podobný mluvnický jev, pravidla užívání nejsou snadno definovatelná, a proto správná odpověď je i výsledkem jazykového citu a zkušenosti studenta. Užívání odpovídající slovní zásoby u tématu Vyjadřování účasti je založeno na zvukové a grafické podobnosti základních výrazů. Vzhledem k jejich obsahu a používání v nelehkých životních situacích je požadavek vhodného výběru i správné větné stavby důležitý zvláště proto, že záměnou slov věty ztrácejí smysl a vyvolávají nevhodné situace. Zkratky jsou nástrojem, který se stoupajícím životním tempem nabývá na významu. Jejich vzájemná podobnost a variabilita v používání, často způsobená nepřesnou znalostí, vyúsťuje v sice krátká, ale nesmyslná sdělení, čímž neplní svůj účel.
Pro vytvoření elektronických studijních materiálů byly použity dva způsoby: Téma gerundium bylo zpracováno jako jedna z lekcí distančního kurzu. Pro výklad byl použit souvislý text s přeloženými příklady, pro upevnění nově nabyté vědomosti překladová cvičení, a testy pro zhodnocení následné znalosti, doplněné okamžitou zpětnou vazbou, tj. korekcí a vysvětlením. Celý materiál bylo možno vytisknout a studovat z listu papíru, ale studenti experimentální skupiny byli žádáni, aby tak nečinili, a před testem udělali písemné prohlášení, že studovali pouze určeným způsobem. Studium témat Zkratky a Vyjadřování účasti vyžadovalo paměťové učení. Proto
byly
do
distančních
kurzů
zařazeny
elektronické
aplikace,
jejichž
prostřednictvím studium probíhalo. Jednotlivé položky (samostatná slova i celé věty) se na pokyn studenta objevovaly na obrazovce, po prostudování se opět na pokyn zařazovaly buď do skupiny již zapamatovaných výrazů nebo k těm, které mohou být znovu vyvolány na obrazovku. Technické zabezpečení aplikace neumožňovalo studentovi vytisknout si obsah databáze a studovat z listu papíru. Počet testovaných položek se také různil. Test Zkratky obsahoval 50 položek v každém subtestu, test Vyjadřování účasti byl sestaven ze 35 položek v pretestu a posttestuT, posttest obsahoval po 25 položkách, test Gerundia se skládal z 15 vět v každém subtestu. Jednotlivé subtesty se nelišily v obsahu, ale pořadím předkládaných otázek. Získané výsledky byly zpracovány statistickým softwarem NCSS 2004 (National Cruncher Statistical System).
3.3 Mapování motivace studentů ke studiu v kombinované formě studia Motivace studentů kombinované formy studia ke studiu před jeho započetím i v průběhu byla zjišťována dotazníkem. Dotazník byl rozdělen do tří částí: Úvodní část vysvětlovala účel dotazníkového šetření a obsahovala pokyny k vyplnění. Obsahová část se skládala ze 30 položek, které zjišťovaly údaje z oblasti osobní, rodinné, profesní, zájmové a finanční. Jednotlivé položky byly vyjádřeny
formou
tvrzení.
Míru
svého
souhlasu
nebo
nesouhlasu
s jednotlivými tvrzeními respondenti vyznačovali na šestistupňové Likertově škále.
Závěrečná část obsahovala poděkování za spolupráci a uvedení místa, kde budou výsledky celého projektu zveřejněny. Vyplněný dotazník odevzdalo 154 studentů. Návratnost dotazníku byla 100%. Získané výsledky byly zpracovány statistickým softwarem NCSS 2004.
4. ZÁVĚR Výsledky všech testů a dotazníkových šetření již byly nebo v blízké budoucnosti budou prezentovány na odborných konferencích a v odborném tisku. Konkrétní aplikace závěrů a interpretace výsledků přispěje k efektivnímu a pedagogicky správnému využívání eLearningu v distanční formě vzdělávání.
Literatura 1. Fronek, J. Velký česko-anglický slovník. Voznice: LEDA, 2000. ISBN 80-85627-543. 2. Fronek, J. Velký anglicko-český slovník. Voznice: LEDA, 2002. ISBN 8085927-13-6. 3. Havelka, M. Efektivnost – analýza pojmu z hlediska systému přírodních věd a pedagogiky. In: Sborník z konference Didmattech 2005 (v tisku). 4. Chráska, M. Úvod do výzkumu v pedagogice. Olomouc: UP, 2003. ISBN 80-244-0765-5. 5. Mortimore, P. et al. a Study of Effective Junior Schools. In: International Journal of Educational Research, 13, 1989, 7, s. 753-768. 6. Pala, K., Všiansky, J. Slovník českých synonym. Praha: NLN s.r.o., 1994. ISBN 807106-059-3. 7. Poláková, E. Meranie efektívnosti elektronických foriem dištančného štúdia. In: Technológia vzdelávania, XII, 2004, 8, s. 4-6. ISSN 1335-003X. 8. Průcha, J. Moderní pedagogika. Praha: Portál, 1997. ISBN 80-7178-170-3. 9. Průcha J. Efektivnost vzdělávacího procesu: teorie a měření. In: Pedagogika, 40, 1990, 1, s. 11-26. 10. Slovník spisovné češtiny pro školu a veřejnost. Praha: Academia. ISBN 80-2000493-9. 11. Šimonová, I. Research on Evaluating Student´s Knowledge - Testing English Vocabulary. In: Sborník z konference ICTE 2005, s. 278-281. ISBN 80-7368-081-
5. 12. Šimonová, I. Research on Evaluating Student´s Knowledge – Testing English Grammar. In: Sborník 4. mezinárodní konference ICETA 2005. Košice: Technická univerzita, s. 353-356. ISBN 80-8086-016-6. 13. Šimonová, I. 2005. Porovnání výsledků studia a trvalosti znalostí v prezenčním a distančním vzdělávání na vysoké škole. In: Sborník příspěvků z mezinárodní konference Modernizace vysokoškolské výuky technických předmětů, díl III. Hradec Králové: PF UHK, Gaudeamus, s. 93-97. ISSN 1214-0554. ISBN 80-7041367-0. 14. Šimonová, I. Results of Survey: Graduates´Opinion on Distance Courses in VLE WebCT. In: Sborník abstraktů z konference EMTECH 2005. Praha: ČVUT, Fakulta elektrotechnická, příspěvky na CD-ROMu, strany nečíslovány. ISBN 8001-03336-8. 15. Turek, I. Zvyšovanie efektívnosti vyučovania. Bratislava: Edukácia, 1998. ISBN 80-88796-89-X. 16. Windham, D. M. Effectiveness Indicators in the Economic Analysis of Educational Activities. In: International Journal of Educational Research, 12, 1988, 6 (special issue).
PhDr. Ivana Šimonová Univerzita Hradec Králové, Fakulta informatiky a managementu, katedra aplikované lingvistiky Adresa: Rokitanského 62, 500 03 Hradec Králové E-mail:
[email protected]
