Informační a komunikační technologie v procesu pedagogického hodnocení

OSTRAVSKÁ UNIVERZITA V OSTRAVĚ PEDAGOGICKÁ FAKULTA KATEDRA INFORMAČNÍCH A KOMUNIKAČNÍCH TECHNOLOGIÍ

Ing. Aleš Troszok

Informační a komunikační technologie v procesu pedagogického hodnocení

AUTOREFERÁT DISERTAČNÍ PRÁCE

Ostrava 2011

OSTRAVSKÁ UNIVERZITA V OSTRAVĚ PEDAGOGICKÁ FAKULTA KATEDRA INFORMAČNÍCH A KOMUNIKAČNÍCH TECHNOLOGIÍ

Informační a komunikační technologie v procesu pedagogického hodnocení AUTOREFERÁT DISERTAČNÍ PRÁCE

Doktorský studijní program: Specializace v pedagogice Studijní obor: Informační a komunikační technologie ve vzdělávání Autor práce: Ing. Aleš Troszok Školitel: Doc. PhDr. Josef Malach, CSc.

2011

2

UNIVERSITY OF OSTRAVA PEDAGOGICAL FACULTY DEPARTMENT OF INFORMATION AND COMMUNICATION TECHNOLOGIES

Information and Communication Technologies in Pedagogical Evaluation Process THESIS

Study programme: Specialization in Pedagogy Field of study: Information and Communication Technologies in Education Author: Ing. Aleš Troszok Supervisor: Doc. PhDr. Josef Malach, CSc.

2011 3

OSTRAVSKÁ UNIVERZITA V OSTRAVĚ PEDAGOGICKÁ FAKULTA KATEDRA INFORMAČNÍCH A KOMUNIKAČNÍCH TECHNOLOGIÍ Disertační práce byla vypracována v rámci prezenčního doktorského studia oboru Informační a komunikační technologie ve vzdělávání na Pedagogické fakultě Ostravské univerzity v Ostravě. NÁZEV PRÁCE: INFORMAČNÍ A KOMUNIKAČNÍ TECHNOLOGIE V PROCESU PEDAGOGICKÉHO HODNOCENÍ Uchazeč:

Ing. Aleš Troszok Pedagogická fakulta Katedra informačních a komunikačních technologií Fráni Šrámka 3, 709 00 Ostrava–Mariánské hory

Školitel:

Doc. PhDr. Josef Malach, CSc. Pedagogická fakulta Katedra pedagogiky a andragogiky Fráni Šrámka 3, 709 00 Ostrava–Mariánské hory

Oponenti:

Doc. RNDr. Jana Šarmanová, CSc. VŠB-TU Ostrava Fakulta elektrotechniky a informatiky Katedra informatiky 17. listopadu 15, 708 33 Ostrava–Poruba Doc. RNDr. František Koliba, CSc Slezská univerzita v Opavě Obchodně podnikatelská fakulta Karviná Katedra informatiky Univerzitní náměstí 1934/3, 733 40 Karviná

4

Autoreferát byl rozeslán dne 15.7.2011. Obhajoba disertační práce se koná dne: 22.8.2011 v 10 hodin před komisí pro obhajobu disertačních prací v doktorském studijním programu Specializace v pedagogice, studijní obor Informační a komunikační technologie ve vzdělávání na katedře informačních a komunikačních technologií v budově Pedagogické fakulty Ostravské univerzity v Ostravě, Fráni Šrámka 3, 709 00 Ostrava–Mariánské hory (místnost SA 404). S dizertací se lze seznámit na katedře informačních a komunikačních technologií Pedagogické fakulty Ostravské univerzity v Ostravě, Fráni Šrámka 3, 709 00 OstravaMariánské hory, od 13.7.2011.

5

BIBLIOGRAFICKÁ IDENTIFIKACE Jméno a příjmení autora: Aleš Troszok Název disertační práce: Informační a komunikační technologie v procesu pedagogického hodnocení Název disertační práce anglicky: Information and Communication Technologies in Pedagogical Evaluation Process Studijní program: Specializace v pedagogice Studijní obor: Informační a komunikační technologie ve vzdělávání Školitel: Doc. PhDr. Josef Malach, CSc. Rok obhajoby: 2011

Klíčová slova: data mining, Educational Data Mining, pedagogická diagnostika, asociační pravidla, shluková analýza, analýza hlavních komponent, informační a komunikační technologie, pedagogické hodnocení

Key words: data mining, educational data mining, pedagogical diagnostics, association rules, cluster analysis, principal component analysis, information and communication technologies, pedagogical assessment

6

Abstrakt Základním cílem výzkumné části této práce je zjistit souvislosti mezi základními charakteristikami studenta, jeho dovednostmi v 1. ročníku střední školy a jeho závěrečným hodnocením v 9. třídě základní školy, především s využitím metod data miningu. V souladu s cílem výzkumu byly naformulovány dílčí cíle. Výzkum byl realizován na velkém vzorku, téměř 7700 studentů, a konkrétně se zaměřuje na objektivitu známky udělované v 9. třídě základní školy, na hledání vazeb mezi dovednostmi v jednotlivých předmětech a hledání vazeb mezi studenty na základě úspěšnosti v jednotlivých dovednostech. Výstupy z analýz, jež byly realizovány z velké části metodami data miningu jsou prezentovány pro usnadnění jejich interpretace v grafické podobě. V této práci jsou shromážděny a poskytnuty utříděné informace, a to jak z teoretických studií, tak i výzkumné příspěvky zabývající se poměrně novou oblastí dobývání znalostí z dat ve vzdělávání neboli educational data miningem. Informace jak v teoretických studiích, tak i ve výzkumných příspěvcích byly čerpány zejména ze zahraničních pramenů, protože u nás je educational data mining poměrně novým, dosud velmi málo rozšířeným nástrojem. Studium domácích i zahraničních pramenů citovaných jak v teoretické části tak i části zaměřené na současný stav, realizovaný výzkum na téměř 7700 studentech 1. ročníků středních škol umožnil formulaci několika poznatků a závěrů pro žáky, učitele, školy, zřizovatele škol a pro pedagogický výzkum. Abstract The basic objective of the research part of this thesis is to find relations between basic characteristics of students, their skills in the first year of secondary schools and their final assessment results in the ninth year of primary schools, mainly with the use of data mining methods. According to the research objective partial objectives have been formulated. The research was carried out on a large sample of almost 7700 students and specifically focuses on the objectiveness of marks given in the ninth year of primary schools, searching for relations between skills in individual subjects and relations among students on the basis of their success in individual skills. Results of the analyses acquired mostly through data mining methods are presented in forms of graphics to ease their interpretation. This thesis provides collected and sorted information from theoretical studies as well as research contributions dealing with this rather new field of knowledge discovery in data in education, i.e. educational data mining. The information from both theoretical studies and research contributions have been gained mostly from foreign sources, since educational data mining is a rather new and not widespread tool in our country. Study of domestic and foreign sources referenced in the theoretical part as well as the part focusing on the current condition, and research carried out on almost 7700 students of the first year of secondary schools enabled to formulate several findings and conclusions for students, teachers, schools, school establishers and pedagogical research.

7

OBSAH 1

ÚVOD

9

2

CÍLE DISERTAČNÍ PRÁCE

9

2.1 Záměr výzkumu a cíle

9

2.2 Zdrojová data a způsob řešení

10

3

11

SOUČASNÝ STAV ŘEŠENÉ PROBLEMATIKY

3.1 Informační a komunikační technologie v pedagogickém hodnocení

11

3.2 Dobývání znalostí z dat ve vzdělávání

12

4

3.2.1

Teoretické studie

12

3.2.2

Výzkumné příspěvky

13

PRAKTICKÁ ČÁST DISERTAČNÍ PRÁCE

4.1 Vztah mezi hodnocením známkou a otestovanými dovednostmi studenta 4.1.1

Dílčí výsledky

4.2 Vztah pohlaví studentů a dosažených výsledků 4.2.1

Dílčí výsledky

4.3 Vztah mezi dovednostmi v každém předmětu 4.3.1

Dílčí výsledky

14 14 15

15 16

17 17

5 ZÁVĚRY VÝZKUMU A DOPORUČENÍ DALŠÍHO ZAMĚŘENÍ VÝZKUMU V DANÉ OBLASTI 6

ZÁVĚR

21 23

SEZNAM LITERATURY POUŽITÉ V DISERTAČNÍ PRÁCI

25

SEZNAM PUBLIKOVANÝCH PRACÍ AUTORA DISERTAČNÍ PRÁCE

29

8

1 Úvod Tak jako jiné vědní obory, i informatika disponuje širokým množstvím různých nástrojů, metod, metodologií a technik. Tyto pak mají široké uplatnění a můžeme se s nimi setkat zejména v komerční sféře, vědeckém výzkumu, ale i dalších oblastech. Disertační práce je zaměřena na využití těchto nástrojů, metod, metodologií či technik při zpracování informací o žákovi ve škole v oblasti pedagogického hodnocení. Na rozdíl od standardně využívaných metod, nám tyto metody mohou umožnit úplně jiný – nový pohled na data, respektive na samotného žáka, nebo objevit v datech nové vazby či vztahy, které mohou být přínosem pro samotného žáka, učitele, vedení školy, zřizovatele školy či rodiče. Práce je rozčleněna na část teoretickou, obsahující vymezení používaných pojmů, představení základního teoretického rámce zkoumané problematiky a přehled hlavních poznatků o současném stavu řešené problematiky, a na část výzkumnou. Teoretická část je rozčleněna do dvou dílčích kapitol, a to do teoretického základu z oblasti hodnocení ve škole a do kapitoly zabývající se využíváním informačních a komunikačních technologií ve škole. Druhá, ze zmíněných teoretických částí pak také analyzuje možnosti aplikací informačních a komunikačních technologií v procesu pedagogického hodnocení a jsou v ní rovněž popsány metody z oblasti informatiky – metody data miningu jež budou ve výzkumné části práce použity. Část zabývající se současným stavem řešené problematiky je zaměřena na současné trendy a názory na využívání informačních a komunikačních technologií v procesu pedagogického hodnocení a na problematiku dobývání znalostí z dat získávaných v průběhu procesů vzdělávání a z posuzování jeho výsledků - neboli na Educational Data Mining, který je obecně novou disciplínou, v domácích poměrech celkem neznámou. Hlavním cílem výzkumné části bylo zjistit souvislosti mezi základními charakteristikami studenta, jeho dovednostmi v 1. ročníku střední školy a jeho závěrečným hodnocením v 9. třídě základní školy, především s využitím metod data miningu. V souladu s cílem výzkumu byly naformulovány dílčí cíle. Výzkum byl realizován na velkém vzorku, téměř 7700 studentů a konkrétně se zaměřuje na objektivitu známky udělované v 9. třídě základní školy, na hledání vazeb mezi dovednostmi v jednotlivých předmětech a hledání vazeb mezi studenty na základě úspěšnosti v jednotlivých dovednostech.

2 Cíle disertační práce 2.1

Záměr výzkumu a cíle

Nové poznatky v oblasti informačních a komunikačních technologií ovlivňují rovněž i nároky kladené na všechny aspekty vzdělávání, včetně hodnocení. Disertační práce zapojuje metody z oblasti informačních a komunikačních technologií do procesu pedagogického hodnocení, jelikož zde nejsou stále dostatečně využívány. Konkrétně bude využito metod data minigu, které začaly získávat význam v oblasti analýzy dat ze vzdělávání teprve nedávno. Tyto metody byly použity především pro analýzu dat z LMS systémů nebo na účelově vytvářených datových souborech. Pomocí metod data minigu budou na rozsáhlém souboru dat, téměř 7700 studentů zjišťovány souvislosti mezi charakteristikami studenta, jeho dovednostmi a známkami ve škole. Dosud jsem nenašel analýzu, realizovanou na tak rozsáhlém souboru dat, zaměřenou na 9

zjišťování vazeb mezi dovednostmi studenta, jeho známkami a studovaným oborem na úrovni 9. třídy základní školy a 1. ročníku střední školy. Hlavním záměrem výzkumné části práce je zjistit souvislosti mezi základními charakteristikami studenta, jeho naměřenými dovednostmi v 1. ročníku střední školy a jeho závěrečným hodnocením v 9. třídě základní školy. Na základě výzkumného záměru a struktury získaných dat, byly formulovány tyto dílčí cíle výzkumné části disertační práce: 1. Identifikovat vztahy mezi hodnocením v jednotlivých předmětech u žáků na konci roku v 9. třídě a v 1. ročníku střední školy. 2. Identifikovat vztahy mezi jednotlivými dovednostmi samostatně v každém předmětu. 3. Identifikovat vazby mezi studenty podle úspěšnosti v jednotlivých dovednostech. 2.2

Zdrojová data a způsob řešení

Ke zkoumání využívá disertační práce data z testování a z dotazníkového šetření, která jsou k dispozici z projektu Testování žáků 1. ročníků oborů vzdělání poskytujících střední vzdělání s maturitní zkouškou 2008 realizovaným Metodickým a evaluačním centrem, o.p.s. v Ostravě, jejímž zakladatelem je Ostravská univerzita. Katedra informačních a komunikačních technologií Pedagogické fakulty Ostravské univerzity v Ostravě byla v rámci řešení hlavního výzkumného směru univerzity s názvem Informační a komunikační technologie v procesu edukace pověřena hlubší analýzou těchto dat. Konkrétní úkol pak připadl na autora disertace, neboť jeho povaha plně korespondovala se zadáním a zaměřením jeho disertační práce a s jeho dostatečně hlubokou „informační erudicí“. Datový sklad získaný výše uvedeným testováním studentů 1. ročníků je „živým kmenem“ dalších výzkumných prací, směřujících ke zjišťování velmi progresivní edukační kategorie, tzv. přidané hodnoty vzdělávání (viz např. studie Ryška, 2009), ve kterých je Ostravská univerzita průkopníkem v rámci České republiky i širšího regionu (Malach, Malčík, 2010). Použitý didaktický test byl zaměřen na zjišťování dovedností studentů v několika předmětech. Výsledná data byla následně zpracována statistickými metodami a odpovídající výstupní zprávy byly poskytnuty všem zúčastněným subjektům (žáci, učitelé, školy a zřizovatelé středních škol). Jelikož data z tohoto projektu byla zpracována klasickými statistickými metodami, je možné v nich hledat další zajímavá fakta a hypotézy metodami Data Miningu. Důvodů k použití právě tohoto souboru dat bylo několik: • možnost pracovat s rozsáhlým souborem (7695 studentů), • předchozí práce autora s daty - znalost jejich struktury, • požadavek na další využití dat a zájem či možnost „vytěžit“ z nich maximum. Se stále rostoucím zájmem o další využití dat, která byla sbírána za různými účely na různých místech, bylo využito v této práci především metod data miningu ke zjištění možných hypotéz na datech z testování a dotazníkového šetření studentů středních škol.

10

Získaná data zahrnují několik skupin atributů reprezentujících studenta 1. ročníku střední školy. Zejména se jedná o následující skupiny atributů: • • • • • •

základní charakteristiky studenta (věk, pohlaví, studovaný obor, …); dovednosti z českého jazyka; dovednosti z matematiky; dovednosti z cizího jazyka; obecně studijní předpoklady; data z dotazníkového šetření, zaměřeného na úspěšnost žáka ve škole a motivaci ke studiu (z dotazníku byly použity jen známky studentů získané na konci roku v 9. třídě základní školy).

3 Současný stav řešené problematiky 3.1

Informační a komunikační technologie v pedagogickém hodnocení

Nové informační a komunikační technologie, jak zmiňuje Pellegrino a kol. (2001), umožňují aplikovat takové nástroje a metody, jejichž využití pomoci tradičních metod výuky by bylo dost obtížné. Nové poznatky v oblasti informačních a komunikačních technologií mají rovněž za následek i kladení větších nároků na všechny aspekty vzdělávání, včetně hodnocení. Dlouhodobě významné postavení mají informační technologie v oblasti hodnocení, zejména v průmyslu a bankovnictví. Dnešní informační technologie, včetně řady rozšiřujících počítačových a telekomunikačních zařízení, umožňují posoudit to, co se studenti učí na velmi jemné detailní úrovni, a to i ze vzdálených míst, případně i s živou simulací. Potenciál informačních technologií by proto měl být dál plně využíván i při hodnocení. Ačkoli zavádění nových technologií není jednoduché, mělo by využití informačních technologií v oblasti hodnocení podle Pellegrina a kol. (2001) vycházet z moderních poznatků a mělo by být integrováno do systému tak, aby nejen informovalo, ale i poučovalo či napomáhalo při zlepšování výsledků studentů. V současné době jsou podle něho tyto nové možnosti z velké části nevyužity a přitom by mohly výrazně změnit situaci. Nové technologie nám umožňují nejen pozorovat studenta v procesu učení, ale také zaznamenávat i průběh jeho procesu poznávání. Pellegrino a kol. (2001) vidí i možnost hlubšího prozkoumání znalostí a uvažování studentů prostřednictvím nových technologií, což by bylo podle nich velice obtížné nebo dokonce nemožné pomocí tradičních metod. Další přínosy nových technologií vidí v pozorování a interpretování různých aspektů studentů ve vztahu k jiným aspektům, porovnávání výsledných údajů o výkonu proti jiným profilům studenta, které mají vypovídající hodnotu. Zkoumání individuálních diferenciací v učení žáků, vystavených stejné učební situaci v závislosti na dalších proměnných (učební styl, jejich předchozí znalosti,…) považuje i Průcha (2002) za jeden z pozoruhodných a příznačných rysů současného pedagogického výzkumu. Podle Mojžíška (1986) „není vždy zajištěn odborný analytický přístup při posuzování a hodnocení“. Při analýze a diagnostickém úsilí by proto mělo být používáno v podstatě téměř všech vědecko-výzkumných metod, třeba i přiměřeně upravených. Tyto metody a nástroje pro analýzu dat podle Hamiltona a kol. (2009) nejenže pomáhají žákům se učit na základě zpětné vazby, ale také poskytují cenné informace, které mohou učitelé využít k dalšímu formování výuky.

11

3.2

Dobývání znalostí z dat ve vzdělávání

„Educational data mining“ (Dogan, Camurcu, 2007-2008) neboli dolování znalostí z dat ve vzdělávání či získaných v kontextu se vzděláváním je poměrně novou výzkumnou oblastí, která nabízí zajímavé možnosti pro aplikaci různých metod data miningu. Analýza masivních databází metodami data miningu není novinkou v oblastech, jako jsou finance, marketing či fyzika. V oblasti vzdělávání však začala získávat na významu teprve nedávno. První mezinárodní konference na toto téma se konala v roce 2008 a první vědecký časopis s názvem Journal of Educational Data Mining se objevil v roce 2009. Sparks (2011) tvrdí, že takové dolování dat umožňuje rychlejší a „fine-grained“ neboli „jemně zrnité“ hledání odpovědí na otázky ve vzdělávání, a rovněž nakonec může změnit i způsob, jakým jsou studenti testováni a vyučováni. Zdroje dat, které se někdy jeví jako nepodstatné, mohou být užitečné a mohou se mnohdy ukázat jako velmi silné pro definování závěrů. Podle Faulknera, Davidsona, McPhersona (2010) použití data miningu pro analýzu údajů získaných v přirozeném prostředí je stále více uznáváno jako legitimní způsob šetření, nicméně v oblasti pedagogického výzkumu obecně je nedostatečně používán. Je účinným prostředkem objevování vztahů v rámci velkých datových souborů, zejména ve výzkumu, který má omezený experimentální design, a pro následnou formulaci předpovědí a pravidel. Využitím metod data miningu v oblasti vzdělávání můžeme podle Dogana a Camurca (2007-2008) získat užitečné informace o vzdělávacích aktivitách, které mohou posloužit pro lepší pochopení a hodnocení studenta v procesu učení, zkoumání jeho vývoje v procesu učení. Konkrétní výzkum, hledané vazby a použití metod se bude vždy odvíjet od povahy a struktury dat, které budeme mít k dispozici. Podle Sparkse (2011) pro dolování dat ve vzdělávání (educational data mining) lze využít údajů shromážděných prostřednictvím běžných školních aktivit, a to jak některé typické údaje obsažené ve společných státních databázích, jako například výsledky testů a docházky tak i pomocné údaje, jako interakce studenta v learning management systémech (viz např. Troszok, 2011) nebo délka reakce studenta na domácí úkoly. 3.2.1 Teoretické studie Jak už jsem výše zmínil, i když je „educational data mining“ poměrně novou výzkumnou oblastí, lze již nyní najít zajímavé články, jež se touto problematikou zabývají na teoretické úrovni - Mining Knowledge From Educational Data (Burda, Zoubek, 2009), Educational Research From Data Mining View (Havelková, 2010), Data Mining Gets Traction in Education (Sparks, 2011) či Using Data Mining to Identify Actionable Information (Streifer, Schumann, 2005). V poslední uvedené teoretické studii autoři Streifer a Schumann (2005) hovoří o využití data miningu k získávání informací, které by mohly být základem pro nové, datově řízené rozhodování ve škole. Autoři zdůrazňují, že nové pokroky a poznatky v oblasti umělé inteligence a data miningového softwaru mohou napomoci učitelům jednak při identifikaci důležitých ukazatelů úspěšnosti a jednak i při zlepšování procesu učení, vzdělávání. Autoři zde rovněž pokládají otázku, zda pedagogové mohou předpovídat výsledky studentů ze všech různorodých proměnných, jež jsou uložené v různých datových skladech. Problematikou zavádění nástroje data miningu v rámci řízení znalostí se zabývá i článek Luana (2002) Data Mining and Knowledge Management in Higher Education-Potential Applications. Luan v něm zdůrazňuje možnosti využití shlukování dat pro komplexní 12

analýzu vlastností studentů. Ve srovnání s tradičními analytickými studiemi, které mají s odstupem času souhrnný charakter, dolování dat je z jeho pohledu budoucností a je orientováno na jednotlivé studenty. Výhody data miningu vidí v jeho schopnosti hlubšího porozumění studentům a v nalezení různých znalostí, jež by pomocí běžně dostupných zpráv a metod nemusely být nalezeny. Prakticky pak sám aplikoval metody data miningu při vytváření typologií studentů z hlediska jejich chování (Luan, 2006, Luan 2009). Praktickému využití metod data miningu ve vzdělávání je věnována následující část, v níž jsou uvedeny identifikované výzkumy, jež byly dosud realizovány na datech získaných v kontextu vzdělávání. 3.2.2 Výzkumné příspěvky Autoři Dogan a Camurcu (2007-2008) v článku Association Rule Mining from an Intelligent Tutor popisují problematiku dobývání asociačních pravidel z inteligentního tutora. Pomocí asociačních pravidel zkoumají, jak se studenti učí jednotlivá témata v interaktivním vzdělávacím prostředí, jímž je v jejich případě inteligentní doučovací systém. Tento článek demonstruje použití asociačních pravidel pro výpis chyb, které se často společně vyskytují ve studentských datech zachycených v tzv. „inteligentním učiteli kurzu počítačových systémů“ (dále ITCS). Výsledky hodnocení studentů získané z ITCS jsou následně analyzovány pomocí asociačních pravidel. Tento analytický proces hledání a následné analýzy různých asociací, zejména v nesprávných odpovědích studentů, má následně pomoci učitelům provádět úpravy ITCS s cílem zlepšit koncepci kurzu na základě těchto získaných vztahů. Veitch (2004) se v práci Identifying Charakteristics of High School Dropouts: Data Mining with a Decision Tree Model zabývá problematikou nedokončeného středoškolského studia, jež byla zkoumána ve vztahu k různým druhům otázek: sociálních, finančních a psychologických. Cílem bylo pokusit se zkonstruovat proces, který bude identifikovat studenty ohrožené předčasným ukončením Touto problematikou se zabývalo mnoho studií s použitím různých výzkumných metod. Veitch ve své práci využil rozhodovacích stromů k prozkoumání toho, zda lze nalézt korelace v oblasti sociální, finančních a psychologických aspektů u studentů s nedokončeným středním vzděláním. Rozhodovací stromy jsou metodou navrženou tak, aby prosela soubor prognostických proměnných a postupně rozdělila data do podskupin s cílem zlepšit předvídání (klasifikace) cílové (závislé) proměnné. Jako taková je tato metoda cenným nástrojem data miningu, budujícím modely z velkého množství proměnných, bez velkého množství předchozí práce. Strom následně prezentovaný Veitchem vykazoval určitou schopnost předvídat to, kteří studenti mohou vypadnout ze školy. Výzkum The Value of Data Mining in Music Education Research an Some Findings from Its Application to a Study of Instrumental Learning during Childhood autorů Faulknera, Davidsona a McPhersona (2010) je zaměřen na využití metod data miningu v pedagogickém výzkumu, konkrétně v oblasti hudební výchovy. Autoři využili rozhodovacích stromů k dobývání znalostí z datové sady získané z hudebních znalostí, zkušeností a schopností studentů na základní škole v Austrálii. Výzkum ukázal platnost zjištěných znalostí z databází pro předpovídání výsledků a chování u studentů v rámci hudební výchovy. Tyto strojově získané vědomosti nabízí hudebním pedagogům užitečné informace o vztahu mezi různými atributy studentů. 13

Romero, Ventura, Garcia (2008) v práci Data Mining in Course Management Systems: Moodle Case Study and Tutorial zkoumali konkrétní aplikace data miningu v systémech pro řízení výuky a uvádějí i případovou studií v LMS systému Moodle. Cílem autorů bylo představit tuto novou oblast výzkumu jak teoreticky, tak prakticky všem uživatelům se zájmem o ní, zejména pak on-line lektorům a e-learningovým administrátorům. Práce je jednak popisem procesu dobývání e-learningových dat v prostředí LMS Moodle, ale také jakýmsi průvodcem používání hlavních technik dolování dat, jako jsou rozhodovací stromy, shlukování a asociačních pravidla. Lidské faktory jednotlivých uživatelů interaktivních multimediálních výukových systémů mohou preferovat různý design těchto aplikací. Chrysostomou, Chen a Liu (2009) použili v práci Investigation of Users´Preferences in Interactive Multimedia Learning Systems: A Data Mining Approach k vyšetřování preferencí uživatelů v používání interaktivních multimediálních vzdělávacích systémů data miningu, přesněji řečeno shlukovací techniku. Dosažené výsledky ukázaly, že preference uživatelů by mohly být rozděleny do čtyř skupin založených na počítačových zkušenostech jako základním lidském faktoru, který ovlivňuje jejich preference. Problematice selhání či ukončení studia v prvním roce na vysoké škole už bylo věnováno rozsáhlé množství diskusí. Mnoho psychologů se snažilo pochopit a pak následně vysvětlit tuto problematiku, mnozí statistici se pokoušeli toto předvídat. Výzkum Predicting Academic Performance by Data Mining Methods Vandamma, Meskense a Superbyeho (2007) sledoval cíl klasifikovat co nejdříve, jak jen to je v akademickém roce možné, studenty do tří skupin: do skupiny označované jako „nízké riziko“ do níž byli začleňováni studenti, kteří mají vysokou pravděpodobnost na úspěch, do skupiny „střední riziko“ kam spadali studenti, kteří mohou uspět díky různým opatřením přijatých na univerzitě a do skupiny „vysoké riziko“ kam patří studenti, kteří mají vysokou pravděpodobnost selhání (nebo vypadnutí ze studia). Pro predikci akademického úspěchu studentů autoři použili diskriminační analýzu, neuronové sítě a rozhodovací stromy. V článku Mining Student Data Captured from a Web-Based Tutoring Tool: Initial Exploration and Results popisují autoři Merceron a Yacef (2004) první šetření, které provedli na studentských údajích získaných z on-line výukových nástrojů. Pro získání dalších poznatků o vzdělávání studentů a odvození informací pro zlepšení výuky použili autoři některé techniky dolování dat, zejména asociační pravidla a tradiční SQL dotazy. V práci, na základě využití data miningových technik, byly sledovány dva účely: • lépe pochopit, jak studenti uchopili nástroj a vstřebali znalosti, které se potřebují naučit, a • získat pedagogicky relevantní informace, které mohou ovlivnit nebo přispět ke zlepšení výuky.

4 Praktická část disertační práce 4.1

Vztah mezi hodnocením známkou a otestovanými dovednostmi studenta

Známka udělena studentovi ve škole je jedním z hlavních ukazatelů vyjadřujícím výsledek jeho procesu učení. Při hodnocení realizovaném na konci určitého období (závěrečné, sumativní) je ale zpravidla posuzována osobnost žáka komplexně, včetně jeho schopností, aktivity a dalších faktorů. Z tohoto pohledu lze říci, že známka nemusí být zcela spolehlivým nástrojem vyjadřujícím úroveň znalostí u žáka a dovedností. 14

V datech, která mám k dispozici o žácích, jsou porovnávány udělené známky na konci 9. třídy na jedné straně a otestované znalosti a dovednosti na začátku školního roku v 1. ročníku střední školy na straně druhé. Mezi nimi je jen krátké časové období, a tedy porovnání je dobře možné. Pro analýzu dat byla použita metoda hledání asociačních pravidel. Po úpravě jejich formátu z nich bylo možné filtrovat výsledky podle zvolených kritérií. Byla vybrána pravidla, která reprezentovala hledaný vztah mezi hodnocením realizovaným u žáků na konci roku v 9. třídě základní školy a v 1. ročníku střední školy. 4.1.1 Dílčí výsledky Známka udělená studentovi na konci roku v 9. třídě základní školy v 72,89% neodpovídá otestovaným znalostem a dovednostem v 1. ročníku střední školy, z toho: •

v matematice v 75% ze 7336 studentů, kteří uvedli v dotazníku známku z 9. třídy ZŠ z matematiky, • v českém jazyce v 59,62% ze 7350 studentů, kteří uvedli v dotazníku známku z 9. třídy ZŠ z českého jazyka, • v cizím jazyce v 84,05% ze 7347 studentů, kteří uvedli v dotazníku známku z 9. třídy ZŠ z cizího jazyka.

Ze získaných výsledků lze vyslovit několik doporučení formulovaných v následujících bodech. 1. Definovat jednotný seznam požadovaných znalostí a dovedností pro každou známku v každém předmětu, čímž se detailněji specifikuje hodnota každé známky v každém předmětu. 2. V přípravě učitelů věnovat větší pozornost problematice hodnocení a maximalizovat využití objektivních metod hodnocení. 3. Respektovat systém kurikula na základních školách a usilovat o zavedení jednotného systému minimálních požadavků pro každý předmět. Tento systém minimálních požadavků pak využívat jako jeden z hlavních podkladů při zjišťování úrovně znalostí studentů (plošné testování, přijímací řízení na střední případně vysoké školy, státní maturity). 4. Zkvalitnit a posílit na základních školách výuku cizích jazyků, protože zde studenti dosahovali v testování horších výsledků, a to až o dva stupně, než byla jejich skutečná známka udělená na základní škole. 5. V matematice studenti dosahovali v testování o stupeň horších výsledků, než byla jejich skutečná známka na základní škole, proto je potřeba rovněž posílit výuku (kurzy pro studenty, doučování) matematiky na základních školách. 4.2

Vztah pohlaví studentů a dosažených výsledků

Pohlaví může být také jedním z potenciálních faktorů, který může mít souvislost s dosaženými výsledky. Na základě dostupné datové struktury, bylo možné tento faktor dále analyzovat.

15

Pro další analýzu bylo využito metody hledání asociačních pravidel. Z nalezených asociačních pravidel byla vybrána ta, která zachycovala vztah mezi: •

•

známkou na konci roku v 9. třídě základní školy v jednotlivých předmětech (matematice, českém jazyce, cizím jazyce), celkovou úspěšností studenta v testování v jednotlivých předmětech (matematice, českém jazyce, cizím jazyce) na straně jedné, a pohlavím studenta na straně druhé.

4.2.1 Dílčí výsledky Rozložení studentů, kteří v testování v jednotlivých předmětech dosahovali jiných výsledků, než byla jejich známka udělená v 9. třídě základní školy, podle pohlaví je následující: • v matematice to bylo 44, 24% chlapců a 55,76% dívek, • v českém jazyce to bylo 50,3% chlapců a 49,7% dívek, • v cizím jazyce to bylo 46,35% chlapců a 53,65% dívek. V matematice se výsledky z testování, v porovnání se známkou udělenou na konci roku v 9. třídě základní školy, liší podle pohlaví nejvíce, a to jak v lepší tak v horší kategorii. V porovnání se známkou udělenou na konci roku v 9. třídě základní školy dosahovali v testování v matematice podle pohlaví: • horších výsledků dívky (51,95%), • lepších výsledků chlapci (8,95%). V českém jazyce se výsledky z testování, v porovnání se známkou udělenou na konci roku v 9. třídě základní školy, liší podle pohlaví méně, a to jak v lepší tak v horší kategorii. V porovnání se známkou udělenou na konci roku v 9. třídě základní školy dosahovali v testování v českém jazyce podle pohlaví: • horších výsledků dívky (19,1%), • lepších výsledků chlapci (35,14%). Mezi studenty s horšími výsledky v českém jazyce, v porovnání se známkou udělenou na konci roku v 9. třídě základní školy, převažují sice dívky 19,1%, ale i mezi chlapci je 15,15% horších. Naopak mezi studenty s lepšími výsledky, v porovnání se známkou udělenou na konci roku v 9. třídě základní školy, v českém jazyce sice převažují chlapci 35,14%, ale i dívek s lepším výsledkem je 30,61%. V cizím jazyce se výsledky z testování, v porovnání se známkou udělenou na konci roku v 9. třídě základní školy, liší podle pohlaví také více, a to jak v lepší tak v horší kategorii. V porovnání se známkou udělenou na konci roku v 9. třídě základní školy dosahovali v testování v cizím jazyce podle pohlaví: • horších výsledků dívky (51,04%), • lepších výsledků chlapci (4,26%). Z dosaženého výsledku lze vyslovit doporučení vztahující se k objektivitě hodnocení ze strany učitele, které by vytvářelo rovné podmínky hodnocení a uplatňovalo shodná hodnotící kritéria pro obě pohlaví.

16

4.3

Vztah mezi dovednostmi v každém předmětu

V každém ze tří zkoumaných předmětů byli studenti testování v určitých dovednostech. Některé dovednosti v rámci předmětu mohou mít mezi sebou větší či menší vazby. Pokud tyto vazby existují a bylo by možné je najít a vyspecifikovat, mohli bychom pak například prostřednictvím jedné dovednosti rozvíjet u studentů zároveň i dovednost druhou či optimalizovat testy. Při řešení této části výzkumu bylo využito shlukové analýzy dat, která je velmi účinnou metodou při zařazování objektů, které jsou si více podobné, do skupin. Jednotlivé dovednosti v rámci jednoho předmětu byly postupně shlukovány do skupin vzájemně si bližších dovedností, rovněž byli shlukování i studenti podle úrovně osvojení jednotlivých dovedností. Dále bylo využito metody analýzy hlavních komponent a korelační matice. 4.3.1 Dílčí výsledky Podobnosti mezi jednotlivými dovednostmi v matematice Shlukovou analýzou a následnou analýzou získaného dendrogramu na hladině dvou shluků bylo zjištěno, že největší podobnosti v matematice jsou u dovedností: • 2dov10 (Grafické vnímání a práce s grafem) a 2dov11 (Poznání rovinných útvarů a práce s nimi, prostorová představivost), • 2dov7 (Numerické dovednosti) a 2dov27 (Numerické úlohy), • 2dov6 (Chápání čísla jako pojmu vyjadřujícího kvantitu, zápis celku různými způsoby) a 2dov9 (Orientace a práce s tabulkou). Podobnosti mezi jednotlivými dovednostmi v českém jazyce Shlukovou analýzou a následnou analýzou získaného dendrogramu na hladině dvou shluků bylo zjištěno, že největší podobnosti v českém jazyce jsou u dovedností: •

1dov1 (Ovládání lexikálního pravopisu) a 1dov3 (Ovládání syntaktického pravopisu), • 1dov4 (Třídění slov) a 1dov5 (Porozumění obsahu textu).

Podobnosti mezi jednotlivými dovednostmi v cizím jazyce Z dendrogramu, jenž je výstupem shlukování dovedností z cizího jazyka lze konstatovat, že všechny sledované dovednosti v cizím jazyce spolu nevytváří shluky, skupiny dovedností, a že nelze identifikovat shluky podobnějších dovedností. Dovednosti v cizím jazyce jsou voleny dobře. Vzhledem k podobnosti určitých dovedností v matematice a českém jazyce by každá dvojice těchto dovedností mohla být sloučena do jedné dovednosti. Tímto by se snížil počet sledovaných dovedností v českém jazyce i v matematice a zároveň by se snížil i počet otázek v testu a tím i čas testování. Další možností je zanechat původní strukturu dovedností a sledovat tyto dvojice nejvíce podobných dovedností současně, společnou skupinou testových otázek. Tímto by se opět redukoval počet testových otázek, a to z původních dvou skupin pro každou dovednost na jednu skupinu pro obě dovednosti. Opět by došlo i ke zkrácení času testování studentů. Korelace mezi všemi dovednostmi navzájem Pro zjištění možných korelací mezi všemi sledovanými dovednostmi navzájem bylo využito korelační matice a následně i metody analýzy hlavních komponent, která se často 17

používá ke snížení dimenze dat s co nejmenší ztrátou informace pomocí tzv. hlavních komponent, kterými popisujeme variabilitu všech proměnných a vztahy mezi nimi. Z výstupů získaných korelační maticí lze formulovat následující výsledky: • Úspěšnost v obecně studijních předpokladech koreluje s matematickými dovednostmi studentů (korelační koeficient 0,63), zejména numerickými dovednostmi (korelační koeficient 0,56) a dovednostmi zaměřenými na práci s funkcemi (korelační koeficient 0,6). • Úroveň osvojení si dovedností studenty v českém jazyce koreluje s úrovní osvojení si některých dovedností studenty v cizím jazyce (korelační koeficient 0,54), zejména stavbou anglické/německé věty (korelační koeficient 0,52) a slovesnými strukturami (korelační koeficient 0,5). Analýzou hlavních komponent bylo zjištěno, že na stanovení celkového obrazu o studentovi se podílejí všechny dovednosti. Tedy můžeme říct, že všechny jsou důležité a žádnou by nebylo dobré vyloučit. Také můžeme konstatovat, že z tohoto hlediska je i test dobře navržen. Na základě získaných výstupů byly nejvýznamnější komponenty popsány: •

V1 – nejvýraznější rozdíly mezi studenty jsou podle všech dovedností, hodnoty zátěže jsou u všech dovedností větší nebo rovny 0,1 => celkové „nadání“ pro všechny předměty, • V2 – výrazně menší rozdíl v dovednostech, hodnoty zátěže jsou větší nebo rovny 0,1 u dovedností v českém a cizím jazyce, včetně celkové úspěšnosti u dovedností v těchto předmětech => nadání pro český jazyk a cizí jazyk, nižší nadání pro matematiku, • V3 – hodnoty zátěže jsou větší nebo rovny 0,1 u dovedností v cizím jazyce, včetně celkové úspěšnosti => nadání pro cizí jazyky. Shlukování studentů podle výsledků v jednotlivých dovednostech Pomoci metody shlukové analýzy dat byly v datech hledány možné skupiny studentů s podobnými vlastnostmi (výsledky v jednotlivých dovednostech). Nalezené shluky byly následně interpretovány s využitím kvartilových grafů (boxplotů). Analýzou dendrogramu na hladině dvou, čtyř, pěti a sedmi shluků bylo definováno několik typů studentů z hlediska úrovně osvojení dovedností v jednotlivých předmětech. V cizím jazyce je možné identifikovat 3 úrovně jazykových dovedností u studentů: • •

zelený shluk – 1150 studentů (15%) - „pokročilá úroveň“ (medián 78%-100%), modrý shluk – 2954 studentů (38,5%) - „středně pokročilá úroveň“ (medián 60%70%), • červený a žlutý shluk – 3579 studentů (46,5%) – „začátečník“ (medián 25%-40%).

Mezi studenty, kteří dosahovali lepších výsledků v testování lze nalézt tři skupiny studentů, a to: •

zelený shluk – 1150 studentů (15%) - studenti s celkovou úspěšností (případně celkovým nadáním), • modrý shluk – 1665 studentů (21,67%) - jazykové nadání, • hnědý shluk – 1289 studentů (16,77%) - technické-matematické nadání. 18

Ze shlukování a analýzy dendrogramu na hladině pro sedm shluků lze definovat, z hlediska úrovně osvojení jednotlivých dovedností, sedm typů studentů, kteří jsou reprezentováni jednotlivými shluky. 1. Žlutý shluk reprezentuje 1908 (24,83%) studentů s nejnižší úspěšností ve všech sledovaných dovednostech. Z hlediska celkových úspěšností v jednotlivých předmětech, je tento shluk charakteristický následujícími hodnotami mediánů: • • • •

celková úspěšnost z českého jazyka – 66%, celková úspěšnost v matematice – 48%, celková úspěšnost v cizím jazyce – 30%, celková úspěšnost v obecně studijních předpokladech – 51%.

2. Červený shluk reprezentuje 1362 (17,72%) méně úspěšných studentů ve sledovaných dovednostech, patří zde zejména studenti technicky zaměření (matematika). Z hlediska celkových úspěšností v jednotlivých předmětech, je tento shluk charakteristický následujícími hodnotami mediánů: • • • •


3. Růžový shluk reprezentuje 309 (4,02%) průměrně úspěšných studentů ve sledovaných dovednostech, patří zde zejména studenti technicky zaměření (matematika). Z hlediska celkových úspěšností v jednotlivých předmětech, je tento shluk charakteristický následujícími hodnotami mediánů: • • • •


4. Zelený shluk reprezentuje 1150 (15%) nejúspěšnějších studentů ve všech sledovaných dovednostech. Z hlediska celkových úspěšností v jednotlivých předmětech, je tento shluk charakteristický následujícími hodnotami mediánů: • • • •


5. Hnědý shluk reprezentuje 1289 (16,77%) studentů, úspěšných v českém jazyce a v matematice. V cizím jazyce tito studenti dosahují průměrných nebo i podprůměrných výsledků. Z hlediska celkových úspěšností v jednotlivých předmětech, je tento shluk charakteristický následujícími hodnotami mediánů: • • • •


6. Oranžový shluk reprezentuje 573 (7,45%) průměrně úspěšných studentů ve všech sledovaných dovednostech, patří zde zejména studenti výrazně jazykově zaměřeni (český

19

jazyk, cizí jazyk). Z hlediska celkových úspěšností v jednotlivých předmětech, je tento shluk charakteristický následujícími hodnotami mediánů: • • • •


7. Modrý shluk reprezentuje 1092 (14,21%) méně úspěšných studentů ve sledovaných dovednostech, patří zde zejména studenti jazykově zaměřeni (český jazyk, cizí jazyk). Z hlediska celkových úspěšností v jednotlivých předmětech, je tento shluk charakteristický následujícími hodnotami mediánů: • • • •


Shlukování studentů podle oborů Pomocí shlukové analýzy bylo zjišťováno rozložení studentů s výše uvedenými typy nadání či případně jiným typem nadání ve třech zvolených, odlišných oborech. Konkrétně byly vybrány: • Gymnaziální obory, • Obory technického zaměření, • Obory společenskovědního zaměření. Zjištěné výstupy nám umožní lépe identifikovat, na jaký typ středních škol se hlásí studenti z hlediska typu jejich nadání. Analýzou dendrogramu na hladině tří shluků bylo zjištěno, že studenty gymnaziální oborů tvoří z 57,14% studenti s celkovým nadáním, 31,5% pak tvoří studenti především s matematickým nadáním a nejmenší skupinu 11,36% tvoří jazykově nadaní studenti. Studenty oborů technického zaměření tvoří z 49% studenti, kteří nemají nadání pro cizí jazyk, převažuje u nich nadání pro český jazyk a matematiku. Studenti s technickýmmatematickým nadáním pak tvoří 28,4%. U ostatních 22,6% studentů pak převládá jazykové nadání. Studenty oborů společenskovědního zaměření tvoří z 58,58% studenti s celkovou úspěšností, případně nadáním. Studenti s technickým-matematickým nadáním pak tvoří 26,04%. U ostatních 15,38% studentů pak převládá jazykově nadání. Mezi studenty gymnaziálních oborů (57,14% studentů) a mezi studenty oborů společenskovědního zaměření (58,58% studentů) tedy převládají studenti s celkovou úspěšností (celkovým nadáním). U oborů technického zaměření (49% studentů) převažují studenti s nadáním pro český jazyk a matematiku, v cizím jazyce tito studenti dosahují výsledků na úrovni „začátečník“. Z výsledků získaných v rámci této části výzkumu jsou formulovány následující závěry a doporučení. 1. Revidovat jednotlivé dovednosti s případnou redukcí počtu dovedností či otázek v matematice a v českém jazyce, a to na základě výstupů získaných při shlukování jednotlivých dovedností v rámci předmětu. Snížením počtu dovedností či redukcí počtu otázek v testu u odpovídajících dovedností se samozřejmě zkrátí i délka testování. 20

2. Dovednosti v cizím jazyce jsou dobře zvolené, nicméně rozdíly mezi studenty s lepšími a studenty s horšími výsledky u sledovaných dovedností v cizím jazyce jsou větší ve srovnání s jinými dovednostmi jiných předmětů. Z tohoto pohledu je potřeba posílit výuku cizích jazyků (doučování, jazykové kurzy pro studenty,…) na základních školách. 3. Matematicky orientované dovednosti v obecně studijních předpokladech zakomponovat do testu z matematiky a zjišťovat tak několik dovedností současně. Tím redukovat počet testových otázek a zkrátit dobu testování. 4. Vzhledem k nalezeným korelacím mezi celkovou úspěšností studenta v českém jazyce a dovednostmi v cizím jazyce, více propojovat výuku českého a cizího jazyka. Větší propojení výuky těchto dvou předmětů může studentům umožnit lepší vnímání, propojení a pochopení řešené problematiky v obou jazycích (například výuka určité problematiky v českém jazyce a současně či návazně pak i v cizím jazyce). 5. Při ověřování kvality navržených testů z hlediska sledovaných dovedností využívat metodu analýzy hlavních komponent jako jednu z ověřovacích metod. 6. Testovat studenty na začátku 1. ročníku střední školy v jednotlivých dovednostech a na základě získaných výsledků studenty rozdělovat do skupin s využitím metody shlukování. Získaný dendrogram pak umožní učitelům lepší pohled na studenty při jejich rozdělování do skupin jak z hlediska úrovně jejich znalostí, tak z hlediska talentu či nadání, zejména pak v cizím jazyce. 7. Z výstupů získaných při shlukování studentů a následné analýze dendrogramu na hladině sedmi hluků bylo definováno z hlediska úrovně osvojení jednotlivých dovedností sedm typů „charakteristických studentů“. Na základě těchto pravidel („charakteristických studentů“), získaných analýzou téměř 7700 studentů v Moravskoslezském kraji je vhodné připravit expertní systém, který podle úrovně osvojení jednotlivých dovedností, zjištěných vstupním testem, zařadí studenta do odpovídající skupiny (shluku). Studenti by tedy okamžitě věděli, na základě zařazení do jedné ze sedmi skupin „charakteristických studentů“, v čem jsou jejich nedostatky, přednosti a jakým směrem by měla být zaměřena jejich další učební činnost. 8. Na základě získaných výstupů a poznatků dále optimalizovat testy. Další zajímavou možností, která by ale spíše mohla být předmětem dalšího výzkumu, je možnost rozvíjet jednu nebo několik dovedností, prostřednictvím jiné dovednosti. Podmínkou by samozřejmě bylo, aby všechny sledované dovednosti spolu souvisely (tvořily jeden shluk).

5 Závěry výzkumu a doporučení dalšího zaměření výzkumu v dané oblasti Výzkumná zjištění umožňují formulovat několik závěrů a doporučení pro další výzkumy zaměřené na oblast informačních a komunikačních technologií v procesu pedagogického hodnocení. V rámci kapitoly současného stavu řešené problematiky byly shromážděny a poskytnuty utříděné informace, a to jak z teoretických studií, tak i výzkumné příspěvky zabývající se poměrně novou oblastí dobývání znalostí z dat ve vzdělávání neboli educational data miningu. Informace jak v teoretických studiích, tak i ve výzkumných příspěvcích byly čerpány zejména ze zahraničních pramenů, protože u nás je educational data mining poměrně novým, málo rozšířeným nástrojem.

21

V realizovaném výzkumu byly s úspěchem aplikovány na datech získaných ve vzdělávání metody data miningu, které se ukázaly jako efektivní nástroj analýzy rozsáhlého souboru dat získaného plošným regionálním testováním studentů 1. ročníků středních škol. Byly identifikovány vztahy definované v dílčích cílech práce, a to mezi hodnocením v jednotlivých předmětech u žáků na konci roku v 9. třídě a v 1. ročníku střední školy, mezi jednotlivými dovednostmi samostatně v každém předmětu a mezi studenty podle úspěšnosti v jednotlivých dovednostech. Z pohledu využívání informačních a komunikačních technologií v procesu pedagogického hodnocení, konkrétně pak metod data miningu (educational data miningu), jsou formulovány následující doporučení. 1. Využívat metod data miningu v rámci analýzy dat získaných ve vzdělávání či v kontextu vzdělávání, alespoň jako vedlejší či doplňující metody, zejména pak subjekty, realizující rozsáhlé testování (specializované instituce, školy či kraje). 2. Pokračovat v aplikaci dalších metod data miningu na datech ve vzdělávání a tím přispět k dalšímu rozvoji educational data miningu. 3. Hledat další možnosti využití informačních a komunikačních technologií při diagnostice dovedností žáků. Výsledky získané v jednotlivých fázích výzkumu jsou formulovány na konci každé z příslušných kapitol. Z výstupů dosažených v rámci výzkumné části práce vyplývají i následující doporučení. 1. Připravit expertní systém, do něhož budou implementována pravidla nadefinována na základě výsledků získaných shlukovou analýzou dat, a to z hlediska úrovně osvojení jednotlivých dovedností studentů a následné analýzy získaného dendrogramu na hladině sedmi shluků. 2. Dále vyvíjet a zlepšovat systém hodnocení ve škole a využívat nové, objektivnější systémy vyjádření výsledku procesu učení se žáka. 3. Pro získání skutečně věrného obrazu znalostí žáka realizovat plošné, rozsáhlejší testování, kdy žáci budou testování a hodnocení za stejných podmínek, bez vlivu dalších, vedlejších faktorů, které vstupují do procesu formulace hodnotícího stupně (známky), jako jeho nedílná součást. 4. Jelikož známka nemusí být zcela přesným ukazatelem úrovně osvojených dovedností žáka, je důležité zvážit, zda přijímat studenty ke studiu na střední případně vysoké školy podle průměru ze známek či realizovat přijímací řízení, které může být kvalitnějším obrazem žákových dovedností. Z tohoto hlediska lze vidět význam ve výsledcích státní maturity jako jednoho z objektivních měřítek pro přijetí na určité typy vysokých škol. 5. Na základě výsledků získaných shlukovou analýzou na dovednostech jednotlivých předmětů realizovat proces optimalizace testu, případně ověřit platnost získaných výsledků. Závěry a doporučení uvedené v této kapitole jsou vyjádřením názoru autora práce na další možné kroky, které by měly být v této oblasti realizovány. Tyto vychází jednak ze studia a zpracování pramenů použitých v této práci a také ze závěrů provedeného výzkumu.

22

6 Závěr Disertační práce s názvem Informační a komunikační technologie v procesu pedagogického hodnocení aplikuje metody z oblasti informačních a komunikačních technologií při zpracování dat získaných ve vzdělávání se zřetelem na využití v oblasti pedagogického hodnocení. Důvodem aplikace metod data miningu na data ve vzdělávání s důrazem na oblast pedagogického hodnocení je nedostatečné využívání množství různých nástrojů, metod, metodologií či technik z oblasti informačních a komunikačních technologií v oblasti vzdělávání. Dalším důvodem je obohacení nové výzkumné oblasti - dobývání znalostí z dat ve vzdělávání (Educational Data Mining). Teoretická část práce obsahuje ucelený pohled na oblast školního hodnocení. Je popisem typů, forem, funkcí, zásad či subjektivních chyb, kterých se učitelé v procesu hodnocení dopouštějí. V rámci teoretické části práce je prezentována i problematika informačních a komunikačních technologií ve vzdělávání, a to včetně důvodů jejich zavádění do škol a stavu současného využívání i v rámci tzv. počítačem podporované výuky. Zvláštní zřetel je pak věnován diagnostice využívající počítače a data miningu jako jednomu z diagnostických nástrojů. Při zpracovávání teoretické části byly analyzovány jak domácí, tak i zahraniční prameny. V rámci současného stavu řešené problematiky byly zjišťovány jak v domácích tak i zahraničních pramenech dvě skupiny otázek. První se zabývala současnými přístupy ve využívání informačních a komunikačních technologií v pedagogickém hodnocení. Z této kapitoly vyplynulo, že nové možnosti, které informační a komunikační technologie nabízejí, nejsou v oblasti vzdělávání, hodnocení ve škole z velké části využívány a je kladen důraz na využívání a zavádění nových poznatků a metod. Druhá otázka se pak zabývala problematikou aplikace metod data miningu na datech ve vzdělávání. Dobývání znalostí z dat (Educational Data Mining) je poměrně novou výzkumnou disciplínou, která nabízí možnosti aplikace metod data miningu na data získána ve vzdělávání či získána v kontextu vzdělávání. V kapitole je uvedeno i několik již realizovaných výzkumů s tím, že v nich vždy byla použita jiná struktura datové základny a byly sledovány jiné výzkumné cíle. Při formulaci výzkumného záměru disertační práce autor vycházel z několika klíčových faktorů, které specifikoval ještě před započetím samotného výzkumu. Prvním faktorem byla datová základna. Mnohdy jsou autory výzkumu sbírána data, která už někde z předchozích výzkumů existují a mohla by být dále efektivně využita. Nově realizovaný výzkum tak někdy může zbytečně zvýšit jak časové tak i nákladové položky celého projektu. V práci využitá datová základna vznikla v rámci projektu Testování žáků 1. ročníků oborů vzdělání poskytujících střední vzdělání s maturitní zkouškou v roce 2008. Tato data byla použita jednak proto, že v nich bylo možné hledat další zajímavá fakta metodami data miningu a také proto, že autor práce data již zpracovával v rámci předchozí spolupráce s Metodickým a evaluačním centrem, o. p. s. Druhým faktorem při definování výzkumného záměru byla aplikace metod a nástrojů z oblasti informačních a komunikačních technologií do vzdělávání, konkrétně oblasti školního hodnocení, kde jsou tyto nástroje zatím nedostatečně využívány. V realizovaném výzkumu byly po výpočtu základních statistických charakteristik datového souboru použity metody dobývání znalostí z dat – data minigu, které se ukázaly jako 23

efektivní nástroj v oblasti pedagogického výzkumu. Konkrétně bylo použito metody hlavních komponent, hledání asociací mezi atributy a shlukovací metody. Studium domácích i zahraničních pramenů citovaných jak v teoretické části tak i části zaměřené na současný stav, realizovaný výzkum na téměř 7700 studentech 1. ročníků středních škol umožnil formulaci několika poznatků a závěrů pro žáky, učitele, školy, zřizovatele škol a pro pedagogický výzkum. Jelikož známka není vždy objektivním ukazatelem úrovně osvojení si dovedností žáka, je třeba v přípravě učitelů věnovat větší pozornost problematice hodnocení a maximalizovat využití objektivních metod hodnocení. Při zjišťování skutečné úrovně znalostí žáků je zapotřebí realizovat spíše plošné, rozsáhlejší testování, kdy žáci budou testování a hodnocení za stejných podmínek. Z tohoto hlediska lze vidět význam ve státní maturitě, jako objektivního ukazatele úrovně osvojení znalostí žáků. Bylo definováno sedm typů studentů a tito byli charakterizování z hlediska úrovní osvojení jednotlivých dovedností. Získaná pravidla mohou být následně implementována do expertního systému, který na základě vstupního testu zařadí studenta do skupiny odpovídající jeho nadání a doporučí jeho další učební činnost, například volbu střední školy. Typ nadání převažující u studentů na každém ze tří základních typů (gymnaziálních, technických, společenskovědních) oborů byl rovněž definován.

24

Seznam literatury použité v disertační práci BENNETT, R. E. Formative Assessment : A Critical Review. Assessment in Education : Principles, Policy & Practice [online]. 2011, v18 n1 p5-25 Feb 2011, [cit. 2011-05-08]. Dostupný z WWW: <www.eric.ed.gov>. BERKA, P. Dobývání znalostí z databází. Praha : Academia, 2003. 366 s. ISBN 80-2001062-9. BRANSFORD, J. D.; BROWN, A. L.; COCKING, R. R. How People Learn : Brain, Mind, Experience and School. Washington : National Academy Press, 2000. 374 s. ISBN 0-309-07036-8. BURDA, M.; ZOUBEK, L. Mining Knowledge from Educational Data. In Theoretical and Practical Aspects of Distance Learning. Cieszyn : University of Silesia in Katowice, 2009. s. 307. ISBN 978-83-925281-4-2. CROCKER, L. Teaching for the test : Validity, Fairness and Moral Action. Washington : Educational Measurement, Issues and Practice, 2003. DIETEL, R. J.; HERMAN, J. L.; KNUTH, R. A. What Does Research Say About Assessment?. Oak Brook, USA : North Central Regional Educational Laboratory, 1991. DOGAN, B.; CAMURCU, A.Y. Association Rule Mining from an Intelligent Tutor. Journal of Educational Technology Systems [online]. 2007-2008, v36 n4 p433-447 , [cit. 2011-02-22]. Dostupný z WWW: . DZIEDZIC, R. Egzamin maturalny 2009 w województwie ślaskim. Jaworzno : OKE, 2009. 227 s. FAULKNER, R.; DAVIDSON, J. W.; MCPHERSON, G. E. The Value of Data Mining in Music Education Research and Some Findings from Its Application to a Study of Instrumental Learning During Childhood . International Journal of Music Education [online]. 2010, v28 n3 p212-230 , [cit. 2011-02-22]. Dostupný z WWW: . FOJTÍK, R.; FOJTÍKOVÁ, S. ICT for Motivation in Education. In Information and Communication Technology in Education. Rožnov pod Radhoštěm : University of Ostrava, 2008. s. 212. ISBN 978-80-7368-577-5. HAMILTON, L., et al. Using Student Achievement Data to Support Instructional Decision Making [online]. Washington : National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, U.S. Department of Education, 2009 [cit. 2011-03-07]. Dostupné z WWW: . HAN, J.; KAMBER, M. Data Mining: Concepts and Techniques. San Diego : Academic Press, 2001. 550 s. ISBN 1-55860-489-8. HANSEN ČECHOVÁ, B. Nápady pro rozvoj a hodnocení klíčových kompetencí žáků. 1. vyd. Praha : Portál, s. r. o., 2009. 120 s. ISBN 978-80-7367-388-8. HAVELKOVÁ, H. Educational Research From Data Mining View. In Information and Communication Technology in Education. Ostrava : University of Ostrava, 2010. s. 218. ISBN 978-80-7368-775-5. HENDL, J. Přehled statistických metod zpracování dat. Praha : Portál, 2004. 584 s. ISBN 80-7178-820-1. 25

HINCHEY, P. H. Getting Teacher Assessment Right : What Policymakers Can Learn from Research [online]. Colorado : National Education Policy Center, 2010 [cit. 2011-05-08]. Dostupné z WWW: . HOLEŇA, M. Statistické aspekty dobývání znalostí z dat. Praha : Karolinum, 2006. 106 s. ISBN 80-246-1186-4. HRABAL, V.; KRYKORKOVÁ, H.; PAVELKOVÁ, I. Školní prospěch jako ukazatel výchovy a vzdělání: Ústav školských informací při MŠ ČSR, 1984. 116 s. CHRÁSKA, M. Úvod do výzkumu v pedagogice. 2. vydání. Olomouc : Univerzita Palackého v Olomouci, 2006. 200 s. ISBN 80-244-1367-1. CHRYSOSTOMOU, K.; CHEN, S. Y.; LIU, X. Investigation of Users' Preferences in Interactive Multimedia Learning Systems : A Data Mining Approach. Interactive Learning Environments [online]. 2009, v17 n2 p151-163 , [cit. 2011-02-23]. Dostupný z WWW: <www.informaworld.com>. KALUŽA, J. Tvorba datového modelu v prostředí strategických informačních systémů. 1. vyd. Ostrava: Grafie, 1996. 115 s. KELBLOVÁ, L a kol. Čeští žáci v mezinárodním srovnání. 1. vyd. Praha : Ústav pro informace ve vzdělávání - divize Nakladatelství Tauris, 2006. 148 s. ISBN 80-211-0524-0. KOLÁŘ, Z. ŠIKULOVÁ, R. Hodnocení žáků. 1. vyd. Praha: Grada Publishing, 2005. 160 s. ISBN 80-247-0885-X. KONÍČEK, L. Počítačem podporovaná výuka a experiment. Ostrava : Ostravská univerzita v Ostravě, 2003. 68 s. ISBN 80-7042-965-8. KULIČ, V. Člověk-učení-automat. Praha : Statní pedagogické nakladatelství, n. p., 1989. 296 s. ISBN 80-04-23845-9. LUAN, J. Data Mining and Knowledge Management in Higher Education -Potential Applications. ERIC [online]. 2002, [cit. 2011-02-23]. Dostupný z WWW: <eric.ed.gov>. LUAN, J. Using Academic Behavior Index (AB-Index) to Develop a Learner Typology for Managing Enrollment and Course Offerings-A Data Mining Approach. IR Applications [online]. 2006, Volume 10, [cit. 2011-02-23]. Dostupný z WWW: <eric.ed.gov>. LUAN, J.; ZHAO, Ch.; HAYEK, J. C. Using a Data Mining Approach to Develop a Student Engagement-Based Institutional Typology. IR Applications [online]. 2009, 18, [cit. 2011-02-22]. Dostupný z WWW: . MALACH, J. Aktuální problémy teorie a praxe pedagogického hodnocení. Nitra, 2004. 225 s. Habilitační práce. Pedagogická fakulta Univerzity Konštantína Filozofa v Nitre. MALACH, J. Pedagogická diagnostika pro učitele. Ostrava : Ostravská univerzita v Ostravě, 2008. 78 s. ISBN 978-80-7368-551-5. MALACH, J. Základy diagnostiky vědomostí s využitím počítače. 1. vyd. Ostrava : Pedagogická fakulta v Ostravě, 1991. 222 s. ISBN 80-7042-031-6. MALACH, J. Základy didaktiky. 1. vyd. Ostrava : Ostravská univerzita v Ostravě, Pedagogická fakulta, 2003. 182 s. ISBN 80-7042-266-1. MALACH, J., MALČÍK, M. Value-added Assessment in Postsecondary Schools, Theoretical Approaches and Research Results in the Czech Republic. Kultura i Edukacja, rocznik 2010, č. 5(79), str. 123 -153. ISSN 1230-226X. 26

MERCERON, A.; YACEF, K. Mining Student Data Captured from a Web-Based Tutoring Tool : Initial Exploration and Results. Journal of Interactive Learning Research [online]. 2004, v15 n4 p319-346 , [cit. 2011-02-23]. Dostupný z WWW: . MIKOVÁ, Š. Výhody a nevýhody známkování. Metodický portál RVP [online]. 2007, [cit. 2011-01-24]. Dostupný z WWW: . MOJŽÍŠEK, L. Základy pedagogické diagnostiky. 1. vyd. Praha : Statní pedagogické nakladatelství, n. p., 1986. 208 s. MONS, N. THEORETICAL AND REAL EFFECTS OF STANDARDISED ASSESSMENT : Background paper to the study; National Testing of Pupils in Europe [online]. Brussels : Eurydice Network, August 2009 [cit. 2011-01-21]. Dostupné z WWW: . NAGYOVÁ, I. Projektová výuka předmětu vzdělávací technologie v prezenční a kombinované formě. Nitra, 2009. 130 s. Dizertační práce. Univerzita Konštantína Filozova v Nitre. NIEMIERKO, B. Diagnostyka edukacyjna. 1. vyd. Warszawa : Wydawnictwo naukowe PWN SA, 2009. 363 s. ISBN 978-83-01-15749-4. NIEMIERKO, B. Między oceną szkolną a dydaktyką : Bliżej dydaktyki. 3. vyd. Warszawa : Wydawnictwa Szkolne i Pedagogiczne S.A., 1999. 230 s. ISBN 83-02-06459-9. NIEMIERKO, B. Pomiar wyników kształcenia. 1. vyd. Warszawa : Wydawnictwa Szkolne i Pedagogiczne Społka Akcyjna, 1999. 312 s. ISBN 83-02-07474-8. NITKO, A. J. Educational Assessment of Students. USA : Pearson Education, Inc., 2004. 539 s. ISBN 0-13-097781-0. PARR RUD, O. Data Mining : Praktický průvodce dolováním dat pro efektivní prodej, cílený marketing a podporu zákazníků (CRM). Praha : Computer Press, 2001. 329 s. ISBN 80-7226-577-6. PASCH, M. Od vzdělávacího programu k vyučovací hodině : jak pracovat s kurikulem. 1. vyd. Praha : Portál, 1998. 416 s. ISBN 80-7178-127-4. PAVLOVKIN, J. Didaktické využitie počítačov. 1. vyd. Zvolen: Bratia Sabovci s.r.o., 1999. 108 s. ISBN 80-8055-229-0. PELEGRINO, J. W.; CHUDOWSKY, N.; GLASER, R. Knowing what student know : the science and design of educational assessment. Washington : National Academy of Sciences, 2001. 366 s. ISBN 0-309-07272-7. PETTY, G. Moderní vyučování. Praha : Portál, s. r. o., 2006. 380 s. ISBN 80-7367-172-7. PRŮCHA, J. Moderní pedagogika. 2.vyd. Praha : Portál, 2002. 488 s. ISBN 80-7178-6314. ROMERO, C.; VENTURA, S.; GARCIA, E. Data mining in course management systems: Moodle case study and tutorial. Computers & Education [online]. 2008, v51 n1 p368-384 , [cit. 2011-02-22]. Dostupný z WWW: .

27

RYŠKA, R. Evaluace a přidaná hodnota ve vzdělávání. Pedagogická fakulta UK, Praha , 2009. [cit. 2011-10-14]. Dostupný z WWW http://www.strediskovzdelavacipolitiky.info/download/Evaluace a pridana hodnota ve vzdelavani.pdf. ŘEZANKOVÁ, H.; HÚSEK, D.; SNÁŠEL, V. Shluková analýza dat. 1. vyd. Praha : Professional Publishing, 2007. 196 s. ISBN 978-80-86946-26-9. SLAVÍK, J. Hodnocení v současné škole: východiska a nové metody pro praxi. 1. vyd. Praha: Portál, s. r. o., 1999. 192 s. ISBN 80-7178-262-9. SLAVÍK, J. NOVÁK, J. Počítač jako pomocník učitele:efektivní práce s informacemi ve škole. 1. vyd. Praha: Portál, spol. s r.o., 1997. 120 s. ISBN 80-7178-149-5. SPARKS, S. D. Data Mining Gets Traction in Education. Education Week [online]. 2011, v30 n15 p1, [cit. 2011-02-22]. Dostupný z WWW: . STARÝ, K. Zpráva o výsledcích projektu OECD: Informační a komunikační technologie a kvalita učení. In Distanční vzdělávání v České republice - současnost a budoucnost, II. národní konference. 2002. s. 20. Dostupný z WWW: . STREIFER, A. P.; SCHUMANN, A. J. Using Data Mining to Identify Actionable Information : Breaking New Ground in Data-Driven Decision Making. Journal of Education for Students Placed at Risk (JESPAR) [online]. 2005, v10 n3 p281-293 , [cit. 2011-02-22]. Dostupný z WWW: . TONDL, L. Hodnocení a hodnoty : Metodologické rozměry hodnocení. 1. vyd. Praha : Filosofia, 1999. 184 s. ISBN 80-7007-131-1. TROSZOK, A. Dolování znalostí z dat v LMS systémech. Alternativní metody výuky 2011. 2011, 9. ročník, s. 52. ISBN 978-80-7435-104-4. TROSZOK, A. Informační a komunikační technologie v procesu pedagogického hodnocení. In Konference ICTE-Junior : Sborník příspěvků. České Budějovice : Pedagogická fakulta, Jihočeská univerzita v Českých Budějovicích, 2008. CD. ISBN 97880-7394-107-9. TVRDÍKOVÁ, M. Zavádění a inovace informačních systémů ve firmách. 1. vyd. Praha: Grada Publishing, 2000. 110 s. ISBN 80-7169-703-6. VALIŠOVÁ, A. KASÍKOVÁ, H. Pedagogika pro učitele. 1. vyd. Praha: Grada Publishing, 2007. 404 s. ISBN 978-80-247-1734-0. VANDAMME, J. P.; MESKENS, N.; SUPERBY, J. F. Predicting Academic Performance by Data Mining Methods. Education Economics [online]. 2007, v15 n4 p405-419 , [cit. 2011-02-23]. Dostupný z WWW: <eric.ed.gov>. VEITCH, R. W. Identifying Characteristics of High School Dropouts : Data Mining with A Decision Tree Model. ERIC [online]. 2004, [cit. 2011-02-22]. Dostupný z WWW: . WIGGINS, G. Educative Assessment. 1. vyd. San Francisco : John Wiley & Sons, 1998. 361 s. ISBN 0-7879-0848-7. Česká republika. Ministerstvo školství, mládeže a tělovýchovy. Vyhláška ze dne 25. ledna 2005 o základním vzdělávání a některých náležitostech plnění povinné školní docházky. Sbírka zákonů. In Sbírka zákonů č. 48/2005. 2005, Částka 11, s. 323.

28

Evidence in Education : Linking Research and Policy. France : OECD Publications, 2007. 180 s. ISBN 978-92-64-03366-5. R [online]. 1997 [cit. 2011-04-26]. The R Project for Statistical Computing. Dostupné z WWW: <www.r-project.org>. ÚIV: Ústav pro informace ve vzdělávání [online]. 2009 [cit. 2010-06-01]. PISA 2009. Dostupné z WWW: . ÚIV: Ústav pro informace ve vzdělávání [online]. 2008 [cit. 2010-06-01]. TIMSS 2007. Dostupné z WWW: . WEKA [online]. 2011 [cit. 2011-04-22]. Weka 3 - Data Mining with Open Source Machine Learning Software in Java. Dostupné z WWW: . Zpracování výstupů vstupních testů relativního přírůstku znalostí. Ostrava : Metodické a evaluační centrum, o. p. s., 2009. 30 s.

Seznam publikovaných prací autora disertační práce TROSZOK, A. Informační a komunikační technologie v procesu pedagogického hodnocení. In Konference ICTE-Junior : Sborník příspěvků. České Budějovice : Pedagogická fakulta, Jihočeská univerzita v Českých Budějovicích, 2008. CD. ISBN 97880-7394-107-9. TROSZOK, A. Informační a komunikační technologie v procesu pedagogického hodnocení. In Information and Communication Technology in Education : Ph.D. student´s section. Ostrava : Ostravská univerzita v Ostravě, 2009. CD. ISBN 978-80-7368-460-0. TROSZOK, A. LAYOUT AND INTRODUCTION OF A NEW SCHOOL SUBJECT WHILE USING NETWORK ANALYSIS. In Information and Communication Technology in Education. Ostrava : University of Ostrava, 2010. s. 218. ISBN 978-807368-775-5. TROSZOK, A. Dolování znalostí z dat v LMS systémech. Alternativní metody výuky 2011. 2011, 9. ročník, s. 52. ISBN 978-80-7435-104-4. TROSZOK, A. Nepřímé využití počítače k diagnostice vědomostí. Technológia vzdelávania. 2011, Vol 18, No 1, s. 7-10. ISSN 1338-1202(online).

29

Informační a komunikační technologie v procesu pedagogického hodnocení

Recommend Documents