Česká kinantropologie 2012, Vol. 16, no. 3, p. 193–202
ANALÝZA TESTOVÝCH ÚLOH Z TEORIE PARAGLIDINGU PRO UCHAZEČE O PILOTNÍ LICENCI* ANALYSIS OF PARAGLIDING THEORY TEST ITEMS FOR PILOT LICENSE APPLICANTS ŠÁRKA HONSOVÁ, JOHANA ŠŤASTNÁ Katedra kinantropologie a humanitních věd Fakulta tělesné výchovy a sportu, Univerzita Karlova v Praze SOUHRN Tato analýza prezentuje dílčí výsledky projektu, který byl uskutečněn v roce 2011 ve spolupráci s Leteckou amatérskou asociací ČR (dále jen LAA ČR), jehož cílem bylo zhodnocení souboru testových úloh z teorie paraglidingu. Test s těmito úlohami je součástí zkoušky pro získání pilotní licence v rámci LAA ČR, a proto bylo nutno posoudit kvalitu úloh tohoto diagnostického nástroje. Zde jsou prezentovány výsledky analýzy obtížnosti a citlivosti úloh jednotlivých tematických částí testu. Z celkového počtu 292 analyzovaných úloh se pouze u 26 % úloh shoduje jejich obtížnost s jejich bodovým ohodnocením v testu. Počet vyhovujících distraktorů činí 92 % z celkového počtu 584 distraktorů. Vyhovující citlivosti podle biseriálního koeficientu dosahuje 78 % úloh. Výsledky četnosti výskytu jednotlivých úloh v testech poukazují na značnou nerovnoměrnost. Pozice správné alternativy v testech LAA ČR je však zcela náhodná a rovnoměrně rozložená. Klíčová slova: didaktické testování, multiple-choice test, vyhodnocování multiplechoice testů. ABSTRACT This analysis presents partial results of a project that was implemented in 2011 in cooperation with the Light Aircraft Association (LAA CR hereafter). The aim of this project was to evaluate the set of test‘s tasks from the theory of paragliding. Test with these tasks is part of the examination for obtaining a pilot‘s license in the LAA CR, and therefore it was necessary to assess the quality of this diagnostic tool. In this project we used sensitivity and difficulty analysis in each of the thematic sections of the test. There were analyzed 292 tasks. Surprisingly only 26% tasks corresponded with scoring difficulty of same tasks in the test. From total number of 584 distractors there were 92% of acceptable one. According of biserial coefficient 78% of tasks reached satisfactory sensitivity. The results of the frequency of each task in the tests point to * Studie vznikla s podporou Výzkumného záměru MŠMT ČR MSM 0021620864. 193
considerable unevenness. Position of good alternatives in tests LAA CR is completely random and evenly distributed. Key words: didactic testing, multiple-choice test, evaluation of multiple-choice tests. ÚVOD LAA ČR je organizace, která v České republice zastřešuje rekreační a sportovní létání. Tato organizace je státem pověřena správou tohoto odvětví a jednou z jejich hlavních funkcí je vydávání pilotních licencí, dohled nad výcvikem pilotů a odpovědnost za jejich zkoušení. Létání na padákovém kluzáku (paraglidu) bez pilotní licence je zakázané, tedy LAA ČR hraje v této sportovní oblasti důležitou úlohu. První částí požadavků pro získání pilotní licence je provedení přesně určených manévrů ve stanoveném časovém limitu a prokázaní praktických pilotních dovedností. Druhá část zahrnuje splnění didaktického testu z teorie paraglidingu, jehož úlohy jsou předmětem analýzy, kterou se zabývá tento článek. Testování znalostí z teorie paraglidingu tak, jako ho realizuje LAA ČR, je postaveno na klasické teorii testů označované jako CTT (classical test theory) a probíhá nově od roku 2010 v souladu s CTT formou neadaptivního elektronického testování prostřednictvím online aplikace na oficiálních internetových stránkách LAA ČR (2012). Tato aplikace umožňuje ve shodě se současnými trendy elektronického didaktického testování (Brunnquell, 2011; Costagliola et al., 2008; Ellsworth et al., 1990; Filípková & Byčkovský, 2008) generování testů podle zadaných požadavků na odbornost a kvalifikaci. Ve vybrané kategorii se pak úlohy do testu generují náhodně. U úloh se jedná o typ s výběrem odpovědí, tzv. multiple-choice. V současné době existuje celá řada elektronických aplikací, které jsou schopny upozornit na nejčastější prohřešky, ke kterým při sestrojování didaktických testů dochází. Jedná se zejména o umístění distraktorů (nabízených špatných odpovědí) na stále stejnou pozici a nejdelší správnou odpověď (Brunnquell, 2011; Costagliola et al., 2008). Typické multiple-choice úlohy jsou dichotomicky skórované. Přestože se v úloze může vyskytovat libovolný počet možností (obvykle však do pěti možností), stále jsou úlohy skórovány jako správně či nesprávně zodpovězené (dobře/špatně). Existuje však mnoho dalších modelů (Filípková & Byčkovský, 2008), které využívají polytomní výstupy, kde je každé odpovědi přiděleno skóre různé hodnoty. Toto je typické pro úlohy, které nejsou skórované systémem „všechno nebo nic“, ale umožňují částečně správnou odpověď, která je pak skórovaná pouze poměrnou částí celkového hodnocení úlohy (konkrétním příkladem je více správných odpovědí a přidělení bodového hodnocení za alespoň některé z nich). Mimo CTT využívají multiple-choice úlohy také testy založené na teorii položkových odpovědí tzv. IRT (Item response theory). V případě multiple-choice úloh jde obvykle o test založený na logistickém modelu se třemi parametry (Three parameter logistic model – 3PL), jimiž jsou parametry obtížnosti, uhádnutelnosti a diskriminativnosti (Filípková & Byčkovský, 2008). V návaznosti na zpracování dat LAA ČR jsme však využili CTT. Ať už se jedná o multiple-choice testy postavené na CTT nebo IRT (Item response theory), tento typ testů je populární zejména v anglosaských zemích a v USA, kde má testování znalostí prostřednictvím multiple-choice testů tradici. Podle Strojila (2004) v Británii ústní testování prakticky neexistuje a podobně jsou na tom ještě další evropské země. V České republice se využití multiple-choice testů hojně rozšířilo zejména 194
v posledních deseti letech, kdy se zvýšil zájem o efektivní a objektivní testování znalostí a dále se rozšířily možnosti elektronického testování, pro nějž jsou multiple-choice úlohy nejsnáze automaticky vyhodnotitelné. Elektronické testování již využívají všechny větší instituce a společnosti v ČR (Scio, Kalibro, Cermat, Česká školní inspekce a další). Testování znalostí prostřednictvím multiple-choice testů v elektronické podobě je hojně využíváno zejména pro vysokou objektivitu a rychlou a snadnou realizaci. U absolutně objektivních testů závisí výsledek testování zcela na obsahu testu a testovaném, zatímco vliv testujícího na výsledek testu je nulový (Hrabal, Lustigová & Valentová, 1994). Velký důraz však musí být kladen jak na kvalitu jednotlivých úloh, tak i testu jako celku. Mezi základní vlastnosti, které by měli být z pohledu CTT u úloh zhodnoceny, patří obtížnost a citlivost úloh, u testu jako celku pak validita, reliabilita a objektivita (Hartman & Lin, 2011; Hingorjo & Jaleel, 2012). Vzhledem k tomu, že tento článek prezentuje pouze výsledky analýzy úloh, o vlastnostech testu jako celku již dále nebude pojednáváno. METODY Do počáteční analýzy vstoupilo celkem 460 testových úloh z teorie paraglidingu, které jsou součástí internetové aplikace. Z těchto úloh je každému uchazeči na základě stratifikovaného náhodného výběru (stratifikace podle tématu a obtížnosti úlohy) vygenerován elektronický zkouškový test pro odbornost PL A (padákové létání A), který je součástí zkoušky pro získání pilotní licence v rámci LAA ČR. Jako aplikační rozhraní slouží jakýkoliv internetový prohlížeč. Testové úlohy jsou s výběrem odpovědí, tzv. multiple-choice. Konkrétně se jedná o test s výběrem ze tří odpovědí, a vždy je právě jedna odpověď správná. Každý vygenerovaný test má svou vlastní jednoznačnou identifikaci. Zobrazen je i časový limit, který je pro odbornost PL A 60 minut. Jednotlivé odpovědi lze během časového limitu opravovat. Po vypršení časového limitu nebo ukončení testu systém test vyhodnotí se zpětnou vazbou. Testovaná osoba se dozví, zda uspěla, a jsou označeny chybné odpovědi. Test obsahuje 45 úloh dvou různých obtížností ze 7 tematických okruhů, přičemž k jeho úspěšnému splnění je nutno dosáhnout alespoň 75 % skóre v testu. Zastoupení úloh z jednotlivých tematických okruhů v každém testu uvádí tabulka 1. Tabulka 1 Zastoupení úloh z jednotlivých předmětů teorie v testu Předmět
Počet úloh
Maximální počet bodů
5
15
Meteorologie
5
15
Nauka o létání
10
20
Nouzové postupy
5
9
Předpisy
10
20
Navigace
5
9
Aerodynamika
Zdravověda
5
15
Celkem
45
103
195
Úlohy jsou podle obtížnosti hodnoceny 1 nebo 3 body a jejich zastoupení v databázi internetové aplikace popisuje tabulka 2. Tabulka 2 Absolutní četnost úloh podle bodového ohodnocení v databázi LAA ČR Počet snadných úloh (1 bod)
Počet obtížných úloh (3 body)
Celkem
Aerodynamika
49
78
127
Meteorologie
2
62
64
Nauka o létání
22
13
35
Nouzové postupy
33
8
41
Předpisy
30
68
98
Navigace
1
51
52
Zdravověda
0
43
43
137
323
460
Předmět
Celkem
Během sledovaného období, které trvalo 13 měsíců, bylo pro kvalifikaci PL A řádně vyplněno celkem 1 201 testů. Počet úloh, které se v testech vyskytovaly, činil celkem 357. Vzhledem k výše popsanému náhodnému výběru je frekvence využití každé úlohy různá, proto byly dále analyzovány pouze úlohy, které byly využity alespoň 30krát. Toto kritérium splňovalo 292 úloh. Ze tří vztahů, které uvádí Chráska (2007) pro výpočet koeficientu citlivosti (koeficient ULI, tetrachorický koeficient citlivosti a bodově biseriální koeficient citlivosti), jsme vybrali bodově biseriální koeficient citlivosti brbis, protože ho lze použít i v situacích, kdy např. všichni respondenti volí stejnou odpověď. V takovém případě nabývá koeficient ULI výsledku nula a tetrachorický koeficient nelze spočítat, neboť nula se objeví ve jmenovateli (Šťastná, 2011). Za vyhovující považujeme dle doporučení Junkové (2006) a Chrásky (2007) hodnotu koeficientu citlivosti brbis ≥ 0,2. Obtížnost úloh jsme stanovili standardním způsobem jako podíl počtu respondentů, kteří na danou úlohu neodpověděli správně, a celkového počtu respondentů. Obtížnost jsme posuzovali v souladu s Byčkovským (2003), který rozdělil hodnoty obtížnosti do pěti intervalů viz tabulka 3. Vzhledem k tomu, že v databázi LAA ČR jsou úlohy ohodnoceny jedním nebo třemi body, za správně ohodnocenou úlohu jsme považovali tu, jejíž obtížnost odpovídala jejímu bodovému ohodnocení, tj. snadná úloha s obtížností menší než 0,5, je ohodnocena jedním bodem a obtížná úloha s obtížností vyšší než 0,5 je ohodnocena třemi body. 196
Tabulka 3 Rozdělení obtížnosti úloh Hodnocení obtížnosti Velmi snadná
q <0; 0,2)
Snadná
<0,2; 0,4)
Středně obtížná
<0,4; 0,6)
Obtížná
<0,6; 0,8)
Velmi obtížná
<0,8; 1)
Ke zpracování dat byly využity softwary MS Excel 2010 a Matlab R2008a.
VÝSLEDKY A DISKUSE V analýze obtížnosti úloh jsme porovnali námi stanovenou obtížnost úloh s jejich bodovým ohodnocením v databázi. Jako správně ohodnoceno se ukázalo celkem 75 úloh (26 %) z celkového počtu 292 úloh. U zbylých 217 úloh (74 %) se bodové hodnocení neshoduje s objektivní obtížností úloh. Tento výsledek odpovídá našemu předpokladu, že intuitivní byť expertní bodové ohodnocení úloh bez předchozí analýzy nebude odpovídat objektivní obtížnosti. 147 úloh, které jsou v databázi LAA ČR ohodnoceny třemi body, dosahuje nízkých hodnot obtížnosti (0,2 a méně) a na základě naší analýzy byly označeny jako velmi snadné. U těchto úloh byla doporučena revize bodového ohodnocení. V analýze citlivosti úloh jsme se zabývali tím, zda mají úlohy v databázi LAA ČR dostatečnou citlivost. Jako vyhovující citlivost jsme na základě stanovené metodiky označili úlohy, které dosáhly hodnoty bodově biseriálního koeficientu brbis minimálně 0,2. Vyhovující hodnoty bodově biseriálního koeficientu brbis dosáhlo celkem 229 úloh z celkových 292 (viz tabulka 4), což činí 78 %. Zbylých 63 úloh (22 %) je s citlivostí menší než 0,2 nevyhovujících. Mezi nimi je pět úloh s citlivostí menší než nula. Tyto úlohy můžeme označit za krajně nevyhovující, protože přinášejí výhody spíše horším respondentům. Dalších devět úloh má citlivost rovnou nule, tj. vůbec nerozlišují mezi „horšími“ a „lepšími“ respondenty. Takové úlohy jsme doporučili z testu vyřadit, popřípadě alespoň upravit. U úloh, které dosahují kladných, ale nedostačujících hodnot citlivosti, jsme doporučili změnu zadání úlohy a distraktorů. Tabulka 4 Zastoupení úloh v databázi podle koeficientu citlivosti brbis Vyhovující citlivost brbis > 0,2
229 úloh (78 %)
Nevyhovující citlivost 63 úloh (22 %) 0 < brbis < 0,2 49 úloh (17 %)
r =0
b bis
9 úloh (3 %)
r <0
b bis
5 úloh (2 %)
197
V následující tabulce 5 jsou shrnuty výsledky obtížnosti úloh v jednotlivých kategoriích. Z tabulky 5 je patrné, že u každé kategorie spadá většina úloh do intervalu velmi snadných nebo snadných úloh. Na druhou stranu úlohy obtížné a velmi obtížné se v tomto souboru úloh téměř nevyskytují. Úlohy středně obtížné se ve většině případů nevyskytují ani v jedné desetině. Rozložení obtížnosti souboru úloh pro teoretickou část zkoušky z paraglidingu je značně nerovnoměrné. Většinu úloh tvoří úlohy velmi snadné nebo snadné. Úlohy středně obtížné, obtížné či velmi obtížné tvoří ve většině případů méně než 14 % z celkového počtu úloh. Tabulka 5 Hodnoty obtížnosti rozložené do intervalů obtížností Velmi snadná (četnost v %)
Snadná (četnost v %)
Středně obtížná (četnost v %)
Obtížná (četnost v %)
Velmi obtížná (četnost v %)
Aerodynamika
48
36
8
8
0
Meteorologie
94
6
0
0
0
Nauka o létání
83
4
13
0
0
Navigace
67
26
7
0
0
Nouzové postupy
89
11
0
0
0
Předpisy
66
29
5
0
0
Zdravověda
68
30
2
0
0
Obtížnost (q)
Pokud se podíváme na tabulku 6 s výčtem průměrných, maximálních a minimálních hodnot obtížnosti, zjistíme, že průměrná hodnota obtížnosti spadá do intervalu velmi snadných úloh. Pouze úlohy z kategorie Aerodynamiky dosahují průměrné hodnoty obtížnosti charakterizované jako úlohy snadné, a také jejich maximální hodnota je řazena do intervalu obtížných úloh. U ostatních kategorií jsou maximální hodnoty obtížnosti v intervalu středně obtížných úloh. Nejvyšších hodnot obtížnosti dosahují úlohy z Aerodynamiky, a to jak podle průměrné, tak i maximální obtížnosti. Nejnižších hodnot dosahují úlohy z Nouzových postupů. V ideálním případě by se rozložení obtížnosti u úloh v testu mělo podobat Gaussovu normálnímu rozložení četností (Chráska, 2007). Dále podle tohoto autora se na rozdíl od testů relativního výkonu, kde je nutno vyřadit úlohy s extrémními hodnotami obtížnosti (tzn. úlohy velmi snadné a velmi obtížné) a kde se požaduje hodnota obtížnosti ideálně kolem 0,50, se mohou v testech absolutního výkonu vyskytovat úlohy ze všech intervalů obtížnosti s dominancí kolem hodnoty obtížnosti 0,50. 198
Tabulka 6 Maximální, minimální a průměrná hodnota obtížnosti v tematických kategoriích Průměrná hodnota q
Max. hodnota q
Min. hodnota q
Aerodynamika
0,26
0,64
0,00
Meteorologie
0,17
0,56
0,00
Nauka o létání
0,11
0,48
0,00
Nouzové postupy
0,16
0,48
0,00
Předpisy
0,09
0,25
0,00
Navigace
0,18
0,60
0,00
Zdravověda
0,15
0,40
0,00
Kategorie
Z výsledků analýzy citlivosti úloh znázorněných v tabulce 7 je patrné, že u všech kategorií více jak 70 % úloh dosahuje vyšší citlivosti než 0,2. Přes 80 % úloh dosahuje vyšší citlivosti než 0,2 v kategorii Zdravověda, Nouzové postupy, Aerodynamika a Nauka o létání. Na druhou stranu úlohy s citlivostí nižší než 0,2 tvoří v průměru pouze necelých 21 %. Rozložení citlivosti souboru úloh pro teoretickou část zkoušky z paraglidingu je podle biseriálního koeficientu (brbis) celkem uspokojivá. Většinu úloh tvoří úlohy s citlivostí větší než 0,2. Interval nevyhovujících citlivostí úloh je v tabulce znázorněn šedým pozadím buněk. Tabulka 7
Zdravověda (%)
Předpisy (%)
Nouzové postupy (%)
Navigace (%)
Nauka o létání (%)
Meteorologie (%)
r
b bis
Aerodynamika (%)
Relativní četnost hodnot citlivosti podle brbis rozložené do intervalů citlivostí
do –0,1
0
0
0
0
0
2
0
(–0,1–0>
2
6
9
2
5
6
3
(0–0,1>
4
10
0
2
0
2
3
(0,1–0,2>
12
10
9
23
12
16
8
(0,2–0,3>
12
18
31
26
26
18
22
(0,3–0,4>
35
29
17
30
26
28
17
(0,4–0,5>
25
21
26
12
26
25
17
(0,5–0,6> (0,6–0,7> (0,7–0,8>
10 0 0
6 0 0
0 4 4
5 0 0
5 0 0
3 0 0
22 8 0
199
Pokud se podíváme na tabulku 8 s výčtem průměrných, maximálních a minimálních hodnot citlivosti, zjistíme, že průměrná hodnota bodově biseriálního koeficientu citlivosti (brbis) je nad střední hodnotou bodově biseriálního koeficientu citlivosti. Kategorie s nejvyšší citlivostí úloh jsou stejně jako u předchozího hodnocení citlivosti Zdravověda, dále Aerodynamika, opět Nauka o létání a Nouzové postupy. U kategorie Předpisy je také stejně tak jako v předchozím případě nutno věnovat pozornost úlohám, které dosáhly záporné citlivosti. V těchto případech úloha značně zvýhodňuje méně úspěšné respondenty před respondenty úspěšnými. Záporných hodnot citlivosti také dosahuje kategorie Meteorologie. Tabulka 8 Maximální, minimální a průměrná hodnota citlivosti v tematických kategoriích Průměrná hodnota (brbis)
Max. hodnota (brbis)
Min. hodnota (brbis)
Aerodynamika
0,34
0,60
0,00
Meteorologie
0,29
0,57
–0,04
Nauka o létání
0,32
0,80
0,00
Nouzové postupy
0,28
0,50
0,00
Předpisy
0,32
0,51
0,00
Navigace
0,30
0,51
–0,02
Zdravověda
0,39
0,67
0,00
Kategorie
Dále jsme analyzovali četnost výskytu úloh z jednotlivých kategorií v testech. V ideálním případě by měly být úlohy zadávány do testu rovnoměrně, tzn. četnosti výskytu úloh v testech by měly být srovnatelné, a tím i jejich průměrné, maximální a minimální hodnoty. Výsledky však ukázaly ve využití jednotlivých úloh značnou disproporcionalitu. Extrémem je frekvence využití jedné úlohy z Aerodynamiky, kdy byla tato úloha zařazena do testu v 1 024 případech z 1 201 možných, tedy téměř vždy. U takovýchto úloh lze očekávat, že brzy ztratí svou účinnost. Přehled průměrných, maximálních a minimálních četností úloh ze všech kategorií v testech je uveden v tabulce 9. Na základě uvedených výsledků jsme doporučili zdokonalit generování testů tak, aby úlohy byly vybírány opravdu zcela náhodně, tj. rovnoměrně. Tabulka 9 Průměrná, maximální a minimální četnost úloh v kategoriích v testech Kategorie Aerodynamika
Průměr (n)
Max (n)
Min (n)
115,7
1024
39
Meteorologie
121,3
270
64
Nauka o létání
520,9
886
54
Navigace
136,8
638
55
Nouzové postupy
314,8
620
30
Předpisy
177,4
763
31
Zdravověda
150,1
406
69
200
40 33,11
33,41
33,48
správná - a)
správná - b)
správná - c)
n (%)
30
20
10
0
Obrázek 1 Pozice správné alternativy
Častým problémem u některých testů je nerovnoměrný výskyt správné alternativy, tj. že autor mimoděk upřednostňuje jednu z pozic správné alternativy. V grafu na obrázku 1 jsme ověřili, že v testech LAA ČR je pozice správné alternativy naprosto náhodná a rovnoměrně rozložená. ZÁVĚR Uvedené výsledky potvrdily naše předpoklady, že intuitivní ohodnocení testových úloh nebude odpovídat objektivní obtížnosti úloh a zároveň ukázaly důležitost podrobné analýzy každého didaktického testu, zvlášť když je na jeho základě vydáván tak důležitý dokument, jako je pilotní licence LAA ČR. Z celkového počtu 292 analyzovaných úloh se pouze u 26 % úloh shoduje jejich obtížnost s jejich bodovým ohodnocením v testu. Počet vyhovujících distraktorů činí 92 % z celkového počtu 584 distraktorů. Vyhovující citlivost podle biseriálního koeficientu dosahuje 78 % úloh. Výsledky četnosti výskytu jednotlivých úloh v testech poukazují na značnou nerovnoměrnost, ovšem pozice správné alternativy v testech LAA ČR je zcela náhodná a rovnoměrně rozložená. Jsme si samozřejmě vědomi, že uvedené analýzy nepokrývají celou problematiku didaktického testování, ale vzhledem k velkému rozsahu provedených analýz nebylo možné publikovat všechny výsledky najednou. Na základě výsledků jsou LAA ČR postupně doporučovány konkrétní kroky ke zkvalitnění tohoto diagnostického nástroje. LITERATURA BRUNNQUELL, A. (2011) Web-Based Application to Eliminate Five Contraindicated Multiple-Choice Question Practices. Evaluation & the Health Professions, vol. 34, no. 2, p. 226–238. COSTAGLIOLA, G., FERRUCCI, F. & FUCCELLA, V. (2008) A web-based e-testing system supporting test quality improvement. In LEUNG, H. F., LAU, L. R. & LI, Q. (Eds.) Advances in Web Based Learning. Berlin : Springer-Verlag Berlin. ELLSWORTH, R. A. et al. (1990) Multiple-Choice Test Items. What Are Textbook Authors Telling Teachers? Journal of Educational Research, vol. 5, no. 5.
201
FILÍPKOVÁ, Z. & BYČKOVSKÝ, P. (2008) Studie proveditelnosti počítačem adaptovaného testování v prostředí českých škol [online]. Přístup dne 5.04.2012 z www: http://www.esf-kvalita1. cz/Vystupy_projektu/1A1U2_Osobni%20portfolio%20zaka/cat/Studie_CAT_2008.pdf. HARTMAN, J. R. & LIN, S. (2011) Analysis of Student Performance on Multiple-Choice Questions in General Chemistry. Journal of Chemical Education, vol. 88, no. 9, p. 1223–1230. HINGORJO, M. R. & JALEEL, F. (2012) Analysis of One-Best MCQs: the Difficulty Index, Discrimination Index and Distractor Efficiency. Journal of the Pakistan Medical Association, vol. 62, no 2, p. 142–147. HRABAL, V., LUSTIGOVÁ, Z. & VALENTOVÁ, L. (1994) Testy a testování ve škole. Praha : Středisko vědeckých informací PedF UK. CHRÁSKA, M. (2007) Metody pedagogického výzkumu. Praha : Grada Publishing. Letecká amatérská asociace ČR (2012) [online]. Přístup dne 5.04.2012 z www: http://www.laacr.cz/index.php. LEUNG, C. K., CHANG, H. H. & HAU, K. (2003) Computerized Adaptive Testing. A Comparison of Three Content Balancing Methods. Journal of Technology, Learning, and Assessment, vol. 2, no. 5. STROJIL, J. (2004) Tvorba a hodnocení kvality multiple-choice testů [online]. Přístup dne 1.05.2012 z www: http://jan.strojil.cz/testy.html#uvod. ŠŤASTNÁ, J. (2011) Hodnocení testových úloh z teorie paraglidingu pro uchazeče o pilotní licenci. Diplomová práce (nepublikovano). Praha : UK FTVS.
PhDr. Šárka Honsová, Ph.D. UK FTVS, José Martího 31, 162 00 Praha 6-Veleslavín e-mail:
[email protected]
202
