2.7 Základy teorie testování

2.7 Základy teorie testování Tato kapitola je věnována základním pojmům z oblasti teorie testování. Dozvíte se jakým způsobem posuzovat validitu evaluačních metod. Také se seznámíte se čtyřmi základními typy validity testu a metodami, které se používají k jejich určování. V následujícím výkladu je definován význam reliability (spolehlivosti) testu a způsoby relevantního ověřování spolehlivosti testu. V kapitole budou dále probrány základní typy testů a hlavní rozdíly mezi nimi. Bude vysvětleno, pro jaký typ testování (s ohledem na testovanou skupinu) jsou vybrané typy testů vhodné, včetně shrnutí základních požadavků na testové úlohy. V závěru kapitoly jsou formou příkladů popsány výhody a nevýhody počítačových testů.

Po prostudování této kapitoly budete schopni: •

• • • • •

určit platnost (validitu) testu pomocí vybraných způsobů určování validity testů. • definovat a aplikovat čtyři základní postupy pro určování validity testu definovat faktory, které ovlivňují validitu za pomocí statistického aparátu určit spolehlivost (reliabilitu) testu rozlišit jednotlivé typy testů a posoudit jejich vhodnost pro vybrané druhy ověřování znalostí znát základní požadavky, které musí testové úlohy splňovat rozlišit specifické vlastnosti, kterými se vyznačují počítačově zpracovávané testy

2.7.1 Validita testu (platnost testu)

Validita patří k základním pojmům testování. Když připravujeme nebo vybíráme test, musíme si položit následující otázku: zda skutečně testuje to, co si myslíme, že testuje - respektive to, co bychom chtěli, aby testoval.

90

V této souvislosti hovoříme o validitě testu, respektive validitě testových výsledků. Máme-li validní výsledky, znamená to, že interpretujeme data ve shodě s tím, co jsme skutečně naměřili.

V případě testu na zjištění dovedností žáků pracovat s textovými informacemi vysoká validita testu znamená, že testový výsledek žáka skutečně odráží jeho schopnost pracovat s textovou informací a není zatížen jinými faktory.

Pro úspěšné posuzování validity evaluačních nástrojů je třeba si zapamatovat několik základních pravidel: •

Validita vyjadřuje míru adekvátnosti interpretace výsledků testu či jiného evaluačního nástroje vzhledem ke konkrétní testované skupině. Validita tedy není vlastností testu samého. Například test z matematiky, který bude poskytovat validní výsledky ve skupině žáků 2. stupně základních škol, pravděpodobně nebude mít vysokou validitu pro maturanty gymnázií. Většinou pro zjednodušení hovoříme sice o validitě testu, ale správně bychom měli hovořit o validitě závěrů, které z daného testu vyvozujeme v konkrétní situaci.

• •

Validita vyjadřuje míru. Není to něco, co buď je a nebo není. Nejlépe je vyjadřovat ji v nějakých kategoriích, např. vysoká validita, střední validita a nízká validita. Validita se vždy vztahuje k nějakému konkrétnímu použití testu. Žádný test nemá vysokou validitu pro všechny účely. Výsledky testu z aritmetiky mohou mít vysokou validitu pro hodnocení početních dovedností, nízkou validitu pro hodnocení dovednosti žáků zdůvodňovat početní postupy, střední validitu pro předpovídání budoucích úspěchů v matematice a žádnou validitu pro posuzování úspěchů ve výtvarné výchově či hudbě.

91

2.7.2 Způsoby určování validity K určení validity existuje několik různých přístupů. Na základě těchto přístupů posuzujeme čtyři druhy validity: 1. Obsahová (kurikulární) validita - zakládá se na posudku kompetentních osob, do jaké míry je test v souladu s tím, co je v osnovách, standardech a jiných materiálech určujících studijní program a také s tím, co je skutečně na hodinách vyučováno. 2. Kriteriální (souběžná) validita - výsledek měření se porovná s jinými všeobecně uznávanými údaji o účastnících, které sledují stejné kvality (např. klasifikace). 3. Predikční validita - výsledek testu se porovnává s úspěšností účastníka testu v těch oblastech, ve kterých se uplatňují kvality měřené testem - typicky výsledek přijímací zkoušky a úspěšnost ve studiu. Jde vlastně o speciální případ kriteriální validity. 4. Face-validity - je vlastně jen zvláštním případem obsahové validity, jde o posouzení testu na “první pohled“, a to buď účastníky zkoušky nebo jinou širší komunitou např. učiteli. Konstruktová validita udává, nakolik test měří určitou charakteristiku žáka (např. komunikativnost) eventuálně nějaký psychologický konstrukt (např. sebehodnocení). U všech typů testů zpravidla neposuzujeme všechny druhy validity, ve většině případů musíme vystačit pouze s jednou nebo dvěma jejími složkami. Například při konstrukci vědomostního testu je pro nás nejdůležitější obsahová validita, při posuzování testu studijních předpokladů validita predikční. Obsahová validita Obsahovou validitu zjišťujeme téměř výhradně v případě vědomostních testů. Udává, do jaké míry jsou testové položky reprezentativním zastoupením zjišťovaného, respektive probíraného učiva. Mějme modelovou situaci, kdy budeme zjišťovat validitu testu na vyjmenovaná slova. Aby měl tento test únosnou délku, bylo možno do něj zařadit pouze některá vyjmenovaná slova. Při posuzování obsahové validity budeme porovnávat slova v testu se všemi existujícími vyjmenovanými slovy a posoudíme, zda test obsahuje jejich reprezentativní výběr. Tedy posoudíme, zda na podkladě dobrého výsledku žáka v testu můžeme učinit závěr, že žák zná vyjmenovaná slova. Bude-li test například obsahovat pouze vyjmenovaná slova po „b“ tento závěr pravděpodobně učinit nemůžeme, protože se může stát, že žák skončil u písmene „b“ a k dalším vyjmenovaným slovům se již nedostal. Při posuzování obsahové validity porovnáváme testové položky s popisem testované oblasti, respektive s kurikulárním rámcem sloužícím za podklad k danému testu.

92

Abychom docílili dobré obsahové validity při konstrukci vlastního testu, musíme dobře specifikovat testovanou oblast.

Velmi pomáhá podrobný kurikulární rámec a testová šablona. Pro dobrou obsahovou validitu testu je důležité, aby byl test ve shodě s náplní výuky. Tedy, aby testové položky byly v testové šabloně zastoupeny podle významu kladeného na jednotlivé obsahové a kognitivní cíle. Další podmínkou obsahové validity jsou dobré vlastnosti testových položek. Obsahovou validitu nemůžeme zaměňovat s ”face validitou”, kterou používáme pro první hrubé posouzení testu. Spočívá v tom, že ukážeme test několika odborníkům a oni řeknou, jak se jim test jeví. Toto posouzení může být v mnoha případech užitečné, ale od důkladného posouzení testových položek vzhledem k testovanému učivu, které je základem stanovení obsahové validity, je hodně vzdáleno. Kriteriální validita Kriteriální validita posuzuje vztah mezi výsledky testu a kritériem, které chceme na základě testu předpovídat, eventuálně posuzovat. Za taková kritéria můžeme považovat například studijní předpoklady žáků, jiným příkladem může být inteligence. Výsledky validního testu studijních předpokladů by měly být ve shodě s výsledky žáka v pozdějším studiu, výsledky v novém testu inteligence by měly být ve shodě s výsledky v jiných dostupných inteligenčních testech.

Při posuzování kriteriální validity porovnáváme výsledky v testu s nějakými jinými hodnotami charakterizujícími dané kritérium. Nejběžnějším způsobem, jak provést takové porovnání, je spočítat korelační koeficient mezi těmito dvěma hodnotami.

I když bychom si samozřejmě přáli mít testy s vysokými hodnotami kriteriální validity, v praxi se s nimi příliš často nesetkáváme. Obecně platí, že test, který má korelační koeficient mezi výsledkem v testu a kritériem větší než 0,4, nám může poskytnout užitečnou informaci.

93

Konstruktová validita S tímto typem validity pracujeme, používáme-li test zjišťující nějaký rys či charakteristiku založenou na určitém teoretickém modelu (například logické uvažování, inteligenci, kreativitu).

Posuzování konstruktové validity spočívá v procesu dokazování, že test skutečně měří tento rys či charakteristiku.

Shromáždit takové důkazy nebývá jednoduché. Představme si teoretickou situaci, že chceme sestavit test, který bude měřit bojácnost. Abychom posoudili, zda náš test bojácnost opravdu měří, učiníme s osobami, které absolvovaly náš test, následující experiment. Posadíme je do čekárny zubního lékaře a podrobíme je nějakému fyziologickému měření - budeme zjišťovat fyziologické projevy strachu (např. pocení). Pokud náš test byl validním nástrojem na měření bojácnosti, budou fyziologické projevy testovaných osob ve shodě s výsledky v testu.

Faktory ovlivňující validitu Validita testu je samozřejmě ovlivňována všemi nedostatky v testu i v jeho administraci. Nízkou validitu testu budou mít za následek například: • •

•

nejasné a nesrozumitelné pokyny či příliš obtížný jazyk testu položky s příliš malou či příliš velkou obtížností položky se špatně volenými alternativami či položky nejednoznačné.

94

Typickou ukázkou jsou některé přijímací testy na vysoké školy, které mohou mít několik správných odpovědí a výběr správných odpovědí se ještě složitým způsobem kóduje. Takový test (i když je třeba zdánlivě z biologie) testuje schopnost orientovat se ve složité struktuře odpovědí a tím snižuje validitu testu jako testu z biologie.

Validitu testu rovněž ohrožuje jeho špatná administrace, zejména opisování žáků a špatné vyhodnocení, např. subjektivní hodnocení položek s otevřenou odpovědí. Validita je také snižována faktory na straně žáka, například strachem z výsledku, příliš zbrklou a nepřesnou prací, atd.

2.7.3 Reliabilita testu (spolehlivost testu) Každé testování je vlastně měřením výkonu žáka či studenta. A jako každé měření i toto může být přesnější nebo méně přesné. Z tradičních důvodů se pro přesnost tohoto měření užívá tzv. reliabilita. Teoreticky jde o korelaci mezi dvěma po sobě následujícími provedeními téže zkoušky u stejné skupiny testovaných za týchž podmínek (to znamená, že při druhém testování zkoušení zapomněli na první testování).

Reliabilita je číslo mezi 0 a 1. Čím je reliabilita vyšší, tím menší vliv na výsledek má náhoda.

Při reliabilitě 0 by šlo o výsledky zcela náhodné, při reliabilitě 1 by naopak šlo o zcela přesný soulad mezi výsledky. Protože však měříme intelektuální dovednosti, přesnosti 1 a ani jí blízké se nikdy nedosahuje. Zpravidla se reliabilita pohybuje mezi 0,5 a 0,95. Všeobecně uznávané hranice reliability jsou: • • •

test s reliabilitou nad 0,95 je pokládán za vynikající reliabilita nad 0,85, někdy nad 0,90 se pokládá za dostatečnou k tomu, aby na základě jedné zkoušky bylo možné činit rozhodnutí nad 0,65 lze zkoušku použít jako jeden z podkladů pro rozhodnutí

95

•

pod 0,65 již nelze zkoušku pokládat za spolehlivý ukazatel a nelze ji užít k rozhodování. To ovšem neznamená, že testy s reliabilitou nižší než 0,65 jsou k ničemu, mohou dobře posloužit v pedagogickém procesu k motivaci, k diagnostikování konkrétních nedostatků apod., pouze by neměly být užity například pro klasifikaci a rozhodně ne jako přijímací zkouška na jakékoliv úrovni.

Písemné testy a statistické charakteristiky Statistické charakteristiky se zjišťují z celkových výsledků uchazečů, pokud se však písemná část zkoušky skládala z více částí (např. testy z různých předmětů, testování různých dovedností, testy v několika kolech), nebo měla několik variant, je nutné pracovat s výsledky uchazečů za každou část a variantu zvlášť. Za základní popisné statistické charakteristiky se obecně považují průměr, rozptyl a směrodatná odchylka, minimální a maximální pozorovaná hodnota. Rovněž je velmi vhodné uvést, jaký byl maximální a minimální možný počet bodů (ne vždy je minimální možný počet bodů nula a maximální možný počet bodů roven počtu úloh). Specifikum testování dále vyžaduje výpočet reliability, což je základní ukazatel spolehlivosti výsledku zkoušky, jinými slovy reliabilita ukazuje, do jaké míry má resp. nemá na výsledek zkoušky vliv náhoda. Výpočet základních statistických charakteristik Všechny uvedené charakteristiky je možné spočítat pomocí běžného programového vybavení (např. programem Microsoft Excel). Pro porozumění smyslu charakteristik je vhodné naznačit způsob jejich výpočtu. V dalším textu budeme předpokládat, že se výpočty provádějí pro každou část a pro každou variantu zvlášť. Průměr ( ) Aritmetický průměr výsledků jednotlivých účastníků,

kde xi jsou výsledky jednotlivců a n je počet testovaných). Výsledky jednotlivců musí být pochopitelně již vyjádřeny jako skóre za danou část (variantu) (což většinou bude celkový počet správných odpovědí, někdy jsou však úlohy různě bodovány nebo se penalizuje nesprávná odpověď). Zpravidla se pak průměr ještě vyjadřuje jako podíl z maximálního možného výsledku, tento ukazatel se zpravidla nazývá průměrná úspěšnost.

96

Rozptyl (Var) Vypočte se jako průměr druhých mocnin všech rozdílů výsledků jednotlivců od průměru. Var =

kde xi jsou výsledky jednotlivců,

je průměr a n je počet testovaných.

Směrodatná odchylka (SD) Vypočte se jako druhá odmocnina rozptylu. Pokud od průměru odečteme, resp. k němu přičteme dvojnásobek směrodatné odchylky , dostaneme hranice, mezi nimiž se nacházejí téměř všechny výsledky (mimo ně je pouze přibližně 5 %). Minimální a maximální pozorovaná hodnota Tím je míněno nejvyšší a nejnižší dosažené skóre čili výsledek nejlepšího a nejhoršího účastníka zkoušky (části, varianty). Maximální a minimální možný počet bodů Teoreticky nejnižší a nejvyšší dosažitelný výsledek. Reliabilita Uvádí, do jaké míry se v testu podařilo potlačit vliv náhody - nakolik by účastníci testu dosáhli stejných či podobných výsledků při opakovaném testování podobnými úlohami.

Existuje několik metod výpočtu reliability; pokud se u všech testových úloh používá pouze hodnocení správně/špatně, je nejjednodušší metodou výpočet koeficientu KR-20 (KuderRichardson) podle vzorce

KR-20 = kde Var je rozptyl (viz výše), k je počet úloh v testu a pi je úspěšnost účastníků testu u i-té úlohy (úspěšnost je podíl počtu účastníků, kteří v úloze odpověděli správně, k počtu všech účastníků, např. úspěšnost 0,65 tedy znamená, že danou úlohu vyřešilo správně 65 % účastníků).

97

Jestliže má v některých úlohách bodová stupnice více než dvě hodnoty (např. boduje se i částečné řešení zlomkem bodu nebo např. v matematice je za úlohu možné získat 0 až 5 bodů), je nutné použít koeficient Cronbachovo alfa.

α=

,

kde Var je opět rozptyl, k je počet úloh v testu a Vari je rozptyl výsledků u i-té úlohy. Používání percentilů Percentilem se pro každého účastníka testu stanoví, kolik procent účastníků dosáhlo stejného nebo horšího výsledku (v EXCELu funkce PERCENTRANK). Podle dosaženého počtu bodů se tedy účastníci uspořádají do pořadí, a to se následně přepočítá na stupnici 0 až 100, kde 0 odpovídá nejhoršímu účastníku a 100 nejlepšímu. Toto přepočítané pořadí se nazývá percentil. Jeho interpretace je jednoduchá: například žák, který se umístil v 68. percentilu, předstihl 68 % ostatních účastníků testu. Lepších (nebo stejných) než on je tedy pouze 32 % – jedná se o nadprůměrný výsledek. Naopak žák ve 14. percentilu předstihl pouze 14 % ostatních, neboli 86 % ze všech účastníků testu je lepších než on – jedná se o hluboce podprůměrný výsledek.

Velký význam má použití percentilů tam, kde je nutné eliminovat rozdílnou obtížnost různých variant zkoušky.

Pokud například fakulta chce přijmout 150 z 500 uchazečů (tj. 30 %) při dvou variantách zkoušky, může uchazeče rozdělit náhodně na poloviny (každá polovina bude mít svou variantu zkoušek), z každé poloviny pak přijmout 75 nejlepších. Pokud ovšem nejsou účastníci rozděleni na dvě stejně velké části, je třeba každému účastníkovi podle jeho výsledku přiřadit percentil ve variantě, kterou řešil, přijati pak budou například účastníci, kteří se umístili v 70. nebo vyšším percentilu (předstihli v příslušné variantě nejméně 70 % ostatních účastníků, patří tedy mezi 30 % nejlepších).

2.7.4 Základní typy testů Srovnávací testy - testy relativního výkonu Úkolem srovnávacích testů je rozdělit testované podle úrovně jejich vědomostí na škálu od nejlepších k nejhorším.

98

Typickým místem pro srovnávací testy jsou přijímací zkoušky. Není zpravidla důležité, aby test svým obsahem pokryl vyčerpávajícím způsobem celý předem probraný předmět, naopak je vhodné vybrat takové partie, o nichž se lze domnívat, že dobře rozliší lepší studenty od slabších. V ideálním případě je průměrná úspěšnost testovaných mezi 50 a 60 % správně zodpovězených úloh. Důležitým kritériem použitých úloh je jejich diskriminační schopnost. Délku testu i poměr lehčích a těžších úloh je třeba na základě výsledků předběžné pilotáže testu zvolit tak, aby zejména v oblasti pořadí testovaných, kudy povede hranice mezi např. přijatými a nepřijatými, byly rozdíly mezi jejich úspěšností v testu dostatečně průkazné.

Využití srovnávacích testů pro klasifikaci je velmi sporné a nedoporučuje se.

Není vhodné, pokud u testu, který rozhoduje např. o přijetí uchazeče na jím zvolenou školu, nejsou známy základní kvality testu vyjádřené reliabilitou a směrodatnou odchylkou výsledků. Může se snadno stát, že právě na hranici přijímaných a nepřijímaných uchazečů je vliv náhody a neurčitosti v měřicí schopnosti testu větší než reálné rozdíly v kvalitách uchazečů. Zjednodušeně řečeno, ke studiu jsou přijati horší uchazeči, kteří měli v danou chvíli štěstí. Ověřovací testy - testy absolutního výkonu Úkolem ověřovacích testů je zjistit, do jaké míry testovaný splňuje předem stanovená a známá kritéria nebo standardy. Testovaný není srovnáván s ostatními, ale s „ideálním žákem“, který učivo dokonale ovládá (nebo ovládá podle představ tvůrců testu nebo obecného názoru). Nejlepším možným výsledkem ověřovacího testu by byla situace, kdy všichni testovaní by dosáhli 100 % správných odpovědí (takový výsledek by u přijímací zkoušky byl naopak nepoužitelný, pokud není možné přijmout všechny uchazeče). Test by měl pokrývat přinejmenším všechny významné partie učiva. Kvalitní ověřovací test je spolehlivým nástrojem pro průběžnou nebo závěrečnou klasifikaci.

99

Předem je však třeba mít stanoveno, jaký výsledek v testu znamená, že testovaný požadavkům zkoušky vyhověl či nevyhověl, případně vyhověl na jaký stupeň (u srovnávacího testu - např. přijímací zkoušky - je většinou stanoven procentní podíl přijímaných bez ohledu na to, jaký nejhorší výsledek bude tvořit spodní hranici přijímaných).

Největší chybou u ověřovacích testů je situace, kdy testovaní předem neznají přesné požadavky na rozsah vědomostí pro dosažení úrovně "vyhověl".

Testy výsledků výuky Jiným kritériem rozdělování testů je to, zda hodnotí zpětně dosažení nějakých stanovených cílů, nebo zda testují schopnost dosáhnout určitých výsledků v budoucnu. Test výsledků výuky tedy pravděpodobně bude nejčastěji testem ověřovacím (např. maturitní zkouška). Pro tento typ testu je důležité, aby svou formou korespondoval s obsahem a způsobem výuky a pokud možno prokazatelně měřil to, co testovaný výukou skutečně získal (ne tedy to, s čím například do dané školy již přišel).

Oddělení jiným způsobem získaných znalostí od přínosu vlastního vzdělávacího procesu je nejčastějším problémem, se kterým se lze u nekvalitně připravených testů setkat.

Test studijních předpokladů Test studijních předpokladů, jak název napovídá, zkoumá, jaký má testovaný vnitřní potenciál rozvinout dosavadní vědomosti a dovednosti. Je zarážející, jak malý podíl má tento typ testu v přijímacích zkouškách na střední i vysoké školy v ČR. Představa, že jde o standardní testy IQ, je mylná. Mnohaletá zahraniční zkušenost ukazuje, že další studijní úspěšnost je v mnohem lepší korelaci právě k testům předpokladů, než k ověřovacím testům výsledků výuky, které se v přijímacím řízení běžně užívají.

100

Vlastnosti testů relativního výkonu a absolutního výkonu Testy absolutního výkonu Testy absolutního výkonu se dobře hodí k takzvanému formativnímu hodnocení, tedy hodnocení, které se používá ve škole jako zpětná vazba pro žáky i učitele v průběhu výuky.

Žáci se jeho prostřednictvím dozvídají, zda a jak nějakou část učiva zvládli, učitel dostává podněty k modifikaci výuky. Může například získat informaci, že má postupovat pomaleji, na podkladě výsledků může skupině žáků či jednotlivcům zadat speciální úkoly, poskytnout doučování apod. Testy absolutního výkonu mohou také sloužit ke klasifikaci. Úspěšné absolvování testu absolutního výkonu bývá také stanoveno jako podmínka pro absolvování nějaké výukové jednotky, např. jako vstupní test do středně pokročilé úrovně jazykového kursu. Testy absolutního výkonu většinou mívají záběr spíše úzký, tedy se soustřeďují na jednu či několik málo znalostí a dovedností, aby se zjistilo, do jaké míry žák zvládá tuto dílčí partii učiva. V takových případech je nutné, aby testové položky pokrývaly všechny sledované části učiva. V testech absolutního výkonu se zpravidla volí spíše snazší testové položky, takové, které by měl vyřešit každý žák zvládající látku alespoň průměrně, mohou se vyskytovat i položky, které správně vyřeší všichni žáci, naopak položky, které vyřeší méně než polovina žáků, se u testů absolutního výkonu užívají jen výjimečně ve speciálních případech, např. při testování zvládnutí kreativních postupů.

U testů absolutního výkonu se úspěšnost na úrovni 80 % (např. 8 správně vyřešených úloh z 10) obvykle pokládá za hranici dobrého zvládnutí příslušné partie.

Testy relativního výkonu Testy relativního výkonu mívají široký záběr. Zjišťují znalosti a dovednosti žáků na velkém celku učiva. Úlohy do testu bývají zpravidla voleny tak, aby je správně vyřešilo kolem 50 % testovaných žáků.

101

Takto sestavený test mezi žáky dobře rozlišuje, a umožňuje tedy např. rozdělit žáky do výkonnostních skupin, např. nejhorších 20 %, nejlepších 20 %, respektive je ohodnotit na nějaké stupnici. Velmi snadné položky, které vyřeší téměř všichni žáci, nebo obtížné položky, které vyřeší málo žáků, mají malou rozlišovací schopnost, a proto nebývají pro tento typ testu přínosem. Pro interpretaci výsledků testování relativního výkonu je vždy nezbytné uvést v rámci jakého celku výsledek jednotlivce či skupiny posuzujeme.

Základní požadavky na testové úlohy •

jasné a srozumitelné zadání, jednoznačné pokyny, úspěšnost okolo 50 %

Tedy, že každou úlohu úspěšně vyřeší přibližně polovina z těch, kteří se k ní během testu dostanou. •

diskriminační schopnost aspoň 20 %

Tedy, že podíl celkově nejlepších účastníků testu, kteří úlohu vyřešili, a podíl celkově nejhorších účastníků testu, kteří úlohu vyřešili, se liší aspoň o 20 procentních bodů ve prospěch lepších. •

soulad s předmětem testování a vyloučení výhod vyplývajících ze znalosti z jiných oborů

Tedy, že úloha testuje to, na co je celý test zaměřen, a ne nějaké jiné vědomosti a schopnosti. Například v testu z českého jazyka - literatury je nutné sestavovat úlohy tak, aby nebyli jednoznačně zvýhodněni dobří dějepisci, ledaže by celý test byl sestavován s tímto předem deklarovaným záměrem. •

srozumitelnost úlohy i pro laiky

Tedy, že i osoby bezprostředně se neúčastnící testování pochopí, o čem úloha je.

102

2.7.5 Úskalí počítačových testů Uzavřené úlohy 1. uzavřené položky s nabízenou odpovědí Uzavřená úloha s nabízenou odpovědí je nejčastěji používanou formou testových položek v počítačových testech. Obsahuje zadání, ve kterém je definován problém, a několik alternativ, které představují jeho možné řešení. Tyto alternativy jsou obvykle vyjmenovány, avšak mohou jimi být i obrázky, grafické symboly nebo zvukové nahrávky (například v jazykových testech). Správné je většinou pouze jedno řešení. Zadání může mít podobu přímé otázky (položky rozhodovací) nebo může mít charakter neúplného tvrzení (položky doplňovací). 2. položky situační a interpretační Tyto uzavřené úlohy nabízejí větší počet nesprávných variant a přitom neobsahují velký počet nabízených odpovědí. Tento typ položek tedy má velmi blízko k uzavřeným úlohám s nabízenou odpovědí. Je nutné dbát na správnou interpretaci zadané odpovědi. Klasickým problémem je vyhodnocení výrazu, který může obsahovat mezery nebo malá a velká písmena.

Výhody • •

Objektivní hodnocení Při promyšlené formulaci je tato forma použitelná a vhodná i k testování složitějších myšlenkových pochodů jako porozumění.

Nevýhody •

Pravděpodobnost náhodného výběru správné varianty

103

Praktická doporučení pro tvorbu otázek s položkami s nabízenou odpovědí • • • • • •

Tvořte všechny alternativní odpovědi tak, aby byly gramaticky v souladu se zadáním. Vyvarujte se toho, aby správná odpověď byla delší či kratší než ostatní. Pokud v zadání použijete otázku v negativní formě, podtrhněte ji. Raději se tomu však vyhněte. Nepoužívejte otázek s dvojím záporem a složitých formulací, které mohou být logicky matoucí. V úlohách, kde studující vybírá správnou odpověď z několika variant, je vhodné, aby žádná z variant nebyla na první pohled nesmyslná Pokud je to možné, aby každá z variant odpovídala určité chybné úvaze a každá z nejčastějších chybných úvah vedla k nějaké variantě odpovědi.

Úlohy přiřazovací Úlohy přiřazovací jsou modifikací úloh na volbu odpovědi. Poskytují však větší počet nesprávných odpovědí. Tento typ položek nemusí být snadné vyhodnotit. Mezi zcela špatnou a zcela správnou odpovědí se nachází celá řada částečně správných alternativ. Obecné rady pro práci s přiřazovacími a uspořádacími položkami: • • • •

prvky v obou skupinách (doplňovaný výraz a položky k doplnění) musí být homogenní. v zadání otázky přesně určete, na jakém principu má být přiřazení provedeno. do žádné skupiny (doplňovaný výraz a položky k doplnění) nezařazujeme více než 10 prvků. položky k doplnění řaďte systematicky (např. chronologicky, abecedně). Usnadňuje to orientaci a nezkresluje výsledky.

Otevřené úlohy

Úlohy doplňovací a otevřené úlohy se stručnou odpovědí představují kompromis mezi úlohami uzavřenými a typickými otevřenými položkami. 1. Doplňovací položky Zadání obvykle obsahuje definovaný problém, ve kterém musí studující doplnit slovo, frázi nebo pojem. Tyto typy otázek v počítačových testech nejsou příliš praktické a téměř se nevyskytují. Vyžadují kontrolu mezer, malých či velkých písmen, překlepů. Je třeba také definovat jednotlivé varianty správných odpovědí, které budou systémem přijaty jako platné. 2. Otevřená položka se stručnou odpovědí. Používáme je zejména pro zjišťování znalosti faktů, vzorců, vztahů či specifických informací. U problémů, jejichž řešení vyžaduje několik kroků (reprezentovaných testovými položkami) udává výsledek bezpečnou informaci o tom, ve kterém z nich došlo k omylu. V počítačových testech se z tohoto typu používají především početní úlohy.

104

2.8 Modul Tester V této kapitole se seznámíte s modulem Tester, který je nástrojem pro přípravu interaktivních testů v prostředí iTutor. Testy vytvořené pomocí modulu Tester jsou poté v rámci systému iTutor také automaticky vyhodnocovány. Dozvíte se, jakým způsobem navrhovat strukturu otázek pro snadnou tvorbu modulárních testů. Seznámíte se s problematikou přípravy testování pomocí LMS a následným generováním testů. V závěru této kapitoly budou v krátkosti probrány možnosti importu (exportu) otázek.

Po prostudování této kapitoly budete schopni:

•

• • •

používat funkce pro tvorbu otázek, které nabízí prostředí modulu Tester. • připravit si v centrální databázi vlastní sadu otázek. vytvořit pro test předpis, který umožní automatizovanou přípravu jednotlivých variant testů vytvořit si test, který bude k dispozici uživatelům LMS iTutor prohloubit si prostřednictvím interaktivních prezentací i reálné činnosti schopnost ovládání LMS, jmenovitě modulu Tester

2.8.1 Správa témat a otázek

Aplikace iTutor Tester slouží jako nástroj pro správu a tvorbu testů, které je možné provozovat v řídícím systému iTutor.

Správa témat a otázek Pomocí témat lze namodelovat libovolnou strukturu otázek řazených do dílčích témat. Každé téma může obsahovat libovolný počet otázek. Každé téma může také obsahovat libovolný počet dalších témat. Úroveň zanoření témat je neomezená, systém pouze kontroluje, zda nedochází k rekurzi (opakování názvů témat).

105

Správa okruhů a předpisů s definovaným chováním Pomocí okruhů lze namodelovat libovolnou strukturu předpisů řazených do dílčích okruhů. Každý okruh může obsahovat libovolný počet předpisů. Každý předpis je tvořen neomezeným počtem bloků, který předepisuje způsob vygenerování testu ze zadaného tématu. Každý předpis obsahuje vzor zobrazení, které určuje vlastní grafickou podobu testu. Každý předpis může obsahovat historii všech předchozích verzí konkrétních testů. Každý okruh může obsahovat libovolný počet dalších okruhů. Každý předpis obsahuje vzor zobrazení, které určuje vlastní grafickou podobu testu. Každý předpis může obsahovat historii všech předchozích verzí konkrétních testů. Každý okruh může obsahovat libovolný počet dalších okruhů. Automatizovaná tvorba testů Aplikace iTutor Tester umožňuje automatizovanou tvorbu AICC kompatibilních testů z nadefinovaných předpisů. Archivace vytvořených testů Aplikace iTutor Tester archivuje chronologický seznam všech vytvořených testů. Archiv lze prohlížet po jednotlivých měsících v sekci Testy. Přihlášení do systému Ihned po přihlášení do aplikace iTutor Tester se dostanete do sekce Otázky. Sekce Otázky je určena pro správu témat a otázek. Do oblasti Otázky se můžete také kdykoliv přepnout stiskem tlačítka . Seznam slouží k prohlížení a definici hierarchie témat a otázek:

Obr. 2.8.1 Seznam otázek v sekci Otázky

106

V tomto seznamu mohou být přítomny následující logické prvky: Tento symbol představuje téma. Téma může obsahovat jiná témata a zejména otázky. U tématu lze vyvolávat následující akce: Nové téma - Vytvoření zcela nového tématu Nová otázka - Vytvoření zcela nové otázky Přidání tématu nebo otázky - Přidání existujícího tématu nebo existující otázky do tématu Odebrání - Odebrání tématu z tématu Smazání – smazání tématu ze systému U tématu lze zobrazit položku obsahující: Vlastnosti

Tento symbol představuje otázku. U otázky jsou dostupné následující akce: Odebrání otázky z tématu Smazání otázky ze systému U objektu otázka lze zobrazit následující informace: Vlastnosti Volby Poznámka Obrázek Všechny tyto výše zmíněné operace si nyní postupně vysvětlíme. Objekt Téma: Popis akcí 1. Nové téma Stiskem uvedeného tlačítka v sekci Otázky vytvoříte nové Téma. Akci lze vyvolat, pokud je v seznamu témat a otázek označeno téma. Nové téma se potom založí jako téma v rámci vybraného tématu.

107

Po vyvolání akce se zobrazí okno s vlastnostmi tématu ve kterém zadáte údaje o zakládaném tématu. Vlastnosti tématu

Obr. 2.8.2 Formulář s vlastnosti tématu Tento formulář je zobrazen jak při přidávání nového tématu, tak je možné jej vyvolat u již definovaného tématu. Formulář slouží k prohlížení a zadávání vlastností tématu. Popis významu jednotlivých položek formuláře:

Název Jedinečná identifikace tématu. Jedná se o povinnou položku. Dvě témata nesmí mít shodný název. Popis Podrobnosti o tématu.

Jestliže budete přidávat jakoukoliv novou položku pomocí formuláře, systém iTutor ji sám přiřadí počáteční hodnotu (např. Nové Téma 1003). Vy máte možnost změnit zadáním tuto hodnotu. Ovšem u položek (označených ve výkladovém textu), které musí obsahovat jedinečnou identifikaci, je třeba zajistit, aby se název položky v daném kontextu již neopakoval.

Poznámka Položky formuláře označené v pravé části vstupního pole znakem * jsou tzv. povinné položky. Jejich vyplnění je vyžadováno pro úplné zpracování formuláře systémem iTutor.

108

2. Nová otázka Stiskem uvedeného tlačítka v sekci Otázky vytvoříte ve vybraném tématu novou otázku.

Akci lze vyvolat, pokud je v seznamu témat a otázek vybráno téma. Po vybrání akce se zobrazí okno, ve kterém můžete zadat údaje o zakládané otázce.

Chcete-li vytvořit novou otázku je nutné založit nové téma. Základní téma, které je kořenovým uzlem seznamu témat nemůže obsahovat přímo objekty typu otázka.

3. Přidání tématu nebo otázky Stiskem uvedeného tlačítka v oblasti Otázky přidáte do zvoleného tématu již existující (tzn. v systému iTutor vytvořené) Téma nebo Otázku. Akci lze vyvolat, pokud je v seznamu označeno téma. Po vyvolání akce se zobrazí následující formulář se seznamem, ve kterém můžete vybrat téma nebo otázku, které chcete přidat:

Obr. 2.8.3 Seznam témat

109

4. Odebrání Stiskem uvedeného tlačítka v oblasti Otázky nebo Předpisy odeberete objekt. Akci lze vyvolat, pokud je v seznamu označeno téma, otázka, okruh, předpis apod. Odebrání znamená, že je vybraný objekt odebrán ze seznamu objektů, ve kterém se aktuálně nachází - samotný objekt však v systémové databázi zůstává. Odebrání otázky z tématu znamená, že je daná otázka z tématu vyřazena, ale otázka dále zůstává v systému v ostatních tématech. Pokud je odebírána otázka (nebo téma), nelze ji odebrat v případě, že se jedná o její poslední výskyt v systému.

Odebíráme-li tedy např. otázku z tématu a tato otázka se již nevyskytuje v žádném jiném tématu - systém oznámí, že tuto otázku nelze odebrat a pro její odstranění je tedy nutné ji smazat.

Popřípadě lze samozřejmě tuto otázku přidat do jiného tématu a poté ji odebrat z předešlého tématu. 5. Smazání Stiskem uvedeného tlačítka v oblastech Otázky, Předpisy nebo Testy smažete objekt. Akci lze vyvolat, pokud je v seznamu označeno téma, otázka, okruh, předpis, blok, test apod.

Smazání znamená, že je vybraný objekt odstraněn ze systému.

110

Např. smazání otázky z tématu znamená, že je daná otázka z tématu vyřazena a současně je smazána ze systému. Pokud se odstraňovaná otázka nebo odstraňované téma vyskytuje ještě v jiném tématu, je jejich výskyt odstraněn i z tohoto tématu. Když odstraňované téma obsahuje další témata nebo otázky, přičemž se jedná o jejich jediný výskyt v systému, jsou tyto objekty smazány. Je-li například odstraňováno téma Fyzika (obsahující otázku Magnetismus), bude tato otázka vymazána ze systému pouze v případě, pokud již není prvkem v žádném jiném tématu. Je-li však otázka Magnetismus např. ještě součástí tématu Elektřina, nebude ze systému odstraněna. Dostupný pohled pro objekt... Stiskem uvedeného tlačítka přejdete do dialogového okna Výběr pohledu, kde je možné vybrat pohled pro označený objekt.

Obr. 2.8.4 Formulář s výběrem definovaných pohledů

Vybraný pohled můžete exportovat do formátu HTML pomocí tlačítka Exportovat nebo do formátu MS Excel pomocí tlačítka Excel. V případě doplňkových parametrů (nutných pro vykonání pohledu) se ještě doplňují jejich hodnoty v následujícím okně.

111

Obr. 2.8.5 Formulář pro zadání doplňkových parametrů pohledu

Výstupy jednotlivých pohledů jsou vždy zobrazeny do samostatného okna internetového prohlížeče (včetně souborů ve formátu Excel).

Objekt - Otázka Nyní si vysvětlíme jednotlivé položky objektu otázka, které je možné uživatelsky modifikovat. Na jednotlivé formuláře, které si zde popíšeme, se dostanete vždy stejným způsobem. Zvolíte příslušné tlačítko pro editaci žádaného formuláře.

Tedy např. na Vlastnosti otázky se dostanete stiskem tlačítka Vlastnosti..

112

1. Záložka Vlastnosti

Tento formulář je zobrazen jak při přidávání nové otázky, tak je možné jej vyvolat u již definované otázky. Formulář slouží k prohlížení a zadávání vlastností otázky.

Popis významu jednotlivých položek formuláře:

Název Otázka Zpožděná Odpověď

Jedinečná identifikace otázky. Jedná se o povinnou položku. Dvě otázky nesmí mít shodný název. Obsahová náplň otázky. Změnou hodnoty v tomto stavovém poli aktivujete tzv. zpožděnou odpověď. Odpověď studujícího na testovou otázku bude vyhodnocena až po potvrzení tlačítkem "Odezva" umístěném na stránce otázky. Více se o této vlastnosti dozvíte v sekci Zpožděné odpovědi.

2. Záložka Volby

Obr. 2.8.6 Formulář Volby u vybrané otázky

113

Formulář vyvoláte v sekci Otázky označením otázky v seznamu a stisknutím tlačítka Volby. Formulář slouží k prohlížení a zadávání možností u odpovědí na otázku, k výběru správných voleb, k přiřazení bodového hodnocení správným i špatným odpovědím, apod. Formulář se liší podle typu otázky (volba z více možností, volby z více možností (tj. více odpovědí správně), doplnění slov, číselné odpovědi, řazení položek, párování, atd.). Jednotlivé typy otázek probereme v podkapitole 2.8.2 Typy otázek. Animace: ukázka práce s tématy, úprava vlastností tématu nebo otázky, přidání tématu nebo otázky 3. Záložka Poznámka

Obr. 2.8.7 Formulář Poznámka u vybrané otázky

114

Formulář vyvoláte v sekci Otázky označením otázky v seznamu a stisknutím tlačítka Poznámka. Formulář slouží k prohlížení a zadávání poznámky k otázce. Poznámku můžete využít pro snadnější orientaci ve vámi vytvořených otázkách. Poznámka může být také volitelně zobrazována studentům u jednotlivých otázek.

4. Záložka Obrázek k otázce

Obr. 2.8.8 Formulář Obrázek u vybrané otázky

Formulář vyvoláte v sekci Otázky označením otázky v seznamu a stisknutím tlačítka Obrázek. Formulář slouží k prohlížení a přidávání obrázku k otázce. Kliknutím na tlačítko Procházet... vyberete obrázek, který chcete připojit k otázce. Poté tlačítkem Přidat obrázek uložíte do systému a po chvíli se objeví náhled obrázku. Pokud je obrázek vyhovující, tlačítkem Uložit provedete jeho uložení do systému k dané otázce. Chcete-li obrázek odebrat zvolíte tlačítko Odstranit. Každá otázka může obsahovat také obrázky pro jednotlivé varianty nabízených odpovědí. Počet obrázků, které lze k otázce připojit, je potom dán počtem variant pro vybranou otázku.

115

K otázce je možné připojit obrázky ve formátu JPG. Velikost souboru s obrazovými daty nesmí překročit 512 KB.

5. Záložka Zpožděné odpovědi Formulář vyvoláte v sekci Otázky označením otázky v seznamu a volbou tlačítka Zpožděná odpověď. Formulář slouží k zadání odezvy při vyhodnocení odpovědi.

Vyhodnocení nastane, pokud uživatel použije tlačítko Odezva u konkrétní otázky v testu. Tlačítko Odezva se v testu objeví, jen pokud označíte stavové pole zpožděná odpověď na záložce Vlastnosti.

Obr. 2.8.9 Formulář Zpožděné odpovědi u vybrané otázky

116

Popis významu jednotlivých položek formuláře:

Text, který se zobrazí, pokud uživatel zadá v otázce správnou odpověď. Text, který se zobrazí, pokud uživatel zadá v otázce špatnou odpověď.

Správná odpověď Špatná odpověď

Ukázka testové otázky s tlačítkem Odezva pro zobrazení zpožděné odpovědi.

Obr. 2.8.10 Zpožděná odpověď v testu

2.8.2 Typy otázek V této kapitole si probereme jednotlivé typy otázek, které jsou k dispozici v modulu Tester systému iTutor. Význam a vhodné využití jednotlivých typů otázek již bylo součástí výkladu v kapitole 2.7 Základy teorie testování. Proto se v této kapitole zaměříme pouze na popis jednotlivých otázek v modulu Tester.

117

Praktickou přípravu otázek si budete ověřovat v rámci interaktivních prezentací, které budou k dispozici ke každé popisované oblasti práce s LMS iTutor.

• • • •

Volby z více možností Volba z více možností Doplnění slov Číselné odpovědi

• • • •

Řazení položek Drag and Drop Křížovka Doplnění textu

1. Volby z více možností Výběr více než jedné správné odpovědi.

Obr. 2.8.11 Formulář pro otázku typu „Volby z více možností“

118

Volby z více možností Popis významu jednotlivých položek formuláře:

Povolit více odpovědí studenta

Volbou tohoto stavového pole umožníte studujícímu vybrat pouze jednu z odpovědí na danou otázku. Od otázky typu Volba z více možností se tento typ otázky liší tím, že dovoluje autorovi označit více odpovědí jako správné.

Počet odpovědí

Volba celkového počtu možností odpovědi v rámci dané otázky.

Volba

Obsahová náplň dané volby.

Skóre

Počet jednotek, které budou přičteny k celkovému bodovému hodnocení studenta v daném testu při zvolení dané volby odpovědi (pro nesprávnou odpověď lze zadat záporné hodnoty např. -1).

Správně

Stavové pole indikující systému, že se jedná o jednu z možných správných odpovědí.

2. Volba z více možností Výběr pouze jedné správné odpovědi.

Obr. 2.8.12 Formulář pro otázku typu „Volba z více možností“

119

Volba z více možností Popis významu jednotlivých položek formuláře: Počet odpovědí

Volba celkového počtu možností odpovědi v rámci dané otázky.

Volba

Obsahová náplň dané volby.

Odezva

Text odezvy u jednotlivé volby

Skóre

Počet jednotek, které budou přičteny k celkovému skóre studenta v daném testu při zvolení dané volby odpovědi (při chybné volbě lze zadat záporná čísla např. -1).

Správně

Stavové pole indikující systému, že se jedná o správnou odpověď.

U textu v položce Odezva, lze zadat i hypertextový odkaz ve formě proč to tak nemůže být

3.

Doplnění slov

Odpověď je formou zadání textového výrazu.

Obr. 2.8.13 Formulář pro otázku typu „Doplnění slov“ 120

Doplnění slov Popis významu jednotlivých položek formuláře: Počet slov k doplnění

Volba celkového počtu možností odpovědi v rámci dané otázky.

Text

Text podotázky.

Správně

Správná odpověď studenta.

Špatně

Chybná odpověď studenta.

Skóre

Počet jednotek, které budou přičteny k celkovému skóre studenta v daném testu při zvolení dané volby odpovědi (při chybné volbě lze zadat záporná čísla např. -1). U tohoto typu otázky je možné zadávat jednotlivé varianty textových odpovědí oddělené středníkem „;“. Tímto způsobem lze zajistit, že systém bude jako správné odpovědi hodnotit i různé varianty odpovědi.

Zadání otázky: Dráha hmotného bodu je dána rovnicí: s = 6t3 + 5t + 2. Napište rovnici jeho zrychlení. Položka správná odpověď: 36t;36 t;36T;36 T Zadání otázky: Rychlost hmotného bodu je dána rovnicí: v = 3t2+ 2t + 5. Napište rovnici jeho zrychlení. Položka správná odpověď: 6t+2;6 t + 2;6T+2;6 T + 2;6T + 2

Maximální počet možných variant odpovědí u většiny typů otázek (kromě otázky typu Drag&Drop) je šest. Tedy obdoba a-b-c-d-e-f. Zvláštní případ představuje otázka typu "Doplnění slov". U tohoto typu otázky je také možné vyhodnocovat maximálně šest správných odpovědí. Každá z těchto odpovědí však může obsahovat více variant oddělených středníkem.

121

4. Číselné odpovědi Odpověď je v číselném tvaru. Systém rozeznává při zadání intervalu hodnot i desetinnou část.

Obr. 2.8.14 Formulář pro otázku typu „Číselné odpovědi“ Číselné odpovědi Popis významu jednotlivých položek formuláře: Počet číselných Volba celkového počtu možností odpovědi v rámci dané otázky. odpovědí Text podotázky. Text Správná odpověď je pouze ta, která se nachází v zadaném intervalu, kde první Odpověď číslo je počátek intervalu a druhé číslo je konec zprava uzavřeného intervalu. Odpověď na otázku, která bude považována za nesprávnou. Pokud tuto Odpověď hodnotu nevyplníte (nejčastější případ), bude za nesprávnou odpověď automaticky považována každá odpověď, která nesplňuje podmínky pro správnou odpověď. Jedná se jistý druh penalizace za nesprávnou odpověď, který není vhodné v testech využívat. Počet jednotek, které budou přičteny k celkovému skóre studenta v daném Skóre testu při zvolení dané volby odpovědi (při chybné volbě lze zadat záporná čísla např. -1).

122

Při zadávání výsledku, jehož hodnota je záporný interval, je třeba vložil hodnoty ve správném pořadí. Tedy od menší hodnoty k větší hodnotě intervalu.

Správný výsledek početního příkladu se nachází v intervalu -3,14 až -4. Vstupní pole „interval od: a do: včetně“ vyplníte následujícím způsobem: Levé vstupní pole (od: ) -4 Pravé vstupní pole (do: ) -3.14

Při zadávání číselných hodnot s desetinnou částí je třeba důsledně dodržovat správně zadaný znak desetinné tečky „ . “ - nikoliv desetinné čárky „ , „ Pro studenty je již systém nastaven tak, že vyhodnocuje správnou odpověď ve tvaru s desetinnou tečkou i s desetinnou „čárkou“.

123

5.

Řazení položek

Odpověď je formou seřazení jednotlivých položek.

Obr. 2.8.15 Formulář pro otázku typu „Řazení položek“

Řazení položek Popis významu jednotlivých položek formuláře:

Počet řazených položek

Volba celkového počtu možností odpovědi v rámci dané otázky.

Skóre úspěšnosti

Bodové hodnocení při správné odpovědi na otázku. Otázka bude vyhodnocena jako správně zadaná pouze v případě, že jsou všechny varianty seřazeny v předepsaném pořadí.

Skóre neúspěšnosti

Bodové hodnocení při nesprávné odpovědi na otázku.

Položka

Text jednotlivých položek k seřazení.

124

6.

Drag and Drop

Odpověď je formou vkládání objektů (umístěných ve spodní částí otázky) na určitá místa v textu. Tyto objekty (tedy správné odpovědi) jsou potom „přetahovány“ pomocí myši studujícím na předem určené místo.

Obr. 2.8.16 Formulář pro otázku typu „Drag and Drop“ Drag ang Drop Popis významu jednotlivých položek formuláře:

Počet objektů

Volba celkového počtu variant odpovědí v rámci dané otázky

Text

Text obsahující značky, které určují, kde bude v testu cílová pozice, kam se budou „přetahovat“ k tomu určené objekty.

Objekt

Obsahová náplň dané volby.

Správně

Skóre, které se přičte k celkovému skóre při správném vložení objektu na cílovou pozici.

Špatně

Skóre, které se přičte k celkovému skóre při vložení objektu na nesprávnou cílovou pozici. Tlačítko vkládá do textu značku cílové pozice pro jednotlivý objekt.

125

7.

Křížovka

Odpověď je realizována formou vyplnění klasické křížovky.

Obr. 2.8.17 Formulář pro otázku typu „Křížovka“ Křížovka Popis významu jednotlivých položek formuláře:

Volba celkového počtu řádků v křížovce. Počet řádků křížovky Skóre úspěšnosti Skóre, které se přičte k celkovému skóre při správném vyplnění tajenky. Skóre neúspěšnostiSkóre, které se přičte k celkovému skóre při nesprávném vyplnění tajenky. Správné znění tajenky. Text tajenky Text otázky pro jednotlivé řádky křížovky. Otázka Počet písmen doplňovaného slova. Počet znaků Pozice písmena z doplňovaného slova, které tvoří tajenku. Pozice tajenky

8. Doplnění textu Odpověď je ve formě volně tvořeného textového zápisu (např. vyjádření vlastního názoru). Formulář volby obsahuje jedno textové pole, které představuje vždy správnou (nevyhodnocovanou) odpověď. 126

Tato otázka představuje spíše možnost pro tutora/lektora, jak si ověřit v automaticky nevyhodnocované odpovědi, zda studující zcela porozuměl probírané látce.

Tento typ otázky je třeba vyhodnotit ručně. Je velmi vhodný například pro vytvoření dotazníku, který obsahuje tvořené odpovědi.

Animace: ukázka nastavení vlastností otázky, příprava otázky, přehled jednotlivých druhů otázek

2.8.3 Výběrová pravidla – předpisy Sekce Předpisy slouží ke správě Okruhů, Předpisů, Bloků a k tvorbě testů. V seznamu můžete prohlížet a definovat okruhy, předpisy a bloky. V tomto seznamu mohou být přítomny následující logické prvky: Tento symbol představuje okruh.U okruhu lze vyvolávat následující akce: • • • • •

Vytvoření zcela nového okruhu Vytvoření zcela nového předpisu Přidání existujícího okruhu nebo předpisu do okruhu Odebrání okruhu z jiného okruhu Smazání okruhu ze systému

U okruhu lze zobrazit následující informace: •

Vlastnosti

Tento symbol představuje předpis. U předpisu lze vyvolávat následující akce: • • • •

Vytvoření zcela nového bloku Odebrání předpisu z okruhu Smazání předpisu ze systému Vytvoření zcela nového testu

U předpisu lze zobrazit následující informace: • •

Vlastnosti Volby

127

Tento symbol s názvem položky představuje libovolný blok. Blok může obsahovat témata či otázky. U bloku lze vyvolávat následující akce: • • • •

Přidání existujícího tématu nebo existující otázky do bloku Přesunutí bloku vpřed v rámci předpisu Přesunutí bloku vzad v rámci předpisu Smazání bloku ze systému

U bloku lze zobrazit následující informace: • •

Vlastnosti Volby

Tento symbol s názvem položky představuje libovolné téma . Téma může obsahovat jiná témata a zejména otázky. U tématu v sekci Předpisy lze vyvolávat následující akce: • • •

Přesunutí tématu vpřed v rámci bloku Přesunutí tématu vzad v rámci bloku Odebrání tématu z bloku

O tématu lze zobrazovat následující informace: •

Vlastnosti

1. Nový okruh Stiskem uvedeného tlačítka v sekci Předpisy vytvoříte zcela nový okruh. Akci lze vyvolat, pokud je v seznamu okruhů, předpisů nebo bloků označen okruh. Nový okruh je vytvořen jako podřazený okruh vybraného okruhu. Po vyvolání akce se zobrazí formulář, ve kterém zadáte údaje o vytvořeném okruhu. Vlastnosti okruhu

Obr. 2.8.18 Formulář s nastavením vlastností okruhu

128

Formulář slouží k prohlížení a zadávání vlastností okruhu. Popis významu jednotlivých položek formuláře:

Název Jedinečná identifikace okruhu. Jedná se o povinnou položku. Dva okruhy nesmí mít shodný název. Popis Podrobnosti o okruhu.

2. Nový předpis Stiskem uvedeného tlačítka v sekci Předpisy vytvoříte nový předpis. Akci lze vyvolat, pokud je v seznamu okruhů, předpisů nebo bloků označen okruh. Po vyvolání akce se zobrazí formulář, ve kterém zadáte údaje o vytvořeném předpisu. Vlastnosti předpisu

Obr. 2.8.19 Formulář s nastavením vlastností předpisu

Formulář slouží k prohlížení a zadávání vlastností předpisu. Popis významu jednotlivých položek formuláře:

Název Jedinečná identifikace předpisu. Jedná se o povinnou položku. Dva předpisy nesmí mít shodný název. Popis Podrobnosti o předpisu.

129

Předpis: Volby

Obr. 2.8.20 Formulář pro jednotlivé volby u předpisu

Formulář vyvoláte v sekci Předpisy označením předpisu v seznamu a stisknutím tlačítka Volby. Tento formulář slouží k prohlížení a zadávání záhlaví, úvodu a závěrečného komentáře k testu a současně k rozhodnutí, zda se mají na konci testu zobrazit výsledky.

Volbou stavového pole Uzamknout odpovědi znemožníte uživateli měnit odpovědi na již zodpovězené otázky. U reálných testů se tuto položku nedoporučuje využívat, protože de facto studentovi znemožňuje se vrátit k již zodpovězené otázce a opravit svou odpověď

3. Nový blok

Stiskem uvedeného tlačítka v sekci Předpisy vytvoříte nový blok. Akci lze vyvolat, pokud je v seznamu okruhů, předpisů a bloků vybrán předpis. Nový blok je vytvořen jako prvek obsažený ve vybraném předpisu. Po vyvolání akce se zobrazí formulář, ve kterém zadáte údaje o vytvořeném bloku.

130

Vlastnosti bloku

Obr. 2.8.21 Formulář s nastavením vlastností bloku Formulář slouží k prohlížení a zadávání vlastností bloku. Popis významu jednotlivých položek formuláře: Název

Jedinečná identifikace bloku. Jedná se o povinnou položku. Dva bloky nesmí mít shodný název.

Popis

Podrobnosti o bloku.

Použij všechny otázky

Určuje, zda se mají použít všechny otázky ze všech testů v daném bloku.

Náhodné pořadí Určuje, zda budou otázky uživateli předkládány v náhodném pořadí (aktivní) nebo v pořadí, ve kterém se nacházejí v testech. Pohyb jen kupředu

Touto volbou znemožníte studujícímu návrat na již navštívené stránky testu.

Použij náhodně otázky

Do pole vložte počet náhodně zvolených otázek, ze kterých se bude test skládat. Položka je nedostupná, pokud je aktivní položka Použij všechny otázky.

Možnost předčasně ukončit

Povoluje nebo zakazuje studujícímu předčasné ukončení testu.

Váha bloku

Koeficient, kterým se násobí bodové ohodnocení za tento blok testů. Váha tak umožňuje nastavit důležitost daného bloku (např. 1 pro běžné bloky testů, 2 pro bloky testů s vyšší důležitostí).

131

Blok: Volby

Obr. 2.8.21 Formulář pro jednotlivé volby u bloku

Formulář vyvoláte v sekci Předpisy označením Bloku v seznamu a stisknutím tlačítka Volby. Tento formulář slouží k prohlížení a zadávání záhlaví, úvodu a možností u bloku otázek. Popis významu jednotlivých položek formuláře:

Záhlaví

Text, který se zobrazuje u všech testových otázek z daného bloku.

Úvod

Text úvodní strany bloku. V případě, že toto pole nevyplníte, nebude úvodní strana zobrazena.

Ukazovat odpovědi

Určuje, zda na jednotlivých otázkách může být zobrazena zpožděná nebo okamžitá odpověď.

Omezit dobu odpovědí

Časový limit pro odpovědi.

Měnit pořadí voleb

Aktivováním zajistíte náhodné vzájemné pořadí odpovědí na otázku. Studující pak musí znát skutečnou odpověď na otázku a nikoliv jen číslo nebo písmeno odpovědi (např. "c" nebo "1. možnost").

Zobrazovaný typ otázek

Z roletové nabídky vyberte, jaký typ otázek se má v testech objevit . Výchozí hodnotou jsou "všechny typy".

132

2.8.4 Vytvoření testu 1. Nový test Stiskem uvedeného tlačítka v sekci Předpisy vytvoříte nový test. Akci lze vyvolat, pokud je v seznamu okruhů, předpisů a bloků označen předpis. Po vyvolání akce se zobrazí formulář, ve kterém zadáte údaje o vytvořeném testu. Tento formulář slouží k zadání názvu testu a složky, do které bude vytvořený test uložen. Vlastnosti vytvářeného testu

Obr. 2.8.22 Formulář pro vytváření testu

Zadání položky Uložit do: určuje složku výukového systém iTutor, do které budou testy uloženy. Výběr složek, které budou dostupné v tomto formuláři, se pro aktuálně přihlášeného uživatele řídí přiřazenými rolemi. Jak již bylo zmíněno v předchozích kapitolách, nastavování rolí je většinou v pravomoci administrátora LMS.

133

2. Přidání okruhu nebo předpisu Stiskem uvedeného tlačítka v oblasti Předpisy přidáte do zvoleného okruhu existující Okruh nebo Předpis. Akci lze vyvolat, pokud je v seznamu označen okruh. Po vyvolání akce se zobrazí následující formulář se seznamem, ve kterém vyberete přidávaný okruh nebo předpis. 3. Přidání tématu nebo otázky Stiskem uvedeného tlačítka v oblasti Předpisy přidáte do zvoleného bloku existující Téma nebo Otázku. Akci lze vyvolat, pokud je v seznamu označen blok. Po vyvolání akce se zobrazí následující formulář se seznamem, ve kterém vyberete přidávané téma nebo přidávanou otázku. Přidání okruhu nebo předpisu

Obr. 2.8.23 Seznam pro přidávání okruhu

134

Přidání tématu nebo otázky

Obr. 2.8.24 Seznam pro přidávání bloku 4. Přesuny objektů v rámci seznamu bloků nebo témat Jednotlivé bloky nebo témata je také možné přesouvat pomocí tlačítek Stiskem uvedeného tlačítka v sekci Předpisy přesunete vybraný objekt (blok nebo téma) nahoru nebo dolů v rámci vybraného seznamu. 5. Odebrání Stiskem uvedeného tlačítka v oblasti Otázky nebo Předpisy odeberete objekt. Akci lze vyvolat, pokud je v seznamu označeno téma, otázka, okruh, předpis apod.

Odebrání znamená, že je vybraný objekt odebrán z množiny, která je aktuálně označena v seznamu, ale samotný objekt zůstává i nadále v systému.

135

Odebrání otázky z tématu znamená, že je daná otázka z tématu vyřazena. Otázka dále zůstává v systému v ostatních tématech. Pokud chcete odebrat otázku nebo téma, které se již vyskytuje pouze v jediném tématu, nelze její odebrání provést. Systém oznámí, že tuto otázku nelze odebrat, že pro odstranění je nutné ji smazat. Popřípadě lze samozřejmě tuto otázku přidat do jiného tématu a poté ji z předešlého tématu odebrat. 6. Smazání Stiskem uvedeného tlačítka v oblastech Otázky, Předpisy nebo Testy smažete označený objekt. Akci lze vyvolat, pokud je v seznamu označeno téma, otázka, okruh, předpis, blok, test apod. Smazání znamená, že je vybraný objekt odstraněn ze systému. Obnovení vymazaného objektu není možné provést z uživatelského rozhraní systému iTutor Tedy například chceme-li odstranit téma „Fyzika“, ve kterém je otázka „Atomové jádro“. Tato otázka bude vymazána ze systému pouze v případě, jestliže není přítomna v žádném jiném tématu. Je-li však otázka např. „Informační systémy“ ještě součástí tématu „Počítačové sítě“, není ze systému smazána. Animace: ukázka nastavení vlastností okruhu, vlastností předpisu, nastavení vlastností bloku a vytvoření předpisu

Testy Do oblasti Testy se dostanete stiskem tlačítka

.

Sekce Testy slouží k prohlížení archívu všech testů, které byly vytvořeny prostřednictvím aplikace iTutor Tester. Archiv je organizován chronologicky po jednotlivých měsících v seznamu. Animace: ukázka vytvoření testu, manipulace s již vytvořenými testy, úprava vlastností testu V seznamu si můžete prohlížet jak testy, tak předpisy a bloky témat a otázek, z kterých byl test vytvořen.

136

Obr. 2.8.25 Seznam vytvořených testů

Obr. 2.8.26 Formulář s informacemi o vytvořeném testu Pokud se nerovnají hodnoty uvedené v položce Max-Max skóre (Maximální bodové hodnocení, které může uživatel dosáhnout v testu, náhodně sestaveném z otázek s maximálním skóre) a v položce Min-Max skóre (Maximální bodové hodnocení, které může uživatel dosáhnout v testu, náhodně sestaveném z otázek s minimálním skóre), je vhodné test přepracovat tak, aby se rovnaly, a vytvořit jej znova.

137

Test může obsahovat otázky, které mají více samostatně bodovaných variant. Například otázka, kde jsou nabízeny čtyři varianty a správné jsou tři varianty, každá za 0,33 bodů. Potom hodnota maximálního bodového zisku za kompletní test nemusí v důsledku desetinných hodnot představovat celé číslo. Import otázek Do modulu Tester je možné provést import otázek vytvořených v jiných editorech. Podmínkou je dodržení předepsané struktury souboru ve formátu XML.

Textové soubory určené pro import otázek musí být uložené v kódování UTF-8. Je proto vhodné použít textový editor, který ukládá soubory v tomto kódování.

Struktura importního souboru Textový importní soubor musí mít následující strukturu: < QUESTION NAME=" " > … < QUESTION NAME=" " > … • • •

importní soubor musí začínat značkou a končit značkou mezi značkou a je uveden výčet jednotlivých otázek dle jejich standardního popisu v XML jazyce každá otázka je reprezentována svými párovými značkami …

138

XML struktura otázek

Všechny značky i jejich atributy, které jsou zde uvedeny k jednotlivým typům otázek, jsou povinné, tzn. nelze vynechat žádné značky či jejich atributy.

Každý typ otázky obsahuje: •

• • • • •

• • •

•

… - značka reprezentující otázku (mezi značky se uvádí text samotné otázky). • NAME - název otázky. • - značka reprezentující vyhodnocení otázky. • ENABLED - nabývá hodnot „true“ nebo „false“, pokud je nastavena hodnota true“, otázka je započítána do vyhodnocení testu. OBJECTIVE_ID - id otázky pro vyhodnocení. WEIGHTING - váha otázky. - značka reprezentující nastavení interakce. LIMIT_TIME - není implementováno, takže bude vždy hodnota prázdná. LIMIT_TRIES - omezení počtu změn odpovědi na otázku v rámci jednoho spuštění – je implementováno pouze u otázek typu SC – nabývá číselných hodnot, „1“ znamená neomezeno. U ostatních typů otázek není implementováno a nastavuje se na hodnotu „1“. - poznámka k otázce. - značka reprezentující zpětnou odezvu studentovi. IMMEDIATE - okamžitá odezva – je implementováno pouze u otázek typu SC a nabývá hodnot „true“ nebo „false“. U ostatních typů otázek se vždy nastavuje na hodnotu „false“. DELAYED - zpožděná zpětná odezva – je implementováno u všech typů otázek a nabývá hodnot „true“ nebo „false“.

139

Příklad souboru s jednou otázkou typu „Volba z více možností“ Zadejte odpověď na otázku Ano Ne Animace: ukázka exportu a importu otázek, ukázkový soubor s otázkou

POT - Povinný úkol S využitím poznatků z kapitoly 2.8 vytvořte v modulu Tester vlastní ukázkový test. Přístup do modulu Tester Můžete také využít kompletní ukázkový postup tvorby testu Rozsah práce: test obsahující minimálně 10 otázek.

140

Testy, které můžete vytvořit v modulu Tester, jsou připraveny pro přímé použití LMS iTutor. V systému iTutor budou automaticky vyhodnocovány a informace o průběhu a výsledcích testu budou ukládány do centrální databáze. Tyto údaje jsou přístupné jak lektorovi, tak studujícím prostřednictvím výstupních sestav (pohledů). Lektor může sledovat mnoho parametrů od doby strávené nad jednotlivými otázkami až po vyhodnocování úspěšnosti studentů v jednotlivých otázkách. Vygenerované testy jsou kompatibilní dle specifikací AICC, což umožňuje jejich případné použití v jiných LMS, které tento formát podporují. Tzv. obálka testu (tedy konečná vizuální podoba testu), který vytvoříte, je přednastavena a nelze ji modifikovat. Výsledný test je generován ve formátu Macromedia Flash. Instalace přehrávače tohoto formátu jak na vašem počítači, tak na počítači studenta, je nutností pro správný běh. Testové otázky můžete vytvářet v interaktivním prostředí webového prohlížeče. Otázky ovšem také můžete do (z) systému přenést s využítím definičních XML souborů.

141