Studie proveditelnosti počítačem adaptovaného testování v prostředí českých škol

Studie proveditelnosti počítačem adaptovaného testování v prostředí českých škol Autorský tým: Mgr. Zuzana Filípková, PhD. Doc. PhDr. Petr Byčkovský, CSc. S využitím podkladů PhDr. Jitky Houfkové, PhD., a Mgr. Jany Burešové

Praha, duben 2008

Obsah

1

Počátky a vývoj adaptivního testování .......................................................................... 3

2

Počítačový adaptivní test (CAT) – pojetí, druhy a banka úloh ...................................... 7

3

Proces administrace a skórování CAT (přehled) ........................................................ 11

4

Stručně o teorii odpovědi na položku (item response theory, IRT) ............................. 14

5

Výhody a nevýhody CAT oproti konvenčním testům .................................................. 22

Literatura............................................................................................................................ 24

1 Počátky a vývoj adaptivního testování Adaptivní testování prošlo v USA dlouhým vývojem, k rozvoji počítačového adaptivního testování (computer adaptive testing, CAT) přispěla zásadním způsobem teorie odpovědi na položku. U nás zatím bohužel o nějakém vývoji CAT nemůže být vůbec řeč. Adaptivní testování vzniklo pro účely výkonových testů a je v nich také v současnosti nejvíce rozvíjeno, zejména v dichotomně skórovaných testech, i když adaptivní testy se objevují i v psychologii v oblasti diagnostiky (testy osobnosti, Jelínek; Květoň; Denglerová 2006). Adaptivním testováním se zejména v USA zabývá mnoho expertů, např.: Drasgow a Olson-Buchanan (1999), Sands, Waters a McBride (1997), Wainer (2000), Weiss (1983) a stále se v této oblasti vedou výzkumy. U nás se adaptivnímu testování zatím dostatečně nevěnuje žádný odborník. Adaptivní testování je testovací metodologie, která vyžaduje počítač nejen pro své zadávání, i když adaptivní přístupy, dvou- (nejjednodušší a nejstarší) a víceúrovňové (fixní větvené modely pyramidové, skokové a stratifikované) existovaly již před nástupem počítačů (Jelínek, Květoň, Denglerová, 2006; Weiss 1973). Adaptivní testování se objevilo již na počátku 20. stol. První adaptivní testy První adaptivní test vytvořil Alfred Binet společně se svým spolupracovníkem Theodorem Simonem (Binet & Simon, 1905). Šlo o tzv. Binet IQ test. Test se používá v moderní verzi dodnes. Binetův test se skládal ze setu testových úloh seřazených podle chronologického věku. Administrace tohoto testu byla zcela adaptivní. Binet zařadil úlohy pro určitou věkovou mentální úroveň, pokud cca. 50% dětí daného věku odpovědělo úlohu správně. V původní verzi zahrnoval test 9 věkových úrovní (od 3 do 11 let). Tyto úlohy tvořily Binetovu banku úloh pro adaptivní test. Úlohy byly zadávány po deseti individuálně školeným psychologem, který okamžitě odpovědi vyhodnocoval, a podle nich zadával testovanému úlohy vyšší (když odpověděl většinu z nich správně) či nižší věkové úrovně (když většinu chybně). Testování bylo ukončeno, pokud byly u testovaného identifikovány jak základní („basal“), tak stropní (horní, „ceiling“) věková úroveň. Stropní úroveň definoval Binet jako věkovou úroveň, na které testovaný nezodpoví ani jednu úlohu správně; základní úroveň naopak jako tu, na které odpoví všechny úlohy správně. Konečný skór testovaného v Binetově testu je založen na podskupině úloh, které zodpověděl správně. Paralelně s vojenským testováním probíhal od počátku 20. století vývoj přijímacích testů na amerických univerzitách. K tomuto účelu byla založena organizace College Board. Úspěch vojenského testovacího programu ovlivnil College Board a ta začala s vývojem testu studijních předpokladů Scholastic Aptitude Test (SAT). 1926 byl SAT, který se skládal z 9 (1928 z 8 a 1929 ze 7) subtestů, poprvé zadán. V roce 1934 se profesor Benjamin Wood z Kolumbijské univerzity spojil s inženýry z IBM, aby společně vytvořili mechanický přístroj na skórování testů. Vynález prvního takového přístroje se připisuje středoškolskému učiteli B. Johnsonovi. Organizace Educational Testing Service a College Board vyvinuly CAT testovací systém pro IBM počítače pro testování základních dovedností v angličtině a matematice na úrovni střední školy (Abernathy, 1986; Ward aj., 1986). Poté následovaly další adaptivní testovací systémy např. od Assessment Systems Corporation (MicroCAT), Psychological Corporation či The Waterford Testing Center (více Bunderson, Inouye, Olsen, 1989). Počítačové adaptivní testy V 50. letech se začalo s využíváním počítačů při testování. Systémy počítačem řízeného testování (CAI Computer Assisted Instructions) byly ovlivněny behaviorální psychologií. Jednalo se o jednoduché lineární programy. Z lineárních programů byly později v 60. letech vyvinuty programy větvené, které již nabízely určité přizpůsobení studentovi a obsahovaly rozdělující podmínky. Příklad podmínky: „Pokud byla otázka 2 zodpovězena správně, polož otázku 10, v opačném

případě polož otázku 3.“ Tyto programy byly v 70. letech nahrazeny výukovými systémy, které byly schopny vytvořit novou sadu otázek z různých úloh banky, ale přizpůsobení studentovi bylo velmi omezené a neodpovídalo potřebám jednotlivců. Programy obsahovaly předem pevně dané větve a smyčky otázek a neposkytovaly možnost úplného přizpůsobení hladině vědomostí testovaných jedinců. Větší výzkum v oblasti testů s využitím výpočetní techniky provedl až F. Lord ve 2. pol. 60. let a na počátku 70. let 20. století. Pracoval jak na teoretické struktuře hromadně zadávaného, ale individuálně „ušitého“ testu pro úroveň schopností testovaného, tak i na mnohých praktických detailech. První pokusy implementovat adaptivní testy byly neobratné a/ nebo drahé. Americká armáda však brzy rozpoznala potencionální výhody adaptivního testování a podpořila finančně rozsáhlý teoretický výzkum. Studie zaměřené na adaptivní testování se systematicky objevují v odborném tisku od 70. let 20. století. Nicméně první reálnou příležitostí vyzkoušet adaptivní testování byla až dostupnost cenově příznivých výkonných počítačů v 80. letech. První vojenský prototyp počítačového adaptivního testu (computer adaptive test, CAT) byl vyvinut pro Apple III počítače ve výzkumném centru Naval Personnel Research and Development Center (NPRDC) v roce 1984. Tento prototyp byl určen k první širokoplošné počítačové adaptivní administraci subtestů z testu ASVAB1. V roce 1973 navrhl Weiss (Weiss 1973) počítačovou variantu Binetova testu, kterou nazval stratifikovaný nebo-li stradaptivní test (The stratified adaptive computerized ability test).. Poté následovaly další stradaptivní testy (Weiss, 1979). Weissův test používal stejnou strukturu banky úloh jako Binetův test, úlohy byly uspořádány po deseti do věkových mentálních úrovní dle obtížnosti (tzv. strata = vrstva). Podobně jako v Binetově testu používá stratifikovaný test proměnlivou startovací úroveň, a tím dovoluje začít na jakékoli úrovni obtížnosti přiměřené každému testovanému. Stratifikovaný test se od Binetova liší v tom, že je zadána vždy pouze jedna úloha a skórována. Další úloha je zadána na základě předchozí odpovědi. Pokud je odpověď správná, je testovanému zadána úloha z následující těžší vrstvy. Když testovaný odpoví chybně, bude mu zadána úloha z nejbližší nižší vrstvy. Tento proces pokračuje tak dlouho, dokud není splněno kritérium k ukončení testu. Test je ukončen, když jsou všechny úlohy nebo pět po sobě následujících úloh v určité vrstvě zodpovězeny chybně. Obr. 0 zobrazuje příklad záznamu odpovědí v stradaptivním testu. V tomto testu byla zvolena za startovací úroveň mentální úroveň 9. První úloha (1) byla zadána a zodpovězena správně (+), a tak další úloha byla zadána z úrovně 9,5. Po správné odpovědi (2+) byla potom zadána úloha z úrovně 10. Protože tato úloha byla zodpovězena chybně (3-), byla následně zadána opět úloha z nejbližší nižší úrovně 9,5, která byla vyřešena správně (4+). Proces pokračoval tímto způsobem až do zadání 31. úlohy. Úloha 30 byla zodpovězena chybně, ale protože z úrovně 9 bylo zadáno již deset úloh, musela být 31. úloha zadána z úrovně nižší, tedy 8, 5. Protože z úrovně 10 byly všechny úlohy zodpovězeny chybně (jako poslední úloha 44), byla mentální úrověň 10 identifikována jako stropní úroveň. Sloupec s hodnotami poměrů správných odpovědí (proportion correct) poukazuje na typické výsledky stratifikovaného testu. Jak očekáváno, tyto poměry se zvyšují (od 0 do 1) se snižující se obtížností úlohy (mentální úrovně). Celkový poměr správných odpovědí je na optimální úrovni roven 0,5.

1

1917 byl vytvořen pro americkou armádu test Army Alpha (revize původního testu Examination a, který obsahoval 10 subtestů) o 8 subtestech. Tento test měl již známky podobnosti ke kognitivním částem moderního testu Armed Services Vocational Aptitude Battery (ASVAB) používaného v současnosti americkou armádou. Army Alpha a Army Beta (určen pro negramotné a ne anglicky mluvící brance) byly společně prvním širokoplošným testováním IQ (2 milióny mužů byly jím otestovány; Wainer 2000). Testovací vojenské programy se staly rozsáhlejšími za 2. světové války. V roce 1939 následovalo přepracování Army Alpha, tzv. Army General Classification Test (AGCT), který obsahoval 4 části. Posledním předchůdcem nynějšího testu ASVAB byl Armed Forces Qualification Test (AFQT).

Obr. 0 Příklad záznamu odpovědí v stratifikovaném testu (Weiss 1973) V roce 1974 publikoval M. D. Reckase informace o interaktivním počítačovém programu pro adaptabilní testování založené na jednoparametrovém logickém modelu (1PL model). Mezi další testy odvozené od Binetova testu patří například Lordova Flexilevel testing procedure (1980), Henningova Step Procedure (1987) a Lewisovy a Sheehanovy Testlety (1990), viz [ ]. Tyto testy pracují se sety úloh rozdělené podle obtížnosti. Testovací software předloží testovanému celý vybraný set úloh a teprve na základě jeho odpovědí na všechny úlohy v setu je určována úroveň obtížnosti následujícího setu otázek. V posledních letech se staly počítačové adaptivní testy široce používané, řada testovacích programů v USA, ale i v Evropě je zařadila do své nabídky. Jde např. o počítačovou adaptivní verzi testu Graduate Management Admission Test (GMAT), testu studijních předpokladů pro uchazeče o doktorské studium Graduate Record Examination (GRE)2 či o test pro získání licence zdravotní sestry National Council Licensure Examinations (NCLEX)3 používané v USA. Počítačové adaptivní verze některých dalších amerických testů jsou zatím ve výzkumných fázích, např. testy studijních předpokladů ACT (American College Testing Program), SAT (Scholastic Assessment Test) či test pro udělení lékařské licence USMLETM (Medical Licencing Examination). Výčet některých aktuálně dostupných počítačových adaptivních testů je uveden v tab. 1.

2

V roce 1993 poprvé zveřejnila největší světová testovací organizace ETS počítačovou adaptivní verzi testu GRE. Použití testu GRE v papírové verzi ETS pozvolna redukuje. 3 Nursing Boards zcela přešla již 1994 od papírové verze testu NCLEX k počítačovému adaptivnímu testu.

Tab. 1 Přehled některých počítačových adaptivních testů název testu Graduate Management Admission Test Graduate Record Examination National Council Licensure Examinations Armed Services Vocational Aptitude Test Battery Adaptive Matrices Test

zkratka GMAT

ETS (USA)

GRE

ETS (USA)

NCLEX

NCSBN (National Council of State Boards of Nursing; USA)

ASVAB

U.S. Department of Defence (USA)

AMT

CAT of Written English for Spanish Speakers

Computerized Adaptive Test of English

kdo ho vytvořil

CATE

Dr. Schuhfried GmbH (Rakousko) CAT research group at the Autonoma University of Madrid English Language and Learning Support of the Information and Learning Resource Services at Middlesex University (Velká Británie)

popis testu Test pro potřeby Graduate Management Admission Council. Test studijních předpokladů používaný v USA při přijímacím řízení na postgraduální studium. Test pro udělení licence pro zdravotní sestry.

internetový odkaz

Multiple-ability test battery.

www.usmilitary.com/ placementtests

Částí Vienna Test System, mimoverbální hodnocení všeobecné inteligence založené na deduktivním úsudku.

www.schuhfried.at/eng/ wts/amt

Test z angličtiny pro Španěle, je zadáván on-line.

Test angličtiny pro uchazeče o studium, kteří nemají angličtinu jako rodný jazyk.

www.review.cz www.mba.com/Takethe GMAT

www.ets.org/portal/site/et s

www.ncsbn.org/nclex

www.iic.uam.es/pdfs/ eCatPDF.pdf

www.ilrs.mdx.ac.uk/lang

V současné době je pozornost odborníků věnována i možnostem a úskalím zadávání CAT testů prostřednictvím internetu.

2 Počítačový adaptivní test (CAT) – pojetí, druhy a banka úloh Co je adaptivní počítačový test? Adaptivní (přizpůsobivé) testování prostřednictvím počítačů (computer-adaptive testing, CAT) je metoda zadávání a zpracování testů, která přizpůsobuje výběr testovacích úloh schopnostem testované osoby. Proto je také někdy nazýváno testováním na míru (tailored testing). Adaptivní počítačový test (computer adaptive test, CAT) je test, při kterém testovací software vybírá úlohy pro testovaného z relativně velké banky úloh podle jeho odpovědi/odpovědí na úlohu/úlohy předešlou/předešlé. Pokud testovaný odpoví správně, dostane úlohu obtížnější, pokud chybně, je mu zadána úloha snadnější. Volbou obtížnosti úloh se testovací software přibližuje úrovni schopnosti zkoušeného. Test většinou končí, když se výkon zkoušeného na dané úrovni schopnosti ukáže být jeho nejvyšším možným výkonem. S CAT je během testovacího procesu postupně odhadována relativní úroveň schopností testovaného vzhledem k referenční skupině (norm group) a testovací úlohy jsou vybírány na základě okamžitého odhadu schopností. Zkoušení tak dostávají úlohy, které maximalizují získání informací o jejich schopnostech. Díky tomu obdrží zkoušení jen velice málo úloh, které jsou pro ně příliš těžké nebo příliš lehké. Tento výběr testovacích úloh podle úrovně zkoušeného vede ke snížení standardní odchylky a k větší přesnosti testu při menším množství testových úloh. Adaptivní testování tedy vyžaduje aparát, který by dovedl smysluplným způsobem popsat úlohy a rozdíly mezi nimi, určit efektivní pravidla pro aktuální výběr úloh k zadání a dospět k výslednému skóru, aniž by byl závislý na konkrétním souboru zadaných úloh (Wainer; Mislevy 2000). Nejvhodnějším matematickým aparátem se ukazuje být teorie odpovědi na položku (IRT), a proto je na ní také založena většina současných adaptivních testů (např. Goldstein, Wood, 1989; Lord, 1980; Van der Linden, Hambleton, 1997; Wainer, 2000; Embretson, Reise 2000; Baker, Kim 2004). Na tvorbu CAT byly vyvinuty speciální software, např. nejnovější je program FastTEST Professional Testing System Version 2.0 (Fast TEST Pro) z roku 2006 od americké Assessment Systems Corporation (www.assess.com). Druhy CAT Adaptivní testy se od sebe liší tím, zda jsou v nich úlohy vybírány a posléze zadávány testovaným individuálně či baleny do bloků/ setů (multilevel či multistage tests, např. Jodoin 2003) nebo dokonce do malých testíků. Ve všech případech jsou vybírány na základě předchozí odpovědi či odpovědí na všechny úlohy v bloku. Nejjednodušším modelem adaptivního testu je test tvořený z tzv. screening testu (neadaptivní povahy), na jehož základě je podle jeho odpovědí testovanému přidělen buď test nižší či vyšší obtížnosti, opět s lineárním uspořádáním úloh. Drasgow; Luecht; Bennett (2006) rozlišují tři modely počítačového adaptivního testování: - CAT na úrovni úloh (item-level computer-adaptive testing); - CAT založený na testletech a počítačové mastery testy (testlet-based CAT and computerized mastery tests); - Strukturované počítačové adaptivní vícestupňové testy (Structured computer-adaptive structured computer-adaptive multistage tests). CAT na úrovni úloh (Item-level computer-adaptive testing) V tomto modelu se přizpůsobuje obtížnost testu každému testovanému na míru, a to úloha po úloze. Výběr úloh vychází z výkonu testovaného v úloze předchozí. CAT se tedy postupně vyvíjí v reálném čase pomocí software. Primárním kritériem je zde maximalizovat informační funkci testu, a tím minimalizovat chybu měření výsledku testovaného v testu. Obr. 1 zobrazuje, co se děje během CAT se skóry schopností testovaných (od -3 do +3; Ability Estimate, svislá osa) a asociovanými standardními chybami pro dva hypotetické testované (Examinee A, Examinee B) v testu o 50 adaptivně zadávaných úlohách (Item Sequence, vodorovná osa). Z obr. 1 je vidět, že

oba testovaní dostali na začátku úlohu průměrné obtížnosti (schopnost rovna nule, uprostřed svislé osy). Po zadání první úlohy se odhady schopností těchto testovaných začínají odlišovat, až dosáhnou přibližných skutečných hodnot schopností (-1 u testovaného B, +1 u testovaného A). Z obr. 1 je patrné, že testovanému A byly zadávány těžší úlohy než testovanému B. Také zde vidíme, jak rychle při testování klesá rozptyl chyby odhadů schopnosti a jak se zlepšuje efektivita testu.

Obr. 1 Úrovně schopností a standardní chyby pro CAT o 50 úlohách pro dva hypotetické testované Obr. 2 ukazuje efektivitu CAT oproti testu s náhodně vybranými úlohami. Graf zobrazuje průměrné standardní chyby odhadů schopnosti testovaných v průběhu zadávání 50 úloh (vodorovná osa). Chyby odhadů jsou průměrovány u testovaných mající rozdílné skóry schopností. Z obr. 2 je patrné, jak chyby měření v obou případech postupně klesají, i když u adaptivního testu více. Např. CAT po zadání 20 úloh dosahuje téměř stejnou efektivitu jako test s 50 náhodně vybranými úlohami (viz obr. 2).

Obr. 2 Průměrné standardní chyby pro CAT o 50-ti úlohách ve srovnání s testem s náhodně vybranými úlohami

CAT založený na testletech a počítačové mastery testy (Testlet-Based CAT and Computerized Mastery Tests) CAT založený na testletech (testletem rozumíme sadu úloh či „mini-test“) zahrnuje adaptivní administraci předem sestavených sad úloh testovaným. Jednotkou testu zde tedy není jednotlivá úloha, ale testlet. Po zadání testletu jsou všechny úlohy v něm okamžitě skórovány a na jejich základě je potom vybírán další testlet. Test je ukončen po zadání posledního testletu či po dasažení jiného ukončovacího kritéria. U takovýchto testů je banka úloh uspořádána do testletů, ve kterých se úlohy vyskytují právě jednou a neopakují se. Je tedy zřejmé, že tyto testy jsou jen částečně adaptivní, protože úlohy v rámci testletu jsou zadávány lineárně a nikoli adaptivním způsobem. CAT založený na testletech je podobný k počítačovému mastery testu (PMT). V originálním PMT jsou testlety vybírány náhodně z banky paralelních testletů. Test pokračuje – obvykle nad rámec nějakého minimálního počtu testletů – dokud není dosaženo předem stanovené minimální hodnoty standardní chyby ve vztahu k tomu, zda testovaný napsal test úspěšně či neúspěšně. Strukturované počítačové adaptivní vícestupňové testy (Structured computer-adaptive multistage tests = ca-MST) Strukturované počítačové adaptivní vícestupňové testy jsou adaptivní testy s vlastní administrací používající opět testlety. Základní jednotkou je zde tzv. „modul“ či „testlet“. Tyto moduly jsou předem sestaveny ze sady úloh o různém počtu od několika úloh až po např. 100 úloh. Z perspektivy testovaného se jeví ca-MST funkčně jako vícestupňové lineární testy. Obr. 3 zobrazuje třífázový ca-MST jako sérii tří modulů/ testletů. Po každé fázi probíhá skórování a následné nasměrování do další fáze, které je z velké části pro testované skryté. Z psychometrického hlediska splňuje každá série tří testletů statistické i obsahové požadavky. Testlety jsou baleny do tzv. panelů. Každý panel obsahuje čtyři až sedm (i více) testletů. Testlety jsou explicitně určeny pro konkrétní fázi a specifickou cestu uvnitř panelu (lehčí, průměrnou, těžší) založenou na průměrné obtížnosti testletu. Násobné (Multiple) panely mohou obsahovat i stejné úlohy. Obr. 3 představuje jeden z možných návrhů vícestupňového panelu typu 1-3-3 (1-3-3 multistage panel design). Jeden testlet je přidělen fázi 1 (A, stage 1), tři fázi 2 (B, C, D) a tři další testlety fázi 3 (E, F, G). Obtížnost každého testletu se určuje pomocí IRT informačních funkcí. Existuje tedy sedm explicitních cílových informačních funkcí testu tvořících základ pro panel typu 1-3-3 (viz obr. 3). Jde o tyto cesty: A+B+E, A+B+F, A+C+E, A+C+F, A+C+G, A+D+F a A+D+G. Mícháním testletů uvnitř panelů mohou být vytvořeny stovky nových panelů, pokud je banka úloh dostatečně rozsáhlá. Skórování odpovědí testovaných a výběr dalších úloh v reálném čase lze zjednodušit pomocí předem vytvořené tabulky odpovědí „score routing table“ pro každý panel. Mechanismus skórování a výběru úloh využívá kumulativní četnost správných odpovědí a předem stanovených hraničních skórů k napodobení kritéria maximální informace používaného v CAT. Taková tabulka je skrytou součástí panelu, příklad našeho panelu 1-3-3 vyžaduje deset hodnot skórů: A→B, A→C, A→D, A+B→E, A+B→F, A+C→E, A+C→F, A+C→G, A+D→F a A+D→G.

Obr. 4 Příklad uspořádání počítačového adaptivního vícestupňového testového panelu Počítačové adaptivní testy se používají k různým účelům: A) Buď chceme na jejich základě umístit každého testovaného podle jeho výkonu podél osy schopnosti nebo B) jen roztřídit testované do dvou či více širších kategorií (adaptive mastery testing, Kingsbury; Zara 1989 či computerized mastery testing, Sheehan; Lewis 1992). Dále se zaměřujeme kvůli zaměření této studie na adaptivní testy typu A) s individuálně zadávanými úlohami. Banka úloh Úlohy pro adaptivní test jsou shromažďovány v dostatečně velkém počtu v tzv. bance (někdy také databázi) úloh (item bank), která obsahuje min. 100 různorodých, dostatečně citlivých úloh (jak dobře úloha rozlišuje mezi studenty s různými schopnostmi) různých obtížností, vytvořená pro dané úrovně schopnosti θ (theta) testovaných a danou tématickou oblast. Obtížnost a citlivost úloh jsou získávány jako výsledek aplikace teorie testů. Existují různé modely, které je možno použít pro určení vlastností úlohy. Všechny modely předpokládají vztah mezi neměřitelnou schopností θ, měření. V případě CAT se zdá být nejvhodnější (viz výše) teorie odpovědi na položku (item response theory, IRT). Banka úloh by měla při použití IRT modelů obsahovat minimálně o 100% až 200% více testových úloh, než je úloh do testu navrhovaných. Davey; Pitoniak uvádějí, že by v bance mělo být 5 až 10 paralelních testových forem, i když ve skutečnosti je to trochu komplikovanější (Davey; Pitoniak 2006). Úlohy v CAT bance jsou většinou kvůli okamžitému (v reálném čase) automatickému (elektronickému) skórování úlohy uzavřené s výběrem odpovědi4 nebo úlohy otevřené se stručnou odpovědí. Na úlohy v CAT jsou samozřejmě kladeny stejně velké nároky jako na profesionální neadaptivní úlohy. V posledních letech však technologie pokročila kupředu a již dnes lze automaticky skórovat i krátké (open-ended items, Burstein 2003, Burstein; Chodorow, Leacock 2004). a dokonce i komplexní, široké otevřené úlohy z medicíny (Clauser; Schuwirth 2002). Formát úloh může být vzhledem k schopnostem počítače složitý (např. s komplexní grafikou či video nahrávkou). Banku je třeba navrhovat velmi pečlivě s ohledem na to, že testovaným je zadáváno při zachování stejné přesnosti méně úloh než v neadaptivním testu. Jednotlivé úlohy banky je proto zapotřebí kalibrovat, tj. odhadnout pro každou úlohu jednotlivé statistické parametry (obtížnost, citlivost) v závislosti na používaném IRT modelu. Toto odhadování musí probíhat na dostatečně velkém souboru osob, i když charakteristiky úloh nejsou na tomto souboru závislé a měření 4

Zahrnují vedle tradičních úloh s výběrem odpovědi (multiple choice) úlohy dichotomické (alternativní či truefalse), přiřazovací či pořádací.

schopnosti testovaného lze interpretovat i mimo populaci, pro kterou byl test standardizován (Hambleton 1991). Proces kalibrace je zdlouhavý, drahý a vyžaduje sběr empirických dat od velkého počtu testovaných. Obvykle je základem studie skupina 200-1000 i více testovaných. Snaha vyhnout se potřebě obrovských empirických výzkumů vede k používání systémů umělé inteligence a strojového učení (machine learning), kdy se empirická data nahrazují výsledkem namodelovaných postupů řešení úloh. Byl například vypracován CBAT-2 algoritmus, který vytváří vyrovnaný test zaměřený na přesně vymezenou část obsahu školního kurikula. Uvažování v rámci IRT je většinou unidimenzionální, proto bývá potřeba při budování banky úloh řešit problém multidimenzionality, např. vyvážením obsahu (content balancing, více např. Kingsbury; Zara 1991, Leung; Chang; Hau 2003) či rozdělením obsahu podle témat do jednotlivých subtestů (multiple scales, více např. Gialluca; Weiss 1979). Nastavení vyváženého obsahu se provádí z toho důvodu, aby žádná část testované oblasti nebyla testována výrazně více než jiná. Také je třeba dbát na to, aby některé úlohy neřešilo mnohem více testovaných (studentů) než úlohy jiné. Může to být dáno drobnými odlišnostmi v obtížnosti a rozlišovací schopnosti úloh, které vedou k jejich častějšímu výběru. Úloha, která by se objevovala ve většině testů, by se mohla stát veřejně známou a ovlivnit tak průběh testu. Přílišné nadužívání úloh je tedy nežádoucí. Stejně tak položka, která by se v testech příliš nevyskytovala, by byla zbytečně připravována. Proto některé testovací algoritmy sledují četnost použití jednotlivých úloh a při překročení stanoveného limitu, jsou takové úlohy dočasně vyřazeny z dalšího testování. Tak se v testu postupně objeví všechny úlohy. Otázkou však zůstává, zda odstranění některých úloh (zvláště těch, které se ukázaly jako vhodné) nezmění výsledky testů. Při ověřování vlivu použití kontroly četnosti na testy se ukázalo, že tímto způsobem může dojít k určitému snížení přesnosti měření a také k určitému prodloužení testů (T.J.H.M. Eggen, 2004, ). Pokud není velké riziko prozrazení úloh, nemusí se omezení počtu použití aplikovat.

3 Proces administrace a skórování CAT (přehled) Proces administrace počítačového adaptivního testu se skládá ze dvou základních kroků: z výběru úlohy a z odhadu úrovně schopnosti testovaného. Oba kroky se vždy po zodpovězení úlohy testovaným opakují. Při zadávání adaptivního testu vybírá počítač na základě předem zjištěných parametrů (určených IRT kalibrací úloh v bance) takové úlohy, které o daném testovaném s určitou odhadovanou úrovní schopnosti θ podávají maximální množství informace. Nejcitlivější úloha rozlišuje mezi jedinci, u kterých se úroveň θ vyskytuje v blízkosti hodnoty obtížnosti dané úlohy. Počítačový adaptivní test založený na IRT pracuje následovně (viz obr. 5). Cílem testu je zjistit, co testovaný ví o daném tématu. Jinými slovy chceme co možná nejpřesněji odhadnout úroveň jeho schopnosti θ.

výběr úlohy z banky

použití odpovědi k zpřesnění odhadu schopnosti testovaného

zadání úlohy

Test ukončen? Banka úloh

výběr další úlohy z banky

NE

ANO

výpočet konečného odhadu schopnosti testovaného

Obr. 5 Proces administrace CAT (upraveno podle Davey; Pitoniak 2006) Nejprve počítač vytvoří počáteční odhad schopnosti θ testovaného, který buď může být pro všechny testované shodný (průměr schopností předešlých testovaných) nebo může být stanoven pro každého testovaného zvlášť na základě nějaké dostupné informace o něm (např. výkon v předchozích testech, známka, informace od učitele). Odpověď testovaného je poté okamžitě skórována a podle množství informace, kterou úloha podává na aktuální úrovni jeho schopnosti θ

počítač vybírá (s určitou tolerancí) z banky úloh úlohu s maximálním množstvím informace.5 Ta je obvykle vybírána podle tzv. pravidla kroku (step-rule). Odpoví-li testovaný na první úlohu správně, je původní odhad jeho schopnosti θ zvýšen o určité číslo (často o 0,5 či 1), když chybně, je odhad snížen o stejné číslo. Tento postup se opakuje do té doby, dokud testovaný nezíská vzorek odpovědí (response pattern) skládající se minimálně z jedné chybné a jedné správné odpovědi. Poté se pro výpočet nového odhadu θ, který je založen na všech předchozích odpovědích, použije metoda maximální věrohodnosti6 (maximum likelihood estimation). Po zadání a skórování každé další úlohy je odhad θ testovaného opět upraven a na jeho základě vybrána další ještě nezadaná úloha, která poskytuje největší informaci. Odhad schopnosti testovaného je s každým krokem zpřesňován. Proces počítačového adaptivního testování (zpravidla konvergentního) znázorňuje obr. 6.

schopnost θ testovaného Obr. 6 Proces výběru úloh (upraveno podle Alessi; Trollip 2001) Obr. 7-9 objasňují výběr úloh podle „maximální informace“ v CAT. Na obr. 7 vidíme kromě informačních křivek 10ti úloh počáteční odhad schopnosti θ = 0 pro hypotetického testovaného (viz svislá čára). Vodorovná osa je osa schopnosti θ testovaného, svislá osa určuje množství informace. Hodnoty informace jsou vypočteny pro všechny úlohy na této úrovni θ. Z obr. 7 je zřejmé, že úloha 6 podává největší množství informace ze všech 10 úloh pro úroveň schopnosti θ = 0 (viz svislá čára). Proto je tato úloha počítačem vybrána, zadána testovanému a poté okamžitě skórována.

Obr. 7 Informační funkce 10 úloh Na základě tohoto skóru (zde: chybně) je určen nový odhad θ = -1 (zde: použit krok o velikosti 1). Podle množství informace je dále vybrána úloha 4 (obr.8), protože poskytuje pro θ = -1 nejvíce informace, a skórována.

5 6

Množství informace se stanovuje pomocí informační funkce z IRT. Metodou maximální věrohodnosti se odhaduje schopnost jedince jako maximální hodnota určité pravděpodobnostní funkce (Hambleton 1991). Jiná běžně používaná metoda pro odhad θ testovaného je Bayesova metoda odhadu.

Obr. 8 Informační funkce 9 úloh Za předpokladu, že úlohu 4 testovaný zodpoví správně, čímž získáme vzorek jedné chybné a jedné správné dopovědi, můžeme použít metodu maximální věrohodnosti k dalšímu odhadu θ. Výsledkem je θ = -0,5. Dále tedy byla vybrána úloha 5 (obr. 9).

Obr. 9 Informační funkce 8 úloh Tento proces pokračuje tak dlouho, dokud není splněno kritérium pro ukončení testu.

Kritéria pro ukončení testu U adaptivních testů fixní délky je test ukončen po vyčerpání všech úloh. Všem testovaným je tedy zadán stejný počet úloh bez ohledu na chybu měření asociovanou s jejich skórem. U CAT variabilní délky končí test, když je dosaženo předem stanovené přesnosti měření. Jednou z důležitých charakteristik CAT je to, že kritérium ukončení CAT se může lišit podle cílů testování (zda jde o testy rozlišující či ověřující). S každým odhadem θ je spojena standardní chyba odhadu (standard error of estimate, SEM), protože pokaždé, kdy počítačový program počítá odhad schopnosti θ, je málo pravděpodobné, aby byl tento odhad naprosto přesný. Avšak je možné udat interval, v kterém se odhad bude pohybovat. Tento interval se zmenšuje, je-li zadáno více úloh, což je zřejmé, protože odhad se zpřesní, když se nashromáždí více informací. Program ukončí zadávání úloh v okamžiku, když chyba odhadu je přijatelně malá, tedy když je jisté, že daný odhad je dostatečně blízko k reálné úrovni schopnosti testovaného.

4 Stručně o teorii odpovědi na položku (item response theory, IRT) Problematika teorie odpovědi na položku (IRT) je velmi rozsáhlá a zásadně přesahuje rámec této studie, proto dále uvádíme pouze přehled jejích základních myšlenek. Otázka odhadu položkových parametrů a odhadu úrovně schopnosti testovaných je pro svůj poměrně složitý matematický aparát pouze nastíněna, je nutné ji řešit za pomocí software (viz např. Embretson; Reise 2000, Hambleton; Swaminathan; Rogers 1991). I když u nás ještě teorie odpovědi na položku (item response theory, IRT) není zatím příliš známa 7, její pojetí a metodologie byly vyvinuty před více než tři čtvrtě stoletím. Na prakticky aplikovatelné úrovni byla zpracována v posledních 20 letech a ve světě se běžně používá při vývoji nástrojů pro širokoplošné testování. Testy (tedy i jednotlivé úlohy) vyvinuté na základě teorie odpovědi na položku8 (item response theory, IRT) překonávají nedostatky testů vytvořených pomocí klasické teorie testu (KTT). Nejdůležitějšími z nich je závislost charakteristik úloh (tím se míní zejména obtížnost a citlivost úloh) na souboru testovaných, kterým byly položky zadány, a skutečnost, že KTT nahlíží na položky výhradně v kontextu konkrétního testu, tj. položky nejsou od celku testu oddělitelné (položky jsou korelovány s celkovým skórem). Nelze předpokládat, jak testovaný v úloze odpoví. Oproti tomu IRT uvažuje o položkách a jejich vlastnostech samostatně, nezávisle na souboru testovaných. IRT modely popisují očekávaný vztah charakteristik úloh (položkových parametrů) a úrovně měřeného latentního rysu/ schopnosti (charakterizuje testované, řídí jejich odpovědi, avšak je na charakteristikách položek nezávislá) pomocí pravděpodobnosti správné odpovědi. Tento vztah lze matematicky popsat tzv. charakteristickou křivkou nebo-li funkcí položky (viz dále). IRT předpoklady Pro dichotomická a polytomická data bylo vyvinuto množství různých IRT modelů. My se zaměříme na IRT pro binárně (dichotomicky) skórované úlohy, která je založena na dvou základních předpokladech (Hambleton; Swaminathan; Rogers 1991): 1) odpověď testovaného na příslušnou testovou položku lze předpovědět či vysvětlit souborem latentních rysů nebo-li schopností testovaného (označených řeckým písmenem theta θ ). Latentní rysy nejsou přímo měřitelné, ale předpokládá se, že se projevují v chování testovaného a ovlivňují jeho odpovědi. Jsou na testu nezávislé. 2) vztah mezi odpovědí testovaného v testové položce a jeho schopnostmi může být matematicky popsán funkcí pravděpodobnosti správné odpovědi na položku P(θ), tzv. charakteristickou křivkou/ funkcí položky (item charakteristic curve/ function, ICC). Tato křivka esovitého tvaru zachycuje, jak při rostoucí úrovni schopnosti θ roste pravděpodobnost správné odpovědi. Tvar a polohu křivky (viz obr.10) určují podle zvoleného modelu jeden až tři parametry – obtížnost (b), diskriminační schopnost (citlivost) úlohy (a) a pseudonáhodný parametr hádání (c).

7

O IRT informovali zatím jen Komenda (2003), Denglerová (2003, 2005), Urbánek; Šimeček (2001), Jelínek; Květoň; Denglerová (2006). 8 Položka je jinými slovy úloha.

∆ parametru a ∆ parametru b

P()

∆ parametru c

 Obr. 10 Ukázka charakteristické křivky položky (upraveno podle Chong 2006) IRT modely Vztah mezi úrovní latentního rysu/ schopnosti  a pravděpodobností správné odpovědi P(  ) na dichotomicky skórovanou položku lze popsat více či méně přesně třemi různými unidimenzionálními modely9 nebo-li logistickými funkcemi (Hambleton; Swaminathan; Rogers 1991). Modely zahrnující různé parametry, kde parametr b je obtížnost, a rozlišovací schopnost and c pseudonáhodný faktor. 1-parametrový logistický model nebo-li Raschův model Nejjednodušším a současně nejrozšířenějším IRT modelem, nazývaným podle dánského matematika Raschův model, je 1-parametrový model, který obsahuje pouze parametr obtížnosti. Tento model je tedy vhodný pro testy složené z přibližně stejně citlivých úloh. Má tvar

Pi ( ) 

e D ( bi ) , 1  e D ( bi )

i = 1, 2, .., n, kde

Pi(  ) je pravděpodobnost, že náhodně vybraný testovaný se schopností  vyřeší úlohu i správně; nabývá hodnot od 0 do 1 D je konstanta rovna 1,7, pomocí které se distribuční funkce normálního rozdělení (ogiva) převádí na výhodnější logistickou funkci (protože obě funkce mají velmi podobný průběh) b je parametr obtížnosti úlohy (viz výše)  je úroveň schopnosti (latentního rysu) testovaného Obr. 11 zobrazuje charakteristické křivky dvou úloh, které se liší jen s ohledem na obtížnost. Úloha 2 je snazší než úloha 1, protože bod X1 leží vzhledem k ose  blíže k nule než X2. ICC úlohy 1 leží více vpravo.

9

Vedle unidimenzionálních modelů (jsou nejjednodušší, pracují pouze s jedním latentním rysem) existují pro binární data také multidimenzionální modely, v kterých dvě nebo více úrovní latentního rysu ovlivňují výkon testovaného (více viz např. Embretson; Reise 2000). Řada modelů vznikla také pro polytomické formáty odpovědí na položky či pro škály.

Pi(θ) úloha 2

úloha

+1227 2ŽCC 1++ 1+1

1



Obr. 11 ICC úloh 1 a 2 s rozdílnou obtížností Vodorovnou osu tvoří úroveň schopnosti testovaného , svislou pravděpodobnost správné odpovědi na úlohu (upraveno podle Urbina 2004). 2-parametrový logistický model nebo-li Lordův model 2-parametrový model poprvé zavedl v 50. letech 20. stol. Lord, v 60. letech 20. století se jím zabýval Birnbaum. Tento model, zřejmě zobecněním 1-parametrového modelu, uvažuje vedle obtížnosti položky (b) také její citlivost (a). Používá se u otevřených úloh. Má tvar

Pi ( ) 

e Dai ( bi ) , i = 1, 2, .., n, kde 1  e Dai ( bi )

a je parametr vystihující diskriminační schopnost položky10.

Na obr. 12 jsou charakteristické křivky dvou úloh, které se liší v obtížnosti a citlivosti. Úroveň schopnosti asociovaná s 50% pravděpodobností správné odpovědi je trochu vyšší u úlohy 1 (x1) než u úlohy 2 (x2). Kromě toho stoupání (strmost) těchto dvou křivek, které ukazuje poměr změny ve schopnostech a změny v pravděpodobnosti správné odpovědi, se liší. Úloha 2 jakožto strmější v prostředním úseku je citlivější než úloha 1. Křivky, které se protínají jako v tomto případě, jsou nežádoucí. Pi(θ)

úloha 2

úloha 1

θ Obr. 12 ICC úloh 1 a 2 s rozdílnou obtížností a citlivostí. Vodorovnou osu tvoří úroveň schopnosti testovaného , svislou pravděpodobnost správné odpovědi na úlohu (upraveno podle Urbina 2004). 3-parametrový logistický model

10

Ostatní proměnné a konstanta D jsou shodné s 1-parametrovým modelem.

3-parametrový model, který je vhodný pro úlohy s výběrem odpovědi, navrhl Birnbaum. Tento model je dán tvarem

Pi ( )  ci  (1  ci )

e Dai ( bi ) , i = 1, 2, .., n, kde 1  e Dai ( bi )

c je parametr hádání a nabývá hodnot od 0 do 1, ale ze své povahy by neměl být vyšší než 1/k, kde k je počet nabídek pro položku Kromě parametrů a a b zahrnuje 3-parametrový model také parametr hádání c, jehož hodnota vyjadřuje pravděpodobnost dosažení správné odpovědi při tzv. slepém hádání nezávisle na schopnosti  (u úlohy se 4 nabízenými odpověďmi je pravděpodobnost uhádnutí 0,25). U tohoto modelu již díky parametru c není dolní asymptotou charakteristické křivky úlohy hodnota 0 jako u 1- a 2-parametrického, ale c. Tím je parametr obtížnosti položky určen bodem na škále schopnosti, v němž P(  ) = (1 + c)/2. Parametr a je stále úměrný strmosti ICC v bodě b = 0, přičemž zde je tato strmost rovna a(1 - c)/4. Obr. 13 zobrazuje ICC křivky dvou úloh, které se liší třemi parametry: a, b a c. ICC úlohy 1 je strmější než ICC úlohy 2, tj. úloha 2 zřejmě nerozlišuje mezi jedinci různých úrovní  tak dobře jako úloha 1. Dle ICC úlohy 2 lze usoudit, že i testovaní nízkých úrovní  jsou schopni správně uhádnout odpověď na úlohu 2, parametr c je u této úlohy vyšší než u úlohy 1 (blíže k 0 na svislé ose). Navíc 50% pravděpodobnost úspěchu je asociovaná s vyšší úrovní schopnosti (X2) u úlohy 2. Úloha 2 je tedy obtížnější než úloha 1. Úloha 2 je proto zřejmě z hlediska měřitelných charakteristik méně vhodná než úloha 1. Pi(θ) úloha 1

úloha 2

θ Obr. 13 ICC úloh 1 a 2 s rozdílnou obtížností, citlivostí a různým parametrem hádání. Vodorovnou osu tvoří úroveň schopnosti testovaného, svislou pravděpodobnost správné odpovědi na úlohu (upraveno podle Urbina 2004). Informační funkce testu Co se týče přesnosti měření testu, hlavním rozdílem mezi IRT skóry a tradičními testovými skóry11 je to, že IRT skóry mají rozdílnou přesnost (chybu měření) pro různé úrovně schopnosti (proficiency) testovaných. Reliabilitě testových skórů v KTT odpovídá v IRT množství informace, které test podává svými úlohami. Množství informace o jednotlivých položkách lze matematicky určit tzv. informačními funkcemi (IIF, item information function) zvonovitého tvaru. Informační funkce testu I ( ) pro danou  je definována jako součet informačních funkcí I i ( ) jednotlivých položek pro tuto  , protože úlohy jsou na sobě nezávislé (Hambleton; Swaminathan; Rogers 1991): n

I ( )   I i ( ) , kde I i ( )  i 1

11

P ( ) ´

i

2

Pi ( )Qi ( )

, i = 1, 2, .., n,

V KTT je standardní chyba měření konstantní pro všechny dosažené skóry a je specifická pro danou populaci.

kde Pi ( ) je charakteristická funkce položky i, Qi ( )  1  Pi ( ) a Pi´ ( ) je první derivace Pi ( ) . Ze vzorce plyne, že hodnota informační funkce testu závisí na počtu úloh v testu a průměrné hodnotě parametrů citlivosti testových úloh dle zvoleného IRT modelu. Jelikož s počtem položek roste množství informace, měří test jako celek danou schopnost mnohem přesněji než jedna položka. Tvar této funkce závisí na rozložení hodnot parametrů obtížnosti úloh po ose schopnosti a na rozložení a průměrné hodnotě parametrů citlivosti testových úloh. Úloha měří schopnost s největší přesností, tj. nejlépe rozlišuje mezi testovanými s úrovní schopnosti odpovídající hodnotě parametru b obtížnosti úlohy. To znamená, maximální hodnoty dosahuje informační funkce v blízkosti hodnoty parametru obtížnosti dané položky (viz obr. 4-5). Množství informace poskytované úlohou klesá se vzdalováním úrovně schopnosti  od obtížnosti úlohy a přibližováním k nule na obou koncích osy schopnosti  . Je-li množství informace malé (viz obr. 4-5, úloha 6), nedá se schopnost přesně odhadnout a odhady budou široce rozprostřeny kolem skutečné schopnosti. Takové úlohy jsou statisticky téměř nepoužitelné do testu. Je-li množství informace velké, může být hodnota schopnosti  testovaného odhadována přesně, tzn. všechny odhady budou rozumně blízko ke skutečné hodnotě dané úrovně schopnosti. Parametr citlivosti úlohy značně ovlivňuje maximální množství informace pro odhad schopnosti, která je dána úlohou (viz obr 4-5, informační křivky úloh 1 a 2. Hodnoty a < 1 vedou k nízké hodnotě množství informace testu, hodnoty a > 1,7 vedou k vysoké hodnotě množství informace testu. Protože množství informace testu snižují hodnoty c > 0 pro nízké úrovně schopnosti a velké hodnoty c obecně pro všechny úrovně schopnosti (u 3-parametrového modelu), je tendence přizpůsobovat data spíše 1- či 2-parametrovému modelu (kde c = 0, např. Hambleton aj. 1991, Baker 2001).

theta

Obr. 14 Ukázka informačních křivek šesti úloh, které se liší množstvím informace, které podávají pro danou úroveň schopnosti  (upraveno podle Hambleton aj. 1991) Na obr. 14 jsou informační křivky šesti úloh, které se liší množstvím informace, které podávají pro danou úroveň schopnosti  testovaných. Úloha 1 podává nejvíce informace pro  = 1, (maximální hodnota informační funkce), pro  = -1 a  = 3 již žádnou. V úloze 2 se maximum informace soustřeďuje také kolem  = 1, na obou svých koncích potom podává stejně málo informace. Úloha 3 podává sice nejvíce informace opět pro  = 1, ale mnohem méně než úlohy 1 a 2. Úloha 4 podává nejvíce informace pro  = -1,5, atd. Na základě maximálních hodnot informace lze usuzovat, že úlohy 1, 2, 3 jsou těžší než úlohy 4 a 5. Nejméně citlivá je úloha 6, protože podává velmi málo informace pro všechny schopnostní úrovně. Množství informace, které test podává pro hodnotu , je v inverzním vztahu k přesnosti (vyjádřena standardní chybou měření), s kterou je schopnost  odhadována:

SE ( ˆ ) 

1 , I ( )

kde SE ( ˆ ) je standardní chyba odhadu úrovně  testovaných testem s informačním přínosem I ( ) (Urbánek; Šimeček 2001). Ta je koncepčně ekvivalentní k standardní chybě měření v KTT, ale na rozdíl od chyby měření v KTT umožňuje zobecnění na různé populace. Čím více informace test na dané úrovni schopnosti poskytuje, tím menší je chyba, s níž je úroveň schopnosti odhadována (viz obr. 15). TEST0001 FORM:

1 0.90

6

5

0.72

0.54 3 0.36

Stan d ard Erro r

In fo rmatio n

4

2

0.18

1

0

-4

-3

-2

-1

0

1

2

3

4

0

Scale Score

Obr. 15 Ukázka informační funkce testu a standardní chyby měření v testu OSP, varianta A, PedF UK 2006 (výstup z programu BILOG-MG).

Kalibrace aneb stanovení položkových parametrů Stanovení položkových parametrů (tj. kalibraci) a (citlivosti), b (obtížnosti), c („hádání“) předchází zpravidla klasická položková analýza, pomocí které vyřadíme úlohy s velmi malou citlivostí (hodnota ukazatele citlivosti blízko nuly nebo záporná), abychom zaručili konvergenci při kalibraci parametrů. K výběru dobrých položek se využívá jejich informačních funkcí (informace úloh se liší pro různé úrovně schopnosti  testovaných), pomocí kterých můžeme vybrat s velkou přesností úlohy odpovídající námi zvolené úrovni schopnosti . Úlohy s vyššími hodnotami parametru a poskytují více informace o skórování testovaných a tím větší přesnost. Chceme-li například vytvořit test s takovým hraničním skórem, který vytřídí 50% testovaných, vybereme úlohy s vysokými hodnotami a a s hodnotami b blízko nuly (průměrná schopnost ). Podle informačních funkcí položek vybereme tedy takové, které podávají maximální informaci pro hodnoty  = 0. Nakonec zkontrolujeme náš výběr pomocí informační funkce testu, která je výsledným součtem informačních funkcí jednotlivých položek, a křivky standardní chyby. Standardní chyba by měla být pro oblast okolo  = 0 co nejmenší. Parametry položek Obtížnost položky

Obtížnost položky je vyjádřena parametrem b (difficulty parametr nebo threshold), který teoreticky může nabývat hodnot od -  do + , ale v praxi se jeho hodnota pohybuje mezi -3 a 3 (Baker 2001). Čím větší je b, tím obtížnější je úloha. Graficky je obtížnost úlohy dána polohou charakteristické křivky (ICC) vzhledem k ose schopností θ. Jde o bod na ose schopnosti, pro který je pravděpodobnost správné odpovědi rovna 0,5, resp. (1+c)/2 u 3-parametrového modelu. Čím je ICC položena více doprava vzhledem k vodorovné ose θ , tím těžší je úloha. Sečteme-li charakteristické funkce položek v celém testu, můžeme výslednou charakteristickou funkci testu použít k předpovídání skórů testovaných s danou úrovní schopností θ. Je-li test složen z relativně obtížných úloh, je charakteristická funkce testu posunuta doprava a testovaní mají tendenci k nižším očekávaným skórům než je tomu u relativně snadných položek. Citlivost (diskriminační schopnost) položky Diskriminační schopnost položky je dána parametrem a (discrimination parameter), který teoreticky může nabývat hodnot od -  do +  (Baker 2001), ale v praxi se jeho hodnota pohybuje obvykle mezi 0 a 2,8 (Baker 2001). Čím větší je hodnota a, tím lépe úloha rozlišuje mezi testovanými nalevo a napravo od své polohy. Graficky se citlivost úlohy projevuje strmostí ICC v jejím prostředním úseku. Čím větší sklon má křivka (čím je strmější), tím má úloha lepší rozlišovací schopnost, tím je citlivější. Strmost křivky, a tím také parametr a dosahuje své maximální hodnoty v bodě, ve kterém se úroveň schopnosti θ rovná obtížnosti položky. To znamená, b označuje bod na ose schopnosti θ, v kterém úloha nejlépe rozlišuje mezi testovanými. Negativní parametr a citlivosti značí něco chybného v úloze. Buď se jedná o úlohu s technickými nedostatky nebo jde o dezinformaci zpravidla mezi studenty s vysokou úrovní schopnosti. Baker (2001) uvádí doporučené hodnoty parametru a (viz tab. 2). Tab. 2 Doporučené hodnoty parametru citlivosti a pro logistické modely položek. a (logistický) 0 0,01-0,34 0,35-0,64 0,65-1,34 1,35-1,69  1,7 +

a (normální) 0 0,006-0,2 0,206-0,376 0,382-0,788 0,794-0,994 1 +

citlivost úlohy žádná velmi nízká Nízká Přiměřená Vysoká velmi vysoká perfektní

Pro převod z logistického modelu na model podobný normální ogivě je potřeba hodnoty vydělit číslem 1,7 (normal ogive model value, scaling factor). Uhádnutelnost položky Uhádnutelnost položky je dána tzv. pseudonáhodným parametrem c (guessing parameter, pseudochance-level parameter), který udává, jak velká je pravděpodobnost uhádnutí správné odpovědi na všech úrovních osy schopnosti. Jeho hodnota se teoreticky pohybuje mezi 0 a 1, v praxi většinou mezi 0 a 0,35 (Baker 2001). Čím je tento parametr vyšší, tím výše na svislé ose P(θ) je dolní asymptota charakteristické křivky položky. Když b < 0 a a < 1, pak c není zřejmé (Baker 2001). Pokud data odpovídají zvolenému modelu, což se většinou zjišťuje statisticky  2 testem či grafickou metodou pomocí specializovaného software12, můžeme sebraná data o testových a položkových skórech využít k odhadování parametrů testových položek, které rozmístí testované a 12

Četné statistické metody k ověření vhodnosti modelu uvádějí např. Hambleton; Swaminathan; Rogers 1991, Orlando; Thissen 2000 aj.s

úlohy na ose schopnosti. Parametry jsou numerické hodnoty, které specifikují formu vztahu mezi naměřenými schopnostmi a pravděpodobností určité odpovědi. Stanovení parametrů (jejich odhadování z výsledků testu) je poměrně náročné, neboť vyžaduje iterativní postupy, které však za nás může provádět příslušný software. V IRT se toto odhadování parametrů nazývá kalibrací testu. Jak již bylo zmíněno, jsou parametry schopnosti (charakterizující testované) nezávislé na testových položkách, s jejichž pomocí jsou kalibrovány, a položkové parametry nezávislé na pravděpodobnostním rozdělení schopnosti ve skupině testovaných. Techniku kalibrace testu navrhl jako první koncem 60. let 20. století A. Birnbaum, jak uvádí Komenda (2003), a od 70. a 80. letech byl potom navrhován výpočetní software. Dnes se k odhadování IRT parametrů používají programy jako je např. TESTFACT, BILOG-MG, XCALIBRE, MULTILOG, PARSCALE či RUMM. Odhadování parametrů testové úlohy a schopnosti testovaného V IRT modelech závisí pravděpodobnost správné odpovědi na schopnostech testovaného a na parametrech, které úlohu charakterizují. Při použití těchto IRT modelů lze oproti KTT z odpovědí na úlohy získat odhady parametrů testových položek, a to nezávisle na znalostech testovaných. Tzn. odhady parametrů testové položky nezávisejí na úrovni schopnosti studentů, kteří tuto položku řeší. Číselné hodnoty parametrů jsou tedy vlastností položky a ne skupiny testovaných, která na položku testu odpovídá. Specifikují formu vztahu mezi měřenými schopnostmi a pravděpodobností určité odpovědi na položku. Nejpoužívanějšími technikami odhadování parametrů testové položky i schopnosti jsou metoda maximální věrohodnosti (maximum likelihood procedure) a Bayesova metoda odhadování parametrů. Dále nastíníme pouze metodu maximální věrohodnosti. Odhadování parametrů testové úlohy nezávisle na znalostech testovaných K určení parametrů testové úlohy použijeme např. metodu maximální věrohodnosti (Joint maximum likelihood procedure), která je aplikovatelná na všechny tři parametrické modely. Předpokládáme, že parametry schopnosti jsou známy. Jak uvádí Komenda (2003), je základním krokem najít charakteristickou funkci položky, která by nejpřesněji vystihla empirické četnosti správných odpovědí. Za matematický model vyrovnávací křivky je třeba si zvolit jeden ze tří IRT modelů, např. dvouparametrový. Nejprve se zvolí počáteční číselné hodnoty parametrů b a a a vypočítají se pro ně hodnoty pravděpodobnosti správné odpovědi P( i ) pro každou úroveň schopnosti. Potom se vyhodnotí shoda mezi empirickými hodnotami p( i ) a právě vypočítanými modelovými hodnotami P( i ) ve všech hodnotách  . Najdou se korekce stávajících hodnot obou parametrů, které povedou k lepšímu přiblížení teoretické křivky. Tento iterativní postup se opakuje tak dlouho, dokud nejsou korekce zanedbatelně malé. Tím odhadování končí, číselné hodnoty obou parametrů vypočítané jako poslední se považují za konečné odhady b a a určující tvar teoretické charakteristické křivky položky. Odhadování parametrů schopnosti testovaného V IRT je účelem aplikace testu zjistit, kde se zkoušený umisťuje na ose schopnosti  . Test k měření neznámé latentní vlastnosti (schopnosti) je tvořen n položkami, z nichž každá měří určitou stránku této vlastnosti. Při odhadování neznámé hodnoty parametru schopnosti testovaného budeme předpokládat, že číselné hodnoty parametrů testových položek jsou známy. Z toho plyne, že hodnoty známých položkových parametrů a parametrů schopnosti mají společnou metriku. K odhadu parametru schopnosti se využívá vedle známých hodnot položkových parametrů také vektor odpovědí testovaných (složený z 0 a 1 kvůli dichotomického skórování). Opět použijeme iterativní metodu maximální věrohodnosti. Nejprve zvolíme počáteční hodnotu schopnosti zkoušeného a vypočítáme pravděpodobnost jeho správné odpovědi (pomocí známých položkových parametrů) na každou položku testu. Vypočítané pravděpodobnosti se mají co nejvíce

shodovat s vektorem odpovědí testovaného. Potom provedeme korekci odhadu schopnosti. Tím získáme přesnější hodnotu parametru schopnosti. Postup opakujeme tak dlouho, dokud korekce není zanedbatelně malá. Výsledkem je číselný odhad parametru schopnosti studenta. Tento proces se provádí odděleně pro každého testovaného. Postupné přiblížení k hledané hodnotě parametru schopnosti jedince se vypočítává podle vzorce:

 a u n





 s 1   s 

i 1 n

a i 1

i

2

i

  Pi ( s )



  P ( s )Qi ( s )



, kde  s je odhadnutá schopnost testovaného v kroku (iteraci) s, ai je

i i

diskriminační parametr položky i, ui je odpověď testovaného na položku i (ui = 1 pro správnou   odpověď, ui = 0 pro chybnou odpověď), Pi ( s ) je pravděpodobnost správné odpovědi, Qi ( s ) = 1 -

 Pi ( s ) je pravděpodobnost chybné odpovědi na položku i pro zvolený IRT model ICC a na úrovni

schopnosti θ v iteraci s. Odhad schopnosti studenta nezávisí na tom, jaké položky se pro tento odhad použily, pokud všechny položky měří tu samou latentní vlastnost a hodnoty všech položkových parametrů mají společnou metriku. Necháme-li tedy testovaného řešit dva paralelní testy po 15 položkách s různou průměrnou obtížností a jeho odpovědi využijeme k odhadu jeho schopnosti, měli bychom dostat v obou případech stejnou hodnotu odhadu schopnosti.

5 Výhody a nevýhody CAT oproti konvenčním testům V této krátké části studie si všimneme výhod a nevýhod CAT ve srovnání s konvečním testováním, tj. testováním „tužka - papír“ (TTP) a testováním pomocí počítače, které však nevyužívá adaptability (CT).

Výhody CAT CAT poskytuje přesnější výsledky Informace o úrovni zjišťované charakteristiky testovaného, např. o vědomostech a intelektových dovednostech v určitém oboru či stanovení jeho testového profilu) jsou u CAT přesnější než jsou ty, které získáme u konvenčních testů. U konvenčních testů získáváme nejpřesnější výsledky u testovaných, jejichž úroveň zjišťované charakteristika je v pásmu průměrných výkonů referenční skupiny. Směrem k oběma extrémům (podprůměrným a nadprůměrným testovaným) pak klesá. Navíc, dvě nebo tři málo validní úlohy mohou výrazně ovlivnit především pak u mastery testů. CAT jsou založeny na výběru úloh z banky, která obsahuje velký počet úloh, jež prošly kalibrací, tj. analýzou pomocí IRT. To, a způsob výběru úloh v průběhu CAT testování, umožňuje větší citlivost testování na rozdíly mezi jedinci vyjádřené v celém rozpětí skupiny testovaných. CAT je kratší Doba testování CAT je ve srovnání s konvenčními testy při stejné nebo i větší přesnosti výrazně kratší - uvádí se, že činí 40-50 %. CAT - tempo testování CAT umožňuje testování předem stanovené délky nebo individuálním tempem. CAT probíhá v „přátelštějším“ prostředí Mnoho testovaných vnímá CAT jako příjemnější test, neboť je v jeho průběhu konfrontována se zvládnutelnými úlohami s pro ně přiměřenou obtížností, protože je u každého tetovaného je omezen počet, pro něj příliš obtížných a pro něj příliš snadných otázek. Tím je zvýšena motivace zkoušených. Díky kratší celkové době testování a menšímu počtu úloh udrží testovaní také snáze pozornost.

CAT je „bezpečnější“ Protože každému testovanému je zadáván jiný sobor úlohek, snižuje se výrazně možnost „opisování“. Snižuje se i riziko prozrazení zadání jednotlivých úloh. CAT poskytuje okamžitý výsledek CAT technologie umožňuje testovaným a dalším zájemcům získat okamžitou zpětnou vazbu. Díky možnosti uložit výsledků v elektronické formě je snadné sledovat vývoj výkonů zkoušeného v čase. Tuto přednost mají i CT nikoli však TTP. CAT - multimediální možnosti Zvuk, obraz, jejich propojení, i využití internetu a nosičů informací vytváří dříve nebývalé možnosti navrhování a generování nových druhů úloh. CAT - využití v širokoplošném testování založeném na klasické teorii IRT a SW vybavení pro CAT lze využít pro tvorbu vyvážených testových variant i testů se dvěma úrovněmi obtížnosti. Nevýhody CAT CAT vyžaduje značné teoretické znalosti a praktické zkušenosti Teoretickým základem CAT je Item Response Theory (IRT), kterou zde nelze nahradit klasickou teorií testů. Pokud je nám známo, v ČR se IRT se zabývají 3 - 4 lidé. Osvojit si IRT, její aplikace a práci s vhodným SW vybavením si nelze během několika měsíců. Bohužel. nezbývá než konstatovat, že ČR má v oblasti teorie a praxe testování, což se týká i testování konvenčního, skluz oproti vyspělých a dalších (Maďarsko, Polsko, Rumunsko, Rakousko, ..). Toto je specifický nedostatek, který by stálo za to odstraňovat. CAT vyžaduje banku kalibrovaných úloh Základem CAT je banka úloh několika stovek úloh (minimální počet úloh závisí na použitém modelu IRT), které byly kalibrovány na dostatečně velkém vzorku studentů To představuje časově a finančně náročnou činnost. Proto se CAT projektuje především tam, kde se ho může využívat u velkých skupin testovaných. CAT vyžaduje poněkud jiný přístup k testování Testovaný si musí zvyknout, že nemůže: provést opravu odpovědi na předchozí úlohu, na monitoru počítače si dělat poznámky, přeskočit úlohu. Jak ukazují výzkumy testovaní se se změnou testové situace vyrovávají dobře.

Literatura ALESSI, S. M.; TROLLIP, S. R. Multimedia for Learning: Methods and Development. 3rd ed. Needham Heights, MA : Allyn & Bacon, 2001. ISBN 0-205-27691-1. BAKER, F. The Basics of Item response Theory. 2nd ed. [on-line]. ERIC Clearinghouse on Assessment and Evaluation, 2001 [cit. 1. 4. 2007]. ISBN 1-886047-03-0. Dostupné na:<www.ericae.net/irt/baker>. BAKER, F. B., KIM S. Item Response Theory. Parameter Estimation Techniques. New York : Marcel Dekker, Inc., 2004. ISBN: 0-8247-5825-0. DAVEY, T; PITONIAK, M. J. Designing Computerized Adaptive Tests. In DOWNING, S. M.; HALADYNA, T. M. Handbook of Test Development. Mahwah, NJ : Lawrence Erlbaum Associates, 2006. ISBN 0-8058-5265-4. DENGLEROVÁ, D. Nové metody v diagnostice osobnosti aneb IRT a její přínos k testování osobnosti. In Sborník konference CVVOE. Vývoj a utváření osobnosti v sociálních a etnických kontextech (víceoborový přístup). Brno : MU Brno, 2005. ISBN 80-210-3804-7. DRASGOW, F.; LUECHT, R. M.; BENNETT, R. E. Technology and Testing. In BRENNAN, R. L. Educational Measurement. ACE, 4th Ed. Westport, CT : Praeger Publishers, 2006. ISBN 0-27598125-8. EGGEN, T. J. H. M. Contributions to the theory and practice of computerized adaptive testing. Arnhem, NL : Cito, 2004. ISBN 90-5834-056-2. EMBRETSON, S. E.; REISE, S. P. Item response theory for Psychologists. Mahwah, NJ : Lawrence Erlbaum Associates, 2000, ISBN 0-8058-2818-4. HAMBLETON, R. K.; SWAMINATHAN, H.; ROGERS, H.J. Fundamentals of Item Response Theory. Newbury Park, CA : Sage Publications, Inc., 1991. ISBN 0-8039-3647-8. HENDRICKSON, A. B.; KOLEN, M. J. IRT Equating of the MCAT [online]. University of Iowa 2003 [cit. 1. 4. 2007]. Dostupné na: <www.aamc.org/students/mcat/research/monograph4.pdf>. JELÍNEK, M., KVĚTON, P., DENGLEROVÁ, D. Adaptivní testování - základní pojmy a principy. Československá psychologie, roč. L, č. 2, s. 163-173. Praha : Academia, 2006. ISSN 0009062X. KOMENDA, S. Měření a metaměření znalostí. Olomouc : Nakladatelství Univerzity Palackého 2003. ISBN 80-244-0776-0. LEUNG, CH. K; CHANG, H. H.; HAU, K. Computerized Adaptive Testing: A Comparison of Three Content Balancing Methods. Journal of Technology, Learning, and Assessment, 2003, vol. 2, no. 5, s. 2-15. LORD, F. M. Applications of Item Response Theory to Practical Testing Problems. Hillsdale, NJ : Lawrence Erlbaum, 1980. ISBN 0-89859-006-X. RUDNER, L. M. An On-line, Interactive, Computer Adaptive Testing Tutorial [online].1998 [cit. 1. 4. 2007]. Dostupné na:. RUDNER, L. M. An On-line, Interactive, Computer Adaptive Testing Mini-Tutorial [online]. 1998 [cit. 1. 4. 2007]. Dostupné na:. SANDS, W. A; WATERS, B. K.; McBRIDE, J. R. Computerized adaptive testing: From inquiry to operations. Washington, DC : American Psychological Association, 1997. STAGE, C. A Comparison Between Item Analysis Based on Item Response Theory and Classical Test Theory. A Study of the SweSAT Subtest READ [online]. Umeå University: Department of Educational Measurement, 1997 [cit. 1. 4. 2007]. Dostupné na: <www.umu.se/edmeas/publikationer/pdf> STARK, S.; CHERNYSHENKO, S.; CHUAH, D.; LEE, W.; WADLINGTON, P. IRT Modeling Lab [online]. University of Illinois, 2001 [cit. 1. 4. 2007]. Dostupné na: URBÁNEK, T., ŠIMEČEK, M. Teorie odpovědi na položku. Československá psychologie, 2001, roč. 45, č. 5, s. 428-440. URBINA, S. Essentials of Psychological Testing. New Jersey : John Wiley a Sons, Inc., 2004. ISBN 0-471-41978-8. VAN DER LINDEN, W. J.; HAMBLETON, R.K. Handbook of modern item response theory, New York : Springer, 1997.

WAINER, H. Computerized Adaptive Testing: A primer. 2nd ed. Mahwah, NJ: Lawrence Erlbaum Associates, 2000. ISBN 0-8058-3511-3. WAINER, H.; MISLEVY, R. J. Item Response Theory, Item Calibration, and Proficiency Estimation. In WAINER, H., et. al. Computerized Adaptive Testing: A primer. 2nd ed. Mahwah, NJ: Lawrence Erlbaum Associates, 2000. ISBN 0-8058-3511-3. WEISS, D. J. The Stratified adaptive computerized ability test. Research report 73-3. Minneapolis : University of Minnesota, Department of Psychology, Psychometric Methods Program, Computerized Adaptive Testing Laboratory, 1973. WEISS, D. J. Computerized Adaptive Achievement Testing. In O´NEIL, H. F. (JR). Procedures for Instructional Systems Development. New York : Academic Press, 1979. ISBN 0-12-526660-X. WEISS, D. J. Adaptive testing by computer. Journal of Consulting and Clinical Psychology. New York : Pergamon Press, 1988. ISBN 0-080365510-8 WEISS, D. J., Adaptive Testing. In KEEVES, J. P. Educational Research, Metholodogy and Measurement: AnInternational Handbook. New York : Pergamon Press, 1988. ISBN 0-080365510-8 WEISS, D. J. New horizons in testing: Latent trait test theory and computerized adaptive testing. New York : Academic Press, 1983. WEISS, D. J. Manual for the FastTEST Professional Testing System, Version 2. St. Paul, Minnesora : Assessment Systems Corporation, 2006. Software: FastTEST Professional Testing System. Test Development Package [CD-ROM]. St. Paul, Minnesota : Assessment Systems Corporation 1. 2. 3. 4. 5.

itworld - http://www.itworld.com/nl/cert_news/02052001/pf_index.html 16.1.2007 http://en.wikipedia.org/wiki/Computer-adaptive_testing http://www.carla.umn.edu/assessment/CATfaq.html [wiki binet] http://en.wikipedia.org/wiki/Alfred_Binet [CAT central Binet] http://www.psych.umn.edu/psylabs/catcentral/ -> What is CAT? > The First Adaptive Test: Binet's IQ Test 6. [Linacre] Computer-Adaptive Testing: A Methodology Whose Time Has Come. By John Michael Linacre, Ph.D. MESA Psychometr ic Laboratory Univer sity of Chicago http://www.rasch.org/memo69.pdf 7. [kveton] ADAPTIVNÍ TESTOVÁNÍ - ZÁKLADNÍ POJMY A PRINCIPY, M. Jelínek; P. Kveton; D. Denglerová, Československá Psychologie; 2006; ročník 50, č. 2; str.163173 8. [Way] Practical Questions in Introducing Computerized Adaptive Testing for K-12 Assessments Walter D. Way http://www.pearsoned.com/RESRPTS_FOR_POSTING/ASSESSMENT_RESEARC H/AR6.%20PEM%20Prac%20Questions%20in%20Introl%20Computer%20Test05_ 03.pdf 9. [testy] http://en.wikipedia.org/wiki/TOEFL, http://en.wikipedia.org/wiki/Graduate_Record_Examination, http://en.wikipedia.org/wiki/GMAT 10. http://www.cito.com/ 11. http://www.psych.umn.edu/psylabs/catcentral/ 12. Ukázka CATu http://www.bulats.org/index.php 13. Introduction to Knowledge Spaces Theory and Applications http://wundt.kfunigraz.ac.at/MathPsych/cda/overview_sokrates.htm 14. GRE® - Graduate Record Examinations (GRE, 2000), www.ets.org/gre/ 15. Graduate Management Admission, Test GMAT® (GMAT, 2000) http://www.gmac.com/gmac/thegmat/ 16. Test of English as a Foreign Language TOEFL® (TOEFL, 2000), www.ets.org/toefl/ 17. Microsoft® for the Microsoft® Certified Solution Developer (MCSD) credential (Microsoft, 2000), http://www.microsoft.com/learning/mcp/mcsd/default.mspx

18. COMPASS®/ESL which measures students' mathematics, reading, and writing skills on demand (COMPASS, 2000), http://www.act.org/compass/index.html 19. SWIFT in the domain of desktop computer applications (Gemini, 2000), http://www.gemini.com/tech_gemsswift.php 20. ALEKS, http://www.aleks.com/?ref=web 21. http://www.collegeboard.com/testing/ 22. http://www.brainbench.com/xml/bb/business/aboutus/faqs.xml 23. Contributions to the theory and practice of computerized adaptive testing, Theo J.H.M. Eggen, dizertační práce, Arnhem, Nizozemí, 2004