THE OHIO STATE UNIVERSITY QUANTITATIVE RESEARCH EVALUATION AND MEASUREMENT PROGRAM ANTAL JUDIT MONTE CARLO ILLESZKEDÉSI TESZTEK A RASCH MODELLBEN

THE OHIO STATE UNIVERSITY QUANTITATIVE RESEARCH EVALUATION AND MEASUREMENT PROGRAM

ANTAL JUDIT

´ TESZTEK A RASCH MODELLBEN MONTE CARLO ILLESZKEDESI Ford´ıt´ as az eredetir˝ ol: MONTE CARLO GOODNESS OF FIT TESTS FOR THE RASCH MODEL

Témavezet˝o: Ayres D’Costa, Ph.D.

2003

1

1.

Bevezet´ es

A tesztelméleti modelleket els˝ osorban az itemek és az azokat megoldó egyének közötti bonyolult k¨ olcs¨ onhat´ as megértésére haszn´ aljuk. Matematikai modellek feláll´ıtásának els˝osorban az a célja, hogy a vil´ agot leegyszer˝ us´ıts¨ uk mindamellett, hogy egyens´ ulyban tartsuk a modell komplexitás´ at és a modell - val´ os´ ag k¨ oz¨ otti megegyezést. Minél bonyolultabb egy jól feláll´ıtott modell, ann´ al jobban ´ abr´ azolja a val´ os´ agot. Ugyanakkor, a bonyolultság nehez´ıti a megértést. Sokkal nehezebb megérteni egy elmélet lényegét akkor ha az t´ ul sok komplex részb˝ol tev˝odik össze. Azt, hogy egy modell milyen mértékben képes le´ırni a fent eml´ıtett kölcsönhatást - amely er˝ osen befoly´ asolja a modell ir´ anti bizalmunkat - az illeszkedési tesztekkel tudjuk lemérni. Ezért teh´ at nagyon fontos, hogy rendk´ıv˝ ul megb´ızható illeszkedési teszteket dolgozzunk ki. Egy szép elméletet˝ ol nehéz felcseréni n´ al´ an´ al bonyolultabbra, kivéve ha az egyszer˝ u modellhez képest a mért adatok jelent˝ osen eltérnek. A szerz˝o véleménye szerint, sajnos sok esetben félre tesz¨ unk j´ ol haszn´ alhat´ o modelleket a nem megfelel˝o illeszkedési indexek használata miatt. Egy leegyszer˝ us´ıtett diagramm mutatja be az illeszkedés problémáját az 1-es ábrán. 1. ´ abra. Modell Illeszkedés: az illeszkedést a mért és a várt adatok összehasonl´ıtása adja meg. Az ut´ obbit az analitikus modell hat´ arozza meg.

Observed

Measurement

Phenomenon

Process

Observed Data

Fit Analysis

Mathematical Model

Deterministic

Expected Data

Process

A modellv´ alaszt´ as mellett vannak más problémák is ahol a modell illeszkedés fontossága szóba ker¨ ulhet. Sz´ amos tanulm´ any foglalkozik mindenféle tesztelési problémával, ilyen például a differenci´ alt item f¨ uggvény problém´ aja, differential item functioning (DIF) (Zwick, 2002; Roussis, 1999; Parshall & Miller, 1995; Dorans & Smith, 1993; Holland & Wainer, 1993; Cohen et al, 1991; Swaminathan & Rogers, 1990) és a lokális item f¨ uggés problémája local item dependence (LID) (Ferrara & Huynh, 1999; Reese, 1999; Ferrara, 1997; Wilson, 1988; Yen, 1983). A DIF és a LID olyan indexek seg´ıtségével tesztelhet˝ok, amelyek az elvárt értékekt˝ol való jelent˝os eltérést képesek kimutatni. A szignifik´ ans eltérések kimutatására szolgáló indexek nagy része azonban mindig j´ o modell illeszkedést feltételez. Ponoczny tanulmánya (2001) számos olyan példát mutat be, amelyekre megold´ ast ny´ ujthat a jelen tanulmányban bevezetett u ´j technika. 2

2. ´ abra. Monte Carlo modell illeszkedés a Rasch modellben: az elvárt adatok generáltak, nem analitikus m´ odszerekkel el˝ o´ all´ıtottak.

Observed

Measurement

Phenomenon

Process

Observed Response Matrix

Rasch Fit Analysis

Rasch Probability Matrix

Monte Carlo Simulation

Expected Response Matrix

A gyakran haszn´ alt Item V´ alasz Elmélet (IRT) illeszkedési indexek (átlagos-négyzet infit és outfit) mindegyike ugyanazzal a problémával k¨ uzd: a pontos null-eloszlásuk nem ismert. A gyakorlatban, szélesk¨ orben alkalmaznak praktikusnak t˝ un˝o feltételezéseket ezekr˝ol a null-eloszlásokr´ ol, amelyeket ugyanolyan széles k¨ orben kritizálnak is. Mivel nagyon val´ osz´ın˝ utlen, hogy az illeszkedési probléma prec´ız anal´ızissel valaha is megoldhat´ o lesz, ezért csak a szimul´ aci´ os módszerek maradtak eszköz¨ ul, hogy megoldást találhatunk a problém´ ara. A szimul´ aci´ os m´ odszer el˝onye, hogy viszonylag könnyen kivitelezhet˝o és emellett bizonyos fokig megb´ızhat´ o is. M´ asfel˝ ol azonban id˝oigényes, illetve szám´ıtástechnikai szempontból pedig er˝ oforr´ as-igényes. Tov´ abb´ a, a kisz´ am´ıtott illeszkedési index nem pontosan reprodukálható. A tanulm´ any bemutatja, hogy mindezek ellenére az u ´j módszer jóval megb´ızhatóbb, mint a korábban haszn´ alt tesztek. Az 2 ´ abr´ an l´ atható a Rasch modellben használható Monte Carlo teszt f˝o egyes részelemei, amelyet a jelen dolgozat mutat be. A tanulm´ any szerkezete a k¨ ovetkez˝o. Els˝oként az ide tartozó fontosabb szakkifejezéseket defini´ aljuk, amelyet az illeszkedési probléma részletes de általános tárgyalása követ. A bevezet˝ o k¨ ozponti részét a jelenlegi illeszkedési eljárások kifejtése és az alapok lerakása követ. Ez kész´ıti el˝ o az illeszkedési problém´ ara adott Monte Carlo megoldást. Majd az ezt követ˝o rész tárgyalja az u ´j illeszkedési index alap¨ otletét teljes részletességgel, és a leglényegesebb rész itt következik, ahol bemutat´ asra ker¨ ul az u ´j illeszkedési index család. Ez a rész szintén magába foglalja az altal´ ´ anos, maradv´ any-alap´ u, és az u ´j illeszkedési anal´ızisek összehasonl´ıtását, és a szimuláci´ os m´ odszer részletes le´ır´ as´ at. Az utolsó két részben az u ´j tesztek viselkedését kutatjuk majd val´ os adatok felhaszn´ al´ as´ aval. 3

2. 2.1.

Item v´ alasz elm´ elet V´ alasz m´ atrix

A tanulm´ any célj´ ab´ ol csak dichot´ om modelleket használunk, ezért más t´ıpus´ u IRT modellek t´ argyal´ asa itt nem szerepel. A vizsgaadatok megjelen´ıtése ´ altalában 2-dimenziós mátrix formában a legideálisabb, ahol az X m´ atrix egy eleme (0 vagy 1) egy vizsgázó egy itemre adott válasza. A mátrix sora egy egyén osszes itemre adott v´ ¨ alasz´ at tartalmazza, egy oszlop pedig egy adott itemre adott összes vizsgáz´ o v´ alasz´ at foglalja mag´ aba. Az X m´ atrix elemei xji két értéket vehetnek fel 1-et vagy 0-át. xji = 1 ha a j-edik egyén helyesen v´ alaszolt az i-edik itemre és 0 minden más esetben. Az egyének szám´ at N -nel, az itemek sz´ am´ at L-lel jel¨ olj¨ uk. A sor-¨ osszegek (rj , j = 1, . . . , N ) a vizsgázók összpontszámait jelentik (a helyes válaszok sz´ ama), az oszlop-¨ osszegek (si , i = 1, . . . , L) pedig azon vizsgázók számát jelölik akik helyesen oldott´ ak meg az adott itemet: L N X X rj = xji , si = xji . (1) i=1

j=1

Pragmatikus értelemben véve tesztelméletek azért ker¨ ulnek kifejlesztésre, hogy az X válasz m´ atrixot megmagyar´ azzuk, és a m¨ ogött¨ uk megh´ uzódó folyamatot, amely egy X mátrix formájára egyszer˝ os¨ od¨ ott, megértés¨ uk. Az egyetlen hátrány ezen a ter¨ uleten a lehetséges kombinációk óri´ asi sz´ ama. Egy egyszer˝ u 8 itemes teszten, amit 8 egyén old meg, 264 szám´ u válasz mátrix lehetséges, amely egy felfoghatatlanul nagy sz´ am. Kés˝ obb l´ atni fogjuk, hogy hogyan képes egy ilyen egyszer˝ u eset uralni és korlátozni alapvet˝ o kérdéseket az Item Response elméletben.

2.2.

A Rasch modell

A Rasch modell (Rasch, 1960; Wright & Stone, 1979; Wright & Masters, 1982; Wright & Mok, 2000; Smith, 2001; Stone, 2001; Baker, 2001; Linacre & Wright, 2002; ) két paramétert használ: az item nehézségét és az egyén képességét. Az i-edik item nehézségét δi -vel, a j-edik egyén képességét pedig ϑj -vel jel¨ olj¨ uk. A Rasch modell szerint annak a feltételes valósz´ın˝ usége, hogy a j-edik egyén helyesen (Pji ) vagy helytelen¨ ul Qji ) v´ alaszol az i-edik itemre, feltéve hogy az egyén képessége (ϑj ) és az item nehézsége (δi ), a k¨ ovetkez˝ o m´ odon ´ırható le: Pji Qji

1 eϑj −δi = , 1 + eϑj −δi 1 + eδi −ϑj 1 := P rob(xji = 0 | ϑj , δi ) = 1 − Pji = . 1 + eϑj −δi

:= P rob(xji = 1 | ϑj , δi ) =

(2) (3)

A Pji f¨ uggvényt (2 egyenlet) Rasch Item Karakterisztikus F¨ uggvénynek/g¨ orbének, IKF nevezz¨ uk; 3. ´ abra reprezent´ alja a Rasch item karakterisztikus f¨ uggvényt. A Rasch vagy v´ alasz val´ oszn˝ oségi m´ atrix P az a mátrix, amely tartalmazza a Pji elemeket (2. egyenlet). Egy xji m´ atrix elem feltételes valósz´ın˝ usége a következ˝oképpen ´ırható le: Pji if xji = 1, P (xji ) := Prob(xji | δi , ϑj ) := (4) Qji = 1 − Pji if xji = 0. Tov´ abb´ a Q(xji ) := 1 − P (xji ). 4

(5)

3. ´ abra. A Rasch Item Karakterisztikus F¨ uggvény

1 0.9 0.8 0.7 P(x=1)

0.6 0.5 0.4 0.3 0.2 0.1 0 -4

-2

0 Ability - Difficulty

2

4

´ Erdemes megjegyezni, hogy a nehézségi és a képesség paraméterek mérési egység nélk¨ uli, val´ os sz´ amok. Akkor tudjuk ˝ oket igaz´ an értelmezni, ha bevezetj¨ uk a válasz mátrix egyes elemeinek feltételes val´ osz´ın˝ uségét az 4. egyenletben látható módon. Így a képesség intervallum és az item nehézségének intervalluma egy logaritmikus skálát kap, amelynek egységeit logit-nak nevez¨ unk. Így l´ athat´ o, hogy mindét paraméter ugyanazon a skálán van. A Rasch modell haszn´ alat´ anak két fontos feltétele van, mindkett˝o már felhasználásra ker¨ ult. Az egyik az, hogy az IKF egy monoton növekv˝o f¨ uggvény legyen, amely t¨ ukrözze azt az elvárásunkat, hogy a képesség n¨ ovekedésével egy¨ utt a helyes válasz valósz´ın˝ usége is növekszik. A m´ asodik feltételt m´ ar kor´ abbról is ismerj¨ uk, amely szerint csupán egyetlen képesség befoly´ asolhatja az egyén v´ alasz´ at. Pontosabban ez annyit jelent, hogy létezik a valósz´ın˝ uségi változ´ ok egy csal´ adja Θ = (ϑj ), j = 1, . . . , N a képesség ahol a j-edik egyén képessége ϑj . A Θ eloszlásár´ ol nem sz¨ ukséges feltétel kik¨ otése. Az egy képesség-változó jelenléte a modellben azonban feltételezi, hogy a Rasch modell egydimenzi´ os. Az elmélethez elengedhetetlen¨ ul fontos a teljes válasz mátrix L(X ) feltételes valósz´ın˝ uségének az ismerete. Ehhez viszont nem elegend˝o ismerni a Pji feltételes valósz´ın˝ uségét, hanem még egy feltétel is sz¨ ukséges. A legkézenfekv˝ obb v´ alaszt´ as az, hogy a mátrix elemek feltételes valósz´ın˝ uségeinek szorzata adja meg a v´ alasz m´ atrix feltételes val´ osz´ın˝ uségét. Ez a defin´ıció megfelel a mátrix elemek statisztikai értelemben vett f¨ uggetlenségének, amely a következ˝oképpen ´ırható le: 5

L(X ) := L(X , ∆, Θ) := Prob(X | (ϑj , δi )1≤i≤L,1≤j≤N ) =

Y

P (xji ).

(6)

(xji )=X

A paraméterek megbecsléséhez a teljes f¨ uggetlenség elegend˝o, viszont az illeszkedési anal´ızis elvégzéséhez be kell vezetn¨ unk a a helyi f¨ uggetlenség fogalmát, amely megköveteli a P elemeinek f¨ uggetlenségét. Most m´ ar készek vagyunk arra, hogy feláll´ıtsuk a Rasch modellt. Emlékezz¨ unk vissza, hogy a Rasch modell célja az X m´ atrix értelmezése. 1. Definition. Az X m´ atrixhoz rendelhet˝ o Rasch Modell a k¨ ovetkez˝ oképpen ´ırhat´ o le: • a val´ osz´ın˝ uségi v´ altoz´ ok két csal´ adja ∆ and Θ (item nehézség és képesség); • a helyileg f¨ uggetlen m´ atrix elemek xji , feltételes val´ osz´ın˝ uségei P (xji ), a (4) egyenletnek megfelel˝ oen; • L(X ) , amely X feltételes val´ osz´ın˝ usége, a (6) egyenletnek megfelel˝ oen.

2.3.

Maximum likelihood becsl´ es

Becslési elj´ ar´ asok seg´ıtségével, iterat´ıv módon kapjhatjuk meg a megbecs¨ ult paramétereket. A maximum likelihood becslés (MLE) (Baker, 1992; de Leeuw & Verhelst, 1986; Fisher, 1981; Wright & Stone, 1979) az item nehézséget és a képességet hasonlóan kezeli. Defin´ıció szerint, MLE a megbecs¨ ult paramétereket u ´gy kapja, hogy maximalizálja az X válasz mátrixhoz tartozó valósz´ın˝ uségi f¨ uggvényt L(X ; ∆, Θ). A gyakorlatban sokkal egyszer˝ ubb a valósz´ın˝ uségi f¨ uggvény logaritmikus alakj´ at haszn´ alni X X L := log(L(X )) = log P(xji ) = − log 1 + e(2xji −1)(δi −ϑj ) . (7) (xji )=X

(xji )=X

L maximuma ´ altal´ aban a deriv´ alt DL null helyeinek megtalálásával határozhatóak meg, ami indokolt ha L egyértelm˝ u maximummal rendelkezik. Ez a probléma z´ art form´ aban nem oldható meg, ´ıgy numerikus módszerekhez szokás folyamodni. Erre a célra gyakran haszn´ alj´ ak a Newton-Raphson módszert. R¨ oviden v´ azoljuk ezen megold´ as lépéseit (Kress, 1998, 102 oldal). Válasszunk egy tetsz˝oleges kezdeti értéket 0 x0 = (δ10 , δ20 , . . . , δL , ϑ01 , ϑ02 , . . . , ϑ0N ) (8) az iter´ aci´ onak. Az iter´ aci´ os séma ´ıgy ´ırható le: −1 xn+1 = xn − D2 L(xn ) · DL(xn ),

(9)

ahol n xn = (δ1n , δ2n , . . . , δL , ϑn1 , ϑn2 , . . . , ϑnN ) (10) −1 jel¨ oli az nedik approxim´ aci´ ot és D2 L(xn ) a L második derivált mátrixának inverze xn -ben kiértékelve. Az iter´ aci´ o akkor ér véget amikor a két egymást követ˝o vektor Euklideszi normája kxn+1 − xn k kisebb, mint az iter´ aci´ os k¨ usz¨ ob. Ennek a procedur´ anak egy j´ ol kondicionált válasz mátrixra egyértelm˝ u megoldása van (Fisher, 1981). M´ as sz´ oval, az iter´ aci´ os folyamat egy egyértelm˝ u, véges megoldáshoz konvergál a kezdeti értékt˝ ol f¨ uggetlen¨ ul. Megjegyezz¨ uk, hogy az egyértelm˝ uséghez sz¨ ukséges még egy mellékfeltétel. Ez lehet a nehézség vektor ´ atlag´ anak nullában való rögz´ıtése.

6

3.

Modell illeszked´ es

3.1.

´ Atlagos-n´ egyzet maradv´ any tesztek

Az MNSQ outfit és az infit a leggyakrabban használt illeszkedési statisztika a Rasch modellben. (Wright & Stone, 1979; Meijer & Sijtsma, 2001). Az MNSQ outfit a k¨ ovetkezpképpen ´ırható le: L

MNSQout =

N

1 X X (xji − Pji )2 , N L i=1 j=1 Pji Qji

(11)

Az MNSQ infit defin´ıci´ oja pedig a következ˝o: L P N P

(xji − Pji )2

i=1 j=1

MNSQin =

L P N P

.

(12)

Pji Qji

i=1 j=1

Az MNSQ outfit standardiz´ alt z pontja a következ˝oképpen ´ırható le: r 2 9N L p 3 MNSQzstd := M N SQ − 1 + . 2 9N L Az infit standardiz´ alt értéke a k¨ ovetkez˝o módon definiálható: p 3 3 MNSQin − 1 q − , MNSQin,zstd := q 3

(13)

(14)

ahol q az infit sz´ or´ asa: L P N P

q=

Pji Qji (Pji − Qji )2

i=1 j=1 L P N P

(15) Pji Qji

i=1 j=1

(see Wright & Masters, 1982, p. 100). A feltételeknek megfelel˝ oen (Wright & Stone, 1979; Wright & Masters; 1982) mindkét MNSQzstd statisztika a N (0, 1) standard normál eloszlást követi. Közelebbr˝ol megvizsgálva láthatjuk, hogy az MNSQ illeszkedési statisztik´ ak nem mások, mint a P Rasch valósz´ın˝ uségi mátrix és a X válasz m´ atrix k¨ oz¨ otti s´ ulyozott négyzetes k¨ ulönbség. n ´ Altal´ anoss´ agban a w = (wi )i=1 ∈ Rn vektort s´ ulynak nevezz¨ uk ha minden eleme pozit´ıv, vagyis wi > 0 minden i-re. Két x, y ∈ R vektor távolsága a w s´ ulyt vagy (w-távolságot) tekintetbe véve az al´ abbi m´ odon defini´ alhat´ o: v u n uX Dw (x, y) = t (xi − yi )2 wi . (16) i=1

Az elnevezés indokolt, hiszen Dw megfelel a távolság defin´ıciójának (lásd e.g. Lang, 1986). Azaz minden x, y, z ∈ Rn -re Dw (x, x) = 0 ⇒ x = 0, 7

Dw (x, y) = Dw (y, x), Dw (x, z) ≤ Dw (x, y) + Dw (y, z). A 11 egyenletb˝ ol kider¨ ul, hogy az MNSQout az egy négyzetes távolság 2 MNSQout = Dw (P, X ) o

(17)

az al´ abbi s´ ullyal: 1 . N L · Pji Qji

wo,ji =

(18)

Hasonl´ oképpen, az MNSQ infit (Egyenlet12) 2 MNSQin = Dw (P, X ), i

(19)

ahol a s´ uly a k¨ ovetkez˝ oképpen alakul: wi,ji =

1 . L P N P Pji Qji

(20)

i=1 j=1

wi,ji egy ´ alland´ o s´ ulyvektor.

3.2.

A modell illeszked´ es ´ altal´ anos elm´ elete

Ez a fejezet az Item V´ alasz Elmélet, (IRT) modellekhez kapcsolódó illeszkedési elméletet tárgyalja. A téma ´ altal´ anos jellege megengedi, hogy az olvasó kövesse, hogy hol, milyen alkalmakkor jelennek meg az egyes indexek, és hogy hogyan jav´ıthatóak, fejleszthet˝oek. A dichotóm IRT keretein bel¨ ul az N × L méret˝ u v´ alasz m´ atrixok száma 2N L . Ezen óriási halmazon bel¨ ul minden egyes elem val´ osz´ın˝ uségét ki kell sz´ amolni (azon feltétel mellett, hogy a modell jól illeszkedik). Hamarosan bemutatjuk, hogy ez gyakorlatilag lehetetlen, ami a modell illeszkedésének egyik problémáját adja. Vegy¨ unk egy konkrétabb péld´ at ahol az X válasz mátrix mérete N × L. Mostantól feltessz¨ uk, hogy a becslési elj´ ar´ ast véghez vitt¨ uk és már megbecs¨ ult¨ uk a modell paramétereket. Ezek a megbecs¨ ult értékek seg´ıtenek benn¨ unket eljutni a P valósz´ın˝ uségi mátrixhoz az 2 egyenlet seg´ıtségével. Majd gondolatban ¨ osszeszedj¨ uk az ¨ osszes Mresp (N, L) válasz mátrixot, amelynek mérete N ×L. Az Mresp (N, L) halmazt kinevezz¨ uk az N * L mátrixok gy˝ ujteményének, amelyeknek minden eleme 0 vagy 1. Legyen Y = (yji )j,i az Mresp (N, L)-nek egy eleme. A modell illeszkedés hipotézisének teszteléséhez sz¨ ukséges val´ osz´ın˝ uség a Y feltételes valósz´ın˝ usége P -ben Y Prob(Y | P) := (yji Pji + (1 − yji )Qji ). (21) ji

(Fontos k¨ ul¨ onbséget tenni az L(X ) és a Prob(Y | P) között.) Ez a val´ osz´ın˝ uség p(P) a Mresp (N, L)-et tekintve p := p(P) : Mresp (N, L) → [0, 1] : Y 7→ Prob(Y | P)

(22)

a hipotézis tesztelés null-eloszl´ asa. Az Mresp (N, L) halmaz olyan ´ oriási, még alacsony N és L esetében is, hogy teljesen lehetetlen ezt a null-eloszl´ ast kezelni. A hipotézis tesztelés k¨ ovetkez˝ o lépése a ”farok-ter¨ ulet” valósz´ın˝ uségének (p-érték), vagyis az X -hez tartoz´ o po megtal´ al´ asa. A farok-ter¨ ulet valósz´ın˝ uségét meghatározhatjuk u ´gy, mint az összes 8

feltételes val´ osz´ın˝ uség ¨ osszege Prob(Y | P) u ´gy, hogy Prob(Y | P) < Prob(X | P) = L(X ) minden Y ∈ Mresp (N, L), azaz X po := Prob(Y | P). (23) Y:

Prob(Y

| P)
Az al´ abbi bevezetésével BL := {Y : Prob(Y | P) < Prob(X | P)} u ´jra ´ırhatjuk po -t mint az azonosan 1 f¨ uggvény integrálja BL felett a p mérték szerint: Z po := p(BL ) := 1 dp

(24)

(25)

BL

Ez a forma lehet˝ ové teszi az ´ altal´ anos illeszkedési probléma megfogalmazását. Például, az MNSQ null-eloszl´ asa defini´ alhat´ o az al´ abbiak szerint. Használjuk BMNSQ := {Y : D2 (Y, P) ≤ MNSQ(X ) ≤ 1} ∪ {Y : D2 (Y, P) ≥ MNSQ(X ) ≥ 1}

(26)

BL helyett és defini´ aljuk a p-értéket Z MNSQ

po

:= p(BMNSQ ) :=

1 dp.

(27)

BMNSQ

M´ as sz´ oval, egy illeszkedési index null valósz´ın˝ usége mindig valamilyen halmaz feletti mérték, amelyet az éppen adott illeszkedési index határoz meg. A nehézség az indexek kezelésében mindig ugyanaz: a p val´ osz´ın˝ uségi mértéket a gyakorlatban lehetetlen egzakt módszerekkel kezelni. Megjegyezz¨ uk, hogy a po val´ osz´ın˝ uség az 25 egyenletben az L-próba p-értéke, ami a likelihood f¨ uggvényt illeszkedési f¨ uggvényként használó teszt illeszkedési tesztje. A maximum likelihood fel˝ ol nézve ez t˝ unik a legtermészetesebb választásnak. Az MNSQ tesztnél haszn´ alt normalitás feltvés jó példáját adja annak, hogy a praxisban hogyan jutnak el az illeszkedési probléma els˝o közel´ıtésében használatos feltevések alkalmazásához. Egy V illeszkedési indexhez tartozó pVo null-eloszlás ”legyártása” után az utolsó feladat az, hogy eld¨ onts¨ uk, hogy ez az eloszl´ as kisebb vagy nagyobb-e, mint az el˝ore kijelölt valósz´ın˝ uségi k¨ usz¨ obérték az α (az α hagyom´ anyosan felvett értékei [0.01, 0.1]). Ha po < α akkor a null hipotézist elvetj¨ uk és azt ´ all´ıtjuk, hogy nincs elég bizony´ıték arra, hogy az adatok jól illeszkednek a modellre (teh´ at, hogy a modell képes megmagyarázni a mérési adatokat).

4. 4.1.

A nemparametrikus illeszked´ esi indexek csal´ adja A probl´ ema

Sajnos az MNSQ outfit és infit statisztikák az eloszlásukra vonatkozóan er˝os feltételeket szabnak. Abban az esetben ha ezek a feltételek nem teljes¨ ulnek az MNSQ teszt használatának értelme megkérd˝ ojelezend˝ o. Sz´ amos tanulmány foglalkozik ezzel a problémával (Li & Olejnik, 1997; Noonan, Boss & Gessaroli, 1992; Wright & Linacre, 1985; Smith, 1985). Mindegyik¨ uk bizony´ıtékot hoz fel olyan esetekre, amikor az MNSQ statisztika eloszlása eltér a normálistól. Li és Olejnik (1997) egy szimulációs tanulmányt kész´ıtett az MNSQout,zstd -r˝ol-ról ahol a képesség-illeszkedést vizsg´ alta t¨ obbfajta teszt és illeszkedési szituáció seg´ıtségével. Minden egyes 9

szitu´ aci´ ohoz 50 replik´ aci´ ot gener´ alt, amit az illeszkedési teszt eloszlásának elkész´ıtéséhez haszn´ alt fel. Az ´ıgy kapott eloszl´ asokat vizsgálva azt találták, hogy szignifikánsan eltérnek a normális eloszl´ ast´ ol. Egy hasonl´ o tanulm´ anyt kész´ıtett Noonan, Boss és Gessaroli (1992), amelyben kimutatt´ ak, hogy az MNSQout,zstd a képesség-illeszkedés alkalmával nagy eltérést mutat a normalitástól, nagy ferdeséget (skewness) és kurt´ ozist jelezvén. Ezekre a tanulm´ anyokra Smith (1985), illeteve Wright és Linacre (1985) már munkáikban reag´ altak. Az ut´ obbiak a norm´ alistól való eltérés kompenzálására a határpont (cut-off value) megn¨ ovelését javasolt´ ak 3.0-ra (az eddigi 2.0-r˝ol).

4.2.

A Rasch v´ alasz m´ atrixok szimul´ al´ asa

Ebben a fejezetben a szimul´ aci´ os algoritmus ker¨ ul kifejtésre, amely A Rasch válasz mátrixok gener´ al´ as´ ara szolg´ al, s amelyet a Monte Carlo illeszkedési tesztekkel egy¨ utt fogunk használni. A kiindul´ o adatokat a P Rasch valósz´ın˝ uségi mátrix adta, amelyet egy becslési eljárással, item nehézség és képesség vektorokb´ ol származtattunk. A Y válasz mátrix szimulálása az elemek gener´ al´ as´ aval t¨ ortént. Egy j egyén egy i itemre adott egyszeri válaszát u ´gy szimuláljuk, hogy a sz´ am´ıt´ ogép gener´ al egy r random számot, amely egyenletesen oszlik el a [0, 1] intervallumban. A yji v´ alasz a k¨ ovetkezuHoképpen definiálható 1 ha r ≤ Pji , yji = (28) 0 másutt. ahol Pji a Rasch val´ osz´ın˝ uség, ahogy azt az 2 egyenletben láttuk. Ezek alapj´ an l´ athatjuk, hogy a Y várható értéke az alábbi: E(Y) = P

vagy

E(yji ) = Pji ∀(i, j).

(29)

A Monte Carlo m´ odszer lényege, ennek a szimulációs módszernek az egyszer˝ u következménye: Megfigyel´ es: Egy Y ∈ Mresp (N, L) v´ alasz m´ atrix relat´ıv gyakoris´ aga a fent le´ırt szimul´ aci´ os mechanizmusban nem m´ as, mint a p(Y) = Prob(Y | P) val´ osz´ın˝ usége. Ez a megfigyelés a szimul´ alt m´ atrix elemek f¨ uggetlenségének tudható be, amelyre az r random sz´ amok f¨ uggetlensége is utal. A k¨ ovetkez˝ o elmélet felfedi a szimulációban megjelen˝o számos várható érték közötti kapcsolatot. A bizony´ıték egy egyszer˝ u sz´ amol´ as, amelyet az olvasóra b´ızunk. ´ ıt´ 1. All´ as. Tegy¨ uk fel, hogy létezik egy m´ atrix-érték˝ u val´ osz´ın˝ uségi v´ altoz´ o Y = (yji ) (1 ≤ i ≤ L, 1 ≤ j ≤ N ) amelyre igaz, hogy a ji-edik elemének v´ arhat´ o értéke egyenl˝ o a Rasch feltételes val´ osz´ın˝ uséggel: E(yji ) = Pji . (30) Tov´ abb´ a, tegy¨ uk fel, hogy Y 0 egy is val´ osz´ın˝ uségi v´ altoz´ o, amelyre ugyanaz igaz, mint Y-ra, és hogy szintén igaz, hogy Y és Y 0 f¨ uggetlenek. Majd teh´ at infit-re és outfit-re is fel´ırhatjuk a k¨ ovetkez˝ o egyenl˝ otlenséget: E D2 (X , Y) − MNSQ(X ) E D2 (P, Y)

=

1,

(31)

=

1,

(32)

E D2 (Y, Y 0 )

=

2.

(33)

10

Ezt a fejezetet Ponoczny-nak a Monte Carlo módszerr˝ol ´ırt cikkére (2001) reagálva zárjuk. Az eml´ıtett cikkben a nemparametrikus tesztek kifejlesztése céljából a válasz mátrixok generálására egy hasonl´ o, b´ ar t¨ obb tekintetben más megközel´ıtést választott a szerz˝o. Ponoczny u ´gy generálta az Y m´ atrixokat, hogy a sor¨ osszeg¨ uk megegyezzen az X sorösszegével. Ez néhány problémát vet fel: • Sz´ amos kor´ abbi tanulm´ any foglalkozott már az adott sorösszegre vonatkozó mátrix mintavételi problém´ aval (Snijders, 1991; Rao et. al., 1996; Roberts, 2000; Ponoczny, 2001). A tanulm´ anyok szerz˝ oi hangs´ ulyozzák, hogy gyakorlati szempontból, a halmaz óriási méreténél fogva, egy igen nehezen megoldható probléma. • A sor¨ osszegek ler¨ ogz´ıtésével az eljárás csak a Rasch modellben használható, hiszen köztudott, hogy m´ asik logisztikus modellekben a megbecs¨ ult paraméterek érzékenyek a válasz mátrix sorainak strukt´ ur´ aj´ ara. Annak ellenére, hogy más IRT modellekre is dolgoztak már ki olyan becslési elj´ ar´ asokat amelyek felhasználják a sorösszegeket (Chen & Thissen, 1999), ezek mind k¨ ozel´ıt˝ o m´ odszerek voltak és amelyek parametrikus feltételeket alkalmaznak - pontosan az, amit a Monte Carlo m´ odszer szeretne elker¨ ulni. • A val´ osz´ın˝ uségi értékek szemszögéb˝ol nézve (22. egyenlet ) a sorösszegek lerögz´ıtése esetleg még egyfajta ”bias”-t is eredményezhet az illesztési folyamatban. A szemléltetés kedvéért jel¨ olj¨ uk C-vel a v´ alasz m´ atrixok egy halmazát, amelyeknek a sorösszegei megegyeznek az X sor¨ osszegeivel. Ahhoz, hogy Ponoczny módszere megfelel˝oen m˝ uködjön, az alábbinak kellene teljes¨ ulnie: p(B ∩ C) = p(B), (34) p(C) ahol B b´ armely olyan halmaz lehet, amely az illeszkedési teszttel egy¨ utt ker¨ ult bevezetésre ahogy azt a 24 és 26 egyenleteknél láttuk. Nem igazán hihet˝o, hogy az er˝os f¨ uggetlenségi feltételnek (egyenlet 34) ´ altal´ aban eleget tesz (vagy esetleg egyedi esetekben). Az ¨ osszes eml´ıtett probléma azonban megsz˝ unik abban az esetben ha a következ˝okben le´ırt m´ odszert haszn´ aljuk.

4.3.

Az u ´ j teszteket defini´ al´ o algoritmus

Ez a fejezet a Monte Carlo (MC) t´ıpus´ u illeszkedési tesztek családját tárgyalja. Az eljárás az X ∈ Mresp (N, L) v´ alasz m´ atrixot és a K természetes számot használja fel, az utóbbi a szimul´ alt m´ atrixok sz´ am´ at jel¨ oli. El˝ oször eljárások listáját adjuk meg, majd megmutatjuk, hogy k¨ ul¨ onb¨ oz˝ oképpen val´ o kombin´ al´ asukkal, hogyan kaphatjuk meg az illeszkedési család egyes tagjait. A kor´ abban t´ argyalt s´ ulyozott t´ avolság jelölésére a D2 -et vezetj¨ uk be. (a) Futtassuk a joint maximum likelihood becslést (Wright and Stone (1979) p.62; Baker (1992) p. 144) (vagy m´ as becslési m´ odszert) az X válasz mátrixon,és becs¨ ulj¨ uk meg az item nehézségi és a képesség-paramétereket; (b) Gener´ aljunk K p´ ar Y1k , Y2k (1 ≤ k ≤ K) válasz mátrixot a Rasch modell seg´ıtségével (ennek részletes le´ır´ asa a kor´ abbi szimulációs módszer részben olvasható). Az Ylk mátrix elemeit a k k¨ ovetkez˝ oképpen jel¨ olj¨ uk: yl,ji (l = 1, 2); (c) Sz´ amoljuk ki az ¨ osszes K darab D2 -et a X és a Y1k között a következ˝o egyenletnek megfelel˝ oen: 2 L N k 1 X X xji − y1,ji 2 2 k Dk,out−X := Dout (X , Y1 ) := , (35) N L i=1 j=1 Pji Qji 11

L P N P 2 Dk,in−X

2 := Din (X , Y1k ) :=

i=1 j=1

k xji − y1,ji

L P N P

2 .

(36)

Pji Qji

i=1 j=1 2 Így megkapjuk a D2 es a Dk,in−X eloszlásokat. k,out−X ´ (d) Sz´ amoljuk ki az ¨ osszes K darab D2 -et a P és a Y2k között a következ˝o egyenletnek megfelel˝ oen: 2 Dk,out−P 2 Dk,in−P

2 := Dout (P, Y2k ), 2 Din (P, Y2k ).

:=

(37) (38)

2 Így megkapjuk D2 es a Dk,in−P eloszlásokat. k,out−P ´ 2 (e) Sz´ amoljuk ki az ¨ osszes K darab D2 -et a (Y2k )K ul s ´ıgy megkapjuk Dk,out−Y k=1 halmazon bel¨ 2 et és Dk,in−Y -et, amelyeket az al´ abbi módon definiálhatunk: 2 Dk,out−Y 2 Dk,in−Y

0

00

2 := Dout (Y2k , Y2k ),

:=

0 00 2 Din (Y2k , Y2k ),

(39) (40)

ahol (k 0 , k 00 ) véletlenszer˝ uen v´ alasztott párok. Tegy¨ uk fel a k¨ ovetkez˝ o hipotézis teszteket (az outfit-re és az infit-re egyaránt; az egyszer˝ uség kedvéért az out és in jel¨ oléseket nem használjuk): (f ) 2 2 ak ugyanabból a populációból vannak, Ho : A (Dk−X − 1)K es a (Dk−P )K k=1 ´ k=1 mint´ 2 2 H1 : A (Dk−X − 1)K es a (Dk−P )K ak NEM ugyanabból a populációból vannak, k=1 ´ k=1 mint´

(g) 2 2 ak ugyanabból a populációból vannak, )K es a (Dk−Y )K Ho : A (Dk−X k=1 mint´ k=1 ´ 2 2 H1 : A (Dk−X )K es a (Dk−Y )K ak NEM ugyanabból a populációból vannak, k=1 ´ k=1 mint´

(h) 2 Ho : A (Dk−P )K es az MNSQ ugyanabból a populációból vannak, k=1 minta ´ 2 H1 : A (Dk−P )K es az MNSQ más populációkkból vannak. k=1 minta ´

(i) 2 Ho : A (Dk−Y − 1)K es az MNSQ ugyanabból a populációból vannak, k=1 minta ´ 2 H1 : A (Dk−Y − 1)K es az MNSQ más populációkkból vannak. k=1 minta ´

Megjegyzés: Az algoritmus a két (f ) és (g) tesztekhez tartozó szimulált halmazokat használja fel ahol fontos arr´ ol gondoskodni, hogy a két szimulált halmaz f¨ uggetlen. Ahhoz, hogy a tesztek f¨ uggetlenek legyenek egym´ ast´ ol, a szimulált mátrixok több halmazát is használnunk kell. Ennek t´ argyal´ as´ at itt nem k¨ oz¨ olj¨ uk. 12

4. ´ abra. p-értékek két eloszlás esetén. Dist 2

Dist 1 1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 00000000 11111111 00000000 11111111 00000000 11111111 00000000 11111111 00000000 11111111 00000000 11111111 00000000 11111111 00000000 11111111 p’ 00000000 11111111 00000000 11111111 00000000 11111111 00000000 11111111

11111111111111 00000000000000 00000000000000 11111111111111 00000000000000 11111111111111 00000000000000 11111111111111 00000000000000 11111111111111 00000000000000 11111111111111 p 00000000000000 11111111111111 00000000000000 11111111111111 00000000000000 11111111111111 00000000000000 11111111111111

mean 1

mean 2

5. ´ abra. p-érték egy eloszlás és az MNSQ esetén Distribution

11111111111111 00000000000000 00000000000000 11111111111111 00000000000000 11111111111111 00000000000000 11111111111111 00000000000000 11111111111111 00000000000000 11111111111111 p 00000000000000 11111111111111 00000000000000 11111111111111 00000000000000 11111111111111 00000000000000 11111111111111 MNSQ

Az al´ abbi négy illeszkedési tesztet fogjuk részletezni az el˝obbiekben le´ırt eljárások seg´ıtségével: M CPX

:

(a) → (b) → (c) → (d) → (f ),

(41)

M CYX

:

(a) → (b) → (c) → (e) → (g),

(42)

M CPM

:

(a) → (b) → (d) → (h),

(43)

M CYM

:

(a) → (b) → (e) → (i).

(44)

A teszt elvégzéséhez v´ alaszthatjuk az egy-farokhoz tartozó valósz´ın˝ uség kiszámolását, amelyet oly m´ odon val´ os´ıthatunk meg, hogy leszámoljuk az eloszlásban azokat az elemeket, amelyek nagysága meghaladja (vagy éppen alatta marad, esett˝ol f¨ ugg˝oen) a másik eloszlás átlagát. Ez két eloszl´ as esetén, (mint péld´ aul (f) és (g)), két p értéket fog adni (p és p0 ); és egyet az egy eloszlás esetében (mint péld´ aul (h) és (i)). (l´ asd: 4 és 5 ábrák).

4.4.

A tesztek r´ eszletezett le´ır´ asa

Az, hogy miért fejlesztett¨ unk ki négy tesztet az a következ˝oekkel magyarázható. A szimuláció sor´ an az Y m´ atrixok lehetséges halmaz´ at képezz¨ uk. A s´ ulyozott távolság egyenletének alkalmazásával h´ arom k¨ ul¨ onb¨ oz˝ o t´ avols´ ag-eloszl´ ast tudunk létrehozni: (A) P és Y k¨ oz¨ otti t´ avols´ agok. Ez az eloszlás a modellhez kapcsolódik amit P képvisel. Ennek az eloszl´ asnak a v´ arható értéke 1. 13

6. ábra. M CPX geometriája

Y1 Y2 2 DX 2 DP

P MNSQ

X

(B) X és Y k¨ oz¨ otti t´ avols´ agok. Ez az adatokhoz kapcsolódik, amelyet X képvisel. A várhat´ o ´ ıtás). érték MNSQ+1 (l´ asd: 1. All´ (C) A Y-ok k¨ oz¨ otti t´ avols´ agok. Ez az eloszlás szintén a modellhez kapcsolódik P-n kereszt¨ ul. Ennek az eloszl´ asnak a v´ arható értéke 2. Az illeszkedési tesztek célja, hogy összehasonl´ıtsák a modellt a mért adatokkal (P-t és X -et), amelyet négyféleképpen tudunk megvalód´ıtani. • M CPX : (A) és (B) ¨ osszehasonl´ıtása, • M CYX : (B) és (C) ¨ osszehasonl´ıtása, • M CPM : (A) és MNSQ ¨ osszehasonl´ıtása, • M CYM : (C) és MNSQ ¨ osszehasonl´ıtása. Természetesen egyéb ¨ osszehasonl´ıt´ asok is lehetségese de ezeket most itt részleteiben nem tárgyaljuk. Ilyen péld´ aul az MNSQ ¨ osszehasonl´ıtása a (B)-vel, ami viszont nem az illeszkedést tesztelné hanem ink´ abb csak a szimul´ aci´ os elj´ ar´ ast. Ugyanez mondható el az (A) és a (C) összehasonl´ıtásár´ ol, amelyb˝ ol hi´ anyzik az X , s ezért ez is inkább csak a szimulációs módszer pontosságáról tudna képet adni. Az Y minta helyességénék megállap´ıtására szolgáló tesztet a kés˝obbielben még tárgyalunk.

4.5.

MCPX illeszked´ esi teszt

Az MCPX teszt m¨ og¨ ott megh´ uz´ od´ o ind´ıték az, hogy az MNSQ anal´ızis alapvet˝o célja, hogy megbecs¨ ulje a P és az X t´ avols´ ag´ at. A jó illeszkedés akkor lehetséges ha ez az érték közel esik 1-hez. Az ¨ osszehasonl´ıt´ as elvégzése érdekében az MCPX teszt ”felf´ ujja” a P-t és két válasz mátrixszal Y1 14

7. ábra. M CYX geometriája

Y1 Y2 2 DX 2 DY

P MNSQ

X

-gyel és Y2 -vel helyettes´ıti (6. ´ abra). Ha P közel van X -hez akkor a P és az Y2 átlagos távolsága hasonl´ o nagys´ ag´ u, mint az X és az Y1 közötti átlagos távolság. A hagyományos MNSQ tesztekt˝ ol eltér˝ oen, most nem csup´ an az ´ atlagos értékeket kapjuk meg, hanem mindekét eloszlást is, ami egy realisztikusabb ¨ osszehasonl´ıt´ ast tesz lehet˝ové. Egy kissé u ¨gyetlen jellegzetessége ennek a tesztnek, hogy 1-et ki kell vonni valamelyik eloszl´ asb´ ol. Ez az 1 a P és az X k¨ oz¨ otti távolság várható értéke (outfit és infit esetében is), amelyet egy k¨ orrel jel¨ olt¨ unk az ´ abr´ akon (Figure 6 to 9). Ezt az el˝oz˝oekben már részletesen tárgyaltuk (1. ´ ıt´ All´ as).

4.6.

MCYX illeszked´ esi teszt

Ha a modell j´ ol illeszkedik az adatokra, akkor az X megk¨ ulönböztethetetlen a modell által gener´ alt Y v´ alasz m´ atrixokt´ ol. Teh´ at ez azt jelenti, hogy az X és az Y-ok halmaza közötti átlagos távols´ ag értéke megegyezik az Y m´ atrixok ´ atlagos távolságával (7. ábra). A korábbihoz hasonlóan, most is két eloszl´ asunk van, amelyek két p-értéket eredményeznek (p és p0 ).

4.7.

MCPM illeszked´ esi teszt

Az MCPM teszt kiindul´ opontja (8. ábra) az, hogy bármely szimulált Y mátrix elfogadható lenne egy v´ alasz m´ atrixként. Teh´ at az X és P távolságának négyzete (MNSQ) nem térhet el az Y és a P négyzetes t´ avols´ ag´ anak ´ atlag´ at´ ol. Eltérés esetén torz illeszkedésr˝ol kell beszél¨ unk. A fent le´ırt elj´ ar´ asok természtesnek t˝ unhetnek, és u ´gy gondoljuk, hogy eddig azért nem váltak népszer˝ uvé, mert robusztus sz´ am´ıt´ ogépek csak az utóbbi id˝okben terjedtek el, és azok nélk˝ ul ezek a tesztek napokig futn´ anak. 15

8. ábra. M CPM geometriája

Y2 2 DP

P MNSQ

X

4.8.

MCYM illeszked´ esi teszt

Az alap¨ otlet mégegy verzi´ oja a M CYM teszt, amely mögötti geometriai kép (Figure 9) a következ˝ o m´ odon ´ırhat´ o le. Az X és P k¨ oz¨ otti távolság megbecs¨ uléséhez, el˝oször ”felf´ ujjuk” P-t egy válasz m´ atrix halmazz´ a, majd helyettes´ıtj¨ uk az X -et egy másik válasz mátrix halmazzal. A két halmaz k¨ oz¨ otti ´ atlagos t´ avols´ agot az MNSQ-hoz hasonl´ıtjuk és értékelj¨ uk. Ha jó a modell illeszkedés akkor mondhatjuk, hogy X egyenl˝ o a generált Y-ok halmazával, s ´ıgy MNSQ megegyezik az átlaggal. Ebben az esetben is 1-et ki kell vonni az eloszlásból az összehasonl´ıtás el˝ott. Mivel itt 1 eloszlásunk van és 1 fix sz´ amunk (MNSQ) ez a teszt csupán egy p-értékkel rendelkezik (Figure 5).

4.9.

Az illeszked´ esi tesztek ´ altal´ anos´ıt´ asa

Ebben a fejezetben kifejtj¨ uk, hogy milyen lehet˝oségeket látunk a fent le´ırt módszerek más IRT modellekre val´ o´ altal´ anos´ıt´ as´ ara, illeteve más módszerekkel való használatára. A k¨ ovetkez˝ okben tegy¨ uk fel, hogy egy IRT modellt egyértelm˝ uen definiál a hozzá tartozó P val´ osz´ın˝ uségi m´ atrix hiszen az IRT modell sajátosságai bele van ”kódolva” a P szerkezetébe. Ahogy eddig is ´ırtuk, a P elemei a val´ os teljes´ıtményhez tartozó valósz´ın˝ uségi értékek, amelyek a modell f¨ uggvényében vannak meghat´ arozva. Minden IRT modell meghatároz meg egy válasz mátrix halmazt, amely halmazban az N L méret˝ u (N és L korábbi jeletésével) mátrixok vannak a modellnek megfelel˝ o elemekkel. A parci´ alis-kredit modellnél például a rangskála k¨ ulönböz˝o szintjei adják a m´ atrix elemeit. A szimul´ aci´ os m´ odszert a modellnek megfelel˝oen kell változtatni. A módszer változik elméletr˝ ol elméletre de a cél mindig ugyanaz marad: a válasz mátrix halmazból u ´gy kell választani a mintákat, hogy a m´ atrix relat´ıv gyakoris´ aga egyenl˝o legyen a P-b˝ol szám´ıtott valósz´ın˝ uséggel. A lényeges k¨ ul¨ onbség az egyes modellek k¨ oz¨ ott a paraméterek megbecslésében van, aminek az itt felvázolt Monte Carlo m´ odszer szempontj´ ab´ ol nincsen k¨ ulönösebb jelent˝osége. 16

9. ábra. M CYM geometriája

Y2 2 DY

P MNSQ

X

Drasgow, Levine, & McLaughlin (1987), Klauer (1995) és Snijders (2001) tanulmányaiban megjel¨ olt illeszkedési statisztik´ ak szinte mindegyike kifejezhet˝o egy általános formában: N L X X (xji − Pji )wji V =

(45)

i=1 j=1

vagy V∗ =

L X N X

(xji − Pji )2 vji ,

(46)

i=1 j=1

ahol wji és vji a megfelel˝ o s´ uly f¨ uggvényt jelölik. Jól látható, hogy az el˝oz˝o részben le´ırt eljár´ as k¨ onnyedén ´ altal´ anos´ıthat´ o b´ armely illeszkedési statisztikára a fent le´ırt egyenletek (45 és 46) seg´ıtségével. Itt r¨ oviden felv´ azoljuk, hogy hogyan hajthatjuk ezt végre egy általános illeszkedési index V and V ∗ esetében (45 és 46 egyenletek). Az egyszer˝ uség kedvéért most csak egy, az MCVPM indexet haszn´ aljuk. Kezdj¨ uk el˝ osz¨ or is azzal, hogy már megbecs¨ ult¨ uk a modellhez tartozó paramétereket. Majd, a szimul´ alt m´ atrixok halmaz´ ab´ ol, Y k , k = 1, . . . , K, létrehozzuk az eloszlásokat Vk := V (P, Y)

L X N X

:=

k (yji − Pji )wji ,

(47)

k (yji − Pji )2 vji .

(48)

i=1 j=1

Vk∗ := V ∗ (P, Y)

L X N X

:=

i=1 j=1

Majd, elvégezz¨ uk a hipotézis tesztelést, hogy lássuk, hogy V = V (P, X ) és 17

V ∗ = V ∗ (P, X )

(49)

1. t´ abl´ azat. pPM négy k¨ ulönböz˝o tesztre kapott értékei. K=1000 pχ 2 pPM pPM pPM pPM pPM Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.3100 0.3240 0.2880 0.3270 0.3340 0.3166 0.0182 0.0460 0.2880 0.3340

40×48 0.0145 0.1810 0.1740 0.1800 0.1620 0.1770 0.1748 0.0077 0.0190 0.1620 0.1810

40×24 0.0914 0.3260 0.2900 0.3090 0.3100 0.2900 0.3050 0.0153 0.0360 0.2900 0.3260

82×24 0.0447 0.2260 0.2260 0.2080 0.2410 0.2390 0.2280 0.0132 0.0330 0.2080 0.2410

K=5000 pχ 2 pPM pPM pPM pPM pPM Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.3200 0.3188 0.3218 0.3204 0.3298 0.3222 0.0044 0.0110 0.3188 0.3298

40×48 0.0145 0.1818 0.1840 0.1804 0.1742 0.1756 0.1792 0.0042 0.0098 0.1742 0.1840

40×24 0.0914 0.2988 0.3082 0.2976 0.2960 0.3024 0.3006 0.0049 0.0122 0.2960 0.3082

82×24 0.0447 0.2338 0.2240 0.2320 0.2342 0.2252 0.2298 0.0049 0.0102 0.2240 0.2342

¨ replik´ Megjegyzés: Ot aci´ ot kész´ıtett¨ unk az MC indexek stabilitásának megvizsgálására.

ugyanabba a popul´ aci´ oba tartozik-e, mint a hozzájuk tartozó (Vk ) és (Vk∗ ). Most m´ ar egyértelm˝ uen l´ atszik, hogy hogyan általános´ıtható a Monte Carlo eljárás. B´ armely olyan indexre, amely X -b˝ ol és P -b˝ol származtatható, tudunk generálni válasz mátrixokat és ki tudjuk sz´ amolni az indexet az Y-ra, amely az X szerepét tölti be. A korábban kifejtett Megfigyelés tartalmazza azt az Y relat´ıv gyakorisága és az Y-hoz tartozó p(Y) valósz´ın˝osége közötti osszef¨ ¨ uggést, amely lehet˝ ové teszi az aktuális indexhez tartozó p-érték megtalálását.

5. 5.1.

¨ Osszehasonl´ ıt´ o´ es stabilit´ ast vizsg´ al´ o tanulm´ anyok A tanulm´ anyok le´ır´ asa

Két tanulm´ anyt végezt¨ unk el annak érdekében, hogy az u ´j módszer jellemz˝oit közelebbr˝ol is megismerj¨ uk. El˝ osz¨ or is a Monte Carlo illeszkedési teszteket a hagyományosan használt MNSQ outfit teszthez hasonl´ıtottuk k¨ ul¨ onb¨ oz˝ o nagyság´ u válasz mátrixok seg´ıtségével. Majd a teszt stabilitás´ at vizsg´ altuk k¨ ul¨ onb¨ oz˝ o sz´ am´ u szimul´ aciókon kereszt¨ ul. A tanulm´ anyban haszn´ alt v´ alasz mátrixok az Ohio State University Matematika Tanszékér˝ ol sz´ armaznak. Az ott megh´ırdetett Matematika 116-os kurzushoz (”Kirándulások a Matematika ter¨ uletén”) haszn´ alt 48 kérdéses, felelet-választós témazáró vizsgát és a 24 kérdéses rövid vizsg´ at haszn´ altuk fel. Mindkét tesztet 82 diák oldotta meg. Részcsoportokat hoztunk létre azáltal, hogy megfelezt¨ uk a két vizsgacsoportot, s ´ıgy négy k¨ ulönboz˝o válasz mátrixot hoztunk létre következ˝ o méretekben: 82 × 48, 40 × 48, 40 × 24, 82 × 24. A k¨ ovetkez˝ o t´ abl´ azatok (1-6. ´ abrák), a pχ2 sorai az MNSQ outfit értékeit mutatják, (a WilsonHilferty transzform´ aci´ o és a numerikus integrálást követ˝oen). Majd a következ˝o öt sor tartalmazza az adott Monte Carlo teszt ¨ ot f¨ uggetlen replikálásából kapott p értékeit. A táblázatok párokban vannak. Az els˝ o t´ abl´ azatban a szimulált mátrixok száma K = 1000, a másodikban pedig K = 5000. A t´ abl´ azatok szintén tartalmazzák a Monte Carlo teszt öt replikációja felett kapott p-értékek atlag´ ´ at, sz´ or´ as´ at, terjedelmét, minimumát és maximumát.

5.2.

A t´ abl´ azatok ¨ osszefoglal´ asa

A két t´ abl´ azat 1 mutatja a pPM értékeket. Látható, hogy am´ıg pχ2 két esetben is torz illeszkedést mutat az α = 0.05 szinten (vastagon szedett számok), pPM minden esetben moderált illeszkedést mutat. Ez a megfigyelés egy u ´jabb bizony´ıtéka a gyakran tárgyalt problémának, amely szerint az 18

2. t´ abl´ azat. pYM négy k¨ ulönböz˝o tesztre kapott értékei. K=1000 pχ 2 pYM pYM pYM pYM pYM Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.3710 0.3820 0.3650 0.3760 0.3810 0.3750 0.0071 0.0170 0.3650 0.3820

40×48 0.0145 0.2640 0.2620 0.2700 0.2590 0.2650 0.2640 0.0041 0.0110 0.2590 0.2700

40×24 0.0914 0.3900 0.3600 0.3820 0.3530 0.3650 0.3700 0.0155 0.0370 0.3530 0.3900

82×24 0.0447 0.3220 0.3220 0.3240 0.3230 0.3360 0.3254 0.0060 0.0140 0.3220 0.3360

K=5000 pχ 2 pYM pYM pYM pYM pYM Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.3856 0.3804 0.3786 0.3774 0.4038 0.3852 0.0109 0.0264 0.3774 0.4038

40×48 0.0145 0.2660 0.2772 0.2732 0.2660 0.2842 0.2733 0.0078 0.0182 0.2660 0.2842

40×24 0.0914 0.3652 0.3688 0.3710 0.3648 0.3730 0.3686 0.0036 0.0082 0.3648 0.3730

82×24 0.0447 0.3366 0.3142 0.3244 0.3252 0.3184 0.3238 0.0085 0.0224 0.3142 0.3366


3. t´ abl´ azat. pPX négy k¨ ulönböz˝o tesztre kapott értékei. K=1000 pχ 2 pPX pPX pPX pPX pPX Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.3040 0.3280 0.2950 0.3040 0.3090 0.3080 0.0123 0.0330 0.2950 0.3280

40×48 0.0145 0.2270 0.2040 0.2360 0.2250 0.2360 0.2256 0.0131 0.0320 0.2040 0.2360

40×24 0.0914 0.3010 0.3020 0.3020 0.2940 0.3030 0.3004 0.0036 0.0090 0.2940 0.3030

82×24 0.0447 0.2340 0.2320 0.2470 0.2440 0.2740 0.2462 0.0168 0.0420 0.2320 0.2740

K=5000 pχ 2 pPX pPX pPX pPX pPX Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.2970 0.2976 0.3120 0.3054 0.3072 0.3038 0.0064 0.0150 0.2970 0.3120

40×48 0.0145 0.2194 0.2312 0.2232 0.2244 0.2300 0.2256 0.0049 0.0118 0.2194 0.2312

40×24 0.0914 0.2874 0.2924 0.2940 0.2954 0.2898 0.2918 0.0032 0.0080 0.2874 0.2954

82×24 0.0447 0.2536 0.2366 0.2584 0.2512 0.2540 0.2508 0.0083 0.0218 0.2366 0.2584


MNSQzstd eloszl´ asa eltér a norm´ alistól. Még abban az esetben is amikor pχ2 jó illeszkedést mutat, a pPM értékei jelent˝ osen magasabbak, mint a pχ2 értékei. A pPM stabilit´ as-anal´ızis nagyon kedvez˝o képet fest. Annak ellenére, hogy a pPM eléri a 0.0460 (K = 1000; 82 × 48), a minta méretének növelésével (K = 5000) ezuhan 0.012-re. Az átlagok egy nagyon er˝ os stabilit´ asr´ ol ´ arulkodnak. A legnagyobb ugrás 0.3222 − 0.3166 = 0.006, vagyis csak 0.6% (a legnagyobb 82 × 48 v´ alasz mátrix esetében ahol K -t felemelt¨ uk 1000-r˝ol 5000-re). Meg´ allap´ıthatjuk, hogy a tanulmányunkban szerepl˝o mátrixméretekre vonatkozóan a pPM Monte Carlo teszt ¨ otezres elem sz´ ammal megb´ızható és stabil p-értékeket képes el˝oáll´ıtani. ´ Altal´ anoss´ agban elmondhatjuk, hogy a hagyományos MNSQ és az u ´j Monte Carlo tesztek osszehasonl´ıt´ ¨ asa egyszer˝ uen kivitelezhet˝o, hiszen az eredmény minden alkalommal konzisztensen ugyanaz: a Monte Carlo tesztek nem mutatnak szignifikáns illeszkedési torzulást (még a szigor´ u α = 0.1 szinten sem) m´ıg, az MNSQ outfit szignifikáns torzulást mutat (α = 0.05 szinten), négyb˝ ol két esetben. A stabilit´ asi vizsg´ alat igaz´ an j´ o eredményt mutat. A pYX és a p0YX kivételével(amelyek igazáb´ ol ugyanazok az esetek) a p-értékek az 5000-es minta esetén szinte sohasem nagyobbak, mint 0.02. Az ´ atlagok szintén mindig er˝ os stabilitást mutatnak. Fontosnak tartjuk mégegyszer kihags´ ulyozni, hogy az 5000-es minta egy hihetetlen¨ ul kicsi minta. A 82 × 48-es méret˝ u v´ alasz m´ atrixok száma 23936 ≈ 7 · 101185 . Szinte hihetetlen, hogy ebb˝ ol a halmazb´ ol h´ uzott 5000-es minta (sok esetben csak az 1000-es minta) megb´ızható eredményt produk´ al. Ez az eredmény els˝ osorban a minta-választásnak köszönhet˝o. Azok a mátrixok fognak kiv´ alaszt´ odni, amelyeknek nagy a valósz´ın˝ usége a p értékét tekintve. A legtöbb mátrix jelentéktelen val´ osz´ın˝ uséggel rendelkezik, még akkor is ha az Mresp halmazának méretéhez hasonl´ıtjuk ˝oket. Nem nehéz megérteni, hogy miért pYX és p0YX adja a legkevésbé stabil eredményt (5 and 6. 19

4. t´ abl´ azat. p0PX négy k¨ ulönböz˝o tesztre kapott értékei. K=1000 pχ 2 p0PX p0PX p0PX p0PX p0PX Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.3230 0.3300 0.2650 0.3280 0.3380 0.3168 0.0295 0.0730 0.2650 0.3380

40×48 0.0145 0.1810 0.1740 0.1810 0.1620 0.1810 0.1758 0.0083 0.0190 0.1620 0.1810

40×24 0.0914 0.3420 0.2870 0.3080 0.3240 0.2990 0.3120 0.0215 0.0550 0.2870 0.3420

82×24 0.0447 0.2110 0.2140 0.2130 0.2240 0.2540 0.2232 0.0179 0.0430 0.2110 0.2540

K=5000 pχ 2 p0PX p0PX p0PX p0PX p0PX Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.3174 0.3168 0.3268 0.3178 0.3162 0.3190 0.0044 0.0106 0.3162 0.3268

40×48 0.0145 0.1796 0.1838 0.1810 0.1792 0.1754 0.1798 0.0030 0.0084 0.1754 0.1838

40×24 0.0914 0.3000 0.3098 0.2976 0.2982 0.2938 0.2999 0.0060 0.0160 0.2938 0.3098

82×24 0.0447 0.2358 0.2116 0.2374 0.2348 0.2314 0.2302 0.0106 0.0258 0.2116 0.2374


5. t´ abl´ azat. pYX négy k¨ ulönböz˝o tesztre kapott értékei. K=1000 pχ 2 pYX pYX pYX pYX pYX Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.2960 0.3220 0.2990 0.2980 0.3000 0.3030 0.0107 0.0260 0.2960 0.3220

40×48 0.0145 0.2250 0.2080 0.2360 0.2250 0.2300 0.2248 0.0104 0.0280 0.2080 0.2360

40×24 0.0914 0.2910 0.2900 0.3160 0.2800 0.3030 0.2960 0.0138 0.0360 0.2800 0.3160

82×24 0.0447 0.2410 0.2320 0.2520 0.2560 0.2690 0.2500 0.0142 0.0370 0.2320 0.2690

K=5000 pχ 2 pYX pYX pYX pYX pYX Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.2986 0.2996 0.3106 0.3060 0.3196 0.3069 0.0086 0.0210 0.2986 0.3196

40×48 0.0145 0.2192 0.2306 0.2226 0.2178 0.2388 0.2258 0.0088 0.0210 0.2178 0.2388

40×24 0.0914 0.2802 0.2836 0.2920 0.2922 0.2894 0.2875 0.0053 0.0120 0.2802 0.2922

82×24 0.0447 0.2536 0.2402 0.2612 0.2494 0.2452 0.2499 0.0080 0.0210 0.2402 0.2612


abr´ ´ ak). A kiv´ alasztott v´ alasz m´ atrixok itt vannak a legintenz´ıvebben használva. Ezek a p-értékek két eloszl´ asb´ ol vannak kisz´ amolva, az egyik¨ uk a szimulált mátrixok közötti távolságok halmaza, amely er˝ osen f¨ ugg a szimul´ alt halmaz jellegét˝ol. A másik eloszlás szintén ett˝ol a halmaztól f¨ ugg, hiszen az nem m´ as, mint X és a szimulált halmaz közötti távolságok halmaza. Még ebben az esetben is a legnagyobb terjedelem csak 0.0314 ( K = 5000, 82 × 24-as tesztnél). Mivel a p-értékei mindig nagyobbak mint 0.27, ezért ez az eltérés aránylag kicsi és semmiképpen nincs hatással a hipotézis teszt eredményére. Egyetlen esetben lehet csak hat´ asa a Monte Carlo teszteknek a végs˝o döntésen, mégpedig akkor ha a p értéke az α értékéhez k¨ ozel esik. Egy kiterjedt szimulációs tanulmány (Antal & Antal, 2003a) kimutatta, hogy ez szinte sosem fordul el˝o. Vagyis elég valószin˝ utlen, hogy a válasz mátrix p-értéke torz illeszkedést mutasson. A fent eml´ıtett tanulmány egyetlen olyan válasz mátrixot sem tudott felmutatni, amely az α = 0.01 szinten torz illeszkedést mutatott volna. Csupán néhány esetben fordult ez el˝ o az α = 0.05 szinten (100,000 válasz mátrix köz¨ ul).

6.

¨ Osszefoglal´ as

Az itt bevezetett Monte Carlo tesztek nemparametrikus családja igazán megfelel˝o jelölt arra, hogy felv´ altsa a hib´ as MNSQ illeszkedési teszteket. A család számos tagot foglal magába, de egyenl˝ ore egyik¨ uk sem prefer´ altabb a m´ asiknál. További tanulmányok feladta lesz, hogy az u ´j p-értékek k¨ oz¨ otti k¨ ul¨ onbséget kimutassa. Egyik teszt sem mutatott szignifikáns torzulást a felhasznált válasz mátrixokban, amely a hagyom´ anyos MNSQ outfit teszt eredményeinek ellentmondott. Ugyanakkor, ez azt is mutatja, 20

6. t´ abl´ azat. p0YX négy k¨ ulönböz˝o tesztre kapott értékei. K=1000 pχ 2 p0YX p0YX p0YX p0YX p0YX Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.3750 0.3840 0.3530 0.3770 0.3850 0.3748 0.0129 0.0320 0.3530 0.3850

40×48 0.0145 0.2660 0.2610 0.2700 0.2590 0.2730 0.2658 0.0059 0.0140 0.2590 0.2730

40×24 0.0914 0.3960 0.3590 0.3820 0.3590 0.3730 0.3738 0.0158 0.0370 0.3590 0.3960

82×24 0.0447 0.3120 0.3190 0.3260 0.3100 0.3480 0.3230 0.0153 0.0380 0.3100 0.3480

K=5000 pχ 2 p0YX p0YX p0YX p0YX p0YX Mean Std.Dev. Range Minimum Maximum

82×48 0.1021 0.3842 0.3792 0.3816 0.3752 0.3956 0.3832 0.0077 0.0204 0.3752 0.3956

40×48 0.0145 0.2644 0.2760 0.2748 0.2698 0.2834 0.2737 0.0071 0.0190 0.2644 0.2834

40×24 0.0914 0.3654 0.3696 0.3708 0.3658 0.3694 0.3682 0.0024 0.0054 0.3654 0.3708

82×24 0.0447 0.3386 0.3072 0.3292 0.3256 0.3218 0.3245 0.0115 0.0314 0.3072 0.3386


hogy az MNSQ χ2 (vagy normalit´ as feltevés) egy régi, nem helytálló paradigma, amely a jelen kutat´ as kiindul´ opontj´ at adta. Annak ellenére, hogy a Monte Carlo p-értékek csupán approximálások, nagyon er˝os stabilit´ ast mutatnak a szimul´ alt m´ atrixok számát illet˝oen. Megmutattuk, hogy közepes méret˝ u válasz m´ atrixok esetében az 5000-es méret˝ u minta kielég´ıt˝o eredmény ad. Ennek ellenére, mindig javasolt a stabilit´ as tanulm´ anyoz´ asa. Nagyon valósz´ın˝ utlen, hogy egy eredmény a válasz mátrixok számának kiv´ alaszt´ as´ ara u ´gy alkalmazhat´ o, hogy az minden esetben megb´ızható ereményt adjon. A Monte Carlo p-értékek kisz´ amol´ as´ anak replikációi azonban könnyen elvezethet benn¨ unket jól átgondolt d¨ ontések meghoz´ as´ ara. Ebben a tanulmányban öt replikációt kész´ıtett¨ unk két k¨ ulönböz˝o nagyság´ u mint´ ara (K = 1000 és K = 5000). Had ejts¨ unk néh´ any sz´ ot a fut´ asi id˝or˝ol. Mivel a Monte Carlo tesztek szimulációval helyettes´ıtik az analitikus megold´ ast, ezért nagy szám´ıtógép er˝oforrást igényel. A program kód meg´ırásán´ al figyelt¨ unk arra, hogy minél kevesebb memórát használjon a gép. A legnagyobb teszt (82 × 48, K = 5000) fut´ asi ideje 10 perc volt egy olyan gépen amely 2.4 GHz Xenon processzorral rendelkezett. Tudva azt, hogy az IRT modelleket használók egy nagy csoportja azért vetette el a Rasch modellt, mert a modell gyakran (félrevezet˝ o módon) szignifikáns torzulást mutatott, a megnövekedett fut´ asi id˝ o megéri, hogy letiszt´ azzuk az egyes modellek illeszkedésének elméletét. Ahogy a szám´ıtógépek egyre er˝ osebbé v´ alnak, m´ ar semmi sem szab gátat egy komoly illeszkedési anal´ızis kivitelezésének.

21

Hivatkoz´ asok [1] Antal, J. (2003). A person fit test based on Monte-Carlo method. Paper presentation at the annual meeting of the National Council on Measurement in Education, Chicago, IL [2] Antal, T. & Antal, J. (2003a). Global Rasch fit analysis. (unpublished manuscript) [3] Antal, T. & Antal, J. (2003b). Kardin´ al 0.018: Comprehensive Rasch Analysis. Computer Software. [4] Baker, F. (1992). Item Response Theory: Parameter estimation methods. New York, NY: Marcel Dekker, Inc. [5] Baker, F. (2001). The basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation, College Park, MD. [6] Chen, W.H., & Thissen, D. (1999). Estimation of item parameters for the three-parameter logistic model using the marginal likelihood of summed scores. British Journal of Mathematical and Statistical Psychology, 52, 19-37. [7] Cohen, A. S. (1991). Influence of prior distributions on detection of DIF. Journal of Educational Measurement, 28, 1, 49-59. [8] Drasgow, F., Levine, M. V., & McLaughlin, M. E. (1987). Detecting inappropriate test scores with optimal and practical appropriateness indices. Applied Psychological Measurement, 11, 59-79. [9] Ferrara, S. (1997). Contextual characteristics of locally dependent open-ended item clusters in a large-scale performance assessment. Applied Measurement in Education, 10, 2, 123-44. [10] Ferrara, S.; Huynh, H. & Michaels, H. (1999). Contextual explanations of local dependence in item clusters in a large scale hands-on science performance assessment. Journal of Educational Measurement, 36, 2, 119-40. [11] Fisher, G. H. (1981). On the existence and uniqueness of maximum likelihood estimates in the Rasch model. Psychometrika, 46, 59-77. [12] Klauer, K. C. (1995). The assessment of person fit. In G. H. Fischer & I. W. Molenaar (Eds.), Rasch models: Foundations, recent developments, and applications (pp.97-110). New York, NY: Springer. [13] Lang, S. (1986). Introduction to Linear Algebra. New York, NY: Springer Verlag. [14] Li, Mao-neng F. & Olejnik, S.(1997). The power of Rasch person-fit statistics in detecting unusual response patterns. Applied Psychological Measurement, 21, 3, 215-231. [15] Linacre, J. M. & Wright, B.D. (2002). Understanding Rasch measurement: construction of measures from many-facet data. Journal of Applied Measurement 3, 4, p486-512. [16] Meijer, R. R. & Sijtsma, K. (2001). Methodology review: Evaluating person fit. Applied Psychological Measurement. 25, 2, 107-135. [17] Noonan, B. W., Boss. M. W. & Gessaroli, M. E. (1992). The effect of test length and IRT model on the distribution and stability of three appropriateness indexes. Applied Psychological Measurement, 16, 4, 345-352. 22

[18] Parshall, C. G. & Miller, T. R.(1995). Exact versus asymptotic Mantel-Haenszel DIF Statistics: a comparison of performance under small-sample conditions. Journal of Educational Measurement, 32, 3, 302-316. [19] Ponoczny, I. (2001). Nonparametric Goodness-of-fit tests for the Rasch model. Psychometrika, 66, 3, 437-460. [20] Rao, A. R.; Jana, R. and Bandyopadhyay, S. (1996). A Markov chain Monte Carlo method for generating random (0, 1) matrices with given marginals. Sankhya ser. A 58, 225-242. [21] Reese. L. M. (1999). Impact of local item dependence on item response theory scoring in CAT. Law School Admission Council Computerized Testing Report. LSAC Research Report Series. [22] Roberts, J. M. Jr. (2000). Simple methods for simulating sociomatrices with given marginal totals. Social Networks 22, 273-283. [23] Roussos, L. A., Schnipke, D. L. & Pashley, P.J. (1999). A generalized formula for the MantelHaenszel differential item functioning parameter. Journal of Educational and Behavioral Statistics, 24,3 293-322. [24] Smith, E. V. Jr. (2001). Understanding Rasch measurement: Evidence for the reliability of measures and validity of measure interpretation: a Rasch measurement perspective. Journal of Applied Measurement, 2, 3, 281-311. [25] Smith, R. M.(1985). A comparison of Rasch person analysis and robust estimators. Educational and Psychological Measurement, 45, 433-444. [26] Snijders, T. A. B. (1991). Enumeration and simulation methods for 0-1 matrices with given marginals. Psychometrika, 56, 397-417 [27] Snijders, T. A. B. (2001). Asymptotic null distribution of person fit statistics with estimated response parameter. Psychometrika, 66, 3, 331-342. Stone, G. (2001). Understanding Rasch measurement: Objective standard setting (or truth in advertising). Journal of Applied Measurement, 2,2, 187-201. [28] Swaminathan, H. & Rogers, H. J.(1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational Measurement, 27,4, 361-70. [29] Wilson, M. (1988). Detecting and interpreting local item dependence using a family of Rasch models. Applied Psychological Measurement, 12, 4, 353-364. [30] Wright, B. D. & Linacre, M. (1985). Microscale manual (ver. 2.0) Westport CT: Mediax Interactive Technologies. [31] Wright, B. D. & Masters, G. N. (1982). Rating scale analysis, Rasch Measurement, Chicago: MESA Press. [32] Wright, B. D. & Mok, M. (2000). Understanding Rasch Measurement: Rasch Models Overview. Journal of Applied Measurement, 1, 1, 83-103. [33] Wright, B. D. and Stone, M. H (1979). Best test design. Chicago: MESA Press. [34] Yen, W. M. (1993). Scaling performance assessment: Strategies for managing local item dependence. Journal of Educational Measurement, 30,3, 187-213. 23

[35] Zwick R., Thayer D. T. (2002). Application of an empirical Bayes enhancement of MantelHaenszel differential item functioning analysis to a computerized adaptive test. Applied Psychological Measurement, 26, 1, 57-76.

24

THE OHIO STATE UNIVERSITY QUANTITATIVE RESEARCH EVALUATION AND MEASUREMENT PROGRAM ANTAL JUDIT MONTE CARLO ILLESZKEDÉSI TESZTEK A RASCH MODELLBEN

Recommend Documents