Tvorba a vyuˇzit´ı didaktick´ych test˚ u ˇ ast materi´al˚ C´ u k pˇredn´aˇsk´am
Hana Voˇ nkov´a Univerzita Karlova v Praze - Pedagogick´ a fakulta
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
1
Didaktick´y test - struˇcn´y popis postupu konstrukce I
nezaˇc´ınat navrhov´an´ım testov´ych u ´loh zaˇ c´ınat promyˇslen´ım u ´ˇ celu testu a d´ale stanoven´ım obsahu testu pro u ´roveˇ n osvojen´ı poznatk˚ u je vhodn´e pouˇz´ıt Bloomovu taxonomii v´yukov´ych c´ıl˚ u (znalost, pochopen´ı, aplikace, anal´yza, synt´eza a hodnocen´ı) stanov´ıme ˇ casov´ y limit d´ale lze pˇristoupit k formulaci jednotliv´ ych u ´loh, pˇriˇcemˇz je nutn´e m´ıt neust´ale na pamˇeti, k jak´emu u ´ˇcelu u ´lohy slouˇz´ı a na z´akladˇe toho vyb´ırat i vhodn´y typ testov´ych u ´loh (otevˇren´e, uzavˇren´e atd.)
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
2
Didaktick´y test - struˇcn´y popis postupu konstrukce II
test je vhodn´e nechat posoudit jin´ym hodnotitelem posuzov´ an´ı obsahov´ e validity po sbˇeru dat provedeme anal´ yzu vlastnost´ı testov´ ych u ´loh a cel´ eho testu (v´ypoˇcet obt´ıˇznosti a citlivosti poloˇzek, anal´yza nenormovan´ych odpovˇed´ı a reliability testu) vyˇrad´ıme u ´lohy, kter´ e nejsou vhodn´ e (napˇr. z´aporn´a diskriminaˇcn´ı s´ıla) pokud m´a test s obsahovˇe homogenn´ımi u ´lohami n´ızkou reliabilitu, v´ysledky ˇz´ak˚ u z´ıskan´ych pomoc´ı tohoto testu nem˚ uˇzeme povaˇzovat za spolehliv´e a pˇresn´e n´aslednˇe lze prov´est standardizaci testu
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
3
Didaktick´y test - testov´e u´lohy I
Testov´ eu ´lohy dˇ el´ıme dle zp˚ usobu ˇreˇsen´ı (Chr´astka, 2007) 1 otevˇ ren´e u ´lohy otevˇren´e ˇsirok´e u ´lohy otevˇren´e u ´lohy se struˇcnou odpovˇed´ı 2
uzavˇren´e dichotomick´e s v´ybˇerem odpovˇedi(´ı) pˇriˇrazovac´ı uspoˇr´adac´ı
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
4
Didaktick´y test - testov´e u´lohy II
Otevˇren´ e ˇsirok´ eu ´lohy od testovan´eho vyˇzaduj´ı rozs´ ahlejˇs´ı odpovˇ ed’ (1/2 strany, ale i v´ıce) Kter´e byly hlavn´ı pˇr´ıˇciny vzniku druh´e svˇetov´e v´alky? Popiˇste ˇcinnost jadern´e elektr´arny. vhodn´e pro zkouˇsen´ı komplexn´ıch vˇedomost´ı, vyˇsˇs´ıch u ´rovn´ı osvojen´ı uˇciva doporuˇcuje se vymezen´ı struktury poˇzadovan´e odpovˇedi pro snadnˇejˇs´ı vyhodnocov´an´ı v´yhoda: snadno se navrhuj´ı nev´yhoda: nemoˇznost objektivn´ıho sk´ orov´an´ı
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
5
Didaktick´y test - testov´e u´lohy III Otevˇren´ eu ´lohy se struˇ cnou odpovˇ ed´ı od testovan´eho vyˇzaduj´ı vytvoˇren´ı vlastn´ı kr´atk´e odpovˇedi napˇr. uveden´ı urˇcit´eho slova, ˇc´ısla, symbolu, vzorce, jednoduch´eho grafu, nˇekolik slov ˇci kr´atk´ych vˇet atp. dˇel´ıme je na: produkˇ cn´ı u ´lohy Napiˇste Archim´ed˚ uv z´akon. doplˇ novac´ı testov´ eu ´lohy Dne 6. ˇcervence 1415 byl v Kostnici up´alen kazatel. . . Muˇzi mlˇcel. . ., ˇzeny hovoˇril. . ., dˇeti se sm´al. . . a ˇstˇen ˇta si hr´al. . ..
v´yhody: snadno se navrhuj´ı a nejde snadno uhodnout spr´avn´a odpovˇed’
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
6
Didaktick´y test - testov´e u´lohy IV
Dichotomick´ eu ´lohy testovan´ym jsou pˇredkl´ad´any dvˇe alternativy odpovˇedi s t´ım, ˇze jedna je spr´avn´a ˇcasto oznaˇcov´any jako true-false items Jan Amos Komensk´y se narodil roku 1592. ano - ne Pˇri vypaˇrov´an´ı kapaliny se teplo spotˇrebov´av´a - uvolˇ nuje v´yhody: snadno se navrhuj´ı a vyhodnocuj´ı nev´yhody: ˇcasto testov´an´ı pouze zapamatov´an´ı (1. stupeˇ n Bloomovy taxonomie), moˇznost uhodnut´ı spr´avn´e odpovˇedi je 50ti procentn´ı
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
7
Didaktick´y test - testov´e u´lohy IV ´ Ulohy s v´ ybˇ erem odpovˇ ed´ı (pˇr´ıklady dle Chr´astka, 2007) testovan´y vyb´ır´a odpovˇed’ (odpovˇedi) z nˇekolika nab´ıdnut´ych alternativ dˇel´ıme je na: u ´lohy typu ”jedna spr´ avn´ a odpovˇ ed’” Cesta vlakem n´am velmi rychle ubˇehla. Podtrˇzen´y vˇetn´y ˇclen je: A podmˇet B pˇr´ısudek C pˇredmˇet D pˇr´ısloveˇcn´e urˇcen´ı v´yhody: relativnˇe snadno se navrhuj´ı, snadno se vyhodnocuj´ı nev´yhody: v praxi ˇcasto testuj´ı pouze zapamatov´an´ı
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
8
Didaktick´y test - testov´e u´lohy V
u ´lohy typu ”jedna nejpˇresnˇ ejˇs´ı odpovˇ ed’” Kter´e z n´asleduj´ıc´ıch tvrzen´ı nejl´epe odpov´ıd´a na ot´azku “Co je chemick´y prvek?” A Prvek je l´atka, kter´a se skl´ad´a z atom˚ u stejn´eho druhu. B Prvek je l´atka, kterou jiˇz d´ale nejde dˇelit. C Prvek je l´atka sloˇzen´a z atom˚ u, kter´e maj´ı stejn´e protonov´e ˇc´ıslo. ˇadn´e z pˇredchoz´ıch tvrzen´ı nen´ı spr´avn´e. D Z´ pro testovan´e obvykle b´yvaj´ı obt´ıˇzn´e v´yhody: snadn´e na vyhodnocov´an´ı nev´yhody: ˇcasto je obt´ıˇzn´e je zkonstruovat
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
9
Didaktick´y test - testov´e u´lohy VI
u ´lohy typu ”jedna nespr´ avn´ a odpovˇ ed’” Kter´y z n´asleduj´ıc´ıch dˇej˚ u nen´ı formou oxidaˇcn´ıho procesu? A d´ych´an´ı B hnit´ı C destilace D rezivˇen´ı v´yhody: snadn´e na vyhodnocov´an´ı “nev´yhody”: konstrukce distraktor˚ u
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
10
Didaktick´y test - testov´e u´lohy VI
u ´lohy s v´ıcen´ asobnou odpovˇ ed´ı Kter´ymi st´aty prot´ek´a ˇreka Odra? A Nˇemecko B Rusko ˇ a republika C Cesk´ D Slovensko E Polsko nev´yhody: mohou se objevit probl´emy pˇri sk´ orov´an´ı - lze zvolit napˇr. metodu “vˇsechno nebo nic”
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
11
Didaktick´y test - testov´e u´lohy VI
situaˇ cn´ı u ´lohy nab´ıdky nejsou pˇredkl´ad´any ve formˇe seznamu, vypl´yvaj´ı ze situace Na m´ısto oznaˇcen´e hvˇezdiˇckou napiˇs ˇc´ıslici, aby v´ysledn´e ˇsesticifern´e ˇc´ıslo bylo dˇeliteln´e sedmi: 823*43 nepouˇz´ıvaj´ı se ˇcasto v´yhody: snadn´e na vyhodnocov´an´ı
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
12
Didaktick´y test - testov´e u´lohy VII
Korekce na h´ ad´ an´ı spr´avn´ych odpovˇed´ı so = sn −
n y −1
, so opraven´e sk´ ore sn neopraven´e sk´ ore n poˇcet nespr´avn´ych odpovˇed´ı y poˇcet nab´ızen´ych odpovˇed´ı doporuˇ cen´ı ohlednˇ e poˇ ctu nab´ızen´ ych odpovˇ ed´ı: 4-5 (menˇs´ı pravdˇepodobnost uhodnut´ı, u ´nosn´y poˇcet pˇri konstrukci)
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
13
Didaktick´y test - testov´e u´lohy IX Pˇriˇrazovac´ı u ´lohy u ´kolem testovan´eho je pˇriˇradit pojmy z jedn´e mnoˇziny k pojm˚ um z mnoˇziny druh´e K n´azv˚ um st´at˚ u v lev´em sloupci pˇriˇrad’te n´azvy hlavn´ıch mˇest z prav´eho sloupce. ˇ ycarsko Sv´ A Dublin F Rejkjav´ık Norsko B Oslo G Helsinky Island C Bonn Nizozemsko D Bern Finsko E Amsterdam poˇcet nab´ızen´ych odpovˇed´ı v prav´em sloupci je z´amˇernˇe vˇetˇs´ı, aby zamezil ohodnut´ı spr´avn´eho pˇriˇrazen´ı na z´akladˇe pˇredchoz´ıch pˇriˇrazen´ı v´yhody: omezuj´ı moˇznost uhodnut´ı spr´avn´e odpovˇedi nev´yhody: vyuˇzit´ı jen v omezen´em okruhu uˇciva Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
14
Didaktick´y test - testov´e u´lohy X Uspoˇr´ adac´ı u ´lohy u ´kolem testovan´eho je seˇradit prvky do ˇrady podle zadan´eho krit´eria Seˇrad’te uveden´a mˇesta podle poˇctu obyvatel. Seˇrazen´ı proved’te pomoc´ı poˇradov´ych ˇc´ısel 1 aˇz 6, aby mˇesto s nejvˇetˇs´ım poˇctem obyvatel mˇelo ˇc´ıslo 1. Lond´yn . . . Tokio . . . K´ahira . . . New York . . . Sao Paulo . . . Sydney . . . nev´yhoda: obt´ıˇzn´e sk´ orov´an´ı
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
15
Didaktick´y test - vlastnosti testov´ych u´loh I Obt´ıˇ znost poloˇ zky - Hodnota obt´ıˇ znosti poloˇ zky Q = 100
nn N
nn je poˇcet ˇz´ak˚ u, kteˇr´ı NEodpovˇedˇeli na poloˇzku spr´avnˇe N celkov´y poˇcet ˇz´ak˚ u Obt´ıˇ znost poloˇ zky - Index obt´ıˇ znosti poloˇ zky Q = 100
ns N
ns je poˇcet ˇz´ak˚ u, kteˇr´ı odpovˇedˇeli na poloˇzku spr´avnˇe N celkov´y poˇcet ˇz´ak˚ u
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
16
Didaktick´y test - vlastnosti testov´ych u´loh II Citlivost poloˇ zek - Koeficient ciltivosti ULI (upper-lower index) nL − nH d= 0.5N nL je poˇcet ˇz´ak˚ u z ”lepˇs´ı poloviny”, kteˇr´ı odpovˇedˇeli na poloˇzku spr´avnˇe nH je poˇcet ˇz´ak˚ u z ”horˇs´ı poloviny”, kteˇr´ı odpovˇedˇeli na poloˇzku spr´avnˇe N celkov´y poˇcet ˇz´ak˚ u pro hodnoty obt´ıˇznosti 30-70 se doporuˇcuje, aby d bylo aspoˇ n 0.25 pro hodnoty obt´ıˇznosti 20-30 a 70-80 se doporuˇcuje, aby d bylo aspoˇ n 0.15 Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
17
Didaktick´y test - vlastnosti testov´ych u´loh III
Anal´ yza nenormovan´ ych odpovˇ ed´ı = rozbor vynechan´ych nebo nespr´avn´ych odpovˇed´ı u otevˇren´ych u ´loh vˇenujeme pozornost tˇem, ve kter´ych vynechalo odpovˇed’ v´ıce neˇz 30-40% ˇz´ak˚ u, u uzavˇren´ych u ´loh je to pak v´ıce neˇz 20% uu ´loh uzavˇren´ych s v´ybˇerem odpovˇedi zkontrolujeme atraktivnost distraktor˚ u - zv´aˇz´ıme, zda-li nenahrad´ıme neatraktivn´ı distraktor jin´ym distraktorem u uzavˇren´ych u ´loh rozdˇel´ıme nespr´avn´e odpovˇedi do dvou kategori´ı - z´akladn´ı chyby (zp˚ usoben´e neznalost´ı uˇciva) a vedlejˇs´ı chyby (zp˚ uosben´e n´ahodn´ymi vlivy), odstran´ıme u ´lohy, kde pˇrev´aˇz´ı vedlejˇs´ı chyby nad z´akladn´ımi chybami
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
18
Didaktick´y test - posouzen´ı vnitˇrn´ı konzistence testu Reliabilita testu didaktick´y test m´a dobrou reliabilitu, pokud poskytuje spolehliv´e a pˇresn´e v´ysledky. Pokud bychom test neust´ale opakovali za stejn´ych podm´ınek, mˇeli bychom v pˇr´ıpadˇe testu s dobrou reliabilitou z´ıskat velmi podobn´e v´ysledky. hodnota se pohybuje od 0 do 1 test s dobrou reliabilitou m´a hodnotu alespoˇ n 0.7 Reliabilita vypoˇ cten´ a metodou p˚ ulen´ı rsb =
2.rb 1 + rb
rb korelaˇcn´ı koeficient mezi v´ysledekem ˇz´ak˚ u v sud´ych a lich´ych u ´loh´ach Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
19
Posuzov´an´ı kvality mˇeˇren´ı I - Validita Validita = vystihuje, zda-li mˇ eˇr´ıme skuteˇ cnˇ e to, co jsme zam´ yˇsleli mˇ eˇrit Obsahov´ a validita (Content validity) - porovn´av´a se obsah testu (ˇci jin´eho mˇeˇr´ıc´ıho n´astroje) s dom´enou, kter´a je mˇeˇrena Kriteri´ aln´ı validita (Criterion-related validity) - porovnej testov´e sk´ory s urˇcit´ym krit´eriem pokr´yvaj´ıc´ı oblast, kterou studujeˇs soubˇ eˇ zn´ a validita (concurrent validity) - porovn´an´ı s krit´eriem v tom sam´em ˇcase (napˇr. jin´ym testem, jinou m´ırou oblasti, na n´ıˇz se zamˇeˇrujeˇs) predikˇ cn´ı validita (predictive validity) - porovn´an´ı s krit´eriem prob´ıh´a v budoucnu (napˇr. predikˇcn´ı validita testov´ych sk´ or˚ u u pˇrij´ımac´ıch zkouˇsek se m˚ uˇze porovn´avat s v´ysledky na vysok´e ˇskole)
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
20
Posuzov´an´ı kvality mˇeˇren´ı II - Validita
Konstruktov´ a validita (Construct validity) - porovn´an´ı toho, do jak´e m´ıry pokr´yv´a konstrukt oblast, kterou m´a mˇeˇrit pˇr´ıklad konstruktu je inteligence, konstruktov´a validita pokr´yv´a test inteligence oblasti, jeˇz inteligenci definuj´ı N´ asledn´ a validita (Consequential validity) - uv´ad´ı do jak´e m´ıry zp˚ usobuje mˇeˇren´ı neˇz´adouc´ı, ˇskodliv´e efekty pˇr´ıklad - Jak´e jsou efekty testov´an´ı ˇz´ak˚ u pomoc´ı test˚ us uzavˇren´ymi poloˇzkami?
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
21
Posuzov´an´ı kvality mˇeˇren´ı III - Reliabilita Reliabilita = vystihuje, do jak´ e m´ıry je naˇse mˇ eˇren´ı spolehliv´ e a konzistentn´ı Stabilita (Stability) - reliabilita vypoˇc´ıtan´a na z´akladˇe stability testov´ych sk´ or˚ u zadej test jedn´e skupinˇe v dvou r˚ uzn´ych ˇcasech a vypoˇc´ıtej korelaci tˇechto sk´ or˚ u Ekvivalence (Equivalence) - reliabilita vypoˇc´ıtan´a na z´akladˇe porovn´an´ı dvou verz´ı testu, kter´e lze povaˇzovat za ekvivalentn´ı zadej alternativn´ı formy testu jedn´e skupinˇe a koreluj jejich v´ysledky Stabilita a evivalence (Stability and equivalence) reliabilita vypoˇc´ıtan´a na z´akladˇe porovn´an´ı dvou verz´ı testu, jeˇz lze povaˇzovat za ekvivalentn´ı, kter´e jsou zadan´e v dvou r˚ uzn´ych ˇcasech zadej testy jedn´e skupinˇe v dvou r˚ uzn´ych ˇcasech Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
22
Posuzov´an´ı kvality mˇeˇren´ı IV - Reliabilita
Vnitˇrn´ı konzistence (Internal consistency) - ud´av´a do jak´e m´ıry jsou poloˇzky v testu podobn´e ostatn´ım poloˇzk´am v testu, mˇeˇr´ıme je pomoc´ı Kuder-Richardsonova vzorce, Cronbachova alfa, metodou p˚ ulen´ı Hodnotitel - Scorer/Rater - ud´av´a, do jak´e m´ıry se nez´avisl´ı hodnotitel´e nebo jeden hodnotitel v r˚ uzn´em ˇcase shodnou/shodne na sk´ orov´an´ı (napˇr. sk´ orov´an´ı otevˇren´ych u ´loh)
Voˇ nkov´ a
Tvorba a vyuˇzit´ı didaktick´ ych test˚ u
23
