Metodologie pedagogick´eho v´yzkumu I ˇ ast materi´al˚ C´ u k pˇredn´aˇsk´am
Hana Voˇ nkov´a Univerzita Karlova v Praze - Pedagogick´ a fakulta
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
1
Kroky v prov´adˇen´ı v´yzkumu Kvantitativní výzkum ●
● ●
● ● ●
●
●
Kroky v provádění výzkumu
orientován na popis a vysvětlení určitého jevu
Formulace výzkumného problému
podstatná role odůvodnění volby výzkumného problému a jeho specifikace pro účely studie
●
●
●
méně důležitá role odůvodnění volby výzkumného problému
obvykle menší vzorek obecně definovaný
●
Sběr dat ●
statistická analýza dat popis trendů, porovnání skupin, analýza vztahu proměnných srovnání s výsledky v literatuře
standardní formát
●
●
Sestavování výzkumného vzorku
volba metod sběru dat jako např. dotazníky numerická data
●
orientován na detailní prozkoumání určitého jevu
●
Práce s literaturou
velký vzorek úzce definovaný obvykle reprezentativní za populaci, k níž je vztažen výzkumný problém
●
Kvalitativní výzkum ●
●
Analýza a interpretace dat
●
volba metod sběru dat ako např. pozorování vedení si záznamů
analýza a interpretace textů, nahrávek atd. interpretace zjištění, posun v porozumění tématu
●
Psaní výzkumné zprávy
Voˇ nkov´ a
flexibilní formát
Metodologie pedagogick´ eho v´ yzkumu I
2
Formulace v´yzkumn´eho probl´emu I
line´arn´ı forma v´yzkumn´eho pl´anu poskytuje je velmi vhodn´y pro prvn´ı orientaci pˇri prov´adˇen´ı v´yzkum˚ u, v´yzkum vˇsak obvykle nen´ı tak pˇr´ımoˇcar´y velmi ˇcasto se st´av´a, ˇze v´yzkumn´y probl´em, kter´y jste definovali na zaˇc´atku, je v pr˚ ubˇehu v´yzkumu shled´an jako nejasn´y, pˇr´ıliˇs ˇsirok´y ˇci nemoˇzn´y zkoumat ⇒ pˇreformulovat probl´em
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
3
Formulace v´yzkumn´eho probl´emu II
nen´ı snadn´e nal´ezt relevantn´ı v´yzkumn´e t´ema - pouˇzijte napˇr. n´asleduj´ıc´ı zdroje teorie - Piagetova teorie, teorie vzdˇel´av´an´ı dospˇel´ych atd. osobn´ı zkuˇsenost - ot´azky vypl´yvaj´ıc´ı z pedagogick´ych ˇcasopis˚ u, kurikul´arn´ıch dokument˚ u atd. studie, kter´e mohou b´yt replikov´any - napˇr. vyuˇzit´ı informaˇcn´ıch technologi´ı ve v´yuce
z´ uˇ zen´ı v´yzkumn´eho probl´emu: ˇsirok´e: Jak´y je vztah mezi vyuˇzit´ım r˚ uzn´ych pˇr´ıstup˚ u ve vyuˇcov´an´ı a u ´spˇechem dˇet´ı ve ˇskole? uˇzˇs´ı: Jak´y je vztah mezi vyuˇzit´ım strategie nal´ez´an´ı podobnost´ı a rozd´ıl˚ u a v´ysledkem dˇet´ı v testu z ˇcesk´eho jazyka?
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
4
Formulace v´yzkumn´eho probl´emu III
Volba relevantn´ıho v´ yzkumn´ eho probl´ emu: t´ema mus´ı b´yt zaj´ımav´ e - pˇredstavte si, jak dlouho na nˇem budete pracovat t´ema mus´ı b´yt zkoumateln´ e - mus´ıte b´yt schopni ho zkoumat skrz anal´yzu sebran´ych dat t´ema mus´ı b´yt v´ yznamn´ e - mˇeli byste pˇrispˇet k jiˇz publikovan´ym v´ysledk˚ um t´ema mus´ı b´yt etick´ e - nesm´ıte zranit, ani nijak ztrapnit participanty v´yzkumu t´ema mus´ı b´yt zvladateln´ e - odpov´ıd´a vaˇsim schopnostem, ˇcasov´emu pl´anu a finanˇcn´ım zdroj˚ um
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
5
Formulace v´yzkumn´eho probl´emu IV
Formulace hypot´ ezy hypot´eza je tvrzen´ı obsahuj´ıc´ı v´yzkumn´ıkovo oˇcek´av´an´ı o vztahu mezi promˇenn´ymi v r´amci zkouman´eho t´ematu pˇr´ıklad stanoven´ı hypot´ezy v experiment´aln´ıch studi´ıch: P kter´y dostane X vykon´a l´epe Y neˇz P, kter´y nedostane X P je participant, X je oˇsetˇren´ı, Y je v´ysledek
promˇenn´e v hypot´eze ˇci v´yzkumn´em probl´emu mus´ı b´yt mˇeˇriteln´e - mus´ı b´yt zcela jasn´e, co je mˇeˇreno (v´ysledek ˇz´ak˚ u v testu, frekvence vyuˇz´ıv´an´ı ot´azek bˇehem vyuˇcov´an´ı atd.)
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
6
Formulace v´yzkumn´eho probl´emu V
ani jedno z n´ asleduj´ıc´ıch tvrzen´ı neplat´ı hypot´eza nen´ı sebran´ymi daty podpoˇrena, a tud´ıˇz studie je ne´ uspˇeˇsn´a hypot´eza je sebran´ymi daty podpoˇrena, a tud´ıˇz studie je u ´spˇeˇsn´a
nesmˇ eˇsuj “vaˇs´ı hypot´ ezu” s nulovou hypot´ ezou statistick´ eho testu jako je napˇr. t-test, F-test, ch´ı-kvadr´at test atd. nulov´a hypot´eza statistick´eho testu m´a vˇzdy stejn´y tvar, jinak test nejde odvodit
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
7
ˇ aly mˇeˇren´ı Sk´ 1
nomin´ aln´ı - u ´daje m˚ uˇzeme kategorizovat pˇr´ıklad: pohlav´ı, barva oˇc´ı, z´apadn´ı a v´ychodn´ı zemˇe
2
ordin´ aln´ı - u ´daje m´a smysl seˇradit, vzd´alenost mezi u ´daji nem´a smysl porovn´avat pˇr´ıklad: seˇrazen´ı ˇz´ak˚ u podle ˇcasu v urˇcit´em bˇehu; rozd´ıl mezi ˇcasem prvn´ıho a druh´eho ˇz´aka m˚ uˇze b´yt odliˇsn´y od ˇcasu p´at´eho a ˇsest´eho ˇz´aka)
3
intervalov´ e-u ´daje m´a smysl seˇradit, vzd´alenost mezi u ´daji m´a smysl porovn´avat, neexistuje pˇrirozen´y nulov´y bod pˇr´ıklad: mˇeˇren´ı IQ
4
pomˇ erov´ e-u ´daje m´a smysl seˇradit, vzd´alenost mezi u ´daji m´a smysl porovn´avat, existuje pˇrirozen´y nulov´y bod pˇr´ıklad: v´aha, v´yˇska
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
8
Metody sbˇeru dat I - dotazn´ıkov´e ˇsetˇren´ı
Nˇ ekolik doporuˇ cen´ı sestav atraktivn´ı, v´ystiˇzn´y a struˇcn´y dotazn´ık uvˇedom si jakou informaci potˇrebujeˇs a z jak´eho d˚ uvodu (uvˇedom si c´ıl dotazn´ıku a struˇcnˇe ho popiˇs na u ´vodn´ı str´ance) zahrˇ n pouze takov´e poloˇzky, kter´e se vztahuj´ı k tv´emu c´ıli na zaˇc´atek se pokus zahrnout zaj´ımav´e a nekomplikovan´e poloˇzky ned´avej velmi d˚ uleˇzit´e poloˇzky aˇz na konec pokud je to potˇreba, zahrˇ n demografick´e a socio-ekonomick´e charakteristiky
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
9
Metody sbˇeru dat II- dotazn´ıkov´e ˇsetˇren´ı Doporuˇ cen´ı ohlednˇ e formulace poloˇ zek I by mˇely b´yt jasn´ e pro danou c´ılovou skupinu napˇr. zvolen´e pojmy by mˇely b´yt pro danou populaci pochopiteln´e by nemˇ ely pˇredpokl´ adat fakt, kter´y nen´ı nutnˇe pravdiv´y napˇr. “Kdy jsi naposledy ˇcetl nˇejakou odbornou knihu?” evokuje v respondentovi pocit, ˇze by mˇel odbornou knihu ˇc´ıst by nemˇ ely vyvolat v respondentovi pocit, ˇ ze nˇ ejak´ a odpovˇ ed’ je vhodnˇ ejˇs´ı neˇ z jin´ a napˇr. “Souhlas´ıˇs s vˇetˇsinou lid´ı ˇze ... ” by nemˇ ely v´ est k neupˇr´ımn´ e odpovˇ edi napˇr. “Snaˇz´ıˇs se sv´e studenty co nejv´ıce nauˇcit? ” - vˇetˇsina uˇcitel˚ u by odpovˇedˇela ano, ale z toho nevypl´yv´a, kolik ˇcasu str´av´ı pˇr´ıpravou na v´yuku, diskuz´ı se studenty atd. Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
10
Metody sbˇeru dat III - dotazn´ıkov´e ˇsetˇren´ı
Doporuˇ cen´ı ohlednˇ e formulace poloˇ zek II by mˇely obsahovat pˇr´ıklad, pokud se jedn´a o nˇejakou nebˇeˇznou, netrivi´aln´ı situaci ˇci pojem by mˇely m´ıt dostateˇ cn´ y prostor pro odpovˇ ed’ (pokud pouˇz´ıv´aˇs otevˇren´e poloˇzky) by mˇely m´ıt formulaci poloˇ zky a nab´ıdku odpovˇ ed´ı pokud moˇ zno u sebe, na jedn´e str´ance by mˇely b´yt specificky formulov´ any pˇr´ıklad: nen´ı vhodn´e: “Str´av´ıˇs pˇr´ıpravou na v´yuku hodnˇe ˇcasu?”, l´epe: Kolik ˇcasu str´av´ıˇs v pr˚ umˇeru bˇehem jednoho t´ydne pˇr´ıpravou na v´yuku? - m´enˇe neˇz 1 hodinu, atd.
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
11
Didaktick´y test - struˇcn´y popis postupu konstrukce I
nezaˇc´ınat navrhov´an´ım testov´ych u ´loh zaˇ c´ınat promyˇslen´ım u ´ˇ celu testu a d´ale stanoven´ım obsahu testu pro u ´roveˇ n osvojen´ı poznatk˚ u je vhodn´e pouˇz´ıt Bloomovu taxonomii v´yukov´ych c´ıl˚ u (znalost, pochopen´ı, aplikace, anal´yza, synt´eza a hodnocen´ı) stanov´ıme ˇ casov´ y limit d´ale lze pˇristoupit k formulaci jednotliv´ ych u ´loh, pˇriˇcemˇz je nutn´e m´ıt neust´ale na pamˇeti, k jak´emu u ´ˇcelu u ´lohy slouˇz´ı a na z´akladˇe toho vyb´ırat i vhodn´y typ testov´ych u ´loh (otevˇren´e, uzavˇren´e atd.)
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
12
Didaktick´y test - struˇcn´y popis postupu konstrukce II
test je vhodn´e nechat posoudit jin´ym hodnotitelem posuzov´ an´ı obsahov´ e validity po sbˇeru dat provedeme anal´ yzu vlastnost´ı testov´ ych u ´loh a cel´ eho testu (v´ypoˇcet obt´ıˇznosti a citlivosti poloˇzek, anal´yza nenormovan´ych odpovˇed´ı a reliability testu) vyˇrad´ıme u ´lohy, kter´ e nejsou vhodn´ e (napˇr. z´aporn´a diskriminaˇcn´ı s´ıla) pokud m´a test s obsahovˇe homogenn´ımi u ´lohami n´ızkou reliabilitu, v´ysledky ˇz´ak˚ u z´ıskan´ych pomoc´ı tohoto testu nem˚ uˇzeme povaˇzovat za spolehliv´e a pˇresn´e n´aslednˇe lze prov´est standardizaci testu
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
13
Didaktick´y test - testov´e u´lohy I
Testov´ eu ´lohy dˇ el´ıme dle zp˚ usobu ˇreˇsen´ı (Chr´astka, 2007) 1 otevˇ ren´e u ´lohy otevˇren´e ˇsirok´e u ´lohy otevˇren´e u ´lohy se struˇcnou odpovˇed´ı 2
uzavˇren´e dichotomick´e s v´ybˇerem odpovˇedi(´ı) pˇriˇrazovac´ı uspoˇr´adac´ı
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
14
Didaktick´y test - testov´e u´lohy II
Otevˇren´ e ˇsirok´ eu ´lohy od testovan´eho vyˇzaduj´ı rozs´ ahlejˇs´ı odpovˇ ed’ (1/2 strany, ale i v´ıce) Kter´e byly hlavn´ı pˇr´ıˇciny vzniku druh´e svˇetov´e v´alky? Popiˇste ˇcinnost jadern´e elektr´arny. vhodn´e pro zkouˇsen´ı komplexn´ıch vˇedomost´ı, vyˇsˇs´ıch u ´rovn´ı osvojen´ı uˇciva doporuˇcuje se vymezen´ı struktury poˇzadovan´e odpovˇedi pro snadnˇejˇs´ı vyhodnocov´an´ı v´yhoda: snadno se navrhuj´ı nev´yhoda: nemoˇznost objektivn´ıho sk´ orov´an´ı
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
15
Didaktick´y test - testov´e u´lohy III Otevˇren´ eu ´lohy se struˇ cnou odpovˇ ed´ı od testovan´eho vyˇzaduj´ı vytvoˇren´ı vlastn´ı kr´atk´e odpovˇedi napˇr. uveden´ı urˇcit´eho slova, ˇc´ısla, symbolu, vzorce, jednoduch´eho grafu, nˇekolik slov ˇci kr´atk´ych vˇet atp. dˇel´ıme je na: produkˇ cn´ı u ´lohy Napiˇste Archim´ed˚ uv z´akon. doplˇ novac´ı testov´ eu ´lohy Dne 6. ˇcervence 1415 byl v Kostnici up´alen kazatel. . . Muˇzi mlˇcel. . ., ˇzeny hovoˇril. . ., dˇeti se sm´al. . . a ˇstˇen ˇta si hr´al. . ..
v´yhody: snadno se navrhuj´ı a nejde snadno uhodnout odpovˇed’ spr´avn´a odpovˇed’
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
16
Didaktick´y test - testov´e u´lohy IV
Dichotomick´ eu ´lohy testovan´ym jsou pˇredkl´ad´any dvˇe alternativy odpovˇedi s t´ım, ˇze jedna je spr´avn´a ˇcasto oznaˇcov´any jako true-false items Jan Amos Komensk´y se narodil roku 1592. ano - ne Pˇri vypaˇrov´an´ı kapaliny se teplo spotˇrebov´av´a - uvolˇ nuje v´yhody: snadno se navrhuj´ı a vyhodnocuj´ı nev´yhody: ˇcasto testov´an´ı pouze zapamatov´an´ı (1. stupeˇ n Bloomovy taxonomie), moˇznost uhodnut´ı spr´avn´e odpovˇedi je 50ti procentn´ı
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
17
Didaktick´y test - testov´e u´lohy IV ´ Ulohy s v´ ybˇ erem odpovˇ ed´ı (pˇr´ıklady dle Chr´astka, 2007) testovan´y vyb´ır´a odpovˇed’ (odpovˇedi) z nˇekolika nab´ıdnut´ych alternativ dˇel´ıme je na: u ´lohy typu ”jedna spr´ avn´ a odpovˇ ed’” Cesta vlakem n´am velmi rychle ubˇehla. Podtrˇzen´y vˇetn´y ˇclen je: A podmˇet B pˇr´ısudek C pˇredmˇet D pˇr´ısloveˇcn´e urˇcen´ı v´yhody: relativnˇe snadno se navrhuj´ı, snadno se vyhodnocuj´ı nev´yhody: v praxi ˇcasto testuj´ı pouze zapamatov´an´ı
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
18
Didaktick´y test - testov´e u´lohy V
u ´lohy typu ”jedna nejpˇresnˇ ejˇs´ı odpovˇ ed’” Kter´e z n´asleduj´ıc´ıch tvrzen´ı nejl´epe odpov´ıd´a na ot´azku “Co je chemick´y prvek?” A Prvek je l´atka, kter´a je se skl´ad´a z atom˚ u stejn´eho druhu. B Prvek je l´atka, kterou jiˇz d´ale nejde dˇelit. C Prvek je l´atka sloˇzen´a z atom˚ u, kter´e maj´ı stejn´e protonov´e ˇc´ıslo. ˇadn´e z pˇredchoz´ıch tvrzen´ı nen´ı spr´avn´e. D Z´ pro testovan´e obvykle b´yvaj´ı obt´ıˇzn´e v´yhody: snadn´e na vyhodnocov´an´ı nev´yhody: ˇcasto je obt´ıˇzn´e je zkonstruovat
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
19
Didaktick´y test - testov´e u´lohy VI
u ´lohy typu ”jedna nespr´ avn´ a odpovˇ ed’” Kter´y z n´asleduj´ıc´ıch dˇej˚ u nen´ı formou oxidaˇcn´ıho procesu? A d´ych´an´ı B hnit´ı C destilace D rezivˇen´ı v´yhody: snadn´e na vyhodnocov´an´ı “nev´yhody”: konstrukce distraktor˚ u
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
20
Didaktick´y test - testov´e u´lohy VI
u ´lohy s v´ıcen´ asobnou odpovˇ ed´ı Kter´ymi st´aty prot´ek´a ˇreka Odra? A Nˇemecko B Rusko ˇ a republika C Cesk´ D Slovensko E Polsko nev´yhody: mohou se objevit probl´emy pˇri sk´ orov´an´ı - lze zvolit napˇr. metodu “vˇsechno nebo nic”
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
21
Didaktick´y test - testov´e u´lohy VI
situaˇ cn´ı u ´lohy nab´ıdky nejsou pˇredkl´ad´any ve formˇe seznamu, vypl´yvaj´ı ze situace Na m´ısto oznaˇcen´e hvˇezdiˇckou napiˇs ˇc´ıslici, aby v´ysledn´e ˇsesticifern´e ˇc´ıslo bylo dˇeliteln´e sedmi: 823*43 nepouˇz´ıvaj´ı se ˇcasto v´yhody: snadn´e na vyhodnocov´an´ı
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
22
Didaktick´y test - testov´e u´lohy VII
Korekce na h´ ad´ an´ı spr´avn´ych odpovˇed´ı so = sn −
n y −1
, so opraven´e sk´ ore sn neopraven´e sk´ ore n poˇcet nespr´avn´ych odpovˇed´ı y poˇcet nab´ızen´ych odpovˇed´ı doporuˇ cen´ı ohlednˇ e poˇ ctu nab´ızen´ ych odpovˇ ed´ı: 4-5 (menˇs´ı pravdˇepodobnost uhodnut´ı, u ´nosn´y poˇcet pˇri konstrukci)
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
23
Didaktick´y test - testov´e u´lohy IX Pˇriˇrazovac´ı u ´lohy u ´kolem testovan´eho je pˇriˇradit pojmy z jedn´e mnoˇziny k pojm˚ um z mnoˇziny druh´e K n´azv˚ um st´at˚ u v lev´em sloupci pˇriˇrad’te n´azvy hlavn´ıch mˇest z prav´eho sloupce. ˇ ycarsko Sv´ A Dublin F Rejkjav´ık Norsko B Oslo G Helsinky Island C Bonn Nizozemsko D Bern Finsko E Amsterdam poˇcet nab´ızen´ych odpovˇed´ı v prav´em sloupci je z´amˇernˇe vˇetˇs´ı, aby zamezil ohodnut´ı spr´avn´eho pˇriˇrazen´ı na z´akladˇe pˇredchoz´ıch pˇriˇrazen´ı v´yhody: omezuj´ı moˇznost uhodnut´ı spr´avn´e odpovˇedi nev´yhody: vyuˇzit´ı jen v omezen´em okruhu uˇciva Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
24
Didaktick´y test - testov´e u´lohy X Uspoˇr´ adac´ı u ´lohy u ´kolem testovan´eho je seˇradit prvky do ˇrady podle zadan´eho krit´eria Seˇrad’te uveden´a mˇesta podle poˇctu obyvatel. Seˇrazen´ı proved’te pomoc´ı poˇradov´ych ˇc´ısel 1 aˇz 6, aby mˇesto s nejvˇetˇs´ım poˇctem obyvatel mˇelo ˇc´ıslo 1. Lond´yn . . . Tokio . . . K´ahira . . . New York . . . Sao Paulo . . . Sydney . . . nev´yhoda: obt´ıˇzn´e sk´ orov´an´ı
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
25
Didaktick´y test - vlastnosti testov´ych u´loh I Obt´ıˇ znost poloˇ zky - Hodnota obt´ıˇ znosti poloˇ zky Q = 100
nn N
nn je poˇcet ˇz´ak˚ u, kteˇr´ı NEodpovˇedˇeli na poloˇzku spr´avnˇe N celkov´y poˇcet ˇz´ak˚ u Obt´ıˇ znost poloˇ zky - Index obt´ıˇ znosti poloˇ zky Q = 100
ns N
ns je poˇcet ˇz´ak˚ u, kteˇr´ı odpovˇedˇeli na poloˇzku spr´avnˇe N celkov´y poˇcet ˇz´ak˚ u
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
26
Didaktick´y test - vlastnosti testov´ych u´loh II Citlivost poloˇ zek - Koeficient ciltivosti ULI (upper-lower index) nL − nH d= 0.5N nL je poˇcet ˇz´ak˚ u z ”lepˇs´ı poloviny”, kteˇr´ı odpovˇedˇeli na poloˇzku spr´avnˇe nH je poˇcet ˇz´ak˚ u z ”horˇs´ı poloviny”, kteˇr´ı odpovˇedˇeli na poloˇzku spr´avnˇe N celkov´y poˇcet ˇz´ak˚ u pro hodnoty obt´ıˇznosti 30-70 se doporuˇcuje, aby d bylo aspoˇ n 0.25 pro hodnoty obt´ıˇznosti 20-30 a 70-80 se doporuˇcuje, aby d bylo aspoˇ n 0.15 Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
27
Didaktick´y test - vlastnosti testov´ych u´loh III
Anal´ yza nenormovan´ ych odpovˇ ed´ı = rozbor vynechan´ych nebo nespr´avn´ych odpovˇed´ı u otevˇren´ych u ´loh vˇenujeme pozornost tˇem, ve kter´ych vynechalo odpovˇed’ v´ıce neˇz 30-40% ˇz´ak˚ u, u uzavˇren´ych u ´loh je to pak v´ıce neˇz 20% uu ´loh uzavˇren´ych s v´ybˇerem odpovˇedi zkontrolujeme atraktivnost distraktor˚ u - zv´aˇz´ıme, zda-li nenahrad´ıme neatraktivn´ı distraktor jin´ym distraktorem u uzavˇren´ych u ´loh rozdˇel´ıme nespr´avn´e odpovˇedi do dvou kategori´ı - z´akladn´ı chyby (zp˚ usoben´e neznalost´ı uˇciva) a vedlejˇs´ı chyby (zp˚ uosben´e n´ahodn´ymi vlivy), odstran´ıme u ´lohy, kde pˇrev´aˇz´ı vedlejˇs´ı chyby nad z´akladn´ımi chybami
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
28
Didaktick´y test - posouzen´ı vnitˇrn´ı konzistence testu Reliabilita testu didaktick´y test m´a dobrou reliabilitu, pokud poskytuje spolehliv´e a pˇresn´e v´ysledky. Pokud bychom test neust´ale opakovali za stejn´ych podm´ınek, mˇeli bychom v pˇr´ıpadˇe testu s dobrou reliabilitou z´ıskat velmi podobn´e v´ysledky. hodnota se pohybuje od 0 do 1 test s dobrou reliabilitou m´a hodnotu alespoˇ n 0.7 Reliabilita vypoˇ cten´ a metodou p˚ ulen´ı rsb =
2.rb 1 + rb
rb korelaˇcn´ı koeficient mezi v´ysledekem ˇz´ak˚ u v sud´ych a lich´ych u ´loh´ach Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
29
Posuzov´an´ı kvality mˇeˇren´ı I - Validita Validita = vystihuje, zda-li mˇ eˇr´ıme skuteˇ cnˇ e to, co jsme zam´ yˇsleli mˇ eˇrit Obsahov´ a validita (Content validity) - porovn´av´a se obsah testu (ˇci jin´eho mˇeˇr´ıc´ıho n´astroje) s dom´enou, kter´a je mˇeˇrena Kriteri´ aln´ı validita (Criterion-related validity) - porovnej testov´e sk´ory s urˇcit´ym krit´eriem pokr´yvaj´ıc´ı oblast, kterou studujeˇs soubˇ eˇ zn´ a validita (concurrent validity) - porovn´an´ı s krit´eriem v tom sam´em ˇcase (napˇr. jin´ym testem, jinou m´ırou oblasti, na n´ıˇz se zamˇeˇrujeˇs) predikˇ cn´ı validita (predictive validity) - porovn´an´ı s krit´eriem prob´ıh´a v budoucnu (napˇr. predikˇcn´ı validita testov´ych sk´ or˚ u u pˇrij´ımac´ıch zkouˇsek se m˚ uˇze porovn´avat s v´ysledky na vysok´e ˇskole)
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
30
Posuzov´an´ı kvality mˇeˇren´ı II - Validita
Konstruktov´ a validita (Construct validity) - porovn´an´ı toho, do jak´e m´ıry pokr´yv´a konstrukt oblast, kterou m´a mˇeˇrit pˇr´ıklad konstruktu je inteligence, konstruktov´a validita pokr´yv´a test inteligence oblasti, jeˇz inteligenci definuj´ı N´ asledn´ a validita (Consequential validity) - uv´ad´ı do jak´e m´ıry zp˚ usobuje mˇeˇren´ı neˇz´adouc´ı, ˇskodliv´e efekty pˇr´ıklad - Jak´e jsou efekty testov´an´ı ˇz´ak˚ u pomoc´ı test˚ us uzavˇren´ymi poloˇzkami?
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
31
Posuzov´an´ı kvality mˇeˇren´ı III - Reliabilita Reliabilita = vystihuje, do jak´ e m´ıry je naˇse mˇ eˇren´ı spolehliv´ e a konzistentn´ı Stabilita (Stability) - reliabilita vypoˇc´ıtan´a na z´akladˇe stability testov´ych sk´ or˚ u zadej test jedn´e skupinˇe v dvou r˚ uzn´ych ˇcasech a vypoˇc´ıtej korelaci tˇechto sk´ or˚ u Ekvivalence (Equivalence) - reliabilita vypoˇc´ıtan´a na z´akladˇe porovn´an´ı dvou verz´ı testu, kter´e lze povaˇzovat za ekvivalentn´ı zadej alternativn´ı formy testu jedn´e skupinˇe a koreluj jejich v´ysledky Stabilita a evivalence (Stability and equivalence) reliabilita vypoˇc´ıtan´a na z´akladˇe porovn´an´ı dvou verz´ı testu, jeˇz lze povaˇzovat za ekvivalentn´ı, kter´e jsou zadan´e v dvou r˚ uzn´ych ˇcasech zadej testy jedn´e skupinˇe v dvou r˚ uzn´ych ˇcasech Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
32
Posuzov´an´ı kvality mˇeˇren´ı IV - Reliabilita
Vnitˇrn´ı konzistence (Internal consistency) - ud´av´a do jak´e m´ıry jsou poloˇzky v testu podobn´e ostatn´ım poloˇzk´am v testu, mˇeˇr´ıme je pomoc´ı Kuder-Richardsonova vzorce, Cronbachova alfa, metodou p˚ ulen´ı Hodnotitel - Scorer/Rater - ud´av´a, do jak´e m´ıry se nez´avisl´ı hodnotitel´e nebo jeden hodnotitel v r˚ uzn´em ˇcase shodnou/shodne na sk´ orov´an´ı (napˇr. sk´ orov´an´ı otevˇren´ych u ´loh)
Voˇ nkov´ a
Metodologie pedagogick´ eho v´ yzkumu I
33
