Metodologie pedagogického výzkumu I

Metodologie pedagogick´ eho v´ yzkumu I • vyuˇ cuj´ıc´ı ´ Hana Voˇ nkov´a, Katedra pedagogiky a Ustav v´ yzkumu a rozvoje vzdˇel´av´an´ı (zde uveden odborn´ y profil), PedF UK • email [email protected], [email protected] • konzultace bˇ ehem zimn´ıho semestru ˇctvrtek 10:30-11:15, budova Rettigova, R222 • k´ od v SISu OKN231402 • povinn´ y kurz pro studenty navazuj´ıc´ıho magistersk´eho programu oboru pedagogika, kombinovan´a forma • v´ yuka dle SIS ˇctvrtek 17:10-19:25, 16.10. v´ yuka odpad´a, zahraniˇcn´ı cesta • webov´ e str´ anky ke kurzu www.zla − ryba.cz/hanicka/metodologie1 • zakonˇ cen´ı kurzu: zkouˇska a z´apoˇcet • poˇ zadavky ke zkouˇ sce u ´stn´ı zkouˇska a ˇcl´anek – v´ ysledek zkouˇ sky: 60% zn´ amky tvoˇ r´ı u ´ stn´ı zkouˇ ska a 40% zn´ amky tvoˇ r´ı ˇ cl´ anek ´ – Ustn´ ı zkouˇ ska z metod pedagogick´eho v´ yzkumu a statistiky vyuˇz´ıvan´e v pedagogick´em v´ yzkumu – zkouˇska zaloˇzena na l´atce diskutovan´e o pˇredn´aˇsk´ach, studijn´ı materi´aly k pˇredn´aˇsk´am jsou dostupn´e na internetov´e str´ance www.zla − ryba.cz/hanicka/kombinovanametodologie1 1

– v ˇca´sti u ´stn´ı zkouˇsky z metod pedagogick´eho v´ yzkumu si vylosujete dvˇe ot´azky, kter´e budeme n´aslednˇe po Vaˇs´ı pˇr´ıpravˇe diskutovat – v ˇca´sti u ´stn´ı zkouˇsky ze statistiky budete na poˇc´ıtaˇci s vyuˇzit´ım statistick´eho softwaru Gretl nebo Excel zpracov´avat data pomoc´ı zadan´ ych statististick´ ych metod, jeˇz budou diskutov´any na pˇredn´aˇsk´ach (m˚ uˇzete si pˇrin´est vlastn´ı notebook s jin´ ym statistik´ ym softwarem, kter´ y um´ıte ovl´adat a zpracov´avat data v nˇem) ˇ anek: V´ – Cl´ ystiˇznˇe popsat realizaci vlastn´ıho v´ yzkumu – lze pracovat ve skupink´ach po max 6 osob´ach - na konec ˇcl´anku za Seznam literatury pak napsat, kdo je za jakou ˇca´st ˇcl´anku/v´ yzkumu zodpovˇedn´ y (X sb´ırala data na dan´e ˇskole a pod´ılela se na statistick´em zpracov´an´ı dat, Y sb´ırala data na dalˇs´ı ˇskole a je zodpovˇedn´a za ˇc´ast o literatuˇre, ...); pokud nebude na konci ˇcl´anku toto uvedeno a autor˚ u bude v´ıce, pak bude ˇcl´anek ozn´amkov´an pouze jednou zn´amkou, kter´a se zapoˇc´ıt´a vˇsem autor˚ um – rozsah a form´at ˇcl´anku: ∗ bude moˇzn´e odvezdat maxim´alnˇe dva dokumenty = prvn´ı dokument s vlastn´ım ˇcl´ankem (form´at PDF(preferovan´ y) ˇci DOC, nikoli DOCX) a pˇr´ıpadnˇe druh´ y dokument s datov´ ym souborem (form´at CSV ˇci XLS)) ∗ vlastn´ı ˇcl´anek - max 20 normostran, tj. max 36000 znak˚ u (1 normostrana=1800 znak˚ u) a to vˇcetnˇe literatury, tabulek a jejich popis˚ u, popis˚ u obr´azk˚ u a pozn´amek pod ˇcarou ∗ struktura vlastn´ıho ˇcl´anku - z´aleˇz´ı samozˇrejmˇe na obsahu, obecnˇe se liˇs´ı teoreticky a empiricky zamˇeˇren´e ˇcl´anky, vˇzdy vˇsak je nutn´e uv´est a) n´azev ˇcl´anku + autor; b) abstrakt + kl´ıˇcov´a slova (alespoˇ n v ˇceˇstinˇe, v angliˇctinˇe v´ıt´ano, avˇsak nen´ı povinn´e), rozsah abstraktu 2

1200 znak˚ u, poˇcet kl´ıˇcov´ ych slov - max 7; c) u ´vod s pˇrehledem literatury a vymezen´ım c´ıl˚ u; d) pro empirick´e studie - popis v´ yzkumn´eho ˇsetˇren´ı a vzorku; e) prezentace v´ ysledk˚ u; f) z´avˇer, shrnut´ı, doporuˇcen´ı, diskuze; g) seznam pouˇzit´e literatury ∗ tabulky a grafy vkl´adejte za seznam pouˇzit´e literatury ˇca´sti nazvan´e ”Pˇr´ıloha” ∗ projdˇete si pedagogick´e ˇcasopisy, z nichˇz l´epe pochop´ıte, jakou strukturu m´a ˇcl´anek m´ıt Zp˚ usob odevzd´ an´ı: na webov´ ych str´ank´ach ke kurzu naleznete sv´e jm´eno a vedle nˇej bude kolonka na nahr´an´ı(upload) Vaˇseho ˇcl´anku, tam V´aˇs ˇcl´anek nahrajete, pˇr´ıpadnou pˇr´ılohu (datov´ y soubor, kter´ y byl pouˇzit) bude moˇzn´e nahr´at t´eˇz sv´e ˇcl´anky odevzd´avejte ve form´atu PDF(preferovan´ y form´at) ˇci DOC (nikoli DOCX) pr´ace NEpos´ılejte emailem, nahr´avejte je na tuto str´anku – ve vlastn´ım v´ yzkumu je moˇzn´e vyuˇz´ıt diskutovan´ ych metod bˇehem kurzu, popˇr. jin´ ych relevantn´ıch metod, kter´e odpov´ıdaj´ı povaze zkouman´eho probl´emu – t´ema pr´ace nech´am na V´as, mˇelo by se vˇsak jednat o vlastn´ı, origin´aln´ı v´ yzkumn´e ˇsetˇren´ı • poˇ zadavky k z´ apoˇ ctu n´avrh vlastn´ıho v´ yzkumu pro V´aˇs ˇcl´anek – vyjdˇete ze ˇsesti krok˚ u proveden´ı v´ yzkumu viz obr´azek metodologie scanner tables graphs/F igure−1−1−research− steps.jpg lze si ho st´ahnout, stejnˇe jako vˇsechny ostatn´ı materi´aly ke kurzu, na www.zla − ryba.cz/hanicka/kombinovanametodologie1 3

– citace literatury m˚ uˇze odpov´ıdat poˇzadavk˚ um na citaci literatury pro ˇcasopis Pedagogick´a orientace http : //www.ped.muni.cz/pedor/index.php?option = com content&view = article&id = 117&Itemid = 96

– pˇribliˇznˇe na jednu aˇz dvˇe str´anky popiˇste dle v´ yˇse uveden´ ych ˇsesti krok˚ u n´avrh vlastn´ıho v´ yzkumu – krok 5 je analyzov´an´ı a interpretov´an´ı dat - zde napˇr. m˚ uˇzete napsat, ˇze hodl´ate vyuˇz´ıt regresn´ı anal´ yzy pro vysvˇetlen´ı vztah˚ u mezi V´ami zkouman´ ymi promˇenn´ ymi – n´avrh mohu vr´atit k pˇrepracov´an´ı – zp˚ usob odevzd´an´ı: podobn´ y jako u ˇcl´anku ke zkouˇsce, u sv´eho jm´ena na webov´ ych str´ank´ach ke kurzu budete moci nahr´at V´aˇs dokument • deadline pro odevzd´ an´ı n´ avrhu v´ yzkumu k z´ısk´ an´ı z´ apoˇ ctu p˚ ulnoc 3.11. 2014 • deadline pro odevzd´ an´ı ˇ cl´ anku ke zkouˇ sce p˚ ulnoc 15.12. 2014 • term´ıny u ´ stn´ı zkouˇ sky jeˇstˇe se domluv´ıme • v´ yklad metod pedagogick´eho v´ yzkumu je zaloˇzen pˇredevˇs´ım na dvou knih´ach: – Gay, L.R., Mills, G.E., Airasian, P. Educational Research. Competencies for Analysis and Application. Upper Saddle River, NJ : Pearson Higher Education, 2008. – Chr´astka, M. Metody pedagogick´eho v´yzkumu. Praha : Grada, 2007. – Hopkins, K. D. Educational and Psychological Measurement and Evaluation. Needham Heights, MA : Allyn and Bacon,1998. 4

– Shults, K.S., Whitney, D.J., Measurement Theory in Action. Thousand Oaks, CA: Sage Publications, 2005. ˇ a, K. a kol. Kvalitativn´ı v´yzkum v pedaˇ r´ıˇcek, R., Se ˇ dov´ – Svaˇ gogick´ych vˇed´ ach. Praha : Port´al, 2007, 2014. • v´ yklad statistiky je zaloˇzen pˇredevˇs´ım na knize: – Hinkle, D.E., Wiersma, W., Jurs, S.G. Applied Statistics for the Behavioral Sciences. Boston : Houghton Mifflin, 2003. • Studijn´ı materi´ aly, na nˇeˇz se tyto slajdy odkazuj´ı a kter´e jsou povinn´e ke zkouˇsce lze naj´ıt na internov´e adrese www.zla − ryba.cz/hanicka/kombinovanametodologie1 – naskenovan´e tabulky a obr´azky z knih Gay (2008) a Chr´astka (2009) v souboru metodologie scanner tables graphs.zip (15 jpg soubor˚ u) ˇ ast pˇredn´aˇsek t´eˇz na prezentace m1.pdf – C´ ˇ ´ – mezin´arodn´ı srovn´avac´ı v´ yzkumy v oblasti vzdˇel´av´an´ı: VONKOV A, H. Vliv vybran´ych faktor˚ u na matematickou gramotnost ˇz´ak˚ u v zem´ıch stˇredn´ı Evropy: Sekund´arn´ı anal´yza dat PISA 2003, disertaˇcn´ı pr´ ace.(Disertaˇcn´ı pr´ace) Praha: Univerzita Karlova v Praze - Pedagogick´a fakulta, 2008. – pˇr´ıklady dotazn´ık˚ u v souboru metodologie dotazniky priklad.zip (4 pˇr´ıklady - dotazn´ık o k´azni, manipulaci, PISA dotazn´ık a SHARE dotazn´ık) – teoretick´e a praktick´e z´aklady pojmov´eho mapov´an´ı v souboru metodologie pojmove mapy.pdf – datov´e soubory pouˇz´ıvan´e v pˇr´ıkladech diskutovan´ ych bˇehem kurzu v souboru metodologie data.zip (12 datov´ ych soubor˚ u, kter´e jsou oddˇelenˇe uloˇzeny v csv souborech, vˇsechny datov´e soubory jsou v excelovskem souboru data.xls na jednotliv´ ych listech) – datov´ y soubor k anal´ yze didaktick´ ych test˚ u didtest data analyza.xls 5

• Statistika v pedagogick´em v´ yzkumu je v naˇsem kurzu vysvˇetlov´ana s minim´aln´ım pouˇzit´ım vzoreˇck˚ u a s d˚ urazem na konkr´etn´ı vyuˇzit´ı v re´aln´ ych pˇr´ıkladech. • Teorie statistiky je vysvˇetlena pomoc´ı teoretick´ ych pouˇcek a/nebo pomoc´ı pˇr´ıklad˚ u. • K porozumˇen´ı obsahu (pˇredevˇs´ım statistiky) je pro vˇetˇsinu student˚ u velmi vhodn´e chodit na pˇredn´aˇsky a sledovat v´ yklad. • Statistick´ y software, kter´ y budeme vyuˇz´ıvat, se naz´ yv´a Gretl. Je to free software (nic nestoj´ı) a lze si ho st´ahnout z n´asleduj´ıc´ı internetov´e adresy: http://gretl.sourceforge.net/win32/ na prvn´ı ˇra´dce t´eto str´anky naleznete soubor gretl-1.9.9.exe, st´ahnˇete (uloˇzte) si ho na sv˚ uj poˇc´ıtaˇc. N´aslednˇe ho otevˇrete - spust´ı se t´ım instalace. Velmi doporuˇcuji si software st´ahnout a prov´est v nˇem vˇsechny pˇr´ıklady a cviˇcen´ı, kter´e budeme diskutovat bˇehem pˇredn´aˇsky!

6

1

Metody pedagogick´ eho v´ yzkumu • Jednotliv´e kroky v empirick´em kvalitativn´ım i kvantitativn´ım v´ yzkumu - na prezentace m1.pdf) • Charakteristika dobˇre zvolen´eho v´ yzkumn´eho t´ematu - na prezentace m1.pdf • Typy kvalitativn´ıho v´ yzkumu metodologie scanner tables graphs/Table-1-2-research-qualitative.jpg • Dotazn´ık - jak formulovat poloˇzky 1 - prezentace m1.pdf • Typy ˇsk´al pro mˇeˇren´ı postoj˚ u 1 - Likertova ˇsk´ala metodologie scanner tables graphs/Scales1-Likert.jpg • Typy ˇsk´al pro mˇeˇren´ı postoj˚ u 2 - bipol´arn´ı ˇsk´ala, hodnot´ıc´ı ˇsk´ala metodologie scanner tables graphs/Scales2-differencial-rating.jpg • Typy mˇeˇren´ı - prezentace m1.pdf • Pˇr´ıklady dotazn´ık˚ u metodologie dotazniky priklad.zip (dotazn´ıky PISA, SHARE, k´azeˇ n, manipulace) • Pozorov´an´ı - pˇr´ıklad standardizovan´eho pozorov´an´ı metodologie scanner tables graphs/Pozorovani1.jpg., Pozorovani2.jpg, Pozorovani3.jpg a Pozorovani4.jpg • Pojmov´e mapov´an´ı metodologie pojmove mapy.pdf

2

Mezin´ arodn´ı srovn´ avac´ı v´ yzkumy ve vzdˇ el´ av´ an´ı

z pr´ace ˇ ´ H. Vliv vybran´ych faktor˚ VONKOV A, u na matematickou gramotnost ˇz´ ak˚ u v zem´ıch stˇredn´ı Evropy: Sekund´arn´ı anal´yza dat PISA 2003, 7

disertaˇcn´ı pr´ ace.(Disertaˇcn´ı pr´ace) Praha: Univerzita Karlova v Praze - Pedagogick´a fakulta, 2008., kterou jsem um´ıstnila takt´eˇz na internetov´e str´anky k tomuto kurzu prostudujete : • sekci 1.1 Organizace poˇr´adaj´ıc´ı v´ yzkumy • sekci 1.2 Pˇr´ıklady v´ yzkum˚ u - PISA a TIMSS (pokud d´av´ate pˇrednost jin´e neˇz matematick´e gramotnosti, m˚ uˇzete m´ısto krit´eri´ı rozdˇelen´ı u ´loh z matematiky diskutovat krit´eria pro rozdˇelen´ı u ´loh pro V´ami vybranou oblast) • sekci 5.2, pouze ˇca´st V´ ysledky v mezin´arodn´ıch v´ yzkumech vzdˇel´av´an´ı TIMSS a PISA - strana 52 a 53 ˇ e republiky ve v´ • Tabulka 5.1 V´ ysledky ˇz´ak˚ u Cesk´ yzkumech TIMSS a PISA - strana 59 • Pˇr´ıloha A V´ ysledky zem´ı ve v´ yzkumech PISA a TIMSS (prostudovat tabulky s c´ılem zjistit: Jak´e zemˇe dopadaj´ı v urˇcit´ ych oblastech v PISA ˇci TIMSS nejl´epe? Jak´e naopak nejh˚ uˇre? Jak ˇ dopad´a Cesk´a republika? (toto je diskutov´ano i v tabulce 5.1)) • Pˇr´ıloha B Uk´azky u ´loh PISA 2003 (prostudovat pˇr´ıklady s c´ılem zjistit, jak se liˇs´ı od u ´loh prob´ıran´ ych na konci z´akladn´ı ˇskoly ˇci na zaˇca´tku stˇredn´ı ˇskoly, u zkouˇsky se nebudu pt´at pˇresnˇe na tyto u ´lohy, jde sp´ıˇse o z´ısk´an´ı orientaˇcn´ı pˇredstavy u ´loh pouˇz´ıvan´ ych ve v´ yzkumu PISA) ˇ akovsk´ • Pˇr´ıloha C Z´ y a ˇskoln´ı dotazn´ık PISA 2003 (Na jak´e ˇca´sti ˇ ˇ je rozdˇelen Z´akovsk´ y a Skoln´ ı dotazn´ık?) Informace o dalˇs´ıch vln´ach mezin´arodn´ıch srovn´avac´ıch v´ yzkum˚ u lze ˇ naj´ıt na webov´ ych str´ank´ach Cesk´e ˇskoln´ı inspekce www.csicr.cz (jedn´a se napˇr. o v´ yzkumy PISA 2006, PISA 2009, PISA 2012, TIMSS 2007, TIMSS 2011).

8

3

Statistika v pedagogick´ em v´ yzkumu

3.1

´ Uvod, z´ akladn´ı pojmy

• Populace zahrnuje vˇsechny ˇcleny definovan´e skupiny. • V´ ybˇ er je podmnoˇzina ˇclen˚ u populace. • Deskriptivn´ı statistika je kolekce metod pro klasifikov´an´ı a sumarizov´an´ı numerick´ ych dat. • Inferenˇ cn´ı statistika je kolekce metod, kter´a umoˇzn ˇuje ˇcinit z´avˇery o charakteristik´ach populace na z´akladˇe pˇr´ısluˇsn´ ych charakteristik pˇr´ısluˇsn´eho v´ ybˇeru. • Proces k´ odov´ an´ı zahrnuje pˇripisov´an´ı numerick´ ych hodnot kategori´aln´ım promˇenn´ ym. (Zopakuj rozd´ıly mezi kategori´aln´ı, oridin´aln´ı, intervalovou a pomˇerovou promˇennou.) • Data jsou v datov´em souboru vˇetˇsinou organizov´ana tak, ˇze kaˇzd´ y ˇra´dek odpov´ıd´a jednomu individuu a sloupec obsahuje data for mˇeˇrenou promˇennou.

3.2 3.2.1

Deskriptivn´ı statistika Tabulka absolutn´ıch, relativn´ıch a kumulativn´ıch ˇ cetnost´ı

Pˇ r´ıklad Uˇcitel bilogie zadal ve sv´e tˇr´ıdˇe test z bilogie, v nˇemˇz ˇza´ci dopadli n´asleduj´ıc´ım zp˚ usobem (uvedeny zn´amky z testu): 1,2,3,2,2,5,4,2,2,3,2,1,4,5,4,3,1,1,2,2. Sestavte tabulku absolutn´ıch, relativn´ıch a kumulativn´ıch ˇcetnost´ı pro zpˇrehlednˇen´ı v´ ysledk˚ u ˇz´ak˚ u z testu.

9

ˇ sen´ı Reˇ

ˇcetnosti zn´amka absolutn´ı relativn´ı (v %) kumulativn´ı (v %) 1 2 3 4 5

4 8 3 3 2

20 40 15 15 10

celkem

20

100

20 60 75 90 100

Cviˇ cen´ı Sestavte tabulku ˇcetnost´ı pro n´asleduj´ıc´ı hodnoty: 0,1,1,2,2,0,1,1,2,0,1,1,2,0,2,2,2,0,2,1,2,1,1,1,1,1,1,1,1,1 3.2.2

M´ıry polohy

M´ıry polohy indikuj´ı centr´aln´ı tendenci namˇeˇren´ ych hodnot promˇenn´e. Pr˚ umˇ er

• Pr˚ umˇ er(mean) vypoˇc´ıt´ame ho tak, ˇze vˇsechny hodnoty seˇcteme a tento souˇcet podˇel´ıme poˇctem hodnot. • Pr˚ umˇer je nejˇcastˇejˇs´ı pouˇz´ıvanou m´ırou polohy dat.

10

ˇ extr´emnˇe • Pr˚ umˇer je velmi ovlivnˇen extr´emn´ımi hodnotami, tj. bud mal´ ymi ˇci extr´emnˇe velk´ ymi hodnotami. (Pr˚ umˇer nen´ı robustn´ı statistikou.) • pˇr´ıklad: pr˚ umˇer z hodnot 1, 2, 1, 1, 2, 1, 1 je roven 1.29; pr˚ umˇer z hodnot 1, 2, 1, 1, 2, 1, 1000 je roven 144 →jedna hodnota v datech zcela zmˇenila pr˚ umˇer • Pr˚ umˇer nem´a v´ yznam poˇc´ıtat u nomin´aln´ıch a ordin´aln´ıch promˇenn´ ych. Vyuˇz´ıv´ame ho u intervalov´ ych a pomˇerov´ ych promˇenn´ ych. Medi´ an

• Medi´ an je bod, pod kter´ ym leˇz´ı 50 procent hodnot (z toho vypl´ yv´a, ˇze nad n´ım leˇz´ı takt´eˇz 50 procent hodnot). Medi´an lze tak´e nazvat 50ti procentn´ım percentilem. • pˇr´ıklad: urˇci medi´an pro sk´ory 1000, 18, 3, 6, 12, 19, 21 ˇreˇsen´ı: data nejprve uspoˇra´d´ame podle velikosti od nejmenˇs´ı po nejvˇetˇs´ı hodnotu 3,6,12,18,19,21,1000 ; prostˇredn´ı hodnota je 18 (pˇred n´ı jsou 3 hodnoty, za n´ı jsou 3 hodnoty), medi´an je tud´ıˇz roven 18 • pˇr´ıklad: urˇci medi´an pro sk´ory 1000, 18, 3, 6, 1, 12, 19, 21 ˇreˇsen´ı: data nejprve uspoˇr´ad´ame podle velikosti 1, 3, 6, 12, 18, 19, 21, 1000, vzhledem k tomu, ˇze m´ame lich´ y poˇcet hodnot, tak medi´an vypoˇc´ıt´ame jako pr˚ umˇer dvou prostˇredn´ıch hodnot 12 a 18. Medi´an je tedy roven (12+18)/2=15 • Medi´an je oproti pr˚ umˇeru robustn´ı statistikou, tj. nen´ı citliv´ y na extr´emn´ı hodnoty. Viz prvn´ı pˇr´ıklad pro medi´an. ˇ e republice. • cviˇcen´ı: Porovnej pr˚ umˇern´ y a medi´anov´ y plat v Cesk´ Je pr˚ umˇern´ y plat niˇzˇs´ı, stejn´ y, ˇci vyˇsˇs´ı neˇz medi´anov´ y plat? 11

• Medi´an nem´a v´ yznam poˇc´ıtat u nomin´aln´ıch a ordin´aln´ıch promˇenn´ ych. Vyuˇz´ıv´ame ho u intervalov´ ych a pomˇerov´ ych promˇenn´ ych. Modus

• Modus je nejˇcastˇejˇs´ı hodnota v datech. • pˇr´ıklad: urˇci modus pro n´asleduj´ıc´ı data 1,2,1,3,2,7,1000,2,2,6,2 ˇreˇsen´ı: nejˇcastˇeji se vyskytuje hodnota 2, modus je tedy roven 2. • Modus je robustn´ı statistikou, viz pˇredchoz´ı pˇr´ıklad (extr´emn´ı hodnota nem´a na modus vliv). • Modus m˚ uˇzeme urˇcit pro vˇsechny typy promˇenn´ ych, tj. nomin´aln´ı, ordin´aln´ı, intervalov´e i pomˇerov´e promˇenn´e. Minimum a maximum

• Minimum je nejmenˇs´ı hodnota, maximum je nejvˇetˇs´ı hodnota. • pˇr´ıklad: urˇci minimum a maximum pro n´asleduj´ıc´ı data 2,-4,3,50,20,13,-14,23,-41 ˇreˇsen´ı: minimum je -50, maximum je 23. • Minimum i maximum nem´a v´ yznam poˇc´ıtat u nomin´aln´ıch a ordin´aln´ıch promˇenn´ ych. Vyuˇz´ıv´ame je u intervalov´ ych a pomˇerov´ ych promˇenn´ ych. 3.2.3

M´ıry variability

M´ıry variability indikuj´ı, jak namˇeˇren´e hodnoty kol´ısaj´ı, tj. jakou maj´ı variabilitu. 12

Rozptyl, standardn´ı odchylka

• Rozptyl je definov´an jako pr˚ umˇer ˇctvercov´ ych odchylek jednotliv´ ych hodnot od pr˚ umˇern´e hodnoty. • Postup v´ ypoˇctu rozptylu: M´ame-li dan´e hodnoty, mus´ıme nejprve spoˇc´ıtat pr˚ umˇer z tˇechto hodnot. N´aslednˇe spoˇc´ıt´ame rozd´ıl namˇeˇren´ ych hodnot od vypoˇc´ıtan´e pr˚ umˇern´e hodnoty. D´ale kaˇzd´ y rozd´ıl vyn´asob´ıme s´am sebou (je-li rozd´ıl roven 3, pak spoˇc´ıt´ame 3*3=9). Z tˇechto hodnot spoˇc´ıt´ame pr˚ umˇer. • pˇr´ıklad: mˇejme namˇeˇren´e hodnoty 1,3,5. Spoˇc´ıtejte rozptyl. ˇreˇsen´ı: pr˚ umˇer z namˇeˇren´ ych hodnot je roven (1+3+5)/3=3 rozd´ıly hodnot od pr˚ umˇeru jsou 1-3,3-3,5-3, tj. -2,0,2 kaˇzd´ y rozd´ıl vyn´asob´ıme s´am sebou -2*(-2), 0*0, 2*2, tj. 4,0,4 pr˚ umˇer z pˇredchoz´ıch hodnot 4,0,4 je roven (4+0+4)/3 = 2.67 rozptyl je roven 2.67 • Rozptyl je citliv´ y na extr´emn´ı hodnoty. • cviˇcen´ı: spoˇc´ıtej rozptyl z hodnot 1,1,1,10 • cviˇcen´ı: spoˇc´ıtej rozptyl z hodnot 1,1,1,1 Smˇ erodatn´ a odchylka

• Smˇerodatn´a odchylka je rovna odmocninˇe z rozptylu. • Postup v´ ypoˇctu: Nejprve spoˇc´ıt´ame rozptyl, n´aslednˇe z rozptylu spoˇc´ıt´ame druhou odmocninu.

13

• pˇr´ıklad: mˇejme namˇeˇren´e hodnoty 1,3,5. Spoˇc´ıtejte smˇerodatnou odchylku. ˇreˇsen´ı: rozptyl je roven 2.67 (viz pˇ redchoz´ı pˇr´ıklad) √ druh´a odmocnina z 2.67 je rovna 2.67 = 1.63 smˇerodatn´a odchylka je rovna 1.63 • Smˇerodatn´a odchylka je oproti rozptylu vyj´adˇrena v p˚ uvodn´ıch jednotk´ach mˇeˇren´ı, tj. na t´e sam´e ˇsk´ale, na kter´e mˇeˇr´ıme hodnoty promˇenn´e. • Smˇerodatn´a odchylka je citliv´a na extr´emn´ı hodnoty. • cviˇcen´ı: spoˇc´ıtej smˇerodatnou odchylku z hodnot 1,1,1,10 • cviˇcen´ı: spoˇc´ıtej smˇerodatnou odchylku z hodnot 1,1,1,1 Variaˇ cn´ı rozpˇ et´ı

• Variaˇ cn´ı rozpˇ et´ı je rovno rozd´ılu maxima a minima, k nˇemuˇz pˇriˇcteme 1. • pˇr´ıklad: spoˇc´ıtej variaˇcn´ı rozpˇet´ı z hodnot -2,3,-10,6,9 ˇreˇsen´ı: variaˇcn´ı rozpˇet´ı je rovno 9 - (-10) +1 =20 • cviˇcen´ı: spoˇc´ıtej variaˇcn´ı rozpˇet´ı z hodnot -4,9,0,63,5,-50,-31,2 Gretl a datov´ e soubory

• Pro splnˇen´ı vˇsech n´asleduj´ıc´ıch pˇr´ıklad˚ u je nutn´e vyuˇz´ıt nˇejak´ y statistick´ y software. V naˇsich pˇredn´aˇsk´ach vyuˇzijeme Gretl.

14

• nat´ahnut´ı dat do Gretlu: File →Open data Import →Zvolte form´at, ve kter´em m´ate data uloˇzen´a (napˇr. .xls pro Excel, .csv pro comma separated soubor) • Gretl se V´as m˚ uˇze pˇri natahov´an´ı dat zeptat ”The imported data have been interpreted as undated (cross-sectional). Do you want to give the data a time-series or panel interpretation?” Ve vˇsech datov´ ych souborech, se kter´ ymi budeme bˇehem hodin pracovat, nejsou data uspoˇra´d´ana ani jako ˇcasov´a ˇrada ani jako panel. Je ˇ ”No”. tedy nutno zvolit odpovˇed • vˇsechny datov´e soubory, kter´e budeme pouˇz´ıvat, lze naj´ıt v exych listech; celovsk´em souboru metodologie data.xls na jednotliv´ jednotliv´e datov´e soubory lze naj´ıt jako .csv soubory (viz zla − ryba.cz/hanicka/kombinovanametodologie1) Pˇ r´ıklad (data 01 descriptive normal IQ.csv) V datov´em souboru jsou hodnoty IQ pro pˇet set individu´ı. 1. Sestavte tabulku ˇcetnost´ı (absolutn´ıch, relativn´ıch a kumulativn´ıch), kde velikost jednoho tˇr´ıd´ıc´ıho intervalu je rovna 5 a minim´aln´ı hodnota je rovna 50. Urˇcete modus. 2. Sestavte tabulku ˇcetnost´ı (absolutn´ıch, relativn´ıch a kumulativn´ıch), kde je poˇcet interval˚ u roven 11. 3. Reprezentujte data graficky pomoc´ı histogramu, v nˇemˇz velikost jednoho tˇr´ıd´ıc´ıho intervalu je rovna 5 a minim´aln´ı hodnota je rovna 50. 4. Reprezentujte data graficky pomoc´ı histogramu, v nˇemˇz je poˇcet interval˚ u roven 11. 5. Zn´azornˇete data graficky pomoc´ı boxplot. Urˇcete minimum, prvn´ı kvartil (hodnota, po n´ıˇz leˇz´ı 25 % vˇsech hodnot), medi´an, 15

tˇret´ı kvartil (hodnota, pod n´ıˇz leˇz´ı 75 % vˇsech hodnot) a maximum. 6. Spoˇc´ıtejte pr˚ umˇer, medi´an, minimum, maximum, standardn´ı odchylku a roztyl. 7. Zvonovit´ y tvar histogramu indikuje norm´aln´ı rozloˇzen´ı zkouman´e ˇ veliˇciny. Na z´akladˇe histogramu pro IQ posudte, zda m´a tato veliˇcina tendenci b´ yt norm´alnˇe rozloˇzen´a. ˇ sen´ı Reˇ 1. Gretl: Variable →Frequency distribution →Minimum value, left bin zvol 50 a Bin width zvol 5 Frequency distribution for IQ, obs 1-500 number of bins = 20, mean = 99.3317, sd = 14.679 interval

55.000 60.000 65.000 70.000 75.000 80.000 85.000 90.000 95.000 100.00 105.00 110.00 115.00 120.00 125.00 130.00 135.00 140.00

< -

55.000 60.000 65.000 70.000 75.000 80.000 85.000 90.000 95.000 100.00 105.00 110.00 115.00 120.00 125.00 130.00 135.00 140.00 145.00

midpt 52.500 57.500 62.500 67.500 72.500 77.500 82.500 87.500 92.500 97.500 102.50 107.50 112.50 117.50 122.50 127.50 132.50 137.50 142.50

16

frequency 0 3 2 5 6 29 38 52 62 69 65 52 43 36 16 14 2 4 1

rel.

cum.

0.00% 0.60% 0.40% 1.00% 1.20% 5.80% 7.60% 10.40% 12.40% 13.80% 13.00% 10.40% 8.60% 7.20% 3.20% 2.80% 0.40% 0.80% 0.20%

0.00% 0.60% 1.00% 2.00% 3.20% 9.00% 16.60% 27.00% 39.40% 53.20% 66.20% 76.60% 85.20% 92.40% 95.60% 98.40% 98.80% 99.60% 99.80%

** ** *** **** **** **** *** *** ** * *

>= 145.00

147.50

1

0.20%

100.00%

Modus je roven 97.5 (stˇredn´ı bod=midpoint intervalu, kter´ y m´a nejvˇetˇs´ı ˇcetnost). 2. Gretl: Variable →Frequency distribution →Number of bins zvol 11 Frequency distribution for IQ, obs 1-500 number of bins = 11, mean = 99.3317, sd = 14.679 interval < 63.015 72.165 81.315 90.465 99.615 108.77 117.92 127.07 136.22 >=

63.015 72.165 81.315 90.465 99.615 108.77 117.92 127.07 136.22 145.37 145.37

midpt 58.440 67.590 76.740 85.890 95.040 104.19 113.34 122.49 131.64 140.79 149.94

frequency 4 9 46 80 123 108 78 37 11 3 1

rel.

cum.

0.80% 1.80% 9.20% 16.00% 24.60% 21.60% 15.60% 7.40% 2.20% 0.60% 0.20%

0.80% 2.60% 11.80% 27.80% 52.40% 74.00% 89.60% 97.00% 99.20% 99.80% 100.00%

*** ***** ******** ******* ***** **

3. Gretl: Variable →Frequency plot →Minimum value, left bin zvol 50 a Bin width zvol 5

17

Figure 1: Histogram IQ 1

4. Gretl: Variable →Frequency plot →Number of bins zvol 11

18

Figure 2: Histogram IQ 2

5. Gretl: View →Graph specified vars →Boxplot

19

Figure 3: Boxplot

149.9

104.2

58.44 IQ

Klikni myˇs´ı na obr´azek boxplotu, zvol Numerical summary Numerical summary

IQ

mean 99.332

min 58.44

Q1 89.248

median 98.74

Q3 109.41

6. Gretl: Variable →Summary statistic Summary Statistics, using the observations 1 - 500 for the variable ’IQ’ (500 valid observations)

20

max 149.94

(n=500)

Mean Median Minimum Maximum Standard deviation C.V. Skewness Ex. kurtosis

99.332 98.740 58.440 149.94 14.679 0.14778 0.11914 -0.010735

7. Histogram IQ m´a zvonovit´ y tvar, coˇz indikuje norm´aln´ı rozdˇelen´ı. Cviˇ cen´ı (data 02 descriptive test oblibenost atd.csv) V´ yzkumn´ık m´a z´amˇer zkoumat vztah mezi sk´orem v testu z matematiky a dalˇs´ıch promˇenn´ ych jako je hodnocen´ı respondent˚ u o jejich obl´ıbenosti matematiky (ˇsk´ala: 1=velmi obl´ıben´a aˇz 5=zcela neobl´ıben´a), hodnocen´ı respondent˚ u toho, jak jim pˇrijde matematika obt´ıˇzn´a (ˇsk´ala: 1=velmi obt´ıˇzn´a aˇz 5=velmi snadn´a), bydliˇstˇe (1=mˇesto, 0=vesnice) a pohlav´ı (1=ˇzena, 0=muˇz). V´ yzkumn´ık provedl n´ahodn´ y v´ ybˇer 33 student˚ u, od kter´ ych sebral vˇsechny u ´daje. Zpˇrehlednˇete data pomoc´ı deskriptivn´ı statistiky. Konkr´etnˇe se m˚ uˇzete zamˇeˇrit na n´asleduj´ıc´ı: • Sestavte tabulku ˇcetnost´ı (absolutn´ıch, relativn´ıch a kumulativn´ıch) pro vˇsechny promˇenn´e. • Spoˇc´ıtejte pr˚ umˇer, medi´an, minimum, maximum, standardn´ı odchylku a roztyl. • Reprezentujte data pomoc´ı vhodnˇe zvolen´eho grafu (histogram, sloupcov´ y graf atd.) ”Deskriptivn´ı statistika je deskriptivn´ı.” Pouˇz´ıvej jen takov´e m´ıry polohy a variability, kter´e slouˇz´ı k zpˇrehlednˇen´ı dat a u ´ˇcelu tv´e studie.

21

3.2.4

Korelaˇ cn´ı koeficient

• Korelaˇcn´ı koeficient ud´av´a m´ıru line´arn´ıho vztahu mezi dvˇema promˇennami. • Jeho hodnoty se pohybuj´ı mezi -1 a 1. • Podle znam´enka korelace (”+” ˇci ”-”) m˚ uˇzeme usoudit, zda je vztah mezi promˇenn´ ymi kladn´ y ˇci z´aporn´ y. Negativn´ı hodnota korelaˇcn´ıho koeficientu naznaˇcuje, ˇze vztah mezi dvˇema promˇenn´ ymi je z´aporn´ y, tj. zvˇetˇs´ıme-li hodnotu jedn´e promˇenn´e, zmenˇs´ı se hodnoty druh´e promˇenn´e. Pozitivn´ı hodnota korelaˇcn´ıho koeficientu naznaˇcuje, ˇze vztah mezi dvˇema promˇenn´ ymi je kladn´ y, tj. zvˇetˇs´ıme-li hodnotu jedn´e promˇenn´e, zvˇetˇs´ı se hodnota i druh´e promˇenn´e. • Vzd´alenost korelaˇcn´ıho koeficientu od nuly indikuje tˇesnost line´arn´ıho vztahu mezi dvˇema promˇenn´ ymi: – do 0.2 - line´arn´ı vztah je zandebateln´ y – od 0.2 do 0.4 - line´arn´ı vztah je nepˇr´ıliˇs tˇesn´ y – od 0.4 do 0.7 - line´arn´ı vztah je stˇrednˇe tˇesn´ y – od 0.7 do 0.9 - line´arn´ı vztah je velmi tˇesn´ y vztah – od 0.9 - line´arn´ı vztah je extr´emnˇe tˇesn´ y • Je-li hodnota korelaˇcn´ıho koeficientu n´ızk´a aˇz nulov´a, neznamen´a to, ˇze mezi promˇenn´ ymi nem˚ uˇze b´ yt ˇza´dn´ y vztah. Znamen´a to pouze, ˇze mezi veliˇcinami je line´arn´ı vztah zanedbateln´ y. • Vysok´a hodnota korelaˇcn´ıho koeficientu nemus´ı znamenat, ˇze je mezi promˇenn´ ymi kauz´aln´ı vztah. Znamen´a pouze predikˇcn´ı vztah.

22

Figure 4: Korelace - zdroj http://cs.wikipedia.org/wiki/Korelace

Pˇ r´ıklad (data 03 korelace vek plat.csv) V´ yzkumn´ık chtˇel zjistit m´ıru line´arn´ıho vztahu mezi vˇekem a platem. N´ahodnˇe vybral 19 respondent˚ u, kter´ ych se dot´azal na jejich vˇek a hodinov´ y plat. N´asleduj´ıc´ı tabulka shrnuje z´ıskan´e u ´daje:

23

respondent vek plat 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

30 45 32 56 60 23 25 48 57 63 49 52 61 44 36 53 35 63 49

116 140 119 152 157 105 110 142 158 166 145 149 161 135 126 147 125 164 145

Vypˇc´ıtejte korelaˇcn´ı koeficient. Jak´ y smˇer m´a vztah mezi vˇekem a platem (kladn´ y, z´aporn´ y)? Jak tˇesn´ y je vztah mezi vˇekem a pohlav´ım (zanedbateln´ y, nepˇr´ıliˇs tˇesn´ y vztah, stˇrednˇe tˇesn´ y vztah, velmi tˇesn´ y vztah a extr´emnˇe tˇesn´ y vztah)? ˇ sen´ı Reˇ Gretl: View →Correlation matrix corr(vek, plat) = 0.99647103 Under the null hypothesis of no correlation: t(17) = 48.9478, with two-tailed p-value 0.0000 24

Korelaˇcn´ı koeficient mezi vˇekem a platem je v naˇsem pˇr´ıkladu roven 0.996. Smˇer vztahu je kladn´ y. Vztah je extr´emnˇe tˇesn´ y.

3.3 3.3.1

Inferenˇ cn´ı statistika ´ Uvod do testov´ an´ı hypot´ ez

• opakovan´ y n´ahodn´ y v´ ybˇer z normaln´ıho rozdˇelen´ı, viz graf (Norm´aln´ı rozdˇelen´ı a Pˇr´ıklad n´ahodn´ ych v´ ybˇer˚ u z norm´aln´ıho rozdˇelen´ı N(100,15) o velikosti 225) • pˇredstavme si, ze si m´ame vybrat ze dvou alternativ, priˇcemˇz m´ame k dispozici urˇcit´a data, co je v kaˇzd´em ze tˇr´ı pˇripad˚ u pravdˇepodobnˇejˇs´ı?

Normal Distribution and Standardization

2.28% 13.59% 34.13% 34.13% 13.59% 2.28%

z=(X−100)/15

70

85

100

115

−2

−1

0

1

130 X~N(100,15) 2

25

z~N(0,1)

Pr˚ umˇ er je signifikantnˇ e odliˇ sn´ y od nuly yes no yes 2.5% 95% 2.5%

50

60

70

80

90

100

110

120

130

140

150

mean=100 sd=14.81 50

60

70

80

90

100

110

120

130

140

150

50

mean=97.05 sd=14.93

p−value=0.9966 60

70

80

90

100

110

120

mean=103.21

p−value=0.0034

sd=14.05

• Chyby – chyba prvn´ıho druhu = hypot´ezu H0 zam´ıtneme, aˇckoli plat´ı H0 – chyba druh´eho druhu = hypot´ezu H0 nezam´ıtneme, aˇckoli plat´ı hypot´eza H1 • Statistick´ y test – stanovime nulovou hypotezu H0 a alternativni hypotezu H1 – stanovime hladinu spolehlivosti (znacime alpha) = pravdepodobnost, ze hypotezu H0 zamitneme ackoli plati; obvykle volime alpha=0.05 – vypocitame p-hodnotu = pravdepodobnost, ze testovaci kriterium (my jsme meli napr. prumer) dosahne sve hodnoty a pripadne hodnot jeste vice extremnejsich, tj. svedcicich proti H0 , za predpokladu platnosti H0 – !Je-li p-hodnota menˇs´ı neˇz pˇredem stanoven´e alpha, nulovou hypot´ezu zam´ıt´ame. 26

p−value=7e−04

130

140

150

3.3.2

Jednov´ ybˇ erov´ y t-test

Jednov´ ybˇerov´ y t-test se pouˇz´ıv´a pro testov´an´ı toho, zda-li je stˇredn´ı hodnota (pr˚ umˇer) v nˇejak´e populaci rovna pˇredem stanoven´e hodnotˇe. Pˇ r´ıklad (data 04 ttest pocetzaku.csv) V´ yzkumn´ık chtˇel zjistit, zda-li je pr˚ umˇern´ y poˇcet ˇza´k˚ u v jedn´e tˇr´ıdˇe odliˇsn´ y od 20. Zamˇeˇril se na populaci ˇza´k˚ u v osm´ ych roˇcn´ıc´ıch na z´akladn´ıch ˇskol´ach. Aby mohl prov´est tento test, provedl n´ahodn´ y v´ ybˇer ze vˇsech tˇr´ıd osm´ ych roˇcn´ık˚ u z´akladn´ıch ˇskol. U tˇechto tˇr´ıd zjistil poˇcet ˇza´k˚ u ve tˇr´ıdˇe:

27

tˇr´ıda poˇcet 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

30 12 25 20 18 19 14 13 15 20 14 17 31 35 8 17 16 19 20 7 32 20 14 25 26 24 22 23 21

Na hladinˇe v´ yznamnosti 10 procent testujte, zda-li je pr˚ umˇern´ y poˇcet ˇz´ak˚ u ve tˇr´ıdˇe odliˇsn´ y od 20. 28

ˇ sen´ı Reˇ Nulov´a hypot´eza H0 : µ = 20, alternativn´ı hypot´eza H1 : µ 6= 20 Gretl: Tools →Test statistic calculator →mean Null hypothesis: population mean = 20 Sample size: n = 29 Sample mean = 19.8966, std. deviation = 6.82613 Test statistic: t(28) = (19.8966 - 20)/1.26758 = -0.0816108 Two-tailed p-value = 0.9355 (one-tailed = 0.4678)

Na hladinˇe v´ yznamnosti 10 procent nem˚ uˇzeme zam´ıtnout nulovou hypot´ezu, protoˇze p-hodnota 0.9355 je vˇetˇs´ı neˇz 0.1 (10 procent), tj. nem˚ uˇzeme ˇr´ıci, ˇze pr˚ umˇern´ y poˇcet ˇz´ak˚ u v jedn´e tˇr´ıdˇe je odliˇsn´ y od 20. ˇ (Z´aky mysl´ıme ˇza´ky osm´ ych roˇcn´ık˚ u z´akladn´ıch ˇskol.) Cviˇ cen´ı (data 05 ttest obtiznost.csv) V´ yzkumn´ık chtˇel zjistit, jak hodnot´ı studenti prvn´ıch roˇcn´ık˚ u gymn´azi´ı obt´ıˇznost pˇredmˇetu bilogie. Provedl n´ahodn´ y v´ ybˇer tˇechto student˚ u. N´aslednˇe jim poloˇzil ot´azku, jak hodnot´ı obt´ıˇznost pˇredmˇetu bilogie na rating ˇsk´ale od 1(velmi snadn´ y pˇredmˇet) do 10(velmi obt´ıˇzn´ y pˇredmˇet). Hodnocen´ı student˚ u je shrnuto v n´asleduj´ıc´ı tabulce:

29

zak obtiznost 1 2 3 4 5 6 7 8 9 10 11 12 13 14

5 9 6 1 2 1 3 2 4 2 2 1 1 3

Na hladinˇe v´ yznamnosti 5 procent testujte, zda-li se hodnocen´ı obt´ıˇznosti biologie liˇs´ı od 5 (ani snadn´ y, ani obt´ıˇzn´ y pˇredmˇet). 3.3.3

Dvouv´ ybˇ erov´ y t-test

Dvouv´ ybˇerov´ y t-test se pouˇz´ıv´a (mimo jin´e) pro porovn´an´ı stˇredn´ıch hodnot (pr˚ umˇer˚ u) ve dvou z´akladn´ıch populac´ıch (nez´avisl´ ych populac´ıch). Toto porovn´an´ı prov´ad´ıme na z´akladˇe n´ahodn´eho v´ ybˇeru z jedn´e a n´aslednˇe n´ahodn´eho v´ ybˇeru z druh´e populace. Pˇ r´ıklad (data 06 ttest spokojenost pohlavi.csv) V´ yzkumn´ık chtˇel zjistit, zda-li se liˇs´ı spokojenost se vzdˇel´avac´ım syst´emem v dan´e zemi mezi ˇzenami a muˇzi. Provedl n´ahodn´ y v´ ybˇer jeden´acti ˇzen a osmi muˇz˚ u a zeptal se jich zda-li jsou spokojeni se vzdˇel´avac´ım syst´emem. Sv´e hodnocen´ı mˇeli respondenti uv´est na rating ˇsk´ale od jedn´e do pˇeti, na n´ıˇz jedna reprezentovuje ”velmi nespokojen” a pˇet ”velmi spokojen”. Data, kter´a v´ yzkumn´ık z´ıskal jsou n´asleduj´ıc´ı: 30

ˇzeny muˇzi 4 5 2 1 5 4 2 3 2 1 2

5 1 2 2 3 2 1 3

Na hladinˇe v´ yznamnosti 5 procent testujte, zda-li je spokojenost muˇz˚ u a ˇzen se vzdˇel´avac´ım syst´emem odliˇsn´a. ˇ sen´ı Reˇ • Testov´an´ım odliˇsnosti pr˚ umˇern´e spokojenosti muˇz˚ u a ˇzen mus´ıme nejprve prov´est jin´ y test, abychom urˇcili, zda je variance (rozpt´ ylenost) spokojenosti muˇz˚ u a ˇzen odliˇsn´a ˇci nikoli. Z´avˇer testu pro porovn´an´ı dvou varianc´ı pouˇzijeme jako pˇredpoklad pro testov´an´ı pr˚ umˇern´e spokojenosti muˇz˚ u a ˇzen. Test pro porovn´an´ı dvou rozptyl˚ u naz´ yv´ame F-test pro porovn´an´ı dvou rozptyl˚ u. • Proveden´ı F-testu pro porovn´an´ı rozptylu jedn´e populace σ12 a rozptylu druh´e populace σ22 na hladinˇe v´ yznamnosti 5 procent Nulov´a hypot´eza H0: σ1 = σ2 , alternativn´ı hypot´eza H1: σ1 6= σ2 Gretl: Tools →Test statistic calculator →2 variances Null hypothesis: The population variances are equal Sample 1: n = 11, variance = 2.16364

31

Sample 2: n = 8, variance = 1.69643 Test statistic: F(10, 7) = 1.27541 Two-tailed p-value = 0.7684 (one-tailed = 0.3842)

P-hodnota je vˇetˇs´ı neˇz 0.05. Na hladinˇe v´ yznamnosti 5 procent tud´ıˇz nem˚ uˇzeme zam´ıtnout nulovou hypot´ezu o shodnosti rozptyl˚ u. T-test pro porovn´an´ı pr˚ umˇer˚ u dvou populac´ı provedeme s pˇredpokladem, ˇze rozptyly (standardn´ı odchylky) v tˇechto dvou populac´ıch jsou shodn´e. • Proveden´ı t-testu pro porovn´an´ı dvou pr˚ umˇer˚ u na hladinˇe v´ yznamnosti 5 procent Nulov´a hypot´eza H0: µ1 = µ2 , alternativn´ı hypot´eza H1: µ1 6= µ2 Gretl: Tools →Test statistic calculator →2 means (Pˇredpoklad: Zaˇskrtni ok´enko u ”Assume common population standard deviation”) Null hypothesis: Difference of means = 0 Sample 1: n = 11, mean = 2.81818, s.d. = 1.47093 standard error of mean = 0.443502 95% confidence interval for mean: 1.83 to 3.80637 Sample 2: n = 8, mean = 2.375, s.d. = 1.30247 standard error of mean = 0.460493 95% confidence interval for mean: 1.28611 to 3.46389 Test statistic: t(17) = (2.81818 - 2.375)/0.65239 = 0.679321 Two-tailed p-value = 0.5061 (one-tailed = 0.253)

P-hodnota je vˇetˇs´ı neˇz 0.05. Na hladinˇe v´ yznamnosti 5 procent tud´ıˇz nem˚ uˇzeme zam´ıtnout nulovou hypot´ezu o shodnosti pr˚ umˇer˚ u, tj. nem˚ uˇzeme ˇr´ıci, ˇze pr˚ umˇern´a spokojenost se vzdˇel´avac´ım syst´emem je muˇz˚ u a ˇzen odliˇsn´a. 32

Cviˇ cen´ı (data 07 ttest esej mapa.csv) V´ yzkumn´ık chtˇel porovnat u ´ˇcinek dvou vyuˇcovac´ıch metod (psan´ı esej˚ u a vyuˇzit´ı concept mapping) na to, jak studenti na konci kurzu rozum´ı vyuˇcovan´e l´atce. Aby mohl u ´ˇcinek tˇechto dvou metod porovnat, provedl experiment. Rozdˇelil n´ahodnˇe studenty do dvou skupin. Jedna skupina mˇela bˇehem kurzu vyuˇz´ıvat ke strukturaci uˇciva eseje (bˇehem kurzu museli studenti napsat dvˇe eseje) a druh´a skupina mˇela vyuˇz´ıvat metodu pojmov´eho mapov´an´ı (bˇehem kurzu museli studenti sestavit dvˇe pojmov´e mapy). Studenti tak bˇehem kurzu z´ısk´avali nov´e vˇedomosti, zam´ yˇsleli se nad nov´ ymi ot´azkami a ke strukturaci a shrnut´ı sv´ ych ˇ znalost´ı pouˇz´ıvali bud eseje ˇci mapy. Na konci kurzu ˇsli ke zkouˇsce, kde mˇeli prok´azat porozumˇen´ı novˇe nauˇcen´e l´atce. (Jako mˇeˇr´ıtko porozumˇen´ı l´atce byla zvolena zn´amka u zkouˇsky.) V´ ysledky student˚ u u zkouˇsky (zn´amka 1 aˇz 5) shrnuje n´asleduj´ıc´ı tabulka:

33

esej mapa 1 1 2 3 3 2 1 3 4 4 3 2 4 3

2 3 1 1 2 2 3 1 1 2 1 2 1 1 1 2

Pˇrepokl´adejte, ˇze studenti v obou skupin´ach jsou n´ahodn´ ym v´ ybˇerem z populace student˚ u. Na hladinˇe v´ yznamnosti 10 procent testujte, zda-li je u ´ˇcinek tˇechto dvou vyuˇcovac´ıch metod v populaci student˚ u odliˇsn´ y. 3.3.4

T-test pro korelaˇ cn´ı koeficient

Pˇ r´ıklad (data 08 koreltest vzdelani prijem.csv) ˇ Casto zkouman´ ym vztahem v soci´aln´ıch vˇed´ach je vztah mezi pˇr´ıjmem a vzdˇel´an´ım. Abychom tento vztah mohli zkoumat, byl proveden n´ahodn´ y v´ ybˇer patn´acti osob z ekonomicky aktivn´ıch lid´ı (populace), kteˇr´ı byli dot´az´ani na jejich vzdˇel´an´ı (mˇeˇreno poˇctem let vzdˇel´an´ı) a jejich pˇr´ıjem (mˇeˇreno v tis´ıc´ıch). N´asleduj´ıc´ı tabulka shrnuje z´ıskan´a 34

data: individum vzdˇel´an´ı pˇr´ıjem 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

9 14 10 13 14 10 12 15 17 13 14 13 13 17 20

12 30 10 20 28 13 15 33 25 20 30 16 25 45 40

1. vypoˇc´ıtej korelaˇcn´ı koeficient mezi vzdˇel´an´ım a pˇr´ıjmem 2. testuj na hladinˇe v´ yznamnosti 5 %, zda-li je korelaˇcn´ı koeficient signifikantnˇe odliˇsn´ y od nuly nulov´a hypot´eza H0 : ρ = 0, alternativn´ı hypot´eza H1 : ρ 6= 0 ˇ sen´ı Reˇ Gretl: View →Correlation corr(vzdelani, prijem) = 0.86691624 Under the null hypothesis of no correlation: t(13) = 6.27081, with two-tailed p-value 0.0000 1. korelaˇcn´ı koeficient mezi vzdˇel´an´ım a pˇr´ıjmem je roven 0.87 35

2. korelaˇcn´ı koeficient je signifikantnˇe odliˇsn´ y od nuly na hladinˇe v´ yznamosti 5%, protoˇze p-hodnota 0.0000 je menˇs´ı neˇz 0.05.

Cviˇ cen´ı

1. Z populace ˇz´ak˚ u osm´ ych roˇcn´ık˚ u byli n´ahodnˇe vybr´ani tˇri ˇz´aci, u nichˇz byla zjiˇstˇena zn´amka z ˇcesk´eho jazyka na vysvˇedˇcen´ı na konci osm´eho roˇcn´ıku a zn´amka z testu, kterou dostali z posledn´ıho p´ısemn´eho testu z ˇcesk´eho jazyka. zn´amka ˇza´k vysvˇedˇcen´ı test 1 2 3

1 2 3

2 3 7

Vypoˇc´ıtej korelaˇcn´ı koeficient a testuj, zda-li je na hladinˇe v´ yznamnosti 5 % signifikantnˇe odliˇsn´ y od nuly. 2. (data 09 koreltest vysvedceni test.csv) Z populace ˇz´ak˚ u osm´ ych roˇcn´ık˚ u bylo n´ahodnˇe vybr´ano patn´act ˇz´ak˚ u, u nichˇz byla zjiˇstˇena zn´amka z ˇcesk´eho jazyka na vysvˇedˇcen´ı na konci osm´eho roˇcn´ıku a zn´amka z testu, kterou dostali z posledn´ıho p´ısemn´eho testu z ˇcesk´eho jazyka.

36

zn´amka ˇza´k vysvˇedˇcen´ı test 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

1 2 2 1 3 4 2 3 4 1 1 1 3 3 4

1 3 1 1 3 4 3 3 4 2 1 1 3 5 4

Vypoˇc´ıtej korelaˇcn´ı koeficient a testuj, zda-li je na hladinˇe v´ yznamnosti 5 % signifikantnˇe odliˇsn´ y od nuly. 3. Porovnej korelaˇcn´ı koeficienty v pˇredchoz´ıch dvou cviˇcen´ıch. Porovnej z´avˇery test˚ u (na hladinˇe v´ yznamnosti 5 %) o odliˇsnosti korelaˇcn´ıho koeficientu od nuly. Porovnej tyto dva z´avˇery! 3.3.5

Ch´ı-kvadr´ at test

Pˇ r´ıklad (data 10 chitest nazor pohlavi.csv) Vyuˇcuj´ıc´ı chtˇel zjistit, zda-li souvis´ı n´azor student˚ u o obt´ıˇznosti kurzu s pohlav´ım studenta. N´ahodnˇe vybral 166 student˚ u, u kter´ ych zaznamenal n´azor na obt´ıˇznost kurzu (obt´ıˇzn´e, snadn´e) a jejich pohlav´ı (viz 37

datov´ y soubor nazor pohlavi). Na hladinˇe v´ yznamnosti 10 % testuj, zda-li n´azor ohlednˇe obt´ıˇznosti kurzu souvis´ı s pohlav´ım studenta. ˇ sen´ı Reˇ Nulov´a hypot´eza H0 : n´azor a pohlav´ı navz´ajem nesouvis´ı, alternativn´ı hypot´eza H1 : n´azor a pohlav´ı spolu souvis´ı Gretl: View →Cross Tabulation Cross-tabulation of nazor (rows) against pohlavi (columns) [ [ [

0] 1]

TOTAL

0][

1]

TOT.

42 27

33 64

75 91

69

97

166

Pearson chi-square test = 11.7349 (1 df, p-value = 0.000613377)

Na hladinˇe v´ yznamnosti 10 %(=0.1) zam´ıt´ame nulovou hypot´ezu, protoˇze p-hodnota je menˇs´ı neˇz 0.1 . Na hladinˇe v´ yznamnosti 10 %(=0.1) lze ˇr´ıci, ˇze n´azor ohlednˇe obt´ıˇznosti kurzu a pohlav´ı spolu navz´ajem souvis´ı. 3.3.6

Line´ arn´ı regrese

• slouˇz´ı k predikci ˇci odhadu jedn´e promˇenn´e Y na z´akladˇe znalosti dalˇs´ı promˇenn´e X (promˇenn´ ych) • slovo ”line´arn´ı” oznaˇcuje, ˇze pˇredpokl´ad´ame line´arn´ı vztah mezi promˇennou Y a X, tj. promˇenn´e mohou b´ yt reprezentov´any grafem scatterplot, v nˇemˇz se body maj´ı tendenci nach´azet kolem pˇr´ımky • tato pˇr´ımka je naz´ yv´ana pˇr´ımkou line´arn´ı regrese • tato pˇr´ımka reprezentuje, jak souvis´ı zmˇena promˇenn´e X se zmˇennou promˇenn´e Y 38

Pˇ r´ıklad (data 11 regrese seminar zkouska.csv) Vysokoˇskolsk´ y uˇcitel chtˇel zjistit, zda-li souvis´ı poˇcet semin´aˇr˚ u, kter´e student bˇehem semestru navˇst´ıvil, s v´ ysledn´ ym poˇctem bod˚ u v zkouˇskov´em testu. U n´ahodn´eho v´ ybˇeru 20 student˚ u si zaznamenal poˇcet navˇst´ıven´ ych semin´aˇr˚ u bˇehem semestru (rozmez´ı 0-13) a poˇcet bod˚ u v zkouˇskov´em testu (rozmez´ı 0-100 procent): student pocet seminaru vysledek zk 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

0 13 5 13 13 12 11 4 2 10 9 13 12 14 1 4 10 3 0 1

3 50 40 90 70 100 97 20 10 56 80 90 78 83 2 24 80 34 7 2

ˇ popisn´e statistiky (pr˚ 1. Uvedte umˇer, medi´an, minimum, maximum a standardn´ı odchylka) pro obˇe zkouman´e promˇenn´e (poˇcet 39

semin´aˇr˚ u, v´ ysledek u zkouˇsky) 2. Reprezentujte data pomoc´ı grafu scatterplot, zakreslete v´ ybˇerovou regresn´ı pˇr´ımku (odhad regresn´ı pˇr´ımky) 3. Na hladinˇe v´ yznamnosti 5 procent testujte, zda-li je koeficient u poˇctu navˇst´ıven´ ych semin´aˇr˚ u signifikantnˇe odliˇsn´ y od nuly, tj. zda-li poˇcet navˇst´ıven´ ych semin´aˇr˚ u pom´ah´a signifikantnˇe vysvˇetlit v´ ysledek ve zkouˇskov´em testu 4. Interpretujte koeficient u poˇctu navˇst´ıven´ ych semin´aˇr˚ u. 5. Jak´ y v´ ysledek (poˇcet bod˚ u) ve zkouˇskov´em testu m˚ uˇze dle naˇseho regresn´ıho modelu oˇcek´avat student, kter´ y navˇst´ıvil 7 semin´aˇr˚ u? Jak´ y v´ ysledek m˚ uˇze oˇcek´avat student, kter´ y navˇst´ıvil 9 semin´aˇr˚ u? 6. Porovnej predikci v´ ysledku v testu pro studenta, kter´ y navˇst´ıvil 9 semin´aˇr˚ u se sebran´ ymi u ´daji vysokoˇskolsk´eho profesora. (Je predikce v´ ysledku shodn´a s daty, kter´e uˇcitel namˇeˇril? Proˇc tomu tak je?) 7. Je mezi poˇcetem navˇst´ıven´ ych semin´aˇr˚ u a v´ ysledku v zkouˇskov´em testu kauz´aln´ı vztah? ˇ sen´ı Reˇ 1. Gretl: View →Summary statistics Summary Statistics, using the observations 1 - 20 for the variable ’pocet_seminaru’ (20 valid observations) Mean Median Minimum Maximum Standard deviation C.V.

7.5000 9.5000 0.0000 14.000 5.1759 0.69011

40

Skewness Ex. kurtosis

-0.21497 -1.6057

Summary Statistics, using the observations 1 - 20 for the variable ’vysledek_zk’ (20 valid observations) Mean Median Minimum Maximum Standard deviation C.V. Skewness Ex. kurtosis

50.800 53.000 2.0000 100.00 35.691 0.70258 -0.11800 -1.5362

2. Gretl: View →Graph specified vars

41

Figure 5: Scatterplot

3. Gretl: Model →Ordinary least squares Model 1: OLS estimates using the 20 observations 1-20 Dependent variable: vysledek_zk coefficient std. error t-ratio p-value -------------------------------------------------------------const 3.25088 5.77839 0.5626 0.5807 pocet_seminaru 6.33988 0.639287 9.917 1.01E-08 *** Mean of dependent variable = 50.8 Standard deviation of dep. var. = 35.6911 Sum of squared residuals = 3744.4 Standard error of the regression = 14.423 Unadjusted R-squared = 0.84529

42

Adjusted R-squared = 0.83670 Degrees of freedom = 18 Log-likelihood = -80.7016 Akaike information criterion (AIC) = 165.403 Schwarz Bayesian criterion (BIC) = 167.395 Hannan-Quinn criterion (HQC) = 165.792

• V´ ybˇerov´a regresn´ı pˇr´ımka je: V = 3.25 + 6.34S, kde S je poˇcet semin´aˇr˚ u a V je v´ ysledek u zkouˇsky • Koeficient u poˇctu semin´aˇru je tedy roven 6.34. Tento koeficient je signifikantnˇe odliˇsn´ y od nuly na hladinˇe v´ yznamnosti 5 procent, protoˇze p-hodnota 1.01E −08 je menˇs´ı neˇz 0.05 (5 procent). (Porovnej tento z´avˇer se z´averem testu o tom, zda je korelaˇcn´ı koeficient mezi poˇctem semin´aˇr˚ u a v´ ysledkem u zkouˇsky signifikantnˇe odliˇsn´ y od nuly na hladinˇe v´ yznamnosti 5 %.) 4. Pokud se poˇcet navˇst´ıven´ ych semin´aˇr˚ u zv´ yˇs´ı o jeden, lze oˇcek´avat, ˇze percentu´aln´ı v´ ysledek ve zkouˇskov´em testu v pr˚ umˇeru o 6.34 procentn´ıho bodu. 5. Predikce v´ ysledku testu pro studenta, kter´ y navˇst´ıvil 7 semin´aˇr˚ u je roven 3.25+6.37*7=47.84 procent. Predikce v´ ysledku testu pro studenta, kter´ y navˇst´ıvil 9 semin´aˇr˚ u je roven 3.25+6.37*9=60.58 procent. 6. Vysokoˇskolsk´ y uˇcitel m´a ve sv´em v´ ybˇeru jednoho studenta, kter´ y navˇst´ıvil 9 semin´aˇr˚ u. Jeho v´ ysledek ve zkouˇskov´em testu je 80 procent. Dle naˇseho modelu lze pro studenta, kter´ y navˇst´ıvil 9 semin´aˇr˚ u predikovat v´ ysledek 60.58 procent. Rozd´ıl mezi tˇemito z´avˇery lze vysvˇetlit napˇr. chybou mˇeˇren´ı v´ ysledku studenta. Je moˇzn´e, ˇze pˇri opravˇe testu ˇci zaznamen´av´an´ı v´ ysledku tohoto studenta udˇelal uˇcitel chybu. Dalˇs´ım d˚ uvodem by mohlo b´ yt, ˇze pouˇzit´ y model linearn´ı regrese nen´ı spr´avn´ ym modelem pro tuto situaci. Je moˇzn´e, ˇze jin´ y model vysvˇetluje v´ ysledek testu na z´akladˇe poˇctu semin´aˇr˚ u pˇresnˇeji. 43

7. Dan´ y vztah mezi poˇcet semin´aˇr˚ u a v´ ysledkem v testu je predikˇcn´ım vztahem. Na z´akladˇe poˇctu semin´aˇr˚ u predikujeme v´ ysledek v testu. O kauz´aln´ım vztahu nelze jednoznaˇcnˇe nic ˇr´ıci. Nem˚ uˇzeme tedy ˇr´ıci, ˇze zv´ yˇsen´ı poˇctu semin´aˇr˚ u o jeden je pˇr´ıˇcinnou zv´ yˇsen´ı v´ ysledku v testu o 6.34 procentn´ıho bodu. (Pˇr´ıˇcinou dobr´eho v´ ysledku u zkouˇsky m˚ uˇze b´ yt napˇr. velk´a p´ıle studenta. Promˇenn´a pilnost studenta vˇsak v naˇsem regresn´ım modelu nen´ı zahrnuta. Tato promˇenn´a je vˇsak korelov´ana s poˇctem navˇst´ıven´ ym semin´aˇr˚ u, kter´ y v naˇsem modelu je zahrnut. Re´alnˇe tak m˚ uˇze b´ yt vliv poˇctu semin´aˇr˚ u na v´ ysledek u zkouˇsky nesiginifikantn´ı (nev´ yznamn´ y; nen´ı signifikantnˇe odliˇsn´ y od nuly). Ale vzhledem ke korelaci s nepozorovanou promˇennou p´ıle studenta vyjde v modelu koeficient u poˇctu navˇst´ıven´ ych semin´aˇr˚ u nadhodnocen´ y a signifikantnˇe odliˇsn´ y od nuly.) Cviˇ cen´ı (data 12 regrese test IQ konzultace.csv)

1. Uˇcitel chtˇel zjistit vztah mezi poˇctem hodin, kter´e s n´ım student konzultoval, a v´ ysledkem v testu z matematiky. Provedl n´ahodn´ y v´ ybˇer dvaceti student˚ u, u kter´ ych si zaznamenal percentu´aln´ı v´ ysledek v testu a poˇcet hodin, kter´e student vyuˇzil pro konzultov´an´ı pˇr´ıklad˚ u, kter´ ym v pr˚ ubˇehu semestru m´enˇe nerozumˇel. Promˇennou, kterou uˇcitel nepozoroval je v´ yˇse IQ. Vˇsechna data (tj. ta, kter´e uˇcitel mˇel i nemˇel k dispozici) shrnuje n´asleduj´ıc´ı tabulka:

44

student

test

IQ

konzultace

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

71.32 78.58 74.50 93.64 75.34 83.06 72.34 79.06 78.30 77.66 84.88 65.20 82.54 94.28 79.78 76.00 80.82 87.18 92.04 77.92

89 96 91 116 92 102 89 98 97 97 101 80 101 116 98 93 98 108 112 95

2.1 1.4 1.5 4.2 2.2 1.8 0.7 1.3 0.0 2.3 2.9 0.5 2.2 3.4 2.4 3.0 2.6 3.4 3.2 1.1

ˇ popisn´e statistiky (pr˚ (a) Uvedte umˇer, medi´an, minimum, maximum a standardn´ı odchylka) pro promˇenn´e, kter´e uˇcitel mˇel i nemˇel k dispozici (v´ ysledek v testu, poˇcet konzultaˇcn´ıch hodin a IQ). (b) Reprezentujte data pro v´ ysledek v testu a poˇcet konzultaˇcn´ıch hodin pomoc´ı grafu scatterplot, na vodorovnou osu naneste poˇcet konzultaˇcn´ıch hodin a na svislou osu v´ ysledek v testu. Zakreslete v´ ybˇerovou regresn´ı pˇr´ımku (odhad regresn´ı pˇr´ımky). (c) Na hladinˇe v´ yznamnosti 5 procent testujte, zda-li je koeficient u poˇctu konzultaˇcn´ıch hodin signifikantnˇe odliˇsn´ y 45

od nuly, tj. zda-li poˇcet konzultaˇcn´ıch hodin pom´ah´a signifikantnˇe vysvˇetlit poˇcet bod˚ u ve testu (d) Interpretujte koeficient u poˇctu konzultaˇcn´ıch hodin. (e) Jak´ y v´ ysledek (poˇcet bod˚ u) ve zkouˇskov´em testu m˚ uˇze dle naˇseho regresn´ıho modelu oˇcek´avat student, kter´ y konzultoval s uˇcitelem 50 minut? (f) Nyn´ı se zamˇeˇr´ıme na promˇennou, kterou uˇcitel nepozoroval, tj. IQ. Zn´azornˇete graficky vztah mezi IQ a v´ ysledkem v testu z matematiky. • Odhadnˇete model line´arn´ı regrese pro IQ jako vysvˇetluj´ıc´ı promˇennou a v´ ysledek v testu jako vysvˇetlovanou promˇennou. • Je koeficient u v´ ysledku v testu signifikantn´ı na hladinˇe v´ yznamnosti 5 procent? (g) Model line´arn´ı regrese lze pouˇz´ıt i v pˇr´ıpadˇe, kdy m´ame v´ıce neˇz jednu vysvˇetluj´ıc´ı promˇennou. V naˇsem pˇr´ıpadˇe budeme cht´ıt vysvˇetlit v´ ysledek v testu pomoc´ı poˇctu konzultaˇcn´ıch hodin i IQ. • Odhadnˇete model line´arn´ı regrese, kde jako vysvˇetluj´ıc´ı promˇenn´e (independent variables) pouˇzijete poˇcet konzultaˇcn´ıch hodin a IQ, tj. odhadni parametry a,b,c v rovnici vysledek = a + b*IQ + c*konzultace. • Jsou jsou odhadnut´e koeficienty u IQ a poˇctu hodin konzultac´ı signifikantnˇe odliˇsn´e od nuly. • Jak´a je interpretace tˇechto koeficient˚ u? • Porovnej signifikanci a interpretaci koeficientu u konzultaˇcn´ıch hodin v dvou regresn´ıch modelech: modelu, kter´ y m´a jednu vysvˇetluj´ıc´ı promˇennou (poˇcet konzultaˇcn´ıch hodin), a modelu, kter´ y m´a dvˇe vysvˇetluj´ıc´ı promˇenn´e (poˇcet konzultaˇcn´ıch hodin i IQ). • Je vztah mezi poˇctem konzultaˇcn´ıch hodin a v´ ysledkem v testu kauz´aln´ı? 46

4

Testy

4.1

Druhy didaktick´ ych test˚ u

• testy rychlosti • testy u ´rovnˇe • testy standardizovan´e • testy nestandardizovan´e • testy kognitivn´ı a psychomotorick´e • testy v´ ysledk˚ u v´ yuky a testy studijn´ıch pˇredpoklad˚ u • testy rozliˇsuj´ıc´ı (testy relativn´ıho v´ ykonu) • testy ovˇeˇruj´ıc´ı (testy absolutn´ıho v´ ykonu) • testy vstupn´ı, pr˚ ubˇeˇzn´e a v´ ystupn´ı • testy monot´ematick´e a polyt´ematick´e • testy objektivnˇe sk´orovateln´e • testy subjektivnˇe sk´orovateln´e

4.2

Typy testov´ ych u ´ loh

N´asleduj´ıc´ı materi´al je kopi´ı z publikace a je takt´eˇz um´ıstnˇen na webov´ ych str´ank´ach k tomuto pˇredmˇetu ´ CHRASTKA, M. Metody pedagogick´eho v´yzkumu. Praha: Grada, 2007, s. 188-194. • sedm naskenovanych obrazku chrastka-typy-uloh1.png, chrastkatypy-uloh2.png, chrastka-typy-uloh3.jpg, chrastka-typy-uloh4.png, chrastka-typy-uloh5.png, chrastka-typy-uloh6.png,chrastka-typyuloh7.png nebo tez prezentace m1.pdf 47

• pozn´amky k n´avrh˚ um poloˇzek Test-items1.jpg Cviˇ cen´ı ˇ vlastn´ı pˇr´ıklad. DiskuKe kaˇzd´emu z deseti uveden´ ych typ˚ uu ´loh uvedte tujte: • Jak´ y typ u ´loh bylo pro V´as nejobt´ıˇznˇejˇs´ı sestavit? • Je dan´ y typ u ´lohy pro testovan´ y obsah vhodn´ y? Nebylo by vhodn´e zvolit jin´ y typ u ´lohy? Pokud ano, jak byste danou u ´lohy reformulovali? • Jak´ ym zp˚ usobem byste jednotliv´e u ´lohy vyhodnocovaly?

4.3

Postup konstrukce didaktick´ eho testu u ´ rovnˇ e

(uvedeno t´eˇz na prezentace m1.pdf) • nezaˇc´ınat navrhov´an´ım testov´ ych u ´loh • zaˇc´ınat promyˇslen´ım u ´ˇcelu testu a d´ale stanoven´ım obsahu testu - viz obr´azek fig-4-1-illustration-of-topic-and-process.jpg • pro u ´roveˇ n osvojen´ı poznatk˚ u je vhodn´e pouˇz´ıt Bloomovu taxonomii v´ yukov´ ych c´ıl˚ u (znalost, pochopen´ı, aplikace, anal´ yza, synt´eza a hodnocen´ı) • stanov´ıme ˇcasov´ y limit • d´ale lze pˇristoupit k formulaci jednotliv´ ych u ´loh, pˇriˇcemˇz je nutn´e m´ıt neust´ale na pamˇeti, k jak´emu u ´ˇcelu u ´lohy slouˇz´ı a na z´akladˇe toho vyb´ırat i vhodn´ y typ testov´ ych u ´loh (otevˇren´e, uzavˇren´e atd.) • test je vhodn´e nechat posoudit jin´ ym hodnotitelem (posuzov´an´ı obsahov´e validity) 48

• po sbˇeru dat provedeme anal´ yzu vlastnost´ı testov´ ych u ´loh a cel´eho testu (v´ ypoˇcet obt´ıˇznosti a citlivosti poloˇzek, anal´ yza nenormovan´ ych odpovˇed´ı a reliability testu - viz dalˇs´ı ˇca´st) • vyˇrad´ıme u ´lohy, kter´e nejsou vhodn´e (napˇr. z´aporn´a diskriminaˇcn´ı s´ıla) • pokud m´a test u ´rovnˇe, u nˇejˇz chceme m´ıt obsahovˇe homogenn´ı u ´lohy, n´ızkou reliabilitu, pak v´ ysledky ˇz´ak˚ u z´ıskan´ ych pomoc´ı tohoto testu nem˚ uˇzeme povaˇzovat za spolehliv´e a pˇresn´e • n´aslednˇe provedeme standardizaci testu (podle poˇctu bod˚ u z testu zaˇrad´ıme ˇza´ka do urˇcit´eho ˇzebˇr´ıˇcku) 4.3.1

Vlastnosti testov´ ych u ´ loh - obt´ıˇ znost, citlivost a anal´ yza nenormovan´ ych odpovˇ ed´ı

(uvedeno t´eˇz na prezentace m1.pdf) • zopakovat z´akladn´ı pojmy popisn´e statistiky - pr˚ umˇer, smˇerodatn´a odchylka, norm´aln´ı rozdˇelen´ı a korelace na z´akladˇe slajd˚ u z Metodologie pedagogick´eho v´ yzkumu • Obt´ıˇ znost poloˇ zky - Hodnota obt´ıˇ znosti poloˇ zky Q = 100

nn N

– nn je poˇcet ˇza´k˚ u, kteˇr´ı NEodpovˇedˇeli na poloˇzku spr´avnˇe – N celkov´ y poˇcet ˇza´k˚ u • Obt´ıˇ znost poloˇ zky - Index obt´ıˇ znosti poloˇ zky Q = 100

ns N

– ns je poˇcet ˇza´k˚ u, kteˇr´ı odpovˇedˇeli na poloˇzku spr´avnˇe – N celkov´ y poˇcet ˇza´k˚ u 49

• Citlivost poloˇ zek - Koeficient ciltivosti ULI(upper-lower index) nL − nH d= 0.5N – nL je poˇcet ˇza´k˚ u z ”lepˇs´ı poloviny”, kteˇr´ı odpovˇedˇeli na poloˇzku spr´avnˇe – nH je poˇcet ˇz´ak˚ u z ”horˇs´ı poloviny”, kteˇr´ı odpovˇedˇeli na poloˇzku spr´avnˇe – N celkov´ y poˇcet ˇz´ak˚ u • Pro hodnoty obt´ıˇznosti 30-70 se doporuˇcuje, aby d bylo aspoˇ n 0.25 pro hodnoty obt´ıˇznosti 20-30 a 70-80 se doporuˇcuje, aby d bylo aspoˇ n 0.15 • Anal´ yza nenormovan´ ych odpovˇ ed´ı = rozbor vynechan´ ych nebo nespr´avn´ ych odpovˇed´ı • u otevˇren´ ych u ´loh vˇenujeme pozornost tˇem, ve kter´ ych vynechalo ˇ v´ıce neˇz 30-40% ˇza´k˚ odpovˇed u, u uzavˇren´ ych u ´loh je to pak v´ıce neˇz 20% • uu ´loh uzavˇren´ ych s v´ ybˇerem odpovˇedi zkontrolujeme atraktivnost distraktor˚ u - neatraktivn´ı distraktor nahrad´ıme jin´ ym • u uzavˇren´ ych u ´loh rozdˇel´ıme nespr´avn´e odpovˇedi do dvou kategori´ı - z´akladn´ı chyby (zp˚ usoben´e neznalost´ı uˇciva) a vedlejˇs´ı chyby (zp˚ uosben´e n´ahodn´ ymi vlivy), odstran´ıme u ´lohy, kde pˇrev´aˇz´ı vedlejˇs´ı chyby nad z´akladn´ımi chybami 4.3.2

Reliabilita testu

• Didaktick´ y test m´a dobrou reliabilitu, pokud poskytuje spolehliv´e a pˇresn´e v´ ysledky. Pokud bychom test neust´ale opakovali za stejn´ ych podm´ınek, mˇeli bychom v pˇr´ıpadˇe testu s dobrou reliabilitou z´ıskat velmi podobn´e v´ ysledky. 50

• Hodnota se pohybuje od 0 do 1 • test s dobrou reliabilitou m´a hodnotu alespoˇ n 0.7 • vysok´a VALIDITA ⇒ vysok´a RELIABILITA • vysok´a VALIDITA : vysok´a RELIABILITA • Kuder-Richardson˚ uv vzorec pro v´ ypoˇ cet reliability pro poloˇzky sk´orovan´e 0,1 vhodn´ y pro testy u ´rovnˇe P   p q K k k 1− k 2 rkr = K −1 s – K poˇcet u ´loh v testu – pk pod´ıl ˇz´ak˚ u, kteˇr´ı ˇreˇsili danou u ´lohu k spr´avnˇe – qk pod´ıl ˇz´ak˚ u, kteˇr´ı ˇreˇsili danou u ´lohu k chybnˇe (qk = 1−pk ) – s2 v´ ybˇerov´ y rozptyl pro celkov´e v´ ysledky ˇza´k˚ u v cel´em testu • Reliabilita vypoˇ cten´ a metodou p˚ ulen´ı sk´orov´an´ı poloˇzek nen´ı omezeno vhodn´ y jak pro testy u ´rovnˇe, tak pro testy rychlosti rsb =

2.rb 1 + rb

– rb korelaˇcn´ı koeficient mezi v´ ysledekem ˇz´ak˚ u v sud´ ych a lich´ ych u ´loh´ach 4.3.3

Standardizace testu

• poˇcet bod˚ u v testu neˇr´ık´a, zda je v´ ykon ˇza´ka dobr´ y ˇci slab´ y; jeden ˇz´ak m˚ uˇze z´ıskat v jednom testu relativnˇe hodnˇe bod˚ uav jin´em relativnˇe m´alo bod˚ u

51

• u standardizovan´ ych test˚ u se v´ ykon ˇza´ka provn´av´a s v´ ykonem jin´ ych ˇza´k˚ u z reprezentativn´ıho vzorku dan´e skupiny (v takov´emto vzorku jsou zpravidla stovku ˇza´k˚ u) • standardizovat v´ ysledky testu znamen´a vyj´adˇrit je vzhledem k v´ ysledk˚ um standardizaˇcn´ıho vzorku ˇz´ak˚ u • Percentilov´ aˇ sk´ ala ud´av´a, kolik procent ˇza´k˚ u dos´ahlo horˇs´ıho v´ ysledku nk − n2i P R = 100 N – nk kumulativn´ı ˇcetnost dan´eho v´ ysledku – ni ˇcetnost dan´eho v´ ysledku – N celkov´ y poˇcet ˇz´ak˚ u • z-ˇ sk´ ala vych´az´ı z pˇredpokladu norm´aln´ıho rozdˇelen´ı • vyjadˇruje, jak daleko je v´ ysledek od aritmetick´eho pr˚ umˇeru, jako jednotka vzd´alenost je vzata smˇerodatn´a odchylka z=

¯ X −X S

– X urˇcit´ y testov´ y v´ ysledek ¯ aritmetick´ – X y pr˚ umˇer vˇsech v´ ysledk˚ u – S smˇerodatn´a odchylka vˇsech v´ ysledk˚ u • Z-ˇ sk´ ala vych´az´ı ze z-ˇsk´aly Z = 100 + 10z • T-ˇ sk´ ala vych´az´ı ze z-ˇsk´aly T = 50 + 10z

52

Cviˇ cen´ı Pouˇzij didtest data analyza.xls s daty o vysledc´ıch 40 ˇz´ak˚ u z 10ti poloˇzkov´eho ˇ testu. Proved anal´ yzu vlastnost´ı poloˇzek, vypoˇc´ıtej reliabilitu poˇ standardizaci testu moc´ı obou v´ yˇse diskutovan´ ych metod a proved (pˇredpokl´adej, ˇze se jedn´a o reprezentativn´ı vzorek ˇz´ak˚ u, o jejichˇz v´ ysledc´ıch lze pˇredpokl´adat, ˇze jsou norm´alnˇe rozdˇelen´e)

4.4

Validita a reliabilita test˚ u - podrobnˇ ejˇ s´ı diskuze

(uvedeno t´eˇz na prezentace m1.pdf) • pˇri anal´ yze didaktick´eho testu jsme hovoˇrili o obsahov´e validitˇe a reliabilitˇe mˇeˇren´e pomoc´ı Kuder-Richardsonovy formule a metodou p˚ ulen´ı, kter´e se uˇz´ıvaj´ı pˇredevˇs´ım u uˇcitelsk´ ych test˚ u • podrobnˇejˇs´ı diskuze k r˚ uzn´ ym typ˚ um validity a reliability lze nal´ezt na obr´azc´ıch Table-6-2-validity.jpg a Table-6-3-reliability.jpg

4.5

Modely srovn´ av´ an´ı test˚ u

tato ˇca´st je pˇrevzata z webov´ ych str´anek organizace Scio z internetov´e adresy http://www.scio.cz/in/2vs/nsz/vysledek/metodika.asp Srovn´ avac´ı model n´ ahodn´ ych skupin (Random Groups Design) Tento model je vyuˇz´ıv´an, pokud m´ame v jednom term´ınu dvˇe varianty stejn´eho testu (napˇr. testu OSP). Skupina testovan´ ych je n´ahodnˇe rozdˇelena na dvˇe poloviny, z nichˇz kaˇzd´a ˇreˇs´ı jednu variantu testu. Obvykl´a metoda rozdˇelen´ı je tzv. ”spiraling”, kdy jsou obˇe varianty v jedn´e m´ıstnosti rozdˇeleny stˇr´ıdavˇe. Prvn´ı testovan´ y p´ıˇse variantu A, druh´ y variantu B, tˇret´ı variantu A atd. Pˇri takov´emto n´ahodn´em 53

rozdˇelen´ı m˚ uˇzeme obˇe podskupiny povaˇzovat za rovnocenn´e (equivalent) a rozd´ıly ve statistick´ ych parametrech obou variant testu dosaˇzen´ ych pˇr´ısluˇsnou podskupinou (pr˚ umˇern´a u ´spˇeˇsnost, rozptyl sk´ore) pˇr´ımo povaˇzujeme za rozd´ıly tˇechto dvou variant (bez vlivu u ´rovnˇe testovan´e skupiny). Tato metoda je pouˇzita pro potˇreby NSZ. Srovn´ avac´ı model spoleˇ cn´ ych u ´ loh pro neekvivalentn´ı skupiny (Common -Item Nonequivalent Groups Design) Tento model je uˇz´ıv´an v pˇr´ıpadech, kdy dvˇe varianty testu ˇreˇs´ı dvˇe r˚ uzn´e (neekvivalentn´ı) skupiny. Typick´ ym pˇr´ıkladem jsou dva r˚ uzn´e term´ıny jednoho testu, kdy ekvivalent skupin nejsme schopni nijak zaruˇcit (napˇr. hypot´eza, ˇze na prvn´ı term´ıny se hl´as´ı zodpovˇednˇejˇs´ı uchazeˇci neˇz na posledn´ı. Dopad tohoto vlivu nen´ı moˇzn´e pˇredem odhadnout). Rozd´ıly v pr˚ umˇern´e u ´spˇeˇsnosti a dalˇs´ıch statistick´ ych charakteristik´ach obou variant jsou ovlivnˇeny nejen rozd´ılnost´ı variant, ale tak´e rozd´ılnost´ı testovan´ ych skupin. V tomto modelu varianta A a varianta B maj´ı spoleˇcnou podmnoˇzinu u ´loh. Na tˇechto spoleˇcn´ ych u ´loh´ach se porovn´avaj´ı rozd´ıln´e u ´rovnˇe obou testovan´ ych skupin. A pot´e je moˇzn´e prov´est srovn´an´ı obou variant oˇciˇstˇen´e od vlivu rozd´ılnosti skupin. Tato metoda je pouˇzita pro potˇreby NSZ. Dalˇ s´ı uˇ z´ıvan´ e srovn´ avac´ı modely Mezi dalˇs´ı uˇz´ıvan´e srovn´avac´ı modely patˇr´ı Model jedn´ e skupiny (Singel Group Design), kdy obˇe varianty testu jsou distribuov´any stejn´e skupinˇe testovan´ ych, a Vyv´ aˇ zen´ y model jedn´ e skupiny (Singel Group Design with Counterbalancing), kdy jsou obˇe varianty opˇet testov´any na jedn´e skupinˇe, ale polovina testovan´ ych absolvuje nejprve variantu A a pot´e variantu B, zat´ımco druh´a polovina ˇreˇs´ı testy v opaˇcn´em poˇrad´ı. Tento model eliminuje vliv zkuˇsenosti s testem, kter´ y ovlivˇ nuje u ´spˇeˇsnost druh´eho testu v poˇrad´ı. Oba tyto modely nejsou pro NSZ vhodn´e.

54

Metody srovn´ av´ an´ı test˚ u Dvˇema nejuˇz´ıvanˇejˇs´ımi metodami srovn´av´an´ı test˚ u jsou metoda line´arn´ı a metoda ekvipercentilov´a. Line´arn´ı metoda je zaloˇzena na srovn´av´an´ı pr˚ umˇern´e u ´spˇeˇsnosti a rozptylu sk´ore obou variant. Ekvipercentilov´a metoda je zaloˇzena na porovn´av´an´ı kumulativn´ıch distributivn´ıch kˇrivek. Zjednoduˇsenˇe ˇreˇceno, ekvipercentilov´a metoda srovn´av´a u ´ˇcastn´ıky, kteˇr´ı v jednotliv´ ych variant´ach dos´ahli stejn´eho percentilu (pˇredstihli stejn´e mnoˇzstv´ı ostatn´ıch u ´ˇcastn´ık˚ u dan´e varianty). Na rozd´ıl od line´arn´ı metody je ekvipercentilov´a metoda pˇresnˇejˇs´ı na cel´e ˇsk´ale sk´ore. Proto byla pro potˇreby NSZ 2008/2009 zvolena ekvipercentilov´a metoda a v dalˇs´ım textu je podrobnˇe vysvˇetleno jej´ı konkr´etn´ı uˇzit´ı. 4.5.1

Ekvipercentilov´ a metoda (Equipercentile Equating)

Ekvipercentilov´a metoda je zaloˇzena na pojmu percentil sk´ore, kter´ y pro dan´e sk´ore uv´ad´ı, kolik procent z testovan´ ych dos´ahlo niˇzˇs´ıho nebo stejn´eho sk´ore (nˇekdy se v definici uvaˇzuje pouze niˇzˇs´ı sk´ore, coˇz je z faktick´eho hlediska rovnocenn´e). Srovn´an´ı sk´ore z jedn´e varianty se sk´orem z druh´e varianty pak dos´ahneme tak, ˇze ke kaˇzd´emu sk´ore z prvn´ı varianty pˇriˇrad´ıme sk´ore z druh´e varianty, kter´e m´a stejn´ y percentil. Pˇredpokladem ekvipercentilov´e metody je, ˇze skupiny testovan´ ych v obou variant´ach testu jsou rovnocenn´e, coˇz plat´ı napˇr´ıklad pro model n´ahodn´ ych skupin, kde se tato metoda hojnˇe vyuˇz´ıv´a. Pˇresn´a matematick´a definice je pak n´asleduj´ıc´ı ... 4.5.2

Zˇ retˇ ezen´ a ekvipercentilov´ a metoda (Chained Equipercentile Equating)

Pro srovn´avac´ı model spoleˇcn´ ych u ´loh pro neekvivalentn´ı skupiny se uˇz´ıv´a zˇretˇezen´a ekvipercentilov´a metoda. Jak jiˇz bylo naps´ano v´ yˇse, tento model vyuˇz´ıv´a spoleˇcn´e mnoˇziny u ´loh, kter´e se vyskytuj´ı ve variantˇe X i Y (oznaˇcen´ı X a Y uˇz´ıv´ame, protoˇze se obecnˇe jedn´a o dvˇe varianty testu pouˇzit´e v jin´ ych term´ınech). Srovn´av´an´ı se pak skl´ad´a ze dvou ekvipercentilov´ ych srovn´an´ı na stejn´e skupinˇe testovan´ ych. Nejprve se sk´ore z varianty X ekvipercentilovˇe srovn´a se 55

sk´orem na spoleˇcn´ ych u ´loh´ach. Spoleˇcn´e u ´lohy se zde uvaˇzuj´ı jako samostatn´ y test, kter´ y ˇreˇsila stejn´a skupina lid´ı jako variantu X. Tyt´eˇz spoleˇcn´e u ´lohy ˇreˇsila tak´e skupina lid´ı testovan´ ych variantou Y. Opˇet m˚ uˇzeme sk´ore ze spoleˇcn´ ych u ´loh (tentokr´at ˇreˇsen´ ych skupinou lid´ı z varianty Y) ekvipercentilovˇe srovnat se sk´ore z varianty Y. Spojen´ım (zˇretˇezen´ım) tˇechto dvou srovn´av´an´ı dostaneme srovn´an´ı sk´ore varianty X se sk´orem varianty Y. Pˇresn´a matematick´a definice je pak n´asleduj´ıc´ı:

56