2. prof. PhDr. P. Blahuš, DrSc.: Klasická reliabilita testu vs. přesnost technickofyzikálního

FAKULTA TĚLESNÉ KULTURY UP V OLOMOUCI KATEDRA ANTROPOMOTORIKY A SPORTOVNÍHO TRÉNINKU 2. odborné sympozium na počest a památku prof. S. Komendy „METODOLOGIE A STATISTIKA V KINANTROPOLOGICKÉM VÝZKUMU“. Olomouc 2. 12. 2009 SBORNÍK PŘÍSPĚVKŮ Editor: doc. RNDr. Jiří Zháněl, Dr. Olomouc: Vydavatelství Univerzity Palackého ISBN 978-80-244-2481-1

OBSAH 1. vzpomínka na prof. RNDr. S. Komendu, DrSc. 2. prof. PhDr. P. Blahuš, DrSc.: Klasická reliabilita testu vs. přesnost technickofyzikálního měření: některá nedorozumění. 3. doc. RNDr. J. Zháněl, Dr.: Fuzzy logika a možnosti jejího uplatnění v diagnostice. 4. doc. Ladislav Čepicka, Ph.D.: Jak je vlastně test obtížný (Raschovy modely v diagnostice lidského chování)? 5. doc. PhDr. B. Komeštík, CSc.: „Vědecké kompetence“ a odvozený obsah předmětu Metodologie výzkumu pro bakalářské a magisterské studium.

Recenzenti: prof. PhDr. Karel Měkota, CSc., doc. RNDr. Jan Hendl, CSc. Výkonný redaktor: prof. RNDr. M. Janura, Dr.

Sympozium bylo podpořeno grantem GA ČR č. 406/09/0150.

FAKULTA TĚLESNÉ KULTURY UP V OLOMOUCI

KATEDRA ANTROPOMOTORIKY A SPORTOVNÍHO TRÉNINKU pořádá ve spolupráci s Českou kinantropologickou společností 2. odborné sympozium „METODOLOGIE A STATISTIKA V KINANTROPOLOGICKÉM VÝZKUMU“.

Sympozium je pořádáno na počest a památku prof. RNDr. Stanislava Komendy, DrSc.

7. 5. 1936 - 17. 2. 2009

Prof. RNDr. Stanislav Komenda, DrSc.

Narozen 7. května 1936 v Louce, okres Třebíč. STUDIUM

Jednotřídka v Louce a další část základní školy v Jemnici. Reálné gymnázium v Moravských Budějovicích. Po maturitě (1954) přijat na Vysokou školu ekonomickou v Praze, odkud přešel na Matematicko-fyzikální fakultu Univerzity Karlovy.

Promoval v roce 1959 v oboru teorie pravděpodobnosti a matematická statistika.

Po promoci nastoupil na Lékařskou fakultu UP v Olomouci, zde působil padesát let jako pedagog v oblasti aplikované statistiky. VĚDECKÉ HODNOSTI RNDr. (1973), CSc. (1979) a DrSc. (1991) získal na UK v Praze.

Na UP v Olomouci se habilitoval (1990, 1991) a získal profesuru (1993). V letech 1991 - 1992 vykonával činnost prorektora pro vědu a výzkum, po dva roky (1994 - 1995) zastával na půl úvazku funkci vedoucího katedry politologie a evropských

studií na Filozofické fakultě Univerzity Palackého.

ODBORNÁ PUBLIKAČNÍ ČINNOST

Cca 700 článků, osm monografií (jedna anglická, dvě v ruštině vydané v Moskvě, jedna přeložená z angličtiny), patnáct učebních textů a skript. ZAHRANIČNÍ POBYTY Ústav antropologie Lomonosovovy univerzity v Moskvě

(1978, tři týdny), Dublin Institute of Technology (1993, tři měsíce), Virginia Commonwealth University v Richmondu v USA (1997, 1998, šest týdnů). Přednášky na asi na třiceti místech Evropy a Ameriky.

Prof. RNDr. Stanislav Komenda, DrSc. působil v řadě

odborných společností :

Jednota českých matematiků a fyziků, Česká statistická společnost, Česká antropologická společnost,

Lékařská společnost J. E. Purkyně, New York Academy of Sciences (NYAS), Internationale Gesellschaft für Ingenieurpädagogik (IGIP), Společnost pro vědy a umění (SVU).

Prof. RNDr. Stanislav Komenda, DrSc.

Byl také literárně činný v oblasti "malých" žánrů:

SBÍRKYVERŠŮ A všechny nepotkáš, 1988; Vzpomínky na bílé noci, 1988; Adame, jablko za nic nemůže, 1989; Soukromá

železná neděle, 1990; Drápkem uváznout, 1992; Neprozřetelná nalézání, 2000; Důchodní deník, 2000, ROZHLASOVÉ HRY Jménem zákona, Archimede; Druhá zkouška; Revize případu Prokrustes a jiné,

Prof. RNDr. Stanislav Komenda, DrSc.

BAJKY (Saze na nose, 1990), AFORISMY (Myšlenky 9, 1997), ÚČAST VE SVAZCÍCH (Myšlenky 1 - 12; Laskavé ubližování, 1998, Křížem krážem, 1999; Veřejné tajemnosti, 1999;

Předpověď ve znamení Býka, 1999; Občané a páni, 1999; Jména podstatná a ta ostatní, 1999), ESEJE A AFORISMY (Poločas zapomínání, 1998), ESEJE A FEJETONY (Obrana průměrnosti, 1999).

Prof. RNDr. Stanislav Komenda, DrSc.

Tvorba od roku 1999 zahrnuje tituly Štěstí od tří do šesti (1999), Věrnost na nečisto (2001), Důkaz sporem (2002), Na půlnoční straně (2002), Motýl ve čtvrtém poschodí (2003), Proti proudu (2003), Poselství kulhavého běžce

(2003), Zastav se, až půjdeš kolem (2003), Návrat nevyžádán (2004), Vzdušné zámky, větrné mlýny, aforismy a epigramy (2005), Čtverce nad přeponou (2006), Bažanti na dubech (2007), Hry & hrátky (2008) a další.

Prof. RNDr. Stanislav Komenda, DrSc.

Za svůj přínos k rozvoji české vědy byl prof. Stanislav Komenda vyznamenán Cenou České lékařské společnosti J. E. Purkyně v letech 1972, 1974, 1983, Medailí Dr. Aleše Hrdličky v

roce 1995, Zlatou medailí Univerzity Palackého roku 1996, Medailí Tomáše Bati roku 2000 a Cenou města Olomouce za rok 2001.

Prof. RNDr. Stanislav Komenda, DrSc.

(http://liber.upol.cz)

„Samozřejmě si uvědomuji, že všechno lidské je pomíjivé. Zejména v kontextu lidského jedince. Jenomže i pomíjivost má svou kvantitu, měřitelnou časem vyprchání paměťové

stopy, časem exspirace. Nehodlám proti svému stáří bojovat, stejně jako nebudu stavět hradby proti příchodu smrti. Ale rád bych odešel stejně jako onen vysloužilý voják, který na její pozvání Smrti odpověděl – Ano, teta, půjdu, ale nejdřív dopiju!

S kolegiální úctou a přátelskou vzpomínkou zpracoval doc. RNDr. Jiří Zháněl, Dr.

ČEST JEHO PAMÁTCE

Sympozium na památku prof. S. Komendy

METODOLOGIE A STATISTIKA V KINANTROPOLOGICKÉM VÝZKUMU Katedra antropomotoriky a sportovního tréninku, Fakulta tělesné kultury Univerzity Palackého ve spolupráci s Českou kinantropologickou společností, Olomouc, 2. prosince 2009

Petr Blahuš

Klasická reliabilita testu vs. přesnost technicko-fyzikálního měření: některá nedorozumění Motto:

Pokud nějaká metoda získávání dat, jakkoli dobře funguje v klinické či peadagogické praxi, neuvádí velikost své chyby nemá nejmenší nárok být považováno za vědeckou. Prof. Rod P. McDonald, PhD, DSc

Prof. PhDr. Petr Blahuš, DrSc, Univerzita Karlova, Fakulta tělesné výchovy a sportu, Oddělení metodologie Martiho 31, Praha 6, [email protected]

Měkota, K. (1966). Spolehlivost a validita tělovýchovných testů. Teorie a Praxe tělesné Výchovy 14, 418-425.

ON HISTORY OF RELIABILITY Foundations of Classical Test Theory - CTT, factor analysis, and attenuation: SPEARMAN Ch. The proof and measurement of association between two things. American Journal of Psychology 15, 1904, 72 - 101. Elaborated CTT, and Spearman-Brown”Prophecy Formula”: BROWN W. The essentials of mental measurements. London, Cambridge University Press 1911 Spearman-Brown ”Prophecy Formula”: SPEARMAN Ch. Correlations of sums and differences. British Journal of Psychology 5, 1913.

A little learning is a dangerous thing, Drink deep, or taste not the Pierian spring. Alexander Pope (1688 - 1744)

Malá učenost je věc ošemetná, kdo z pramenu vědění zplna nechce pít, líp když neochutná.

Současný stav akademické / vědecké kultury: Nejen plagiátorství, i bída odborná až na úroveň nepochopení elementárních pojmů samotnými “profesory”. Význam vědeckých pojmů - kam se ztratil?

Dílem “ztraceno v překladu”, překladatel nerozumí podstatě, dílem opisováním bez pochopení a ze špatných učebnic. V učebnicích podávány s falešným leskem vědeckost budícího nedovysvětlení.

Záměna významu je zdrojem zmatků: - u matematiků - statistiků, kterým chybí znalost obecné metodologie a specifik behaviorální statistiky a její historie, a navíc slepě používají komerční software v té zoufalé podobě jaká je dostupná - u výzkumníků v behaviorální vědě, kterým chybí znalost obecné metodologie, interpretace statistických pojmů do výzkumu a snaha zbavit se vědecké zodpovědnosti předáním výsledků „odborníkovi na analýzu dat“ - u všech: naivní - „občansko-žurnalistické“ - chápání homonym - která však mají různě definovaný význam

1. Část Selecta ad „reliabilita“

TŘI „DRUHY“ reliability: 

Specifická - jediného konkrétního testu,

jeho výsledků bez ohledu na to „co mají měřit“,

např. chyba času v sekundách, chyba v centimetrech,...

 Generická - společného trsu testů téhož „rodu“ tj. s obsahově homogenní validitou k témuž „konstruktu“ - jako jeho nepřímých indikátorů např. chyba stanovení úrovně schopnosti koordinace; chyba stanovení síly postoje komplexním dotazníkem; chyba stanovení „need of achievement“; „body image“

 Generalizabilita - reliabilita vzhledem k

teoreticky nekonečnému univerzu/domain všech myslitelných indikátorů daného „konstruktu“, např. všech možných testů koordinace

Ve zobecněném lineárním matematickém modelu specifická reliabilita je matematicky speciálním případem generické a ta dále matematicky speciálním případem generalizability,

Definice reliability, Rel, podílem rozptylů - variancí: Var (skutečných, tj. přesně neznámých hodnot) Rel = Var (pozorovaných hodnot zatížených chybami) Non-Rel =

Var (chyb) Var (pozorovaných)

Sedmnáct omylů o specifické reliabilitě tj. téhož izolovaného testu

1. Reliabilita je: a) něco stejného jako „přesnost“ , b) něco úplně jiného 2. Test je reliabilní, když za stejných podmínek dává shodné (podobné)výsledky, tato opakovatelnost se hodnotí „test-retest“koeficientem Rel 3. „Retest“ je „replikace“ čili opakování v čase 4. Koeficient reliability, Rel, se definuje jako korelační koeficient 5. Rel - korelace „test-retest“ vyjadřuje stabilitu 6. Je-li tato korelace „statisticky významná“ je test „významně reliabilní“

7. Tato korelace tím slouží i pro predikci výsledků „re-testu“ ze znalosti dřívějšího „pre-testu“ 8. Míru či stupeň reliability posoudíme čistě jen, popř. hlavně podle koeficientu Rel 9. Čtverec - Rel2  100% - je koeficient determinace, z kolika % je determinován příští retest, tj. z kolika procent je reliabilní celý test 10. Rel = .80 pak slouží jako hranice přijatelnosti

11. To proto, že při .802 = .64  .50 je test z více než 50% reliabilní, ale při .702 = .49 více nereliabilní 12. Specifická reliabilita a specifická validita spolu nesouvisí.

13. Nejlepším odhadem přesného „true“ výsledku je průměr z několika opakování, retestů 14. Reliabilitu můžeme „odhadovat“ různými „metodami“ 15. Např. „metodou ekvivalence“: Expertně posoudíme dva testy, zda jsou si navzájem obsahově „ekvivalentní“ čili „paralelní“ a jejich korelace pak vyjadřuje reliabilitu Rel Dodatek omylů ad Cronbachovo Alfa:

16. Cronbachovo Alfa je mírou reliability Rel, ta je prostě jen „odhadována“ jinou metodou 17. Jedno Alfa vypočtené souhrnně pro celý vícedimenzionální dotazník, baterii testů / položek (Unifit test) vyjadřuje „celkovou reliabilitu“ Rel, navíc je

„výhodou“, že nemusíme dělat retest

Fyzikálně-technologické pojetí Gaussova modelu u tradičních matematiků-statistiků:

xj = * + j

* je neznámá „přesná“ konstanta, „jediné číslo“ xj , j = 1, 2, …, n, je n pozorování onoho *, zatížených náhodnými chybami j

Matematický axiom: Pozorování xj se považují za replikace Replikace jsou čistě matematický pojem: Hodnoty nezávislých proměnných s identickým rozdělením pravděpodobnosti

Ideová randomizace - náhodnost zavedena axiomem v pravděpodobnostních pojmech - obecnější

Odlišit od sebe objekt a jeho formální model: „replikace“ a „paralelní forma“ jsou matematicky definované abstraktní pojmy, nikoli z občanského či politického jazyka „re-plikace“- falešně evokuje „opakování“ „paralelní“ - navozuje „podobnost“ testu s x2

Empirická reprezentace „replikace“ nemusí být diachronní: - měřit teplotu 10-krát za sebou, ale - měřit synchronně 10-ti teploměry naráz Empirickou reprezentací „paralelnosti“ nemusí být - test-retest, ale

- dělení obsahu testu

(a to ne jenom split-half !)

Behaviormetrické pojetí Gaussova modelu u Spearmanovy Classical Test Theory, CTT (1904-12)

xij = i + ij

 i neznámá „pravá“ (true) proměnná veličina

nabývá N „pravých hodnot“ u N osob: i = 1,2,…, N x i j u osoby i máme n=2 pozorování její hodnoty i , jen 2 „jako-by-replikace“ x i 1 a x i 2 Matematický axiom tzv. platónské koncepce CTT: proměnné veličiny x.1 a x.2 jsou tzv. paralelní formy Paralelní náhodné veličiny splňují axiomy paralelnosti A1, A2, A3, A4 o nekorelovanosti chyb  i j aj.

Ideová randomizace - náhodnost je zavedena v pojmech lineární korelační nezávislosti - užší

„Celková chybovost“ v technologicko-fyzikální koncepci s je standardní chyba „okolo“*, tj. SD jednotlivých chyb j „přes“ n replikací

 2 s je mezní chyba , s konfidencí 95%

(přesněji



1,96 s )

Tradiční pojetí - relativní chyba - „nepřesnost“ :

s / * , příp.  100% 2s / 2sx = s / sx ,

A - vzhledem k měřené hodnotě: B - vzhl. k rozpětí stupnice:

příp.  100%

Nové pojetí - akreditace laboratoří EU - WECC 19-90, ČSNI no EAL-R2 * (pův. „přesná hodnota“) se nově nazývá „measurand“ s („standard error“) nyní „standard uncertainty“... u  2 s („mezní chyba“) se nazývá „expanded uncertainty“, U U = k .u , kde k =2 je tzv. „coverage factor“ zajišťující dříve „konfidenci“ nyní tzv. „coverage probability“ 95% s /sx nyní zv. „Type A relative standard uncertainty“

„Celková

chybovost“ v klasické teorii

testů CTT

sx2 rozptyl “přes”N osob jedné paralelní formy testu x 1 . . . . . . . podobně u jiné paralelní formy testu x sx2 2 s2 rozptyl chyb jedné a s2 rozptyl chyb jiné paralelní formy x 1

2

Podle Axiomu A4 klasické teorie testů,

tzv. Axiomu paralelismu má platit: s x1

sx2 = sx2  sx2 ; s2 = s2  s2 2 2 1 1 2 2 Ne-reliabilita: non-Relx  s / sx srovnej “Ne-přesnost” - Type A relative standard uncertainty: Pozor: Stejné symboly, s  / sx ale jiná koncepce i jinak vypočtené !

Reliabilita Re l

Re l = 0.997

Behaviormetric:

2 1 - s2 / sx

Ne-přesnost: relativní chyba v % Technicko-fyzikální:

5 %-ni chyba

s /sx „type A relative uncertainty“

Statisticko-pravděpodobnostní porovnání V něčem se podobají:

- replikace - jsou pravděpodobnostně nezávislé s identickým rozdělením, tj.i stejnými rozptyly - paralelnost - vyžaduje lineární korelační nezávislost plus stejnost rozptylů, tj. paralelní forma je speciálním případem replikace. V něčem se liší:

- odhad (jediného)* je založen na teorii inferenčního s 2

x

statistického odhadu neznámého parametru populace, proto „přesnost“/„relative uncertainty“ je možno statisticky inferenčně odhadovat (cf. centrální limitní věta - nevychýlený, konsistentní a eficientní odhad))

- odhad (většího) počtu N různých hodnot  i stojí na lineárním regresním odhadu a podle míry splnění axiomů A1, A2, A3, a zvl. paralelnosti A4 je možné

reliabilitu pouze „hrubě“ aproximovat !

Stepinski, M,& Szopa, J.:

Sampling error of mean? Why ?

Human Kinetics 7, 2002, 63-66.

2. Kritika

Baumgartner, T. A. (2007). Reliability and error of measurement. In T. M. Wood, & W. Zhu (eds.), Measurement theory and practice in kinesiology. Champaign (IL), Human Kinetics, p. 27-52.

Str. 27:

”If the test scores are reliable, the scores are !? unchanging within a day or between 2 days, which are relatively close together.”

Řehák, J. (1998). Kvalita dat I.* Klasický model měření reliability a jeho praktický aplikační význam. Sociologický časopis, 34,1, 51-60. *)

Tato práce vznikla v rámci grantu GA ČR číslo 403/95/0964

Str. 51:

Proč jenom konstruktu ?

„Reliabilita charakterizuje přesnost měření konstruktu pomocí jeho konkrétní operacionalizace, validita odpovídá přesnosti operacionalizace konceptu konstruktem.“ !? … a následují staré známé definice z doby před 1. světovou válkou

Co tohle může znamenat ?

Hendl, J. (2004). Přehled statistických metod zpracování dat. Praha, Portál. Str. 47, 263-265 v 1. a 2.vydání:

Hendl, J. (2009). Přehled statistických metod zpracování dat. Praha, Portál. upravené 3. vydání, str. 53:

„opakovaná měření (test-retest reliabilita) - označujeme tak konzistenci neboli shodu opakovaných měření ...“ Ono je to totéž ?

„měření paralelních testů - znamená shodu měření s Proč jenom jiným ekvivalentním měřením stejného konstruktu konstruktu ? (pokud existují dvě verze A a B téhož testu apod.)“ Co je to „ekvivalentní“ ?

Zvára, K. (2002). Měření reliability aneb bacha na Cronbacha. Informační bulletin České statistické společnosti 13, 2, 13-20.

Kompletni důkaz: Guttman 1945

?

Zvára, K. (2006, 2002). Měření znalostí. In K. Zvára, & J. Štěpán, Pravděpodobnost a matematická statistika. Praha, matfyzpress, s.201-212, 2. vyd. (Identické s 1.vydáním 2002) Str. 201:

„Spolehlivost měření bývá charakterizována reliabilitou (též spolehlivost, angl. reliability [následuje vzorec ] , která, jak hned zjistíme, je totožná s korelačním koeficientem mezi dvěma nezávislými měřeními téže hodnoty měřené veličiny” Korelace jen mezi dvěma čísly? - Snad proměnnými veličinami! Str. 206, nadpis subkapitoly:

„16.2.3. Přímý odhad reliability (Cronbachovo alfa)“ [ N. B.: Co je na něm “přímého” ? Co je na jiných “neorímého” ? ] Jen na okraj - těsně předcházející subkapitola nese název

“15.3. Nezávislost nominálních veličin” Contradictio in adiecto: Černá běloba?

Wang,C.W.H. (1993). Sense and nonsense of statistical inference. NewYork, Dekker. Professor, Dept. of Mathematics and Statistics, Trenton University USA, in his textbook - pp. 132-133:

Urbánek, T. (2000). Strukturální modelování. Brno, Edice . Str. 90, 89: ? ? ! Tak se právě odhadnout nedá tak zní totiž její abstraktní definice !

Urbánek, T. (2002). Základy psychometriky. Brno, Masarykova Univerzita Str. 42, 141:

Chráska, M. (2007). Metody pedagogického výzkumu. Základy kvantitativního výzkumu. Praha, Grada.

Na str. 38 o metodě „paralelních měření“: „opakovaně, za použití různých (ale ekvivalentních) měrných nástrojů“ Jak „ekvivalentních“? Co to fakticky znamená ?

Str. 171: Ale, to jsou 2 různé metody: „split-half“ vs. „ekvivalence“ „…tzv. metoda štěpení. U této metody se srovnávají výsledky, jichž bylo u týchž respondentů dosaženo pomocí dvou různých ale ekvivalentních forem dotazníku. Tato metoda je …málo reálná … je navíc příliš náročná i ekonomicky.“ Naopak, je velmi jednoduchá! Ib.:

„Na stupeň reliability výsledků lze usuzovat ze stupně shody …“

Pokračování (Chráska 2007): Níže uvedené dva vzorky textu nemají vůbec co činit s „reliabilitou“:

Str. 172: „Jako další způsob … se dotazník zadá dvěma reprezentativním výběrům … Ze stupně shody mezi výsledky v obou výběrech se usuzuje na stupeň reliability provedeného dotazníkového šetření.“ Ale toto je ověření re-samplingové stability a konfidence odhadu z výběru na populaci !

„Modifikací uvedené metody je postup, při kterém přiměřeně velký reprezentativní výběr z jistého základního souboru rozdělíme náhodně na dva stejně velké výběrové soubory. Výsledky získané v těchto dvou výběrových souborech potom srovnáváme (Chráska, 1996).“ Ale toto je spíše obsolentní předstupeň ke cross-validation, boot-strap,a MCMC.

Pokračování (Chráska 2007): Str. 174:

„Reliabilita pomocí Cohenova koeficientu kappa“ „Používání Cohenova koeficientu kappa je výhodné i tím, že umožňuje testovat statistickou významnost vypočítaného koeficientu …a proto můžeme konstatovat, že vypočítaný koeficient vypovídá o statisticky významné shodě mezi odpověďmi respondentů“ !? Správně: Pokud byl náš výběr opravdu randomizovaným reprezentativním výběrem z předem definované populace (základního souboru) pak můžeme konstatovat - asi s obvyklým rizikem p=.05 , že při otestování celé populace by nebyl koef. reliability absolutně přesně nulový.

Reiterová, Eva (2003). Základy psychometrie. Olomouc, Univerzita Palackého, Ediční řada - Skripta. Str. 74:

Definice je jen jedna != podíl rozptylů ! Matematicky má několik odvozených ekvivalentních forem, ale to není tento případ:

!

Nevypadá tohle spíš na validitu ?

Reiterová, Eva (2003). Základy psychometrie. Olomouc, Univerzita Palackého, Ediční řada - Skripta. Str. 74:

!?

!?

Reiterová, Eva (2003). Základy psychometrie. Olomouc, Univerzita Palackého, Ediční řada - Skripta. Str. 74:

Některé věci už je třeba říci nahlas:

- Budeme takhle vychovávat doktorandy ? - Budeme nalhávat svým studentům, že takhle se dělá pravá věda ? KONEC . . . ? . . . anebo ZAČÁTEK - dělat vědu vážně ?

Doufám ve Vaše pochopení ... P. B.

A little learning is a dangerous thing, Drink deep, or taste not the Pierian spring. Alexander Pope (1688 - 1744)

Malá učenost je věc ošemetná, kdo z pramenu vědění zplna nechce pít, líp když neochutná.

 Specifická Rel 1.- se týká přímého měření, 2.- zjišťuje se na principu replikací „téhož testu“ 3.- teoretickým ideálem matematického modelu je

Gaussův model založený na principu náhodnosti

 Generická Rel 1.- se týká nepřímého,

a to slabě asociačního měření 2.- zjišťuje se pomocí různých testů „téhož druhu“, tj. sémanticky/obsahově indikátorů téhož „konstruktu“ 3.- teoretickým ideálem matematického modelu je konfirmační model s latentní proměnnou (lineární) založený na explanativním principu („lokální“) parciální nekorelovanosti indikátorů (tedy NE „faktorová analýza“)

Ad terminologie Proč NE „Spolehlivost“ v české terminologii:

reliabilita vědecko-výzkumné diagnostiky konfidence odhadu statistického „interval spolehlivosti“, „hladina spolehlivosti“

spolehlivost předpovědi - statistické prognózování časových řad vs. predikční validita ?? spolehlivost kvality výroby (statistická teorie ! ) spolehlivost zařízení a jeho fungování (v operačním výzkumu statistická teorie front - Queing Theory)

Ad terminologie 2:

Jakákoli (!) standardizovaná výzkumná diagnostika / metodika získávání dat spadá díky tradici pod přenesený terminus technicus

TEST Zvl. v tzv. behaviorálních a sociálních vědách psychologii, pedagogice, sociologii, ergonomii,

medicině, ale i v biologii, genetice, ...

Metodologický design - porovnání koncepcí V něčem se shodují: - gaussovská aditivita modelu x =  +  , - náhodnost či nezávislost chyb  , v něčem se liší: Technologicko-fyzikální má: - jednu konstantu *, nepozorovatelnou, jakoby N=1 - jednu x, pozorovanou proměnnou přes n replikací s x2

Psychometrická CTT má - jednu proměnnou  , nepozorovatelnou u velkého N - dvě x.1 , x.2 pozorované proměnné přes N osob - hodnotai. je konstantní u jednotlivé osoby i v jejích n=2 paralelních formách měření

Generická reliabilita úrovně „konstruktu“se - přímo měří pomocí McDonaldova  - nebo jen ohraničuje pomocí Cronbachova  Omyl:  není mírou reliability, ale jednou z měr „konzistence“ testů, která „naštěstí“ ohraničuje dolní mez reliability Předpoklad: unidimenzionalita indikátorů (testů, položek) ověřená konfirmativně modelem jednoho latentního společného faktoru Nesmysl: spočítat celkové  z vícedimenzionálního dotazníku či baterie testů - byť to běžný software nabízí !!

Fuzzy logika a možnosti jejího uplatnění v diagnostice.

doc. RNDr. Jiří Zháněl, Dr.

Úvod S pojmem „fuzzy“ jsem se poprve setkal při jednom z odborných seminářů prof. Dr. K.-H. Leista na Malbunu (Lichtenštejnsko) v roce 1995.

V rámci výzkumného pobytu na Fakultě sportovních věd v Mnichově (projekt DAAD, 1997) byla provedena syntéza poznatků: ● teoretických základů fuzzy logiky, ● možností jejího uplatnění ve sportovních vědách.

● byla vytvořena materie pro tvorbu software Nefrit

Fuzzy teorie Tzv. „teorie neostrých množin“ (Theory of Fuzzy Sets) vznikla v roce 1965 v USA a byla dlouho známá jen v akademickém světě. Za zakladatele fuzzy teorie je považován Lotfi Asker

Zadeh *, jehož článek „Fuzzy Sets“, v roce 1965 postuloval základní principy teorie fuzzy množin. * systémový teoretik a profesor elektroniky na Univerzitě v Berkeley v Kalifornii

Fuzzy teorie Tři fáze dosavadního vývoje fuzzy logiky: 1. fáze teoretického vývoje (od 1965 asi 15 až 20 let) 2. fázi uplatnění teoretických výsledků v praktickém využití (10 až 15 let) 3. fáze celosvětového zájmu o fuzzy technologie (dosud) Vývoj fuzzy teorie je možno označit slovy

„Od neostrých množin k fuzzy technologiím“.

Fuzzy teorie 





Od roku 1965 se objevila celá řada publikací, knih a učebnic, které nesou v názvu pojem „fuzzy“. Publikační „lavinu“ je možno vidět také na Internetu: po zadání pojmu „fuzzy“ bylo v roce 1997 nalezeno přes 30 000 odkazů, v roce 2009 již 22 200 000 česky, anglicky a německy psaných stránek. V současné době se můžeme běžně setkat s Fuzzycamcordery, Fuzzy-mikrovlnkami, Fuzzy-pračkami, Fuzzy-automobily atd.

x

Fuzzy teorie Fuzzy logika – co to vlastně je? Slovo „fuzz“ pochází z angličtiny a znamená mdlý,

nejasný, zmatený, neurčitý . Fuzzy logika je technologie, která doplňuje vývoj systému pomocí intuice a „know-how“. Fuzzy logika přitom používá pojmy z hovorové řeči k tomu, aby definovala chování systému (von Altrock,

1993).

Fuzzy teorie KLASICKÉ (OSTRÉ) MNOŽINY V klasické teorii množin je jedním z klíčových konceptů

matematiky koncept náležení mezi prvky a množinami, který je chápán jako jednoznačný vztah: daný prvek je nebo není prvkem množiny (Holeňa, 1994).

Fuzzy teorie FUZZY (NEOSTRÉ) MNOŽINY

Fuzzy logika je rozšířením klasické dvouhodnotové logiky. Je matematickou teorií, která připouští možnost, že daný prvek náleží do množiny pouze částečně. Tato teorie umožňuje vytvořit matematický obraz skutečnosti, který je daleko bližší zkoumané části reality než dosud používané matematické modely (Kostelanský, 1995).

Fuzzy teorie Klasický příklad fuzzy-pojmu uvádí již Lotfi Zadeh ve svém prvním

článku o principech fuzzy z roku 1965:

Kdy lze označit člověka pojmem „velký“? V tabulce je uvedena tělesná výška šesti mužů (A, B, C, D, E, F)

A 1,62

B 1,75

C

D

E

F

1,79

1,81

1,90

2,07

Asi se lze shodnout, že E und F jsou velcí muži, u mužů označených písmeny B, C, D je to otázka k diskusi.

Fuzzy teorie Chceme-li definovat klasickou množinu všech „velkých mužů“, musíme stanovit hranice např. takto:

G = x  x je muž; x je větší než 1,80 m  Podle této definice je D (181) „velký“ a C (179) „není velký“, ačkoliv mají oba téměř stejnou tělesnou výšku. Protože je známo, že se tělesná výška člověka během

dne snižuje, mohl by muž D ráno náležet k „velkým“ mužům a večer již ne!

Fuzzy teorie Řešení pomocí fuzzy množin: Namísto toho, aby byl každý muž jednoznačně zařazen či nezařazen do množiny G, definujeme tzv. „stupeň

příslušnosti“ mezi 0 a 1, nezávisle na tělesné výšce. Definujeme funkci, která přiřadí ke každé tělesné výšce hodnotu mezi 0 und 1.

Fuzzy teorie Usoudíme-li, že všichni muži pod 1,70m nejsou v žádném případě velcí a muži přes 1,90m jsou v každém případě

velcí, potom můžeme znázornit následující funkci (tzv. funkci příslušnosti) G(x): 1

Obrázek 1. Funkce příslušnosti G(x) pro tělesnou výšku

0

1,50

1,70

1,90

2,10 m

Fuzzy teorie Osoba Výška G(x)

A B C D E F 1,62 1,75 1,79 1,81 1,90 2,07 0 0,45 0,55 0,60 1 1

Tím je vyřešen problém ostrých hranic mezi pojmy „velký“ a „ne velký“ a to tím, že jsme

vytvořili plynulý přechod mezi těmito pojmy (upraveno podle Drösser, 1994).

Softwarový systém NEFRIT Ve spolupráci s olomouckou firmou TESCO SW byl na principech fuzzy logiky vyvinut

počítačový program NEFRIT (2000) a jeho aplikace NEFRIT – TENIS určený pro

vícekriteriální hodnocení výkonnostních předpokladů v tenise.

NEFRIT - TENIS

NEFRIT - TENIS Aplikace NEFRIT-TENIS umožňuje vyhodnocení úrovně výkonnostních předpokladů tenistů na principu fuzzy logiky, lze ji využít pro úlohy vícekriteriálního hodnocení např. somatických, motorických, psychických a zdravotních předpokladů.

NEFRIT - TENIS

NEFRIT - TENIS Dalším možným výstupem software NEFRIT

- TENIS je individuální testový profil hráče založený na principu vícekriteriálního hodnocení, které umožňuje hodnocení tenistů nejen podle dílčích kritérií, ale umožňuje rovněž komplexní hodnocení.

NEFRIT - TENIS Konkrétní aplikace fuzzy modelů ve sportu:  interakce útoku a obrany v házené (Liesegang, 1996),  učení jízdy na kole (Andreas, 1996),

 analýza dat u rychlobruslařů (Zinner et al., 1994) a ve sportovních hrách (Perl, 2000),  v gymnastice (Schiebel, 2000) a lyžování (Göhner, 1999),  diagnostika výkonnostních předpokladů v tenise (Zháněl, et al., 1999a; Zháněl, et al., 2001) resp. v talentových přijímacích

zkouškách (Zháněl, et al., 1999b).

NEFRIT - TENIS Perspektivy uplatnění fuzzy logiky v různých oblastech sportu:  při analýze diagnostických dat,  při analýze sportovních pohybů,  při diagnostice výkonnostních předpokladů,  v talentových přijímacích zkouškách,  při výběru talentů,

 v motorickém učení.

Literatura Altrock, C. von (1993). Fuzzy Logik. Band 1, Technologie. München: Oldenbourg. Drösser, C. (1994). Fuzzy Logik. Methodische Einführung in krauses Denken. Reinbek: rororo. Holeňa, M. (1994). Základy teorie fuzzy množin. Praha: České vysoké učení technické. Kostelanský, J. (1995). Fuzzy SQL – Omron/Oracle. Computer Echo, 1. Liesegang, W. (1996). Ein Fuzzy-Modell für Angriff-Abwehr Interaktionen im Handball. In K. Quade (Ed.), Anwendungen der Fuzzy-Logik und Neuronaler Systeme (pp. 33-40). Bundesinstitut für Sportwissenschaft. Köln: Sport und Buch Strauss. Půlpán, Z. (1997). K problematice vágnosti v humanitních vědách. Praha: Academia.

Nefrit – nástroj pro efektivní rozhodování na bázi IT: TENIS. (2000). [Uživatelská příručka]. Olomouc: Tesco. Schiebl, F. (2000). Fuzzy-Bewegungsanalyse. Die Analyse sportlicher Bewegungen auf der Basis unscharfer Mengen. Schorndorf: Hofmann. Talašová, J. (2003). Fuzzy metody vícekriteriálního hodnocení a rozhodování. Olomouc: Univerzita Palackého. Zadeh, L. A. (1965). Fuzzy-Sets. Inform and Control 8 , 338-353. Zháněl, J., Leist, K.-H., Kadlčíková, K., & Talašová, J. (1999b). Possibilities of application of fuzzy sets in evaluation of motor performance. In V. Strojnik, & A. Ušaj (Eds.), Sport Kinetics ’99. 6th Scientific Conference „Theories of Human Motor Performance and their Reflections in Practice„ (pp. 421-424). Ljubljana: University of Ljubljana.

Děkuji za pozornost … … citujme na závěr Lotfi Zadeha:

fuzzy (neostré) množiny … vedou počítače

k tomu, aby uvažovaly jako člověk.

Jak je vlastně test obtíţný? (Raschovy modely v diagnostice lidského chování)

Ladislav Čepička Západočeská univerzita v Plzni

Co si představit pod pojmem obtíţnost?  





Uspět u zkoušky.

Odpověď na otázku v testu. Zvládnout určitý pohybový úkol. Poměřování sportovního výkonu.

Obtíţnost jako vlastnost Vlastnost testu nebo testovaného?

Způsoby posuzování obtíţnosti



Měření pohybového výkonu



Škálování pohybového výkonu



Hodnocení pohybového výkonu subjektivním posouzením

Posouzení obtíţnosti V případě těţko kvantifikovatelných projevů:  

Expertním posouzením Pomocí pravděpodobnosti splnění či nesplnění definovaných kritérií

Expertním posouzením Rizika (při zachování „maximální“ objektivity) 

 

Tendence nepřidělovat mezní hodnoty

Subjektivní pojímání skóre Problém přiřazení různého skóre

Prostřednictvím pravděpodobnosti „Klasický“ způsob posouzení obtíţnosti – poměr úspěšných pokusů k počtu všech pokusů

m P= n

Příklad Doplňující poloţky Brace testu

m 35 P= = = 0,41 n 96 m 35 P= = = 0,38 n 90

Nevýhody 



Hodnota obtíţnosti poloţky se výrazně mění se změnou souboru testovaných osob Obtíţnost poloţky je vlastností souboru testovaných osob

Transformace skóre 

Hrubé skóre – pořadová data (číslo vyjadřuje úroveň obtíţnosti hodnoceného pohybového úkolu)

1 

2

3

Transformace na data intervalová

p St. skóre= 1− p

45 6 7

Příklad 

Test – manipulace s míčem



100 dětí, 40 jich v testové poloţce uspělo

p 40 St. skóre= = = 0,67 1− p 60

Transformace na intervalová data Logaritmováním standardního skóre získáme data na intervalovém typu škály

p D= ln 1− p Pro náš příklad:

p 40 D= ln = ln = − 0,4 1− p 60

Logit 

Intervalová stupnice



Rozsah od - ∞ do + ∞



Arbitrárně stanovený počátek (0)

Vyuţití 

Konstrukce posuzovacích škál



Hodnocení pohybového výkonu

Odhad pravděpodobnosti splnění úkolu

Nutnost odhadu úrovně latentního rysu

Odhad úrovně latentního rysu 

Obdobný postup jako při odhadu obtíţnosti úkolu:

r B= ln 1− r 

Příklad: Testovaná osoba splnila 6 poloţek z 10 poloţkového testu

r 60 B= ln = ln = 0,41 1− r 40

Pravděpodobnost splnění úkolu Obtíţnost poloţky i úroveň latentního rysu jsou ve stejných jednotkách – vzájemné srovnání na jedné stupnici

D

B

Úroveň latentního rysu B = 3, obtíţnost D = 1 Pravděpodobnost splnění poloţky je funkcí jejich rozdílu

Pravděpodobnost splnění poloţky

P x= 1 = f B− D

Jednoparametrový model Funkce popisující pravděpodobnost úspěšného splnění poloţky se skládá z logaritmických transformací odhadu úrovně latentního rysu a obtíţnosti poloţky

P x= 1∣B , D =

e

B− D

1 e

B− D

Jednoparametrový model Raschův model, OPLM, LO 1,0

0,8

Pravděpodobnost

0,6

0,4

0,2

0,0 -3

-2

-1

0

Úroveňlatentníhorysu

1

2

3

Parametr obtíţnosti

Parametr latentního rysu

Příklad Ţena BŽ = 0,5; Poloţka 1 D1 = -1,3;

Muţ BM = 2,5; Poloţka 2 D2 = 2,2;

Řazení poloţek podle obtíţnosti Položka 10 3 8 9 4 7 6 5 1 2

poč.úsp. 13 48 55 56 57 63 64 72 81 83

obtížnost 2,47 0,46 0,16 0,12 0,07 -0,19 -0,23 -0,6 -1,07 -1,19

Odhad obtíţnosti poloţek v Likertově škále  

1

Vyuţití modelu nejen pro binomická data Poloţka je skórována v souladu s modelem Guttmanovy škály 2

3

4

..., k

1 1 0 0 0 ..., 0 2 1 1 0 0 ..., 0 3 1 1 1 0 ..., 0 4 1 1 1 1 ..., 0 ............................................ n 1 1 1 1 ..., 1

Rating scale model 

Patří do skupiny RM

P x= 1∣B , D , F =

e

B− D F

1 e

B− D F

F = parametr obtíţnosti meze mezi skóry

Meze skórů

0

1

2

3

Příklady aplikací 

EPWORTH

Příklady aplikací 

UPDRS ...

a řada dalších

Závěr  

Pouţitelnost na řadu pohybových činností

Vyuţitelnost při škálování motorických předpokladů



Nutný předpoklad unidimenzionality



Relativní jednoduchost



Předpoklady jsou velmi silné, někdy těţko naplnitelné

REFERENČNÍ SEZNAM ANDRICH,D. Rasch models for measurement. Newbury park: Sage Publications, 1988. BLAHUŠ, P. Matematické metody škálování a moţnosti jejich pouţití v tělovýchovné diagnostice. Teor. Praxe těl. Vých. 1982, roč. 30, č. 2, s. 108 – 111. BLAHUŠ, P. K systémovému pojetí statistických metod v metodologii empirického výzkumu chování. Praha: UK Karolinum, 1996. BOND,T. a FOX Ch. Applying the Rasch model: Fundamental measurement in the human sciences. Mahwah: New Jersey, Lawrence Erlbaum Associates, 2001. BURTON, A. W. A MULLER, D. E. Movement skill assessment. Champaign, IL: Human Kinetics, 1998. GUTTMAN,L. The principal components of scale analysis. In Stoufer,S.S. et al. Measurement and Prediction, Princeton: University Press, 1950. HENDL, J. Přehled statistických metod zpracování dat, analýza a metaanalýza dat. Praha: Portál, 2004. KOMENDA, S. a KLEMENTA, J. Analýza náhodného v pedagogickém experimentu a praxi. Praha: SPN, 1981. LAZARSFELD, P. F. The logical and mathematical foundation of latent structure analysis. In Stoufer,S.S. et al. Measurement and Prediction, Princeton: University Press, 1950. LINACRE, J. M. KR-20 or Rasch Reliability: Which Tells the Truth? Rasch Measurement Trasactions, 1997, vol. 11, no.3, p.580-581. LINACRE, J. M. Winsteps computer program manual. Cicago: MESA Press, 2002. LORD. F. M. Applications of Item Response Theory to practical testing problems. New Jersey: Lawrence Erlbaum Associates, 1980. McDONALD, R. P. Factor analysis and related methods. Lawrence Erlbaum Associates, Inc., 1985. SAFRIT, M. J. Item response theory and measurement of motor behavior. Research Quarterly for Exercise and Sport, 1989, vol 60, p.325-335. ZHÁNĚL, J. Struktura motorických předpokladů studujících tělesné výchovy. Disertační práce: Olomouc, Univerzita Palackého, 1996. ZHU, W. Should total scores from a rating scale be used directly? Research Quarterly for Exercise and Sport, 1996, vol.67, p.363-372. ZHU, W. a COLE, E. L. Many-faced Rasch calibration of a gross motor instrument. Research Quarterly for Exercise and Sport, 1996, vol.67, p.24-34.

Děkuji za vám pozornost

Blahoslav Komeštík

Univerzita Hradec Králové FIM - KRCR Univerzita Palackého FTK - KAS 2009

Vysokoškolský zákon uvádí:

Bakalářský studijní program „...studijní program je zaměřen zejména na přípravu k výkonu povolání, při nichž se bezprostředně využívají soudobé

obsahuje též

poznatky a metody;

vybrané teoretické poznatky

Magisterský studijní program „...studijní program je zaměřen na získání teoretických poznatků založených na soudobém stavu vědeckého

poznání, výzkumu

a vývoje, na zvládnutí jejich aplikace a na rozvinutí schopností k tvůrčí činnosti; v oblasti umění je zaměřen na …“

tedy z toho odvozuji:

Bakalářská diplomní práce má být orientací v soudobých poznatcích, metodách a vybraných teoretických poznatcích daného oboru

a

Magisterská diplomní práce je tvůrčím uplatněním současných teoretických poznatků, vědeckého poznání, výzkumu a vývoje s aplikací v daném oboru

a proto si myslím:

Předmět Metodologie výzkumu MUSÍ být se závěrečnou diplomní prací úzce svázán a MÁ směřovat k dvoj- jedinému cíli:

Vytvořit kvalitní odbornou práci Bc. s využitím teoretických a metodologických poznatků oboru

Vytvořit vědeckou práci Mgr. s tvůrčí aplikací vědeckého poznání, výzkumu a vývoje oboru

Co ale do výuky zařadit ?

„Balík“ učiva:

komparace

paradigma pozorování

generalizace

analýza

kompilace

hypotéza

interpretace

experiment

kazuistika

obsahová analýza

fenomén

dotazník

syntéza soubor-výběr komparace explanace etnografie

deskripce

narace dedukce QUAL-výzkum

problém

esej predikce

QUNT-výzkum

předvýzkum

interview

indukce

jen to, co vede k závěrečné práci !

1

kompetence:

zdroje informací

rešerše obsahová analýza (+ syntéza) teoreticko-metodologický přehled sekundární a meta-analýza

2

kompetence:

problém a operacionalizace

klíčové slovo problém - otázka teoretický koncept - výzkumný konstrukt proměnná - indikátor - veličina

3

kompetence:

strategie a metodika

paradigma QUNT / QUAL / Triangulace deskripce - kauzalita - experiment základní soubor a výběr metoda - technika - rozbor dat 4

kompetence:

analýza a vysvětlení

cíl - úkol - hypotéza třídění dat a výsledky statistický / logicky věcný důkaz diskuse - explanace / saturace 5

kompetence:

forma a styl psaní

struktura a normy zprávy (ZBP, DMP) vědecký styl psaní, citací a odkazů prezentace výsledků (tab., obr.)

Příklad: 1 2 3

4 5

jak ale učivo 2x rozdělit ?

Ph.D.

„Umí všechno!“

Zdroje až po meta-analýzy * Všechny výzkumné strategie (až po etnografické - akční výzkumy nebo více faktorové a více skupinové experimenty s aplikacemi všech metod a technik sběru dat) * Všechny statistické a věcně - logické postupy hodnocení dat (např. ANOVA, Faktorové -analýzy, Cohen „d“, Haysův „ω2“...)

Mgr.

„Základní kompetence“

Rešerše, obsahové analýzy, komparace údajů * Strategie méně rozsáhlých výzkumu (až po kazuistiky nebo klasické experimenty) * Deskriptivní, korelační a významové statistické analýzy a věcně- logické postupy (podle norem, procent, ...)

Bc.

„Vstupní dovednosti“

Rešerše, parafrázované odkazy, souhrny informací a komentáře * Strategie malých výzkumu (obsahové analýzy nebo quasi experimenty) Neparametrické statistické postupy a věcné analýzy (expertní posudky)

a na závěr 2 příklady :

Od problému k závěru - 4 postupné kroky 1

Formulace H0 a HA

Příklad: Pracovní

TEDY:

2

hypotéza - „Motorická výkonnost za 20 let je horší“

H0 μ1965 = μ1986 HA μ1965 > μ1986

Podle MĚKOTA (1991)

Volba hladiny významnosti Riziko chyby  = uznání malého rozdílu *  = skutečný rozdíl neuznán Hladiny α0,05 * α0,01 = rozdíl > 2 * 3 s - TEDY 95 * 99 % pravděpodobnost jevu FISHER

3

Výpočet testovacího kriteria podle podmínek měření, užití para- neparametrického testu významnosti Poznámka: Porušení podmínek platí pro základní soubor ne výběr KERLINGER (1972)

4

Porovnání s kritickou tabulkovou hodnotou podle druhu testu, stupňů volnosti (n - 1) a podle hladiny významnosti nalezneme kritickou hodnotu shody nebo rozdílu:

VÝSLEDEK: hodnota vypočtená > hodnota tabulková platí HA hodnota vypočtená

< hodnota tabulková platí H0

1) OVĚŘTE všechny www.adresy knihoven, databází a stránek Sport-sciences, OPERACIONALIZUJTE klíčová slova názvu své závěrečné práce a PŘEDLOŽTE literární rešerši ! 2) ZÍSKEJTE tři rozdílné tělovýchovné a sportovní články a DOKAŽTE jak se liší vědecký, odborný a populární styl publikování ! 3) VYSVĚTLETE iso- a homo- morfní zobrazení výkonnosti ve svém sportu a ROZHODNĚTE o jeho validitě ! 4) PŘIPRAVTE projekt své závěrečné práce podle zadané osnovy a KONZULTUJTE s vedoucím práce a učitelem metodologie !

REFERENČNÍ SEZNAM 1. KERLINGER, N. F. Základy výzkumu chování. Praha: Academia 1972. 2. THOMAS, J. R. and NELSON, J. K. Research methods in physical activity. Champaing: Human Kinetics, 1996. 3. HENDL, J. Úvod do kvalitativního výzkumu. Praha: UK Karolinum, 1997. 4. KOMEŠTÍK, B. a FEJTEK, M. Vybrané přednášky metodologie kinantro¬pologického výzkumu. Hr. Králové : Gaudeamus, 1997. 5. KOMEŠTÍK, B. Kinantropologie-AntropomotorikaMetodologie / CD rom. Olomouc: FTK UP 2006. 6. KOMEŠTÍK, B. Artefakty a omyly kinantropologie. Hr. Králové. VŠP, 1995.