Ověření spolehlivosti dat z dotazníkového šetření použitím kappa indexu H.Tomášková Krajská hygienická stanice, Ostrava
Studie realizovaná v rámci grantového projektu IGA MZ ČR č. NJ 6139-3
1
Opakovací studie
Ověření spolehlivosti dat Validní měření - takové měření, které měří skutečně to, co jsme zamýšleli měřit (pilotní studie) Reliabilní měření - takové měření, které nám při opakované aplikaci dává shodné výsledky, pokud se ovšem stav pozorovaného objektu nezměnil (opakovací studie) Definice pojmů Disman M.(4)
2
Opakovací studie
Opakovací studie • realizace 6 týdnů po hlavní dotazníkové studii • vybráno 300 respondentů z hlavní studie • 181 vrácených dotazníků (60,3% návratnost) Metody • celkové procento shody • kappa index
3
Opakovací studie
Kappa index Hodnota kappa indexu 1 – 0,81 0,8 – 0,61 0,6 – 0,41 0,4 a méně
Interpretace shody Téměř perfektní Dobrá Průměrná Slabá
4
Opakovací studie
Výsledky a diskuze Vyhodnoceno: 61 otázek 180 dotazníků Oddíly: • A. Všeobecné otázky • B. Zaměstnání • C. Způsob života • D. Zdravotní stav • E. Osobnost
5
Opakovací studie
Oddíl A. Všeobecné otázek Otázka Pohlaví Rodinný stav
% Souhlas Kappa Interpretace odpovědí % index shody ∗ 100,0 100,0 1,00 99,4 0,99 Téměř ∗ 99,4
Sociální postavení
∗
99,4
93,9
0,91
Vzdělání Ekonomická situace
∗
99,4 98,3
91,6 84,8
0,89 0,63
Vývoj ekonomické situace Čistý roční příjem ∗ Spokojenost s ekonom. situací Aritmetický průměr
97,2 97,2 97,2 98,5
70,9 72,0 71,4 85,5
0,53 0,52 0,51 0,75
perfektní
Dobrá
Oddíl B. Zaměstnání Otázka Registrace na úřadu práce
% Souhlas Kappa Interpretace odpovědí % Index shody 100,0 1,00 Téměř ∗ 87,2
Vedlejší zaměstnání ∗ Charakteristika současné práce ∗ Ovlivnění zdrav. stavu prací Aritmetický průměr
73,3 57,8 60,0 69,6
93,2 86,5 46,3 81,5
0,80 0,75 0,35 0,72
perfektní Dobrá Slabá
6
Opakovací studie
Oddíl C. Způsob života Otázka ∗ Kouření ∗ Pravidelné stravování ∗ Zdravotní problémy ∗ Černá káva – konzumace ∗ Místo trávení dovolené Alkoholické nápoje–konzumace ∗ Pravidelné cvičení, sport, … ∗ Dostačující spánek ∗ Silný čaj – konzumace ∗ Vykonávání domácích prací ∗ Víkendy mimo Ostravu Silný čaj – „zdraví škodlivý“ ∗ Závažné problémy ∗ Finanční problémy ∗ Délka dovolené Káva – „zdraví škodlivá“ ∗ Rodinné problémy ∗ Pracovní problémy ∗ Bytové problémy Pocit odpočinutí po dovolené Strava v souladu se zdr. výživou Stravovací situace Kouření – „zdraví škodlivé“ Aritmetický průměr
% Souhlas Kappa Interpretace odpovědí % Index shody 96,1 93,6 0,91 Téměř 90,6 93,3 0,84 perfektní 36,7 90,9 0,82 98,9 83,7 0,75 85,0 83,7 0,75 96,7 89,7 0,74 82,8 87,3 0,73 93,3 88,1 0,69 Dobrá 92,2 88,6 0,68 97,8 79,6 0,66 92,8 71,3 0,64 91,1 75,0 0,61 86,7 80,1 0,60 36,7 78,8 0,58 77,2 69,8 0,57 95,6 73,8 0,56 36,7 78,8 0,56 Průměrná 36,7 78,8 0,51 36,7 86,4 0,49 83,3 76,7 0,47 98,9 59,0 0,44 97,8 60,2 0,43 92,2 95,8 -0,01 Slabá 79,7 81,0 0,61
7
Opakovací studie
Oddíl D. Zdravotní stav Otázka Důvod k udržování hmotnosti ∗ Preventivní prohlídky– gynekolog ∗ Preventivní prohlídky–zubní lékař ∗ Preventivní pohlídky-prak. lékař ∗ ∗ Chronické onemocnění Preventivní prohlídky–závod. lékař ∗ ∗ Udržování hmotnosti ∗ Čerpání nemocenské ∗ Vegetarián ∗ Informace o pokrmech ∗ Redukční dieta Příčina odmítnutí nemocenské ∗ Celkový zdravotní stav Sled. inf. o zlepšení zdrav.stavu ∗ Omezení pokrmu Fyzická kondice - hodnocení Únava, podrážděnost Úroveň lékařské péče Aritmetický průměr
% odpovědí 53,9 42,8 66,1 65,0 95,0 33,9 93,3 67,2 98,3 95,6 97,2 28,9 96,7 96,1 97,2 97,8 95,6 96,7 78,7
Souhlas Kappa Interpretace % Index shody 94,9 0,90 Téměř 93,5 0,82 perfektní 91,6 0,76 88,0 0,76 87,7 0,74 Dobrá 86,9 0,73 86,3 0,70 81,0 0,69 99,4 0,66 87,8 0,66 85,7 0,65 75,0 0,63 73,6 0,60 87,3 0,56 87,4 0,50 Průměrná 69,3 0,50 57,6 0,45 69,5 0,36 Slabá 83,5 0,65
8
Opakovací studie
Oddíl E. Osobnost Otázka ∗ Politická orientace ∗ Náboženské vyznání ∗ Kontakty s přáteli Test-náchylnost k zažívání stresů Problémové vztahy k okolí Možnost ovlivnění spokoj. života Test – citlivost vůči stresům Spokojenost Aritmetický průměr
% Souhlas Kappa Interpretace odpovědí % Index shody 97,2 83,4 0,77 95,6 87,8 0,74 Dobrá 97,8 86,4 0,71 88,3 52,1 0,61 96,7 85,1 0,55 93,3 80,4 0,54 Průměrná 83,3 65,3 0,48 96,1 72,3 0,38 Slabá 93,5 76,6 0,6
9
Opakovací studie
Vyhodnocení počtu otázek podle hodnoty kappa indexu Hodnota kappa Interpretace indexu shody 1 – 0,81 Téměř perfektní 0,8 – 0,61 Dobrá 0,6 – 0,41 Průměrná 0,4 a méně Slabá Celkem
Počet otázek
Procento otázek
10 28 19 4 61
16,4 45,9 31,1 6,6 100
Vyhodnocení otázek podle charakteru Ukazatel
Otázky
procento shody
Faktické Hodnotící Faktické Hodnotící
kappa index
Arit. průměr 86,8 72,1 0,73 0,48
95% CI 84,4 66,4 0,69 0,42
Vyhodnocení t-testu 89,3 p<0,001 77,8 0,77 p<0,001 0,55
10
Opakovací studie
Závěr • celkem u 62,3 % otázek byla shoda téměř perfektní a dobrá • u faktických otázek byly hodnoty % shody a kappa indexu signifikantně vyšší než u otázek, v nichž byl obsažen hodnotící nebo motivační prvek, event. názor respondenta mohl být ovlivněn momentální situací (rozladění z nějaké události, momentální nálada, zdravotní stav …) • z těchto poznatků budeme vycházet při další analýze získaných dat • výsledky opakovacích studií jsou cenným zdrojem informací, které by se měly využít při další analýze dat, při interpretaci a zejména při extrapolaci výsledků epidemiologických dotazníkových šetření.
11
