Studijní podklady
Kvalita výběrových šetření a standardy v sociálním výzkumu Jindřich Krejčí Sociologický ústav AV ČR, v.v.i.
Tento studijní materiál byl připraven v rámci projektu Laboratoř sociálně ‐ vědních výzkumů ‐ inovace studijních oborů Sociologie, Politologie a Evropská studia v souladu s potřebami trhu práce. Hlavní řešitel: Univerzita Palackého v Olomouci, Filozofická fakulta, Katedra sociologie a andragogiky. Projekt je spolufinancovaný Evropským sociálním fondem a státním rozpočtem České republiky, registrační číslo: CZ.1.07/2.2.00/07.0126. Studijní materiál vyšel též na CD‐ROM jako součást souhrnné elektronické publikace s názvem Zkoumání veřejného mínění, zdroje dat a kvalita dat z výběrových šetření vydané Sociologickým ústavem AV ČR, v.v.i., v Praze 2011. Text neprošel jazykovou úpravou. © Sociologický ústav AV ČR, v.v.i., Praha 2011.
Obsah Úvodní informace
1
Doporučená literatura ke studiu
2
1. Východiska pojetí kvality výběrových šetření
3
1.1 Odlišná pojetí, různé cíle
3
1.2 Základní východiska
4
2. Koncepce kvality výběrových šetření
6
2.1 Selektivní přístup
6
2.2 Obecná koncepce kvality výběrových šetření
7
3. Celková chyba šetření
10
4. Chyby reprezentativity
14
4.1 Chyba pokrytí populace
14
4.2 Chyba výběrová
19
4.3 Chyba plynoucí z výpadků návratnosti
22
5. Kvalitativní normy a standardy v sociálním výzkumu
29
5.1 Administrativní normy
29
5.2 Standardy odborných asociací
30
Použitá literatura
32
Přílohy
PŘÍLOHA 1 ‐ Metody výběru a opory v mezinárodním srovnání
36
PŘÍLOHA 2 ‐ Komentovaný příklad realizace komplexního výběru
37
Příloha 3 ‐ Výpadky návratnosti
41
Kvalita výběrových šetření a standardy v sociálním výzkumu
Úvodní informace Tento studijní materiál vznikl v návaznosti na stejnojmenný workshop realizovaný za účelem podpory výuky předmětu Metody kvantitativního výzkumu v oborech Sociologie, Politologie a Evropská studia. Materiál je určen studentům sociálněvědních oborů, kteří se seznamují se základy metod sběru a analýzy dat výzkumných šetření. Jeho cílem je představit hlavní východiska pojetí kvality dat z výběrových dotazovacích šetření v širším kontextu realizace těchto šetření. Koncepce kvality jsou představeny ve vztahu k výzkumné praxi a demonstrovány na příkladech. Text se opírá o širší práce autora k tématu kvality výběrových šetření, zpracované zejména v článku v Sociologickém časopise/Czech Sociological Review [Krejčí 2010] a v monografii Kvalita sociálněvědních výběrových šetření [Krejčí 2008]. Využití metody výběrových šetření v sociálních vědách se opírá o přístupy matematické statistiky a psychometrie. Problematiku kvality šetření ovšem nelze omezit na odhady výběrových chyb nebo testování reliability otázek, jak se někdy stává. Obecně bývá kvalita pojímána jako použitelnost. Taková definice ale, vzhledem k rozmanitosti postupů a výzkumných situací, obratem vede k vícedimenzionální koncepci kritérií kvality. Přesnost měření není jedinou, ani centrální dimenzí. Problémům je třeba předcházet a ne jen ex‐post, když už jsou data sebrána, měřit velikost chyby na základě několika selektivně vybraných kritérií. Kvalita je dosahována prostřednictvím kvality procesu produkce. Nezáleží na hodnotách několika vybraných ukazatelů, ale na tom, jak se výzkumník vypořádá s množstvím různorodých problémů ve výzkumném procesu. Tomu odpovídají současná pojetí kvality výzkumných šetření, která kladou důraz nejen na výběrové, ale i na nevýběrové chyby. Studijní materiál v tomto kontextu zpracovává následující témata:
hlavní východiska pro řešení problematiky kvality, koncepce kvality ve výběrových šetřeních, celková chyba šetření, reprezentativita: pokrytí populace, metoda výběru a chyba výběru, výpadky návratnosti, standardy v sociálním výzkumu
Poznámky: Pro studium je potřebná znalost angličtiny. Uváděné internetové odkazy byly platné v době přípravy dokumentu v srpnu 2011 ‐ v případě změny odkazu dokumenty znovu vyhledejte. 1
Doporučená literatura ke studiu Základní literatura
GROVES, Robert 1987. "Research on Survey Data Quality". Public Opinion Quarterly 51(2): S156 ‐ S172. JSTOR Stable URL: http://www.jstor.org/stable/2749195
KREJČÍ, J. 2010. “Approaching Quality in Survey Research: Towards a Comprehensive Perspective”. Sociologický časopis/Czech Sociological Review 46 (6): 1011‐1033. On‐ line: http://sreview.soc.cas.cz/uploads/59721bea5c0b259680447db14fee230ccf19f1ce_K REJCI%20SC2010‐6‐2.pdf
SOUKUP, P. & L. RABUŠIC. 2007. „Několik poznámek k jedné obsesi českých sociálních věd ‐ statistické významnosti.“ Sociologický časopis/Czech Sociological Review 43 (2): 379‐395. On‐line: http://sreview.soc.cas.cz/uploads/b9000b8cf4f47901fa229f57daeff95b91495709_64 4_07‐2%20SoukupRabusic.pdf
Další vhodná literatura
BIEMER, Paul P. and Lars E. LYBERG 2003. Introduction to Survey Quality. Hoboken: John Wiley & Sons.
GROVES, R. 1989 (2004). Survey Errors and Survey Costs. Hoboken: John Wiley & Sons.
GROVES, R. M., Floyd J. FOWLER, Mick P. COUPER, James M. LEPKOWSKI, Eleanor SINGER & Roger TOURANGEAU. 2004. Survey Methodology. Hoboken: John Wiley & Sons.
KREJČÍ, Jindřich. 2008. Kvalita sociálněvědních výběrových šetření v České republice. Praha: SLON.
LESSLER, J. T. and W. D. KALSBEEK. 1992. Nonsampling Errors in Surveys. New York: John Wiley & Sons.
2
1.
Východiska pojetí kvality výběrových šetření
Schopnost empirických sociálních výzkumů vypovídat o reálných společenských jevech z velké části závisí na kvalitě zpracovávaných dat. K častým zdrojům dat patří výběrová dotazovací šetření, a výpovědní hodnota analýz je tak určována kvalitou jejich výstupů. Z toho plyne praktický význam zkoumání a hodnocení kvality výběrových šetření. Výběrové dotazovací šetření je zde pojímáno jako kvantitativní metoda sociálního výzkumu spočívající v provedení standardizovaného dotazování reprezentativního vzorku jednotek (jednotlivců, domácností, organizací atp.) vybraného z cílové populace pro účely získání agregovaných informací a usuzování na charakteristiky této cílové populace. Reprezentativita znamená takovou kvalitu výběru a dalších postupů metodiky výběrového šetření, díky níž dotázaný soubor jednotek získá rozložení charakteristik, jež můžeme považovat za shodné s populací, ze které vybraný soubor pochází [viz např. Babbie 2004; Kish 1965; Noelleová 1968].
1.1 Různé cíle ‐ odlišná pojetí kvality Existují různá pojetí kvality výběrových šetření. Z velké části je to dáno tím, že metoda je využívána v různých oblastech a oborech výzkumu. Využívá ji např. psychologie, sociologie, demografie, ekonomie nebo sociální geografie, uplatňuje se při pořizování oficiálních statistik, ve státní administrativě, metoda je rozšířena v marketingovém výzkumu, je podstatou výzkumu veřejného mínění. Požadavky a očekávání od metody a sebraných dat se pak také liší a díky tomu je kladen odlišný důraz na různé druhy chyb a různé dimenze kvality. [viz Groves 2004, 2006] Rozdílná jsou například také východiska těch, kteří směřují k popisu sociální reality, a těch, kteří na základě ověřování modelů zjišťují příčiny a důsledky sociálních jevů. V prvním případě je zásadní přesnost odhadů zastoupení různých skupin v populaci a bodových odhadů, v druhém případě nejsou bodové odhady tak důležité, ale je kladen důraz na vztahy a souvislosti. Odlišný bývá i pohled realizátorů šetření a analytiků dat. Zatímco dříve realizovali badatelé výzkum od počátku do konce, dnes bývají fáze produkce a analýzy dat často oddělené. Sběr dat provádí specializované agentury. Analytici kromě vlastních dat často využívají databáze získané z internetových datových archivů. Realizátoři potřebují předcházet problémům a systematicky je odstraňovat za účelem kontinuální produkce spolehlivých výsledků. Analytici pak potřebují především ex‐post zhodnotit přesnost dat a případně odhadnout velikost chyby pro účely statistického testování. V důsledku toho si výzkumníci pracující v různých
3
fázích výzkumu ne vždy dobře rozumí. Obě perspektivy jsou však pro dosahování kvality ve výzkumu důležité.
1.2 Základní východiska Tradiční vnímání problematiky kvality vychází ze základů metody výběrových šetření, které byly položeny v matematické statistice (výběry a statistické dokazování) a v psychometrii (konstrukce nástrojů měření).
Matematická statistika Přesnost, chyby měření, chyby výběrové a nevýběrové Východiskem statistického dokazování je matematika počtu pravděpodobnosti. Kvalita v tomto rámci bývá pojímána jako funkce přesnosti měření. Tu lze snadněji podchytit a popsat na základě studia chyby měření, která je jejím komplementem. Typické porozumění jevu přitom vychází z rozdělení na chybu výběrovou, někdy označovanou jako statistickou, a chybu nevýběrovou. Toto rozlišení odráží teoretická východiska a charakter metody. Matematika počtu pravděpodobnosti navíc umožňuje stanovit velikost výběrové chyby. Dvě perspektivy: odchylka od pravdivé hodnoty (bias) a rozptyl měření
Odchylka naměřené hodnoty od pravdivé hodnoty (bias). Rozptyl měření (variable variance, variable error): chybu odhalují rozdíly mezi různými měřeními téhož.
Replikace ‐ opakování měření:
perspektiva výběrové chyby: opakování šetření stejným způsobem na různé populaci perspektiva chyby měření: opakování šetření různým způsobem (v různém čase, různým nástrojem, s různou tazatelskou sítí...) na stejném vzorku odchylka od pravdivé hodnoty (bias) je konstantní složkou rozdílů mezi měřeními
Psychometrie ‐ pojmy validita a reliabilita Validita se vztahuje ke konceptu měření ‐ znamená schopnost měřit koncept, který opravdu chceme měřit. Můžeme ji popsat též jako korelaci mezi měřením a pravdivou hodnotou atributu sledovanou na skupině individuí. Z určitého pohledu tedy odpovídá pojmu odchylky od pravdivé hodnoty (bias). Reliabilita představuje konzistentnost měření a vztahuje se k metodě měření, obvykle zejména k nástroji měření. Lze ji popsat jako podobnost více měření (např. test‐retest) a z určitého pohledu tedy odpovídá pojmu rozptylu měření.
4
Reliabilita je jednou z podmínek validity. Podívejte se na článek Kreidla o metodách měření validity a reliability: Kreidl, M. 2004. „Metody měření reliability a validity“. Socioweb. Dostupné on‐line: http://www.socioweb.cz/index.php?disp=teorie&shw=153&lst=106
5
2.
Koncepce kvality výběrových šetření
2.1 Selektivní přístup Realizace různých výzkumných fází bývají oddělené personálně a často i institucionálně. Výzkumníci pak mají úplně pod kontrolou pouze ty fáze výzkumu, na něž se specializují. Řada analytiků se pak o realizaci výzkumného šetření příliš nezajímá a této problematice ani moc nerozumí. Problematika kvality dat proto zůstává zpracována často pouze v dimenzích stručného popisu velikosti vzorku a metody výběru a formálního posouzení přesnosti, resp. velikosti chyby, pro účely statistického důkazu, nicméně:
Toto statistické dokazování se zpravidla opírá pouze o odhad výběrové chyby, nevýběrové chyby bývají zanedbány.
Odhad výběrové chyby v analýzách navíc zpravidla neodpovídá konkrétní realizaci výběru, ale předpokladu ideální situace prostého náhodného výběru. Takto je totiž standardně nastavena většina statistických softwarů. Ve skutečnosti je však většina šetření obecných populací založena na tzv. komplexních pravděpodobnostních výběrech, které kombinují postupy stratifikace, skupinového výběru a další metody, a tomu by měl odpovídat i odhad statistické chyby1, nebo dokonce na kvótních, tj. nepravděpodobnostních výběrech, kde výběrovou chybu na základě počtu pravděpodobnosti vůbec stanovit nelze.
Statistická signifikance se na jedné straně stává jakýmsi všemocným zaklínadlem a zdůvodněním pro jakékoliv závěry a na druhé straně je přitom často používána v rozporu se statistickými principy. O přeceňování „statistické významnosti“ a závažných, někdy těžko uvěřitelných chybách, píší Petr Soukup a Ladislav Rabušic. Přečtěte si tento článek: Soukup, Petr & Ladislav Rabušic. 2007. „Několik poznámek k jedné obsesi českých sociálních věd – statistické významnosti.“ Sociologický časopis/Czech Sociological Review 43 (2): 379– 395. Dostupné on‐line: http://sreview.soc.cas.cz/uploads/b9000b8cf4f47901fa229f57daeff95b91495709_644_07‐ 2%20SoukupRabusic.pdf
1
Pokud software automaticky odhaduje chybu pro situaci prostého náhodného výběru, lze to řešit úpravou velikosti vzorku pomocí převážení na efektivní velikost výběru (viz dále).
6
2.2 Obecná koncepce kvality výběrových šetření Velikost vzorku a metodu výběru lze označit za základní parametry kvality výběrového šetření, protože rozhodují, zda se vůbec jedná o výběrové šetření nebo ne. Problematiku kvality ani přesnosti ale vyčerpávajícím způsobem nepokrývají. Problém s přeceňováním výběrové chyby je přitom známý už dlouho. Zkušení výzkumníci v praxi realizace šetření se vždy snažili o vyváženou alokaci zdrojů s ohledem na existenci nevýběrových chyb [viz např. Noellová 1968]. V 50. letech 20. stol. pak vzbudil značnou pozornost tzv. model šetření Cenzového úřadu USA (U.S. Census Bureau). Ten byl publikovaný týmem výzkumníků pod vedením Hansena, kteří na příkladu oficiálních statistických šetření ukázali, že odhad celkové chyby pouze na základě výběrové chyby vede k jejímu zásadnímu podhodnocení. Komplexnější přístupy ke kvalitě dat šetření se však prosazovaly postupně a nejprve se tak dělo hlavně ve výzkumné praxi statistických úřadů. Meze pro používání statistiky nám nekladou jen statistické zákony, ale také možnosti realizace výběrových šetření v reálném prostředí společnosti. Matematika počtu pravděpodobnosti zpravidla pracuje s úplně jiným druhem dat, než např. sociologie. V případě sociálního výzkumu nevytahujeme z klobouku různobarevné koule, což je relativně jednoduché, ale pro získání dat bývá potřeba zorganizovat značně komplikované výběrové šetření. Respondenty je třeba nejen vybrat, ale také je vyhledat, kontaktovat, získat jejich souhlas s účastí v šetření a adekvátním způsobem od nich získat požadované údaje. Jedná se tedy o složitý proces, jehož úroveň zvládnutí může vnést do datového souboru řadu chyb. Tyto skutečnosti výstižně zachycuje motto uvedené současně v definici nejlepší praxe vydané Americkou asociací pro výzkum veřejného mínění a v publikaci Co je výzkum? Americké statistické asociace ASA: „Kvalita šetření se nejlépe posoudí nikoliv podle velikosti vzorku, tematického záběru nebo důležitosti, ale podle toho, kolik pozornosti je věnováno řešení všech mnoha důležitých problémů (prevence, měření), které mohou nastat.“ [AAPOR 1997, Scheuren 2004: 31] Koncepty kvality zaměřené primárně na ošetření výběrových chyb selhávají vzhledem k cílům předcházení a kontroly nevýběrových chyb a tedy i celkové chyby, jsou málo přínosné ve fázi přípravy designu šetření a při jeho realizaci a neposkytují dostatečnou oporu pro zhodnocení kvality dat. Ve světle principů současné všeobecné revoluce kvality, která je založena na myšlenkách, že problémům je třeba předcházet a ne je řešit ex‐post a že kvalitu je třeba kontinuálně sledovat a zlepšovat, jsou tedy neudržitelné.
7
Vymezení a různé dimenze kvality V současném pojetí je kvalita vnímána jako použitelnost (fit to use) a kvality produkce se dosahuje prostřednictvím kvality procesu [viz např. Juran a Gryna 1993]. Přesnost statistik přestává být jedinou či centrální dimenzí kvality, objevují se další stejně důležité dimenze. Biemer a Lyberg shrnují důvody pro tento posun následovně [2003: 14 (kráceno)]: 1.
Přesnost je náročné a drahé měřit, takže se to málokdy dělá. Přesnost je obvykle definována na základě celkové chyby šetření, ovšem některé její zdroje není možné změřit. Naproti tomu kvalitu lze zajistit s použitím navazujících procesů, které vedou k dobré kvalitě produkce.
2.
Přínos měření celkové chyby až po skončení šetření je omezený. Mimo opakovaná šetření mohou mít takové odhady přesnosti pouze malý efekt na zlepšování kvality.
3.
Mechanické kontroly kvality operací, jako jsou kódování a vkládání dat, samy o sobě nevedou ke kontinuálnímu zlepšování kvality. Musí je doprovázet zpětná vazba a učení, při kterém se zaměstnanci výzkumu sami stávají součástí procesu zlepšování.
4.
Koncentrace na odhady přesnosti obvykle nechává málo prostoru pro vývoj jednotlivých složek kvalitního designu šetření.
Současné definice kvality zohledňují více dimenzí. Např. definice Eurostatu [2002, 2009], která se uplatňuje v Evropském statistickém systému zahrnuje šest dimenzí:
Relevance: jak statistika splňuje aktuální a potenciální požadavky uživatelů.
Přesnost: blízkost výpočtů a odhadů pravdivé hodnotě.
Načasování a časová přesnost: časový rozdíl mezi událostí a informací o ní a časový rozdíl mezi publikováním dat a časem, kdy jsou potřeba.
Dostupnost a srozumitelnost: podmínky, za nichž se uživatel dostane k datům, a úroveň dokumentace a doplňujících informací včetně informací o kvalitě a dostupnosti odborné asistence.
Srovnatelnost: dopad aplikovaných konceptů a nástrojů měření na možnosti srovnání v čase, mezi geografickými oblastmi, mezi významovými oblastmi. Tj. míra, ve které rozdíly mezi statistikami reflektují reálné rozdíly mezi oblastmi v uvedených třech dimenzích.
Koherence: adekvátnost a hodnověrnost různých kombinací statistik a jejich využívání pro různé účely.
8
Tato definice se uplatňuje v rámci modelu Celkového managementu kvality (TQM) 2. V jeho rámci jsou určeny požadované charakteristiky výsledného produktu, dílčí cíle, rozpracovány jednotlivé navazující procesy k jejich dosažení, identifikovány a ošetřeny problematické aspekty, stanoveny kontrolní body, mechanismy sledování kvality, procesy učení a zpětné vazby k zajištění kontinuálního zlepšování. Efektivita výzkumu Dalším kritériem kvality (které je v případě Eurostatu zohledněno ve všech jednotlivých dimenzích) je efektivita. Význam vztahu mezi náklady a přesností ve výběrových šetřeních velmi přesvědčivě ukázal např. Groves ve své knize Survey Errors and Survey Costs [2004], která byla poprvé vydána v roce 1989 a dnes slouží jako jedna ze základních učebnic o chybách měření. Jednou z hlavních motivací realizace výběrových šetření je totiž snaha ušetřit. Doslova vzato, pokud by nezáleželo na nákladech (tedy nejen finančních), ale pouze na přesnosti, nedělali bychom výběrová, ale pouze cenzová šetření. Pokud přiznáme, že na „ceně“ záleží, aplikaci každé metody musíme předem vážit z hlediska toho: 1) jak moc přesné výsledky pro daný účel potřebujeme a jaké prostředky máme k dispozici a 2) jak moc díky příslušné úpravě vzroste přesnost a za jakou cenu se tak stane – jinými slovy, jestli nám to stojí za vynaložené peníze, úsilí a čas a jak dopadá v tomto ohledu srovnání s alternativními postupy. V případě výběrových šetření tedy nejpřesnější neznamená nejkvalitnější, ale usilujeme o přijatelnou přesnost za přijatelnou cenu. Vztah nákladů a přesnosti není jediné dilema. Další jsou například mezi přesností a časovou přijatelností dodání výsledků, relevancí a srovnatelností v čase, relevancí a přesností atp. Kvalita pak neznamená dosahování výtečných jednotlivých ukazatelů, ale hledání ideálního kompromisu vzhledem k mnoha proměnným.
2
TQM – Total Quality Management představuje filozofii podnikového managementu zaměřující se na celkovou kvalitu produktů a služeb a její kontinuální zlepšování. Na jejím základě je definována řada obecných modelů TQM, které jsou dále specifikovány a přizpůsobeny podmínkám konkrétních organizací, jež je používají.
9
3.
Celková chyba šetření
Přesnost ve výběrových šetřeních představuje odhadovanou úroveň rozdílu mezi hodnotou atributu odhadovanou v šetření a pravdivou hodnotou. Přesnost je opakem chyby a efektivně ji lze postihnout na základě konceptu chyby šetření. Celková chyba šetření je teoretická konstrukce. Chyby jsou specifické pro jednotlivé statistiky, nikoliv pro šetření jako celek. Přesnost šetření lze nicméně popisovat na základě celkové chyby šetření konstituované např. jako průměrná kvadratická chyba šetření (mean square error) [viz Kish 1965]. Koncept celkové chyby rozpracovává např. Groves [2004] ‐ viz schéma 1. V jeho pojetí je celková chyba zároveň souhrnem všech chyb rozptylu měření a odchylek měření od pravdivé hodnoty (bias). Chyby chybějících pozorování (errors of non‐observation) plynou z toho, že měření u části populace vůbec neproběhlo, chyby pozorování (errors of observation) jsou rozdíly odpovědí respondentů od pravdivých hodnot. Toto rozdělení prakticky odpovídá též často používané dichotomii chyb reprezentativity a chyb měření. Chyby chybějících pozorování jsou následující: chyba pokrytí populace (coverage error), chyba výpadků návratnosti (non‐response error) a výběrová chyba (sampling error). Chyby pozorování zahrnují chybu respondenta (respondent error), chybu tazatele (interviewer error), chybu nástroje měření (instrument error) a chybu metody sběru dat (mode error).
Schéma 1. Konceptuální struktura chyb podle Grovese
Zdroj: Groves [2004].
10
Trochu odlišný koncept uplatňuje např. Eurostat [2009] ‐ viz schéma 2. Rozdělení na výběrové a nevýběrové chyby v tomto případě zůstává v centru modelu, přičemž výběrové chyby mají nadále privilegovanou pozici. Na rozdíl od Grovesovy klasifikace je zde zahrnuta samostatná skupina chyb zpracování a naopak chyby měření jsou pojednány společně. Koncept Eurostatu byl vypracopván pro účely použití v praxi statistické služby a je podkladem pro definici nejlepší praxe v rámci Evropského statistického systému.
Schéma 2. Klasifikace zdrojů chyb statistik výběrových šetření dle Eurostatu
Zdroj: Autor dle Eurostat [2009]. V následující kapitole se zaměřím samostatně na jednotlivé druhy tzv. chyb reprezentativity (chyby chybějících pozorování ‐ nepozorování v Grovesově schématu). Nyní tedy alespoň v souhrnu poskytnu informaci o chybách měření (chyby pozorování dle Grovese). Chyby měření Chyby měření v Grovesově pojetí [2004] představují rozdíl při pozorování mezi hypotetickým ideálním měřením a reálně obdrženou odpovědí z prostředí. Tyto chyby vznikají při sběru dat. Groves rozlišuje čtyři druhy chyb měření, jež jsou asociovány s nepřesností zaznamenaných odpovědí na otázky výzkumného nástroje. Chyba vlivu tazatele (interviewer error) odpovídá dopadům různých způsobů provedení dotazování na odpovědi respondenta. V první řadě, tazatel má v procesu výzkumu často více 11
rolí. Může se např. podílet na konstrukci opory, podílí se na realizaci výběrové procedury a získávání spolupráce a jeho činnost tak má vliv hned na několik druhů chyb. Vedle toho tazatel vstupuje do interakce s respondentem, přináší mu informaci, co se od něj ve výzkumu očekává a pomáhá mu osvojit si příslušnou roli. Následně vede dotazovací proces a zaznamenává odpovědi. Samotná přítomnost tazatele je nevyhnutelně zdrojem odchýlení. Chyba respondenta (respondent error) plyne z neschopnosti odpovědět správně na otázku nebo z nedostatku úsilí správnou odpověď obdržet, anebo z dalších psychologických faktorů. Na jedné straně existují různé druhy respondentů s různým vztahem k formulaci odpovědi. Na druhé straně je dotazování pro respondenty složitý kognitivní proces, kde pro poskytnutí pravdivé odpovědi musí zvládnout interpretovat a pochopit otázku, vyhledat relevantní informace v paměti, posoudit je, případně provést odhady a sdělit odpověď tak, aby jí bylo rozuměno v daném smyslu. Chyba nástroje měření (instrument error) odkazuje na formulace otázek standardizovaného dotazníku jako zdroj odchylek a rozptylu měření. Jedná se o znění otázky (použitá terminologie, formulace), strukturu otázek, resp. celého nástroje měření sledovaného jevu (délka otázky nebo sady otázek, typ otázek: otevřené vs. uzavřené, počet a pořadí kategorií odpovědí, zařazení a formulace kategorií odmítnutí a nevím, struktura z hlediska sensitivity tématu atd.), a další kontext dotazníku, ve kterém je nástroj použit (pozice otázky v dotazníku, další obsah dotazníku atd.). Tento druh chyby bývá do hloubky rozpracován v rámci rozšířených konceptů validity a reliability měření. Chyba metody sběru dat (mode error) je asociována s charakteristikami různých způsobů sběru dat. Existují tyto základní druhy: face‐to‐face interview between interviewer and respondent, self‐administration of the questionnaire, telephone interview and Web based interview. V současné době je zaváděno množství technologických postupů, které výrazně mění charakteristiky klasických způsobů dotazování a někdy kombinují jejich základní vlastnosti. Jedná se např. o computer‐assisted personal interviewing (CAPI), computer assisted self‐interviewing (CASI), audio computer‐assisted self‐interviewing (ACASI), interactive voice responce (IVR nebo T‐ACASI), Computer Assisted Web Interview (CAWI), computer‐assisted telephone interview (CATI), atd. Vedle použití různých komunikačních kanálů a technologií se tyto metody též liší vztahem k zapojení respondenta do výzkumu a zachování důvěrnosti jím poskytovaných informací. Volba módu proto podstatně ovlivňuje výskyt dalších druhů chyb a samozřejmě také náklady na výzkum. Nelze říci, že některá z těchto metod je á priory ideální ‐ různé metody jsou vhodné pro různé výzkumné situace. Pro posouzení vhodnosti se využívá vyhodnocení tzv. marginálního efektu metody, kdy jsou srovnávány možné metody v rámci dané výzkumné situace z hlediska stanovené sady charakteristik.
12
Marginální efekt metody ‐ srovnání dvou možných metod ‐ posouzení vzájemného efektu v rámci sady charakteristik.
Je stejná opora? Pokud ne, jak se liší pokrytí? Budou využiti stejní tazatelé? Pokud ne, jak se liší zkušenost, výcvik, zatížení...? Supervize? Zpětné kontroly? Výběr respondenta? Stejný dotazník? Vizuální pomůcky? Předpokládaná návratnost? Dostupné metody zvyšování návratnosti? Dostupné technologie? Jak se liší cena? atp.
Představte si některou typickou výzkumnou situaci a zkuste tímto způsobem srovnat použití metody osobního rozhovoru tazatele s respondentem (face‐to‐face) a telefonní dotazování. Chyby zpracování Groves se samostatně nezabývá chybami zpracování (processing errors). Tento druh chyb často zůstává mimo pozornost metodologů. Tyto chyby jsou vztaženy k operacím jako je nastavení vhodné struktury databáze, vkládání dat, kódování, editace dat, převody formátu, transformace proměnných pro analýzu atp. Jedná se mnohdy o čistě technické operace, které mohou být automatizovány a ošetřeny systémem kontrol, mnohdy zajištěných počítačem. Není tomu tak vždy. Při výzkumu se v této oblasti vyskytují i vysoce sofistikované úlohy s náročnou teoreticky zakotvenou koncepcí a velkým objemem odborné práce, jako je např. imputace (nahrazování) chybějících údajů nebo vážení (viz dále), konstrukce různých indikátorů latentních faktorů, harmonizace proměnných pro účely časového nebo mezinárodního srovnávání nebo integrace dat z různých zdrojů. Podobně náročné mohou být i některé úlohy kódování (např. kódování zaměstnání do čtyřmístné či pětimístné klasifikace ISCO).
13
4. Chyby reprezentativity Chyby plynoucí z nedostatečného pokrytí populace, chyby výběrové a chyby plynoucí z výpadků návratnosti se někdy společně nazývají chyby reprezentativity, podle problematiky, na níž mají největší dopad.
4.1 Chyba pokrytí populace Chyba pokrytí populace (coverage error) odráží skutečnost, že některým jednotkám v populaci není dána žádná šance na to, aby byly vybrány. Cílová populace, ke které vztahujeme naše závěry, se obvykle liší od tzv. populace šetření, jejíž definice odráží fakt, že na vyšetření některých skupin rezignujeme, protože jej nejsme v reálné výzkumné situaci schopni provést nebo by to bylo moc nákladné (např. u výzkumů obecné populace to bývají lidé žijící trvale v institucích, bezdomovci atp.). Populace šetření se obvykle dále liší od populace opory, tj. jednotek skutečně zachycených v seznamu nebo seznamech, ze kterých vybíráme, respektive zachytitelných procedurou našeho výběru, nemáme‐li jasně vymezitelnou oporu. Opora výběru je seznam nebo sada seznamů nebo jiných materiálů (např. mapa, kartotéka) nebo systém procedur použitých k identifikaci jednotek cílové populace. Rozdíl přitom nebývá jen v nepodchycených jednotkách cílové populace, ale i v nežádoucích jednotkách obsažených v opoře (např. při šetření domácností chybné adresy, adresy jiných jednotek než domácností), duplikacích jednotek (např. více adres pro jednu domácnost), jednotkách spojených do klastrů (např. více domácností na jedné adrese) atd.3 Řada šetření je navíc založena na kombinaci dvou a více opor nebo kombinacích různých druhů materiálů a komplikovaných procedurách výběru. Dochází přitom k překrývání seznamů a jednotky mívají různé pravděpodobnosti výběru podle toho, kde a jakým způsobem jsou zahrnuty. Chyba pak odráží za prvé to, že některé jednotky cílové populace nejsou zahrnuty v populaci výběrové opory, a za druhé to, že mezi skupinou jednotek opory a skupinou jednotek mimo oporu existuje rozdíl v hodnotě měřené statistiky. Z toho zároveň plyne, že i když velká část osob z cílové populace v opoře chybí, nevzniká chyba, pokud se hodnota této skupiny významně neliší od celkové hodnoty zahrnuté populace. Chyba pokrytí populace je tedy definována jako funkce rozdílu mezi hodnotou cílové populace a hodnotou populace opory.
3
U některých skupin bývá např. i problém rozlišit, do které domácnosti patří ‐ např. někteří mladí lidé žijí prakticky zároveň u rodičů i ve vlastním bytě.
14
Schéma 3. Vztah cílové populace a populace opory ve výzkumném šetření
Cílová populace nežádoucí jednotky
Populace opory
populace zachycená ve výzkumu
nezahrnutá část populace Zdroj: Groves et al. [2004]. Existence vhodné opory je jedním ze základních východisek, které určují možnosti volby metod výběru. V případě výběrů obecné populace jsou jen zřídka dostupné kompletní seznamy jednotlivců. V důsledku toho jsou konstruovány složité výběrové postupy zahrnující výběry z více různých opor v několika krocích. Chyby v pokrytí vznikají na všech úrovních, často se jedná o systematické chyby. Nežádoucí jednotky jsou často identifikovány až při pokusu o kontakt. Pak je lze vyřadit a zamezit vzniku chyby, ale: 1) zvyšují náklady, 2) je třeba s nimi počítat dopředu a navýšit výběr, 3) jejich výskyt může mít vliv na pravděpodobnosti výběru (lze sjednotit pomocí kompenzačních (designových) vah).
Příklady z praxe: Možnost organizovat prosté náhodné výběry obecné populace není pro sociální výzkum typická. V příloze 1 v tabulce najdete přehled opor použitých v šetření Evropský sociální výzkum ESS I. ‐ pouze v několika málo zemích mají výzkumníci přístup k individuálním registrům.
15
Příklad opor v typickém výběrovém designu: 1. krok ‐ oblastní výběr - primární výběrová jednotka (PSU ‐ Primary Selection Unit): geografická oblast, např. volební obvod - opora: seznam oblastí 2. krok ‐ výběr bytových domácností - sekundární výběrová jednotka (SSU): adresa domácnosti - opora: před zahájením druhého kroku výběru v oblastech vybraných v prvním kroku tazatelé pořídí soupis všech adres bytů 3. krok ‐ výběr respondenta - terciární výběrová jednotka (TSU): dospělá osoba v domácnosti - opora: soupis všech členů domácnosti ve věku 18 a více let pořízený tazatelem při úspěšném kontaktu domácnosti Telefonní seznamy často nebývají tou nejlepší oporou. Zamyslete se nad problémy, které s jejich využitím jako opory pro výběr obecné populace mohou být spojené. RDD (Random Digit Dialing) = výběr metodou vytáčení náhodného telefonního čísla. Příklady opor využívaných pro výběry obecné populace v ČR: a) Pořízení vlastní výběrové opory Řada agentur si vytváří vlastní výběrové opory. Nepořizují však kvůli tomu úplný soupis domácností v ČR. Nejprve je realizován výběr lokalit se známými charakteristikami populace a v těchto místech pak agentura provede soupis adres soukromých bytů. Pokud je například proveden v prvním kroku výběr volebních obvodů, které zpravidla zahrnují kolem tisíce voličů, každá vybraná lokalita pak má zhruba 300 až 400 bytů a jedná se tedy o zvládnutelný úkol. Získání takové opory, pokud má být kvalitní a dobře zajistit reprezentativitu i formální nároky na pravděpodobnostní výběr, je však nákladné. Opory se proto běžně nepřipravují pro jedno šetření, ale jsou využity víckrát. Oporu lze takto využít pouze pro několik málo výběrů, aby nedocházelo k jejímu vyčerpání nebo k opakovanému dotazování na adresách.
16
b) Využití databáze adres bytů a domů Český statistický úřad spravuje Registr sčítacích obvodů a budov, který lze prohlížet, prohledávat a třídit pomocí internetové aplikace dostupné na Webu ČSÚ. Databáze obsahuje adresy budov a údaje o způsobu užívání a počtu bytů v nich. Podobně Ministerstvo práce a sociálních věcí spravuje Územně identifikační registr adres (UIR‐ADR). Obě databáze jsou pravidelně aktualizovány. Registr sčítacích obvodů a budov, prezentovaný v té době v databázi BUDINFO, byl využit např. v šetření ISSP 2010 Životní prostředí. Z databáze byly přímo vybrány adresy domů a bytů domácností. Databáze UIR byla využita například v European Social Survey II. Postup čtyřstupňového stratifikovaného pravděpodobnostního výběru byl následující: 1. krok: Rozdělení sídel v ČR podle velikosti určené na základě počtu ulic v registru UIR‐ADR do tří skupin. Proporcionální výběr lokalit v každém stratu. 2. krok: V prvním a druhém stratu byly vybrány ulice (třetí stratum tvořili malá sídla bez ulic). 3. krok: Pořízení soupisu bytových jednotek v ulicích ve výběru. Výběr bytových jednotek – domácností. 4. krok: Výběr respondenta v domácnosti podle Kishových tabulek. c) Využití databáze SIPO Společnost VAKUS na komerčním základě zpřístupňuje databázi doručovacích míst sdružených plateb obyvatel SIPO, dříve známých pod zkratkou INKASO. Jedná se o systém plateb, který v socialistickém Československu nahrazoval některé bankovní služby a je dodnes rozšířený. Pravidelné platby, zejména za energii, plyn, televizní a rozhlasové poplatky, telefon a pravidelné služby, jsou sdruženy do jednoho příkazu a prostřednictvím pošty distribuovány na příslušné účty. Databáze slouží k doručování vyúčtování. Adresy doručovacích míst vyúčtování SIPO jsou kontinuálně aktualizovány (ne každý výzkum však využívá aktuální verzi). V první polovině 90. let databáze představovala zřejmě ještě téměř kompletní oporu pro výběr domácností ‐ VAKUS deklaroval pokrytí až 98 % populace [viz např. STEM 1996]. Například v případě databáze použité pro výběr v šetření ISSP 1996 se jednalo o cca 5,5 mil. adres [ibid.]. Toto číslo se ale značně liší od počtu bytových domácností udávaných ČSÚ (3,7 mil. ve Sčítání lidu v roce 1991, resp.3,8 mil. v roce 2001) a ukazuje na problematický charakter databáze. Od roku 1990 také dochází k postupnému rozvoji řady alternativních systémů plateb a systémů správy nemovitostí (trvalé a inkasní příkazy z bankovních účtů, platby prostřednictvím společností správců nemovitostí atp.), jejichž existence uvádí aktuální úroveň pokrytí populace v pochybnost.V současnosti přitom nejsou k dispozici žádné důvěryhodné údaje, které by tyto pochybnosti rozptýlily.
17
d) Náhodná procházka Pokud není k dispozici žádný vhodný seznam využitelný jako opora výběru nebo by jeho realizace byla příliš nákladná, bývá využívána metoda náhodné procházky. Výběr bytu, resp. domácnosti provádí tazatel v terénu. Ve vybrané lokalitě se stanoví náhodný počátek – nějaké určitelné místo, například křižovatka ulic, a posloupnost náhodných kroků (zahněte první ulici vpravo, pak druhou vlevo atp.), který dovede tazatele ke dveřím domu a bytu, kde má provést dotazování. Řazení této metody mezi pravděpodobnostní techniky výběru bývá zpochybňováno. V praxi bývá tato metoda často akceptována a upřednostněna před nepravděpodobnostními technikami. Např. pravidla pro realizaci Evropského sociálního výzkumu ESS ji připouští, ale pouze pokud není k dispozici žádná vhodná opora výběru [ESS 2003]. Opory při výběrech jiných, než obecných populací:
zákazníci, zaměstnanci, členové organizací -
firmy, organizace -
různé velikosti, různé struktury problém geografické lokace formální/administrativní vs. reálný stav dynamický vývoj
události (narození, zakoupení něčeho, výskyt něčeho, nezaměstnanost, kriminální čin...) -
seznamy (aktuálnost; různé charakteristiky ‐ prozkoumat, zjistit kontext) ochrana osobních údajů někdy bývá problém vymezit populaci (zaměstnání na DPČ, faktury...)
různé opory (časová škála, seznam jiných jednotek ‐ např. osob)
specifické populace -
špatně identifikovatelné populace, malé/řídké/rozptýlené populace
Metody redukce počtu chybějících jednotek [viz Groves et al. 2004]
kombinace více opor v jednom kroku -
různé výb. pravděpodobnosti, konstrukce design. vah překryv opor (výběr tazatelem v terénu / zahrnutí všech vybraných jednotek ‐ různé pravděpodobnosti / zpřesnění odhadů pomocí překryvu), např. kombinace RDD a oblastního výběru s pořizováním soupisu bytů (OBL) Ptel.. = PRDD + POBL ‐ PRDD * POBL Pnon‐tel. = POBL
18
-
napůl otevřený interval -
např. zpřesnění (RDD domácnosti a OBL domácnosti bez tel. ‐ soubor / OBL domácnosti s tel. ‐ zjistí se podíl a stanoví se váhy pro soubor)
uspořádaný seznam s chybějícími jednotkami (např. je neaktuální) prozkoumá se oblast od vybrané jednotky k nejbližší další jednotce v seznamu zahrnou se všechny jednotky a přiřadí se jim pravděpodobnost vybrané jednotky / provede se podvýběr / nové jednotky konstituují nové stratum (překvapení) a v něm se samostatně provede výběr
vícenásobný výběr -
obdoba snow‐ball z opory se vyberou jednotky, s každou jednotkou se vybere celá síť jednotek nutnost přesné definice vymezení sítě, nesmí se překrývat váhy podle velikosti sítě nepřesnosti při stanovení sítě (respondenti ji často přesně neurčí)
4.2 Chyba výběrová Výběrová chyba (sampling error) plyne z heterogenity hodnot měřených statistik v populaci. Pokud zjišťujeme statistiku ve vybraném vzorku, její hodnota se mění podle toho, jaký vzorek vybereme. Výběrová chyba je pak funkcí rozdílu distribuce vybraného vzorku od distribuce populace opory a plyne z rozdílů hodnot statistik v různých výběrech, které mohou být z dané populace pořízeny. Na rozdíl od chyby pokrytí populace je při aplikaci pravděpodobnostních výběrů výběrová chyba měřitelná. Její rozsah určujeme zpravidla pomocí standardní chyby a konfidenčních intervalů. Jedná se také o nejvíce studovanou chybu a obvykle se o ní opírají analýzy dat výběrových šetření. Pravděpodobnostní výběr je ten, kde známe pravděpodobnosti výběru u všech jednotek ve výběru. Tyto pravděpodobnosti jsou nenulové, ale nemusí být všechny stejné. Prostý náhodný výběr je pravděpodobnostní výběr, kde jsou pravděpodobnosti výběru všech jednotek stejné. Pokud je populace dost velká ve srovnání s výběrem, standardní chyba závisí v tomto případě na 1) velikosti výběru a 2) rozptylu hodnot. Statistická signifikance se obvykle v analýzách neopírá o výběrovou chybu v konkrétním použitém šetření, ale právě o chybu šetření s parametry prostého náhodného výběru. Ve skutečnosti je však většina pravděpodobnostních šetření obecných populací založena na tzv. komplexních výběrech, které kombinují postupy stratifikace, skupinového výběru a další metody, a výběrová chyba má tím pádem rozsah odlišný od situace prostého náhodného výběru. Tento rozdíl bývá vyjadřován pomocí efektu designu výběru4, který je poměrem 4
Design výběru = aplikovaný postup výběru.
19
výběrového rozptylu statistiky získané určitým konkrétním výběrovým postupem a výběrového rozptylu, jenž bychom pro danou statistiku získali za použití prostého náhodného výběru. Efektivní velikost výběru je pak velikost prostého náhodného výběru s jakou by se dosáhlo stejného výběrového rozptylu jako je u aktuálně použitého designu5. Základní otázky k metodě výběru proto jsou [viz Groves et al. 2004]:
Jak velký je výběr? Jaké jsou pravděpodobnosti výběru? Jsou jednotky vybírány nezávisle nebo ve skupinách? Je kontrolováno zastoupení některých skupin (stratifikace)? Skupinový výběr (cluster sampling) -
-
místo jednotlivých základních jednotek jsou vybrány skupiny jednotek zpravidla proto, že opora základních jednotek není k dispozici nebo protože potřebujeme redukovat náklady (zejména cestovní) ovšem musíme předpokládat větší homogenitu uvnitř skupinek, a tím i větší velikost standardní chyby => efekt skupinového výběru: - čím větší heterogenita mezi skupinkami, tím větší homogenita uvnitř - hlavní otázka je, co nového se dozvíme, když přidáme do výběru další jednotku ze skupiny - průměrná vnitroskupinová korelace (tendence hodnot proměnné korelovat uvnitř skupiny ve srovnání s ostatními skupinami) ‐> poměr homogenity ‐> designový efekt skupinkového výběru redukce velikosti výběru v rámci skupinky - => redukce dopadu na rozptyl, snížení efektu designu - => další výběry v rámci skupinek - otázka ceny: zahrneme další jednotku ze skupiny? ‐ vyplatí se to (zvýšení přesnosti vs. náklady)?
Příkladem skupinkového výběru je výběr celé domácnost místo jednotlivce. Zpravidla v tomto případě následně realizujeme ve vybrané skupince (domácnosti) výběr jednotlivce v dalším výběrovém kroku. Jiným příkladem je výběr a následné dotazování celé třídy žáků v základní škole. V rámci třídy lze předpokládat větší homogenitu z hlediska studovaného jevu, nicméně menší organizační a finanční náročnost a další specifická výpovědní hodnota bývají důvodem pro zahrnutí celé třídy. 5
S jeho použitím pro konstrukci vah lze založit statistické dokazování na velikosti výběrové chyby odpovídající konkrétnímu šetření. Některá šetření (např. European Social Survey) s tím počítají a koncipují takovou velikost vzorku, aby odpovídala určité hodnotě efektivní velikosti výběru. Tato skutečnost ale často nebývá v analýzách využita a díky vyšší velikosti vzorku takového šetření pak paradoxně vychází leckteré překvapivé výsledky jako „statisticky signifikantní“.
20
Stratifikovaný výběr -
Systematický výběr -
účelem je zajištění reprezentace zvolených podskupin podmínkou je exkluzivita strat, znalost členství jednotek ve stratech a znalost váhy každého strata pravděpodobnosti výběru v rámci strat jsou různé => potřeba konstrukce kompenzačních ‐ designových vah různé velikosti strat, různý rozptyl v rámci strat, různé velikosti chyby designový efekt stratifikovaného výběru závisí na velikosti výběru v rámci strat, pokud jsou dost velká zpravidla se designový efekt sníží počet strat by měl být přiměřený proporcionální vs. neproporcionální alokace jednotek v rámci strat: - pokud známe standardní chybu v rámci strat vyplatí se pořídit větší výběr v případě těch strat, kde je chyba vyšší (Neyman) ‐ výsledkem je zvýšení přesnosti
jednodušší implementace stratifikace seřazená opora, náhodný počátek, interval
praxe: více výběrových kroků, kombinace technik = komplexní design výběru -
primární jednotky výběru, sekundární jednotky...
Prostudujte komentovaný příklad výběru uvedený v příloze 2. Na Webu Evropského sociálního výzkumu najdete dokument popisující pravidla výběru a postup odhadu designového efektu ‐ prostudujte je. ESS. 2008. Sampling for the European Social Survey – Round 4: Principles and requirements. Sampling Expert Panel of the ESS. London: European Social Survey (ESS). On‐line: http://www.google.cz/url?sa=t&source=web&cd=1&sqi=2&ved=0CBgQFjAA&url=http%3A%2F%2Fwww.europeansocialsurvey.org%2Findex.php%3Foption %3Dcom_docman%26task%3Ddoc_download%26gid%3D352%26itemid%3D80&rct=j&q=sampling%20for%20the%20European%20Social%20Survey%20 Round%204&ei=94VDTuyYLcvo-gaZxsGzCQ&usg=AFQjCNH2kgvtixaELpBMZ3Pa5G8MBLjvmQ&cad=rja
21
4.3 Chyba plynoucí z výpadků návratnosti Chyba výpadků návratnosti (non‐response error) je výsledkem selhání schopnosti sebrat data o všech jednotkách ve výběru. Ne každá vybraná osoba je ochotna odpovědět na otázky dotazníku, ne každého respondenta nebo jeho domácnost tazatel v průběhu šetření zastihne, existují situace, v nichž respondenti nejsou schopni odpovídat (nemoc, neznalost jazyka dotazníku atp.), v průběhu sběru dat dochází k organizačním a administrativním chybám. Unit non‐response/item non‐response V případě výpadků celých zpravodajských jednotek, tj. jednotek ve výběru, pro něž chybí celý dotazník, hovoříme v angličtině o unit non‐response, v případě výpadků jednotlivých odpovědí na otázky dotazníku o item non‐response. Návratnost dotazníků Při šetřeních založených na náhodných výběrech je zpravidla možné stanovit míru návratnosti dotazníků (response rate). Jedná se o podíl participujících jednotek z platných jednotek ve výběru, resp. přesněji podíl dostatečně kompletních interview se zpravodajskými jednotkami a počtu platných zpravodajských jednotek ve výběru. Platnost je přitom vztažena ke členství jednotek v populaci opory. Vyloučeny jsou například chybné adresy a jednotky mimo výběr a další jednotky, které se vztahují k chybě pokrytí populace. Jinak jsou ale zahrnuty všechny druhy výpadků. [viz Groves 2004; Lessler, Kalsbeek 1992; AAPOR 2009] Přehled klasifikace výpadků v osobních rozhovorech face‐to face dle standardu AAPOR najdete v příloze 3. Návratnost bývá považována za klíčový ukazatel kvality dat šetření, a proto je někdy záměrně zkreslována za účelem dosažení větší důvěryhodnosti dat. V těchto případech zpravidla nejsou zahrnuty některé druhy výpadků, které do výpočtu patří, protože mohou být zdrojem příslušné chyby. Při kontrole údajů je nicméně možné se opřít o standardní postupy výpočtu návratnosti stanovené asociacemi AAPOR a WAPOR [AAPOR 2009] nebo Eurostat [2009]. Postup pro výpočet návratnosti je též definován v řadě metodologických prací [např. Groves 2004, Lessler, Kalsbeek 1992]. Standard AAPOR [2009] udává šest různých vzorců pro výpočet návratnosti. Odhlédneme‐li ale od různých strategií zařazování nekompletních rozhovorů a faktu, že existují jednotky s neznámou platností, obecný vzorec pro výpočet návratnosti je následující:
22
I RR = ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ , I + P + R + NC + O kde: RR = míra návratnosti, I = kompletní rozhovory, P = částečně provedené rozhovory, R = odmítnutí nebo předčasně ukončené rozhovory, NC = nekontaktovaní, O = ostatní platné jednotky z výběru. Inverzním ukazatelem k návratnosti, tj. 1 − RR, je míra výpadků návratnosti (non‐response rate), která udává podíl všech platných neparticipujících jednotek z výběru. Další hlavní ukazatele jsou tyto:
Míra spolupráce (co‐operation rate) je podíl kompletních rozhovorů ze všech kontaktovaných. Ukazatel lze sledovat na úrovni domácnosti a respondenta. Míra dává informaci o ochotě veřejnosti spolupracovat na daném výzkumu. Míra odmítnutí (refusal rate) je podíl případů, kdy domácnost nebo vybraná jednotka odmítly spolupráci nebo předčasně ukončily rozhovor, ze všech platných případů ve výběru. Míra kontaktování (contact rate) je podíl případů, kdy se domácnost nebo vybranou jednotku podařilo kontaktovat, ze všech platných případů ve výběru. Inverzní k tomuto ukazateli je míra nekontaktování (non‐contact rate).
Všechny uvedené ukazatele bývají často udávány v procentech (tj. násobeno 100).
23
Příklad ‐ výpadky návratnosti a návratnosti v první a druhé vlně šetření programu European Social Survey (ESS) v České republice (ESS I. a ESS II.)
A.
celkem vydané adresy (výběr)
B.
špatné adresy
C.
ESS I. 2002/2003 N
%
ESS II. 2004 N
%
3,330
100.0
5,531
100.0
191
5.7
66
1.2
respondent zemřel/odstěhoval se
0
0.0
8
0.1
D.
nepoužité adresy z výběru
0
0.0
1,196
21.6
E.
platné adresy použité v terénu: A‐( B+C+D)
3,139
94.3
4,261
77.0
F.
respondent neschopen spolupráce
25
0.8
14
0.3
G.
respondent nedosažitelný
142
4.3
33
0.6
H.
odmítnutí
628
18.9
601
10.9
I.
nekontaktováno
365
11.0
587
10.6
J.
jiné druhy výpadků
619
18.6
0
0.0
K.
produktivní rozhovory
1,360
40.8
3,026
54.7
L.
míra spolupráce: K/(H+K)
68.4
83.4
M.
míra kontaktování: K/(G+I+K)
72.8
83.0
N.
návratnost v terénu: K/E
43.3
71.0
O.
celková návratnost: K/[A‐( B+C)]
43.3
55.5
Zdroj: European Social Survey [ESS 2004c], Sociologický ústav AV ČR, vlastní výpočty.
Dopad výpadků návratnosti na chybu Nízká návratnost je považována za jeden z hlavních zdrojů chyb: jednak je zdrojem odchylek od pravdivé hodnoty a rozptylu odhadů, za druhé vede k nespolehlivosti běžných způsobů odhadů přesnosti. Možnost reálně stanovit velikost chyby plynoucí z výpadků návratnosti je ovšem jen teoretická. Založit její odhad pouze na poměru chybějících případů je nesmysl. Chyba způsobená výpadky totiž nevyplývá přímo z chybějících pozorování, ale je důsledkem rozdílu mezi respondenty a nerespondenty v rámci platného výběru. Ty mohou, ale nemusí být závažné. Teoreticky, pokud by byly zjišťované hodnoty u respondentů a nerespondentů stejné, pak by nízká návratnost nehrála žádnou roli. hodnota u respondentů = celková hodnota ve výběru + + (podíl výpadků) × (hodnota u respondentů – hodnota u nerespondentů) [viz Groves 2004: 133]
24
Mýtem také je, že odmítání participace ve výzkumu je stabilní vlastností řady jednotlivců a že zdrojem chyby je nějaká rozsáhlá skupina nerespondentů, o které vůbec nic nevíme, protože se výzkumů nikdy neúčastní. Návratnost se velmi liší u různých šetření stejné populace a vzhledem k různosti použitých metod a má více zdrojů než jen odmítnutí. Ukazuje se, že každá osoba v populaci má spíše určitou náchylnost, resp. pravděpodobnost stát se respondentem nebo nerespondentem výzkumu, která závisí na konkrétních okolnostech. Dále se ukazuje, že různé zdroje neparticipace, odmítnutí, nekontaktování, zdravotní důvody, jazyková nezpůsobilost atd., jsou různě korelovány s různými proměnnými. Chyba způsobená návratností je tedy specifická pro jednotlivé statistiky a není stabilní pro celé šetření [viz např. Lessler, Kalsbeek 1992; Tourangeau et al. 2000]. Také analýzy potvrzují, že spojení mezi návratností a celkovou chybou není přímé a může i zcela chybět [viz např. Groves 2006]. Šetření s nízkou návratností tedy nejsou automaticky špatná a nelze stanovit žádnou obecně platnou hranici přijatelné návratnosti a klasifikovat podle ní jednotlivá šetření. Analogicky neplatí, že podaří‐li se nám zvýšit návratnost, automaticky se sníží celková chyba odhadů. Řada empirických studií popsala situace, kdy nižší návratnost nevedla k větší chybě. Mnoho prací dokládá existenci závislostí mezi návratností a populačními charakteristikami. Na druhé straně míra těchto závislostí obvykle výsledky šetření úplně nediskvalifikuje. Tyto vztahy zároveň silně závisejí na tématu výzkumu, nemohou být generalizovány a nemají shodný dopad na různé proměnné v šetření. Řešení problému nízké návratnosti Dopady výpadků návratnosti tedy nemohou být generalizovány a přesnější zhodnocení dopadů a odhad velikosti chyby je značně problematický: z povahy věci plyne, že o nerespondentech šetření je většinou k dispozici minimum informací, k odhalení dopadů neparticipace na odchylky odhadů je nutné studium jejich vztahů k jednotlivým měřeným proměnným, což je nákladné a běžně se nedělá. Statistika nabízí dva základní přístupy k řešení problému výpadků za situace, kdy nemůžeme chybějící údaje z analýzy vyloučit, imputaci a vážení. Imputace znamená nahrazení hodnot pro chybějící jednotky pozorování jejich odhady konstruovanými na základě dalších informací zjištěných ve výzkumu nebo známých z jiných zdrojů. Chybějící odpovědi na jednotlivé otázky lze často úspěšně nahrazovat, v případě chybějících dotazníků to ovšem nebývá obvykle možné. Nejběžnější postupy vážení za účelem řešení chyby nonresponse vycházejí ze srovnání sociodemografických charakteristik respondentů v datovém souboru se stejnými charakteristikami známými z oficiálních statistik. Na základě zjištěných rozdílů jsou jednotlivým případům v datovém souboru přiřazeny váhy s cílem co nejvíce srovnat celkový profil analyzovaného vzorku se složením cílové populace. 25
Další metody řešení problému návratnosti se soustřeďují na prevenci, tj. opatření při realizaci šetření. K nejčastěji používaným patří například vhodné strategie navazování kontaktu s respondenty, rozesílání kontaktních dopisů, zajištění maximální důvěryhodnosti výzkumné agentury a tazatelů, techniky odvracení odmítnutí, peněžní a nepeněžní odměny respondentům, vhodně zvolená náročnost tazatelských úkolů, vyšší počet pokusů o kontakt, strategie v načasování sběru dat a pokusů o kontakt s ohledem na životní styly potenciálních respondentů, konstrukce dotazníků s ohledem na zatížení respondentů a předpokládanou zajímavost jednotlivých témat výzkumu, výběr tazatelů a způsoby jejich vyškolení, kombinování různých technik dotazování, vhodné strategie odměňování tazatelů, průběžné vyhodnocování úspěšnosti sběru dat a následná opatření, jako je zadávání méně striktních odmítnutí k dotazování jiným tazatelům atd. Tato opatření by však neměla být soustředěna na samotné zvyšování návratnosti, ale primárně na redukci chyby. Aplikace nevhodných postupů může sice zvýšit návratnost, ale zároveň vést ke zvětšení odchylky odhadů. Metody konverze odmítnutí například nepomohou, jestliže hlavním zdrojem zkreslení je nízké zastoupení těžko zastižitelných skupin respondentů. Podobně pobídky respondentům a další postupy je potřeba aplikovat s rozmyslem, protože různé skupiny obyvatel na ně reagují různě. Výkon tazatelů je jistě třeba zohlednit ve výši odměn, zvýší to návratnost, přitom je však nutné klást důraz nejen na počet provedených rozhovorů, ale i na kvalitu odvedené práce a kontrolu dodržování stanovených postupů. Vztah různých druhů výpadku a prvků výzkumné situace
nekontaktování, pravděpodobnost kontaktu -
sociální prostředí sociodemografické charakteristiky počet pokusů o kontakt načasování pokusů o kontakt způsob bydlení ‐ přístup; události; specifické skupiny (studenti na kolejích...)...
odmítnutí, pravděpodobnost odmítnutí -
frekvence zkušenosti, přezkoumanost populace, ochrana soukromí úroveň znalosti pobídky téma výzkumu, povaha dotazu perzistence při kontaktu (konverze 25 ‐ 40 % odmítnutí při aplikaci vhodných metod) přínosy / náklady respondenta na interview
26
Není pravda, že pravděpodobnostní šetření jsou kvůli nízké návratnosti méně spolehlivá, než kvótní Není pravda, že to, že kvótní šetření nevykazují vysoké podíly výpadků návratnosti znamená, že by byly přesnější. Nižší ochota veřejnosti spolupracovat na dotazování a menší dosažitelnost některých skupin v populaci se vyskytují více méně nezávisle na volbě postupu výběru. U pravděpodobnostních technik je problém viditelnější na základě znalosti hodnoty návratnosti V kvótních šetřeních mají tazatelé naproti tomu větší možnosti a tendence dotazovat snadněji dosažitelné a vstřícnější skupiny obyvatelstva. Tím se však riziko zkreslení rozhodně nemenší ‐ spíše naopak. Šetření obou typů se v tomto případě potýkají se stejným problémem, řeší jej různými prostředky. Příklad ‐ trendy návratnosti: Většina odborníků se shoduje, že došlo či nadále dochází k všeobecně nepříznivému vývoji návratnosti a že tato skutečnost je jedním z nejvážnějších problémů současného kvantitativního sociálního výzkumu. Řada studií ovšem odhaluje propad návratnosti v minulosti, ale nepotvrzuje trend jejího kontinuálního snižování. Řada výzkumů též dokazuje, že je nadále možné dosahovat vysokých hodnot. Podle všeho se tak ale děje díky zvýšenému úsilí a nákladům při organizování výzkumu. Grafy pro ilustraci Návratnosti šetření General Social Survey (GSS) v USA v letech 1975–2004 a Allgemeine Bevölkerungsumfrage der Sozialwissenschaften (Allbus) v Německu v letech 1980–2004
27
Návratnost v mezinárodním šetření ISSP 2007 Pracovní orientace Zdroj: Výpočty autora dle metodologických dotazníků z jednotl. zemí ISSP. Výpadky návratnosti ve čtvrtletním Výběrovém šetření pracovních sil Českého statistického úřadu v období 2002 ‐ 2005, v procentech
28
5. Kvalitativní normy a standardy v sociálním výzkumu Cíle podrobného zhodnocení kvality dat zpravidla přesahují možnosti řešení jednotlivých výzkumných úloh i rozumný rozsah metodologického úvodu analytické stati. K tomu přistupuje fakt informační asymetrie mezi realizátorem šetření a uživatelem dat ‐ pokud se uživatel dat na šetření přímo nepodílí, má velmi omezené možnosti získat všechny potřebné informace o jeho průběhu. Zároveň ale schopnost odběratele správně zhodnotit kvalitu je nezbytná pro její dosahování v konkurenční soutěži na trhu. Stejně jako v jiných odvětvích i ve výzkumu tyto informační bariéry mezi producentem a odběratelem pomáhají prolomit různé normy a standardy. Normy a standardy nezaručí přesnost výsledků jednotlivého šetření, ale potvrzují, že organizace, která tyto normy plní, disponuje strukturou schopnou kvalitu produkovat, dodržuje pravidla směřující k jejímu dosahování a zlepšování a podléhá v tom jisté kontrole. Ve výzkumu se vyskytují ve dvou podobách: (1) jako administrativně stanovené normy, (2) v podobě technických a etických kritérií odborných asociací.
5.1 Administrativní normy Cílem administrativních norem je úprava podmínek na trhu nad rámec legálních pravidel tak, aby: (1) zákazníci měli oporu pro posouzení, zda nabízený výrobek odpovídá národním nebo mezinárodním zvyklostem, na tomto základě mohli usuzovat na jeho kvalitu a porovnávat nabídky; (2) byla k dispozici opora pro reklamace výrobků a služeb s odkazem na dodržování uznaných pravidel; (3) byla k dispozici opora pro samoregulaci příslušného oboru. Nejdůležitější systém mezinárodně platných norem jsou certifikace Mezinárodní organizace pro standardizaci (ISO). V oblasti sociálního výzkumu se jedná o normu ISO 20252:2006 pro výzkum trhu, veřejného mínění a sociální výzkum. Tato norma upravuje obchodní vztahy a směřuje k aplikaci modelu celkového managementu kvality TQM pro sociální výzkumy. V tomto rámci stanoví:
co je zadavatel výzkumu oprávněn žádat od zpracovatele výzkumu; co přesahuje pravidla vzájemných vztahů, etiky v jednotlivých etapách přípravy, realizace a prezentace výsledků výzkumu; co musí jednoznačně výzkum splnit; co musí naopak zadavatel výzkumu poskytnout zpracovateli, aby výsledek vzájemné spolupráce byl efektivní a účinný.
Certifikace negarantuje přesnost konkrétního výsledku nebo úroveň konkrétního metodického postupu, zaručuje ale, že výzkumná agentura disponuje odpovídající strukturou pro daný typ výzkumu a je v každé fázi šetření schopna dosáhnout uspokojivé kvality.
29
5.2 Standardy odborných asociací Standardy odborných asociací poskytují rámce pro hodnocení a srovnávání kvality, definují práva klientů (i respondenta šetření) a poskytují záruky u organizací, pro něž jsou závazná. Obecnější i konkrétnější pravidla vztahující se k realizaci výběrových šetření vydává řada výzkumných mezinárodních organizací zabývajících se sociálním výzkumem. Patří k nim např. Eurostat, Mezinárodní statistický institut (ISI), OECD, OSN, Mezinárodní měnový fond (IMF) nebo Mezinárodní úřad práce (ILO) a mnoho dalších. Mimo oblast oficiálních statistik jsou zásadní zejména standardy mezinárodních oborových asociací v oblasti výzkumu trhu, výzkumu veřejného mínění a sociálního výzkumu:
ESOMAR je mezinárodní asociace sdružující odborné organizace působící v oblasti výzkumu trhu a veřejného mínění a sociálního výzkumu. Mezi jejími členy jsou producenti, distributoři i uživatelé výsledků výzkumu. Je zaměřena primárně na komerční sféru a s více než 4500 členy ve více než 100 zemích je nejvýznamnější asociací v této oblasti.
WAPOR (World Association for Public Opinion Research) sdružuje odborníky v oblasti výzkumu veřejného mínění. Působí přibližně v padesáti zemích.
V České republice standardy sociálního výzkumu prosazuje Sdružení agentur pro výzkum trhu SIMAR. To vydalo vlastní standardy, které obsahují řadu poměrně konkrétních metodických pokynů a minimální standardy a odkazuje na standardy ESOMAR a EFAMRO. Tato pravidla jsou závazná pro členské organizace SIMAR a členství v této asociaci tak představuje určitý certifikát kvality. Příklady ze standardů: Oblasti, pro něž jsou definovány kvalitativní standardy SIMAR: a) Tazatelské sítě b) Sběr a kontrola pořizovaných dat c) Kvalitativní výzkum d) Mystery Shopping e) CATI f) IN‐STORE dotazování g) Telefonické dotazování h) Prezentace výsledků marketingového výzkumu trhu i) Dotazování dětí a mládeže j) Internetový výzkum Zdroj: SIMAR. 30
Kodex ICC/ESOMAR, pravidlo 25: Výzkumník musí poskytnout klientovi všechny odpovídající technické podrobnosti o každém výzkumném projektu realizovaném pro klienta. Poznámky k aplikaci: Klient má nárok na následující informace: 1) Pozadí výzkumu: pro koho je výzkum organizován; účel výzkumu; jména smluvních partnerů a konzultantů, kteří se na výzkumu významně podíleli. 2) Výběr: popis pokrytí populace (zamýšlené a dosažené); velikost, povaha a geografická distribuce vzorku (zamýšleného a dosaženého), informace pokud některá data byla získána jen od části vzorku; podrobnosti o metodách výběru a vážení; pokud je to relevantní, údaje o návratnosti a diskuse možných odchylek (bias). 3) Sběr dat: popis metody sběru dat; popis tazatelské sítě, popis metod školení a kvalitativních kontrol při terénním sběru; metody rekrutace respondentů a charakter pobídek pro zajištění jejich spolupráce; kdy byl sběr dat proveden; případné zdroje informací mimo šetření a jejich předpokládaná reliabilita. 4) Prezentace výsledků: relevantní faktická zjištění; základy výpočtu procent (vážených i nevážených); obecné indikace předpokládaných statistických chyb a úrovně statistické významnosti u hlavních výsledků; dotazník a další relevantní použité materiály. Pravidla pro publikaci výsledků veřejného mínění v médiích (ESOMAR, WAPOR):
Zdroj: [ESOMAR 2009].
31
Použitá literatura AAPOR. 1997. Best Practices for Survey and Public Opinion Research. The American Association for Public Opinion Research. http://www.aapor.org/Best_Practices/1480.htm AAPOR. 2009. Standard Definitions. Final Dispositions of Case Codes and Outcome Rates for Surveys. The American Association for Public Opinion Research. http://www.aapor.org/AM/Template.cfm?Section=Standard_Definitions&Template=/CM/Conten tDisplay.cfm&ContentID=1819 Babbie, Earl. 2004. The Practice of Social Research. 10th ed. Belmont: Thomson Learning. Biemer, Paul P. and Lars E. Lyberg. 2003. Introduction to Survey Quality. Hoboken: John Wiley & Sons. ESOMAR. 2008. ICC/ESOMAR International Code of Marketing and Social Research Practice. ESOMAR World Research Codes and Guidelines. Amsterdam: ESOMAR. http://www.esomar.org/uploads/pdf/professional‐standards/ICCESOMAR_Code_English_.pdf ESOMAR. 2009. Notes on How to Apply the ICC/ESOMAR International Code of Marketing and Social Research Practice. ESOMAR World Research Codes and Guidelines. Amsterdam: ESOMAR. http://www.esomar.org/uploads/professional_standards/guidelines/ESOMAR_Codes&Guidelines _NotesHowToApplyCode.pdf ESOMAR/WAPOR. 2009. ESOMAR/WAPOR Guide to Opinion Polls and Published Surveys. ESOMAR World Research Codes and Guidelines. Amsterdam: ESOMAR. http://www.esomar.org/uploads/professional_standards/guidelines/WAPOR‐ ESOMAR_Guidelines.pdf ESS. 2003. Final Report: Sampling for the European Social Survey. European Social Survey Web/Norwegian Social Science Data Services. http://ess.nsd.uib.no/ (ESS Round 1 – Survey Documentation). ESS. 2008. Sampling for the European Social Survey – Round 4: Principles and requirements. Sampling Expert Panel of the ESS. London: European Social Survey (ESS). On‐line: http://www.google.cz/url?sa=t&source=web&cd=1&sqi=2&ved=0CBgQFjAA&url=http%3A%2F%2Fwww.europeansocialsurvey.org%2Findex.php%3Fo ption%3Dcom_docman%26task%3Ddoc_download%26gid%3D352%26itemid%3D80&rct=j&q=sampling%20for%20the%20European%20Social%20S urvey%20Round%204&ei=94VDTuyYLcvo-gaZxsGzCQ&usg=AFQjCNH2kgvtixaELpBMZ3Pa5G8MBLjvmQ&cad=rja
Eurostat. 2002. Quality in the European Statistical System ‐ The Way Forward. Luxembourg: Office for Official Publications of the European Communities. http://epp.eurostat.ec.europa.eu/cache/ITY_PUBLIC/KS‐45‐02‐814/EN/KS‐45‐02‐814‐EN.PDF Eurostat. 2009. ESS Handbook for Quality Reports. Luxembourg: Office for Official Publications of the European Communities. http://epp.eurostat.ec.europa.eu/cache/ITY_OFFPUB/KS‐RA‐08‐ 016/EN/KS‐RA‐08‐016‐EN.PDF Groves, Robert M. [1989, 2004]. Survey Errors and Survey Costs (Second edition). Hoboken: John Wiley & Sons. Groves, Robert M. 2006. ‘Nonresponse Rates and Nonresponse Bias in Household Surveys.’ Public Opinion Quarterly 70 (5): 646‐675. Groves, Robert M., Floyd J. Fowler, Mick P. Couper and James M. Lepkowski, Eleanor Singer, and Roger Tourangeau. 2004. Survey Methodology. Hoboken: John Wiley & Sons. Juran, J.M. and Frank M. Gryna. 1993. Quality Planning and Analysis: From Product Development Through Use. 3‐rd edition. New York: McGraw‐Hill. Kish, Leslie. 1965. Survey Sampling. New York: John Wiley & Sons. Kreidl, M. 2004. „Metody měření reliability a validity“. Socioweb. Dostupné on‐line: http://www.socioweb.cz/index.php?disp=teorie&shw=153&lst=106 32
Krejčí, Jindřich. 2008. Kvalita sociálněvědních výběrových šetření v České republice [The Quality of Social Science Sample Surveys in the Czech Republic]. Praha: Sociologické nakladatelství (SLON). Krejčí, Jindřich. 2010. “Approaching Quality in Survey Research: Towards a Comprehensive Perspective”. Sociologický časopis/Czech Sociological Review 46 (6): 1011‐1033. Lessler, Judith T. and William D. Kalsbeek. 1992. Nonsampling Errors in Surveys. New York: John Wiley & Sons. Noelleová, Elisabeth. 1968. Výzkum veřejného mínění. Praha: Nakladatelství Svoboda, Sociologická knižnice. Scheuren, Fritz. 2004. What is a Survey? American Statistical Association (ASA) and National Opinion Research Center (NORC). http://www.whatisasurvey.info/ Soukup, Petr and Ladislav Rabušic. 2007. "Několik poznámek k jedné obsesi českých sociálních věd ‐ statistické významnosti". Sociologický časopis/Czech Sociological Review 43 (2): 379‐395. STEM. 1996. Technická zpráva – Role vlády (ISSP 1996). Praha: Středisko empirických výzkumů (STEM). Tourangeau, Roger, Lance J. Rips, and Kenneth Rasinski. 2000. The Psychology of Survey Response. New York: Cambridge University Press.
33
34
Přílohy
35
PŘÍLOHA 1 ‐ Metody výběru a opory v mezinárodním srovnání Metody výběru a opory pro výběr v první vlně programu Evropský sociální výzkum (ESS) v letech 2002 až 2003 Země Belgie
Typ výběru*)
Zákl. jednotky výběru**) jednotlivci
Opora pro výběr
Národní populační registr stratifikovaný, dvoustupňový Česká rep. domácnosti stratifikovaný, seznam doručovacích míst plátců inkasa SIPO dvoustupňový (VAKUS) Dánsko prostý náhodný jednotlivci Dánský centrální registr obyvatel (CPR) Finsko jednotlivci Populační registr stratifikovaný, jednostupňový Francie domácnosti bez opory, náhodná procházka stratifikovaný, třístupňový Irsko adresy Národní volební registr stratifikovaný, třístupňový Itálie adresy volební registry stratifikovaný, čtyřstupňový Izrael domácnost telefonní seznamy (95 % domácností) stratifikovaný, třístupňový Lucembursko stratifikovaný, domácnosti Registr sociálního zabezpečení třístupňový Maďarsko jednotlivci stratifikovaný, Centrální populační registr a data Volebního dvoustupňový úřadu Německo jednotlivci stratifikovaný, místní registry (úplné, včetně cizích státních dvoustupňový příslušníků) Nizozemí domácnosti seznam poštovních doručovacích míst PTT stratifikovaný, dvoustupňový Norsko jednotlivci stratifikovaný, Populační registr BEBAS (kopie národního dvoustupňový populačního registru) Polsko jednotlivci seznamy Ministerstva vnitra stratifikovaný, jedno až dvoustupňový Portugalsko domácnosti stratifikovaný, bez opory; náhodná procházka s využitím čtyřstupňový telefonních seznamů domácnosti Rakousko stratifikovaný, Národní telefonní seznam v elektronické třístupňový podobě (zahrnuje 90 % domácností) Řecko domácnosti stratifikovaný, bez opory, výběr lokalit, pořízení soupisů třístupňový domácností v lokalitách Slovinsko jednotlivci Centrální populační registr stratifikovaný, dvoustupňový adresy seznam doručovacích míst Royal Mail Spojené stratifikovaný, království třístupňový Španělsko domácnosti Národní census a místní registry stratifikovaný, třístupňový Švédsko prostý náhodný jednotlivci populační registr Švýcarsko domácnosti stratifikovaný, telefonní seznamy (včetně adres třístupňový nepublikovaných tel. čísel) Zdroj: Autor dle European Social Survey [ESS 2003] ‐ tabulka převzata z [Krejčí 2008]. Poznámky: *) všechny výběry jsou pravděpodobnostní, **) jednotky vybírané z opory nebo jako výsledek základní procedury v procesu výběru.
36
PŘÍLOHA 2 ‐ Komentovaný příklad realizace komplexního výběru Reprodukce z knihy: Groves, Robert M., Floyd J. Fowler, Mick P. Couper and James M. Lepkowski, Eleanor Singer, and Roger Tourangeau. 2004. Survey Methodology. Hoboken: John Wiley & Sons. Pp. 125 ‐ 128.
37
Reprodukce z knihy Groves et al. [2004]
38
Reprodukce z knihy Groves et al. [2004]
39
Reprodukce z knihy Groves et al. [2004]
40
PŘÍLOHA 3 ‐ Výpadky návratnosti Klasifikace položek návratnosti definovaných AAPOR pro osobní dotazování v domácnostech 1.0 Rozhovor (respondenti) 1.10 kompletní rozhovor 1.20 částečný rozhovor*) 2.0 Platné případy, kde neproběhl rozhovor (nerespondenti) 2.10 odmítnutí a přerušení*) 2.11 odmítnutí 2.111 odmítnutí na úrovni domácnosti 2.112 odmítnutí respondentem 2.12 přerušený rozhovor*) 2.20 bez kontaktu 2.23 nedosažena budova nebo byt, nebyl možný vstup 2.24 nikdo doma 2.25 respondent pryč, nedosažitelný**) 2.30 jiný důvod 2.31 respondent zemřel**) 2.32 respondent psychicky nebo mentálně neschopen rozhovoru 2.33 jazyková nezpůsobilost 2.331 jazyková nezpůsobilost na úrovni domácnosti 2.332 jazyková nezpůsobilost respondenta 2.333 jazyková nezpůsobilost na straně tazatele 2.35 různé**) 3.0 Neznámá platnost případu, bez rozhovoru 3.10 není známo, zda se jedná o bytovou jednotku 3.11 nezpracováno 3.17 nemožno dosáhnout/nebezpečná oblast 3.18 nenalezena adresa 3.20 není známo, zda na adrese je relevantní respondent 3.21 nepodařilo se zaznamenat členy domácnosti 3.90 jiné 4.0 Neplatné případy 4.10 mimo výběr**) 4.50 není bytová jednotka 4.51 obchod, úřad, jiná organizace 4.52 instituce 4.53 skupinové sídlo 4.60 prázdná bytová jednotka 4.61 řádná, prázdná rezidence 4.62 sezónní, prázdninová, dočasná rezidence 4.63 jiné 4.70 žádný relevantní respondent**) 4.80 kvótní koncovka Zdroj: AAPOR [2006]. Poznámky: *) existuje několik přípustných postupů, jak odlišit částečně provedené interview (respondenti) od přerušeného interview (nerespondenti); **) u případů, jako např. respondent zemřel, respondent nepobývá na adrese v době výzkumu atp., je třeba předem určit, kdy se jedná o platné a neplatné případy.
41
