Kvalitativní standardy ve výzkumu veřejného mínění

Sociologický datový archiv Sociologický ústav AV ČR, v.v.i. Jilská 1, 110 00 Praha 1

Vybrané Vybrané kapitoly z výzkumu veř veřejné ejného mí mínění Kurz FSV UK, 19. 12. 2007

Kvalitativní standardy ve výzkumu veřejného mínění Jindřich Krejčí

[email protected]; SDA: http://archiv.soc.cas.cz; SOU: http://www.soc.cas.cz

Obsah ÂKvalita výběrových šetření ÂStandardy výzkumu

• administrativní normy • kritéria odborných asociací

ÂVýzkum veřejného mínění a žurnalistika ÂStandardy pro publikaci výzkumů v médiích PPT ke stažení: http://archiv.soc.cas.cz/articles/cz/71/Kvalita-ve-VVM.html

Krejč Krejčí: Kvalitativní Kvalitativní standardy ve VVM, 19. 12. 2007

2

1

Kvalita výběrových šetření: literatura Â Groves, R. M. 1987. "Research on Survey Data Quality". The Public Â Â Â Â Â Â

Opinion Quarterly 51: S156 - S172. Biemer, P. P, L. E. Lyberg. 2003. Introduction to Survey Quality. Hoboken: John Wiley & Sons. Groves, R. M. 1989. Survey Errors and Survey Costs. Hoboken: John Wiley & Sons. Anderson, R., J. Kasper, M. Frankel (eds.) 1979. Total Survey Error. San Francisco: Jossey-Bass. Lessler, J. T. and W. D. Kalsbeek. 1992. Nonsampling Errors in Surveys. New York: John Wiley & Sons. Kaase, Max (ed.) 1999. Qualitätskrieterien der Umfrageforschung Quality Criteria for Survey Research. Denkschrift Memorandum. Berlin: Akademie Verlag. Lyberg, Lars, Paul Biemer, Martin Collins, Edith de Leeuw, Cathryn Dippo, Norbert Schwarz, and Dennis Trewin (eds.) 1997. Survey Measurement and Process Quality. New York: John Wiley & Sons.


3

Co je kvalita výběrových šetření? Â metoda výběrových šetření = mnoho oborů, mnoho účelů

•

důraz na různé složky, mnoho přístupů, různé nároky

Â tradiční pojetí: přesnost měření, která je opakem chyby měření Â matematická statistika: chyba výběrová (statistická) a nevýběrová Â psychometrie: reliabilita a validita Â ... (realizátoři, analytici - vztahy, bodové odhady, redukce chyby, měření) Â selektivní přístupy: snadno měřitelné dimenze výběrové chyby; koncepty validity a relibality při konstrukci otázek...

•

přeceňování výběrové chyby: "nevýběrová chyba je asi větší", ale moc se jí nevěnujeme (viz Babbie)

•

nespolehlivost odhadů spolehlivosti, nejstota při analýze dat, neadekvátní nároky při organizaci šetření, nákladná zpracování marginálních problémů

Â praxe: vyváženější alokace zdrojů s ohledem na existenci nevýběrových chyb (viz Noelleová) Â význam nevýběrových chyb: postupné prosazování (Hansen et al., US Census) Krejč Krejčí: Kvalitativní Kvalitativní standardy ve VVM, 19. 12. 2007

4

2

Motto definic nejlepší praxe: "kvalita šetření se nejlépe posoudí nikoliv podle velikosti vzorku, tématického záběru nebo důležitosti, ale podle toho, jak mnoho pozornosti je věnováno řešení všech mnoha důležitých problémů (prevence, měření), které mohou nastat" ASA & AAPOR => komplexní strategie dosahování kvality


5

Komplexní přístup ke kvalitě Â hlavním východiskem je "použitelnost šetření"

• • • •

přesnost je náročné a drahé měřit, v praxi se to moc nedělá změření chyby po skončení šetření má omezené dopady mechanický přístup ke kvalitě nevede ke zlepšování kvality koncentrace na odhady přesnosti vede k neefektivitě

Â vícedimenzionalita Â přesnost jednou z dimenzí Â problémům je třeba předcházet Â kvalita produkce se dosahuje pomocí kvality procesu - celkový management kvality (TQM)

Â efektivita: chyby vs. náklady Â institucionalizace: statistické úřady, normy, profesionální standardy Krejč Krejčí: Kvalitativní Kvalitativní standardy ve VVM, 19. 12. 2007

6

3

Např. Eurostat Â Relevance: požadavky uživatelů Â Přesnost: blízkost výpočtů a odhadů pravdivé hodnotě Â Načasování a časová přesnost Â Dostupnost a srozumitelnost Â Srovnatelnost Â Koherence Â Efektivita

7


Přesnost Â opak chyby, hodnocena na základě velikosti chyby (bias, variable variance) Â chyby specifické pro jednotlivá měření; celková chyba je průměr (průměrná kvadratická chyba (Kisch, Andersen, Groves))

celková chyba

Â teoretický koncept, v praxi zřídka empiricky

ch. chybějících pozorování

Â řadu chyb nelze uspokojivě

ch. pozorování

měřit, ale lze jepostihnout konceptuálně

Â důvody pro odhalování: • identifikace a eliminace příčiny • odhad chyby pro analýzu • konstrukce validních indikátorů a instrumentů

chyba pokrytí populace

chyba vlivu tazatele

chyba výpadků návratnosti

chyba respondenta

chyba výběru


ch. instrumentu chyba metody sběru dat

8

4

Např. Eurostat: Klasifikace zdrojů chyb 9


language of error accuracy

measurement bias response bias

precision construct/theoret./ empirical validity reliability

sampling variance unit /item n-r.

simple resp. variance correlated resp. variance

criterion/convergent/discriminant validity


unit /item n-r.

sampling non resp. bias bias coverage bias selection bias

10

5

Důsledky nerovnoměrného prosazení konceptu Â Standarní výuka metod na univerzitě -> akademický výzkum: často selektivní přístupy (výběrová chyba, reliabilita, validita)

• •

Výuka zaostává za praxí.

•

Mezera neporozumění mezi realizátory šetření a analytiky fragmentace oboru.

•

Zadání šetření akademických výzkumů jsou z hlediska kvality neefektivní, výzkumníci nejsou schopni správně zhodnotit kvalitu produktů, o které se opírá i posouzení odměny pro realizátory šetření.

Při analýzách je věnována malá pozornost kvalitě zpracovávaných dat také proto, že analytici si často něvědí s jejím posouzením rady. Posouzení často založeno na mylných předpokladech.


11


12

6

Standardy kvality - administrativní normy

www.iso.org

Â opora zákazníkům na trhu pro posouzení kvality Â opora pro reklamace Â samoregulace oboru Â skupina ISO 9000: management kvality, resp. řízení jakosti (ČSN) v obchodních vztazích (business-to-business)

• • •

TQM atest struktury řízení - schopnost dosahovat kvalitu, aplikace regulačních mechanismů, kontinuální zdokonalování definice dimenzí kvality, rozfázování procesu, pravidla, kontrolní body, ...

Â ISO 20252:2006 pro výzkum trhu, veřejného mínění a sociální výzkum

• • • • •

co je zadavatel výzkumu oprávněn žádat od realizátora; co přesahuje pravidla vzájemných vztahů, etiky v jednotlivých etapách přípravy, realizace a prezentace výsledků výzkumu; co musí jednoznačně výzkum splnit; co musí zadavatel výzkumu poskytnout zpracovateli neřeší podrobnosti metodiky


13

Standardy kvality - profesní asociace Â ISI, ILO, OECD, UNSC ... Â Eurostat -> evropský statistický systém, ČSÚ Â ESOMAR, http://www.esomar.org Â WAPOR, http://www.wapor.org Â EFAMRO, http://www.efamro.com Â MRQSA Â AAPOR, http://www.aapor.org (WAPOR, ISSP, ESS...) Â DFG [Kaase 1999] Â SIMAR, http://www.simar.cz Â etické standardy, obecná pravidla, vztahy: agentura - klient, agentury navzájem, výzkumník - respondent

Â metodika: minimální standardy, definice nejlepšího nebo dobrého standardu Krejč Krejčí: Kvalitativní Kvalitativní standardy ve VVM, 19. 12. 2007

14

7

ESOMAR Â ICC/ESOMAR International Code of Marketing and Social Â Â Â Â

Research Practice Notes on applying the Code Conducting research using the Internet Customer satisfaction studies ESOMAR/WAPOR guide to opinion polls

• • •

Â Â Â Â Â Â

A summary about the democratic value of opinion polls, for politicians and the general public FAQs for the media and the general public Key principles with ESOMAR’s code on publishing opinion poll results and guidelines on the practical aspects of conducting pre-election polls, for researchers

How to commission research Interviewing children and young people Maintaining distinctions between marketing research and direct marketing Mystery shopping Pharmaceutical marketing research Tape and video recording and client observation of interviews and group discussions Â Arbitration service personal data protection Â Disciplinary procedures

ISO 20252:2006

15


Kodex ICC/ESOMAR, pravidlo 25: Výzkumník musí poskytnout klientovi všechny odpovídající technické podrobnosti o každém výzkumném projektu realizovaném pro klienta. Poznámky k aplikaci: Klient má nárok na následující informace: 1)Pozadí výzkumu: pro koho je výzkum organizován; účel výzkumu; jména smluvních partnerů a konzultantů, kteří se výzkumu významně podíleli. 2)Výběr: popis pokrytí populace (zamýšlené a dosažené); velikost, povaha a geografická distribuce vzorku (zamýšleného a dosaženého), informace pokud některá data byla získána jen od časti vzorku; podrobnosti o metodách výběru a vážení; pokud je to relevantní, údaje o návratnosti a diskuse mžných odchylek (bias). 3)Sběr dat: popis metody sběru dat; popis tazatelské sítě, popis metod školení a kvalitativních kontrol při terénním sběru; metody rekrutace respondentů a charakter pobídek pro zajištění jejich spolupráce; kdy byl sběr dat proveden; případné zdroje informací mimo šetření a jejich předpokládaná reliabilita. 4)Prezentace výsledků: relevantní faktická zjištění; základy výpočtu procent (vážených i nevážených); obecné indikace předpokládaných statistických chyb a úrovně statistické významnosti u hlavních výsledků; dotazník a další relevantní použité materiály. Krejč Krejčí: Kvalitativní Kvalitativní standardy ve VVM, 19. 12. 2007

Zdroj: ICC/ESOMAR [ESOMAR 1995, 2001]. 16

8

České firmy uvedené v adresáři ESOMAR, pro něž je závazný Kodex ICC/ESOMAR. Data Collect, s. r. o. Factum Group s.r.o. Factum Invenio, s.r.o. GfK Praha, s.r.o. IBRS - International Business and Research Services IMAS International Ipsos Tambor Mareco Ltd. Median s.r.o Mediaresearch, a. s. Millward Brown Czech Republic Psyma Praha s.r.o. RCA Research, spol. s r.o. Research International Opinion Window SC&C s.r.o. Synovate TNS AISA Ltd.

Zdroj: ESOMAR Directory of Research Organisations. Informace aktuální k 26. 7. 2007.


17


18

9

Sdružení agentur pro výzkum trhu SIMAR

Oblasti, pro něž jsou definovány kvalitativní standardy SIMAR: a)Tazatelské sítě b)Sběr a kontrola pořizovaných dat c)Kvalitativní výzkum d)Mystery Shopping e)CATI f)IN-STORE dotazování g)Telefonické dotazování h)Prezentace výsledků marketingového výzkumu trhu i)Dotazování dětí a mládeže j)Internetový výzkum Členové SIMAR v roce 2007: AVE MARKETING, s.r.o. CONFESS RESEARCH, s.r.o. (přidružený člen) GFK PRAHA, s.r.o. INCOMA RESEARCH, s.r.o. IPSOS TAMBOR, s.r.o. MEDIAN, s.r.o. MILLWARD BROWN CZECH REPUBLIC, s.r.o. NETWORK MEDIA SERVICE, s.r.o. OPINION WINDOW RESEARCH INTERNATIONAL, s.r.o. STEM/MARK a.s. XUXA, s.r.o. (přidružený člen)


19

Pravidla SIMAR - např. Tazatelské sítě Â 1. ZÍSKÁVÁNÍ A ŠKOLENÍ TAZATELŮ

• • • • • • • •

1.1. Tazatelem členské agentury SIMAR se může stát pouze osoba 1.2. Obecné zásady pro přípravu tazatelů 1.3. Vstupní školení pro nové tazatele 1.4. Obsah vstupního školení pro nové tazatele 1.5. Testovací práce 1.6. Evidence tazatelů 1.7. Tazatelský průkaz 1.8. Tazatelské příručky

Â 2. PRŮBĚH TERÉNNÍCH PRACÍ

• • •

2.1. Údaje o práci tazatele 2.2. Známkování práce tazatelů 2.3. Identifikační údaje


20

10

Např. 1.4. Obsah vstupního školení pro nové tazatele Vstupní školení tazatelů musí zahrnovat základní okruhy uvedené v obsahu tazatelských příruček /manuálů, (viz. část 1.8.) a to nejméně : • informace o školicí agentuře a jejím působení • smysl cíle výzkumu trhu / veřejného mínění • etické zásady dotazování v souladu s Kodexem ESOMAR • význam přesného dodržení technických postupů, etických zásad výzkumu trhu a veřejného mínění a práce s daty • etické zásady dotazování specifických skupin (děti, nemocní apod.) • záruky důvěryhodnosti, anonymity dotazování a ochrany osobních údajů dotázaných • vysvětlení typu šetření, s nímž se tazatel ve své činnosti může setkat • způsoby výběru respondentů (kvótní a náhodné výběry) • techniky dotazování • využití děkovacích dopisů / děkovacích karet a tazatelských průkazů • využívání tazatelských příruček • způsob hodnocení práce tazatelů • informace o způsobu odměňování • způsoby kontroly práce tazatelů Krejč Krejčí: Kvalitativní Kvalitativní standardy ve VVM, 19. 12. 2007

21


22

11


23

standards for minimum disclosure •who sponsored the survey, and who conducted it; •the purpose of the study, including specific objectives; •the questionnaire and/or the exact, full wording of all questions asked, including any visual exhibits and the text of any preceding instruction or explanation to the interviewer or respondents that might reasonably be expected to affect the response; •a definition of the universe the population under study which the survey is intended to represent, and a description of the sampling frame used to identify this population (including its source and likely bias); •a description of the sample design, including cluster size, number of callbacks, information on eligibility criteria and screening procedures, method of selecting sample elements, mode of data collection, and other pertinent information; •a description of the sample selection procedure, giving a clear indication of the methods by which respondents were selected by the researcher, or whether the respondents were entirely self-selected, and other details of how the sample was drawn in sufficient detail to permit fairly exact replication; •size of samples and sample ddisposition theresults of sample implementation, including a full accounting of the final outcome of all sample cases: e.g., total number of sample elements contacted, those not assigned or reached, refusals, terminations, non-eligibles, and completed interviews or questionnaires; •documentation and a full description, if applicable, of any response or completion rates cited (for quota designs, the number of refusals), and (whenever available) information on how non respondents differ from respondents; •a description of any special scoring, editing, data adjustment or indexing procedures used; •a discussion of the precision of findings, including, if appropriate, estimates of sampling error withreferences to other possible sources of error so that a misleading impression of accuracy or precision is not cconveyed and a description of any weighting or estimating procedures used; •a description of all percentages on which conclusions are based; •a clear delineation of which results are based on parts of the sample, rather than on the total sample; •method(s), location(s), and dates of interviews, fieldwork or data collection; •interviewer characteristics; •copies of interviewer instructions or manuals, validation results, codebooks, and other important working papers; any other information that a layperson would need to make a reasonable assessment of the reported findings. Krejč Krejčí: Kvalitativní Kvalitativní standardy ve VVM, 19. 12. 2007

24

12

Výzkumy a média Â největší uplatnění VVM je v médiích Ideál zprávy vs. výzkumná informace: Â téma:

• •

události Î dopady, předpovědi pořádání permanentních kvazivoleb

Â aktuálnost (jednoduchá metodika, rychlá analýza) Â limitovaný rozsah, široká srozumitelnost - jednoduchost Â objektivita zprávy: fakta (čísla) Â dopady:

• • •

tabulka s procenty a komentářem na přední straně záměny aktuálních preferencí za předpovědi analýza občas uvnitř listu

Â žurnalistika dostihových závodů Krejč Krejčí: Kvalitativní Kvalitativní standardy ve VVM, 19. 12. 2007

25

Â Dva zdroje chyb výsledků šetření:

• •

metodiky a jejich implementace: producenti interpretace a použití dat (procenta nejsou žádný výzkum nezbytná teorie - znalostní zázemí problematiky): producenti a sekundární zpracovatelé (novináři)

Â Publikace v médiích - nejrozšířenější chyby jsou úplně banální

• •

Procenta nelze srovnávat jako absolutní četnosti. Je důležité jaká skupina tvoří celek 100 %. Preference automaticky nepředstavují volební prognózu.

Â Zpětný dopad na kvalitu výzkumu: kvalitu v tržních podmínkách nelze trvale dosahovat, pokud na straně odběratelů chybí kompetence kvalitu rozlišit => nevzniká tlak na dosahování kvality produkce

Â ESOMAR, WAPOR: publikace VVM v médiích problém pro celý obor sociálního výzkumu


26

13

Co s tím? Â soutěž na trhu a informovaní odběratelé informací Â standardy: ESOMAR - specifický standard pro VVM pro producenty i novináře - odpovědný producent, ale i klient Â minimální standardy pro publikaci včetně publikace v médiích ESOMAR/WAPOR guide to opinion polls Â VVM a demokracie Â FAQ (jak poznat (ne-)kvalitu a manipulaci ve výzkumu) Â Pravidla pro publikaci výsledků Â Praktické aspekty realizace předvolebních výzkumů a exit-pollů


27

Pravidla pro publikaci výsledků VVM (ESOMAR) - příklad


28

14

Specifikace ustanovení


29

Příklady dalších ustanovení pro publikaci VVM

Příklad ustanovení pro realizaci předvolebních VVM


30

15

Literatura Â Krejčí, Jindřich. 2005. "Problémy s volebními průzkumy". Politologický časopis 12 (3): 239-258. Â Krejčí, Jindřich (ed.), Oľga Gyarfášová, Dominique Joye, František Kalvas, Martin Kreidl, Vladimír Krivý, Daniel Kunštát, Tomáš Lebeda, Yana Leontiyeva, Klára Plecitá-Vlachová 2004. Kvalita výzkumů volebních preferencí. Praha: Sociologický ústav AV ČR.


31


32

16

Kvalitativní standardy ve výzkumu veřejného mínění

Recommend Documents