Tvorba a použití dotazníku

Tvorba a použití dotazníku (s příkladem využití ve výzkumném projektu vlády USA)

Michaela Brtníková, PhD Children’s Outcomes Research Program

absolventka doktorského studia Kinantropologie na UK FTVS v Praze v r. 2009 školitelka: doc. PhDr. Viléma Novotná, Katedra gymnastiky

Dotazník 

Kvantitativní výzkum



Hromadné získávání údajů



Typy dotazníků 

Osobně (tváří v tvář)



Telefonem



Písemně (vlastnoručně vyplněný)



Internet

Volba typu dotazníku 

Charakteristika zvolené populace (vzdělání, věk atd.)



Složitost odpovědí (čas na vyhledání odpovědi)



Výběr zvolené populace



Čas a dostupné prostředky

Internet         

Nízká cena (téměř zadarmo) Velmi rychlá návratnost (minuty, hodiny, dny) Nutný přístup na internet 100% dotazovaného souboru Aktualizovaný seznam emailových adres Široké pokrytí (možné i celosvětové dotazníky) Nutná gramotnost, znalost práce na PC Důležité přesvědčit dotazované, aby dotazník vyplnili Důležitý vzhled dotazníku – jednoduchost vyplňování Podle současných zkušeností je nízká návratnost dotazníků pokud soubor dotazovaných není motivován tématem (lze eliminovat předchozím náborem účastníků)

Písemný dotazník          

Poměrně nízký rozpočet (poštovné + tisk) Poměrně nízká návratnost (25%-50%) Často nevyplněné položky Délka dotazníku co nejkratší (cca 10min) Nelze regulovat (pořadí vyplněných otázek, kdo vyplní atd.) Gramotnost, zrak Nelze dále vysvětlit, doplnit Trvá minimálně 6 týdnů, pokud je poslaný poštou Nutnost přesných poštovních adres celého souboru Způsob zachování anonymity

Osobní dotazování       

Finančně náročné Nejvyšší návratnost (85%+) Nejvíce reprezentativní Nejpřesnější, nejúplnější výsledky Lze realizovat i delší rozhovory (získat více dat) Lze regulovat pořadí otázek, vysvětlit Pomalý proces

Telefonní dotazník          

Poměrně finančně náročný Většinou 12-20 pokusů na jeden hovor Návratnost 45-85% Vysoká přesnost získaných dat Lze regulovat pořadí otázek Poměrně rychlý průběh Lze využít automatizované telefonáty Výběr dotazované populace může být složitý a finančně náročný Nepřesnosti - domácí telefonní linky/mobil Nižší návratnost u mladší dospělé populace a u můžů

Problémy telefonního dotazníku 

Chybějící telefonní čísla



Blokování určitých hovorů



Hlasová schránka



Mobilní telefony



Telefonní seznamy (neúplné)

Využití osobního dotazování 

Vysoké požadavky na dotazovatele (externí spolupracovníci)



Umožňuje snadné získání dat (negramotní, bez telefonu, nemocní atd.)



Malé území (menší celková populace pro zevšeobecnění)

Využití telefonního dotazování 

Vysoké nároky na kvalitu dotazovatele



Záběr větší populace (území)



Lze zahrnout i negramotné



Středně cenově náročné

Využití písemného dotazníku       

Většinou homogenní populace Seznam adres Nutné finanční prostředky Anonymita důležitá Nutná přehledná a jednoduchá forma Méně dat Gramotná populace

Využití internetového dotazníku       

Nutný kvalitní seznam aktualních emailových adres Gramotná a vzdělaná populace Zájem přispět na dané téma Předchozí souhlas účastníků Finančně nenáročné Uzavřené otázky Velmi rychlý průběh

Kombinace typů dotazníku 

Nejlépe začít levnějším typem



U časově náročných profesí je lépe začít poštou, pak telefonem



Domácnosti oslovovat lépe telefonem a pak osobně (jsou i domácnosti bez telefonu)



Pre-test osobně, post-test telefonem



Lze nabídnout dotazovanému co preferuje (poštu, internet, telefon či osobně)

Tvorba dotazníku 1.

Studium literatury: současné poznatky na dané téma

2.

Hledání standardizovaného dotazníku

3.

Tvorba dotazníkových položek, popř. celého dotazníku

4.

Pre-test mezi odborníky (n = 8 - 10)

5.

Pilotní studie (40 - 50)

6.

Revize a poslední úpravy

Standardizované dotazníky/otázky 

Měří přesně co chceme



Dobře vytvořené položky



Mají změřenou reliabilitu a validitu

Tvorba otázek 

Získání informace, kterou chceme



Všichni dotazovaní pochopí otázku stejně



Všichni dotazovaní jsou schopni odpovědět přesně



Všichni dotazovaní jsou ochotni odpovědět

Základní principy tvorby otázek 

Volba jednoduchých a vystižných slov



Vyvážené fráze (ani pozitivní ani negativní)



Pouze otázka na jeden problém (vyvarovat se “a”, “či”)



Krátké věty



Pořadí od jednoduchých otázek k tématu pro složitější či méně příjemné otázky



Pokud více témat, oddělit, uvést a vysvětlit nové téma (otázky ve skupinách podle tématu)

18

Odpovědi 

Kategorie odpovědí pomáhají vysvětlit záměr otázky



Musí být vyčerpávající



Nesmí se překrývat



Vyvarovat se formy: “zaškrtněte všechny správné odpovědi”

19

Typy odpovědí 

Bipolární (ano - ne)



Škály:

• Likertova (vyjadřuje míru souhlasu) • Frekvence (nikdy – někdy – většinou - vždy)

• Intenzita (vůbec ne – mírně – středně - velmi)

20

Úvodní otázky 

Zajímavé (respondent chce odpovědět na otázky)



Šance pro dotazovaného vyjádřit svůj názor a „být vyslyšen“



Příprava na složitější či méně příjemné otázky

Vzhled dotazníku 

Musí vypadat profesionálně



Jednoduchá orientace



Respondent musí věřit, že vyplňuje dotazník pro důležitou studii



Ne příliš hustý text („bílá“ místa jsou důležitá)



Velikost písma (lehce čitelná)



Využít tučné, podtržené písmo, kurzívu (přiměřeně, konzistentně) 22

Struktura dotazníku 1.

Úvod (název, cíl, instrukce)

2.

Otázky (dílčí instrukce)

3.

Závěr (poděkování, instrukce, kam vyplněný dotazník odevzdat/poslat)

23

Pre-test a pilotní šetření 

Pre-test (6 - 8 respondentů)



Pilotní šetření (40 - 50 respondentů)



Ujistit se, zda dotazující rozumí otázkám



Ujistit se, zda je dotazník přehledný



Odhad návratnosti



Zjištění otázek se špatnou distribucí odpovědí

24

Administrace dotazníku 

Dillmanova metoda (5 kontaktů): 

Oznamovací dopis



Dotazník s průvodním dopisem (4 - 7 dní)



Pohled s poděkováním (7 dní)



Připomínka s další kopií dotazníku



Kontakt jiným typem dotazníku (telefon, osobně)

Zvýšení návratnosti 

Různý typ dotazníku (email - poštou - telefonem)



Změna vzhledu (barva/velikost obálky, průvodní dopis)



Odměna (finanční, zahrnutí do losování o ceny atd.)



Poštovní známka



Ručně napsaná adresa

26

Odměna 

Slíbení 50 dolarů - návratnost 57%



Přiložená 1 dolarová bankovka - 64%



Přiložená 5 dolarová bankovka - 72%



Věcný dar (zvýší pozornost, ale jinak nedoporučeno)



Není potřeba přiložit peníze s každou připomínkou



Slíbení finanční odměny či zahrnutí do losování o věcné ceny nezvýší návratnost 27

Návratnost dotazníků 

Počet vyplněných dotazníků/počet dotazovaných



Čím menší návratnost, tím větší chyba měření



Čím větší návratnost, tím víc je soubor dotazovaných reprezentativní (menší chyba měření, přesnější výsledky)



Přímo úměrná efektivitě vynaložených prostředků

28

Počet odpovědí X návratnost 

Počet vyplněných dotazníků je důležitý pro určení konfidenčního intervalu



Vysoká návratnost je důležitá pro snížení chyby měření



Velký počet vyplněných dotazníků (např. 1000) může zaručit velmi malý konfidenční interval, ale nemůže vyvážit malou návratnost



Potřeba porovnat respondenty s non-respondenty 29

Výběr souboru dotazovaných 

Závisí na výzkumných otázkách, cílech



Poměr počtu dotazovaých k velikosti měřené populace nemá vliv na přesnost dat (pokud soubor dotazovaných není < 100)



Náhodný výběr (pokud chceme generalizovat)



Porovnat respondenty s non-respondenty

30

PŘÍKLAD - Výzkumný tým Allison Kempe, MD, MPH Lori Crane, PhD, MPH Mandy Allison, MD, MSPH Laura Hurley, MD, MPH Shannon Stokley, MPH Sean O’Leary, MD, MPH

Brenda Beaty, MSPH Michaela Brtníková, PhD Andrea Clinger, MPH Megan Snow, MS Miriam Dickinson, PhD

Ve spolupráci s Centers for Disease Control and Prevention

Projekt SIP grant 

Financován prostřednictvím Rocky Mountain Prevention Research Center



Čtyřletý projekt: září 2010 - 2014



1,2 milionů dolarů

Výzkumný záměr Zjistit od lékařů v USA prostřednictvím dotazníků aktualní praxi ohledně očkování 2 - 3 dotazníky ročně Za použití tzv. “sentinel site network” – nejvyšší a nejrychlejší návratnost

Databáze Náhodný výběr jmen z národních organizací lékařů v USA (AAP, AAFP and ACP) Informační dopis a krátký dotazník Vyřadit lékaře, kteří pracují < 50% v primární péči, pracují mimo USA, jsou studenti-rezidenti Matice předpokládaných poměrů následujících proměnných v celé USA: – Region USA (sever, jih, východ, západ) – –

Lokalita (město, předměstí, venkov) Typ ordinace (soukromá, síť ordinací, /univerzitní/ nemocnice)

Matice (N=440)

Sever

Region

Jih Východ

Západ Město

Předměstí

Lokalita

Venkov

Tvorba databáze Cíl: Každou buňka 90% - 110% potřebného poměru Přeplněné buňky (>110%): – použité pro skupinu pilotního šetření (email) – odstranění náhodným výběrem

Email VoviciTM  Internetová adresa pro vyplnění dotazníku  Připomínka zaslána každé 3 dny (6 pokusů), poté jednou týdně (2 pokusy)  Pokud nedošla žádná odpověď, zaslán dotazník poštou (2 pokusy) • Písemný dotazník, průvodní dopis a dotaz, zda email došel, správnost adresy a preference pro budoucí komunikaci

Písemný dotazník  Oznamovací dopis  za 3 dny dotazník s průvodním dopisem a oznámkovanou obálkou  za 4 dny pohled s připomínkou  Připomínky s kopií dotazníku každé 2 týdny (celkem 3 pokusy)  Pokud je nízká návratnost, poslat ručně napsanou obálku jiné barvy + nový průvodní dopis

SUMMARY OF SURVEYS Survey Name

Vaccine Financing Topics

Use of Barcodes on Vaccines

Adult Immunization and Preventive Care Parental Requests to Spread Out the Vaccine Schedule

Date

Sentinel Network

Response Rate

4/2011

Peds FM

68% Peds 71% FM

9/2011

Peds FM GIM

71% Peds 66% FM 71% GIM

3/2012

FM GIM

62% FM 79% GIM

6/2012

Peds FM

68% Peds 61% FM

For a summary of all of our surveys, abstracts and publications, please visit our website at: www.ucdenver.edu/VPCI

Zahraniční Literatura • Don Dillman, et al: Internet, Mail, and Mixed-Mode Surveys: The Tailored Design Method, 2008.

• Lu Ann Aday: Designing and Conducting Health Surveys: A Comprehensive Guide, 2006 • Johnny E. Blair, Ronald F. Czaja and Edward A. Blair: Designing Surveys: A Guide to Decisions and Procedures, Apr 16, 2013

Dotazy?