Het Pretesten van vragenlijsten in de dagelijkse praktijk NPSO 17 mei – Henk Foekema
Pilot versus pretest
Het testen van vragenlijsten in de dagelijkse praktijk >
Technische fouten – inhoudelijke fouten
Technische fouten
Opvallend
Inhoudelijke fouten
Minder opvallend
Het testen van vragenlijsten in de dagelijkse praktijk >
3
Pretesten bij online en schriftelijke enquêtes belangrijker dan bij CAPI/CATI?
Het testen van vragenlijsten in de dagelijkse praktijk >
4
Pretesten ten aanzien van tijdsduur
Belangrijk voor: respondent enquêteur opdrachtgever bureau respons
Het testen van vragenlijsten in de dagelijkse praktijk >
5
Belangrijkste tips bij testen: gebruik je gezonde verstand Lees een vragenlijst goed door Kijk door de bril van je doelgroep! Neem opmerkingen van dataprocessors en veldwerkmensen heel serieus
Het testen van vragenlijsten in de dagelijkse praktijk >
6
Hoe de vragenlijsten te testen
Goed tegenlezen Met behulp van kwalitatieve technieken Met behulp van software Met behulp van kwantitatieve technieken
Het testen van vragenlijsten in de dagelijkse praktijk >
7
Goed tegenlezen (1)
Onbegrijpelijke woorden, jargon? Onhandige opzet? Inschatting van de lengte Gevoeligheid van onderwerp en vragen Wel of niet randomiseren? Vragen die (mogelijk) vergeten zijn? Non respons codes? Open vraag of voorcoderen?
Het testen van vragenlijsten in de dagelijkse praktijk >
8
Goed tegenlezen (2)
De fouten uit het boekje: impliciete vragen dubbele ontkenningen twee vragen in één sturende vragen multi-interpretabele vragen niet elkaar uitsluitende categorieën niet aansluitende categorieën
Het testen van vragenlijsten in de dagelijkse praktijk >
9
Kwalitatief onderzoek bij pretesten Het testen van vragenlijsten in de dagelijkse praktijk
Wanneer
(Volledig) nieuwe vragenlijst Doelgroep waarin je je moeilijk kunt verplaatsen Jargon, open deuren Aanvullen van vragen, antwoordcategorieën Gevoelige onderwerpen Ook: testen van communicatie om onderzoek heen (aankondigingsbrieven etc.)
Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten
11
Voorbeeld
Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten
12
Werkwijze (1)
Single interviews 10 à 15 proefpersonen, soms minder Meestal ca. 45 minuten Soms: nadruk op lager opgeleiden Recrutering: selectiebureau, database, opdrachtgever Op het bureau (face-to-face) of telefonisch
Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten
13
Werkwijze (2)
Gehele vragenlijst of delen vragenlijsten? Van te voren invullen of tijdens de pilot zelf? Suggesties (laten) geven? Fasering?
Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten
14
Uitdagingen bij kwalitatief pretesten
Niet het leukste type onderzoek voor de respondent Voelt aan als een soort overhoring, test Laagopgeleiden kijken tegen het onderzoek op; Experts kijken er wel eens op neer Respondenten willen zich bewijzen Belangrijk is samenspel tussen opdrachtgever, algemeen projectleider en kwalitatieve onderzoeker
Het testen van vragenlijsten in de dagelijkse praktijk > Kwalitatief onderzoek bij pretesten
15
Software en het checken op technische fouten Het testen van vragenlijsten in de dagelijkse praktijk
Software en het checken op technische fouten
Dummy data ‘checkmodule’ Fasering bij het uitzetten Eerste data meteen bekijken Expliciet om opmerkingen en waardering vragen
Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten
17
Voorbeeld
Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten
18
Dummy data – bij ingewikkelde routing
Is routing correct Geen lege velden Correcte intervallen numerieke variabelen Vragen met meervoudige antwoorden Ook voor open vragen en half open vragen Rekenkundige checks
Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten
19
Softwarematige checks
Overschrijvingen van kolommen Ophalen van informatie uit andere delen van de vragenlijst Te weinig posities voor het antwoord Tijdsregistraties (tussentijden per onderdeel)
Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten
20
Kwantitatieve technieken
Vragenlijst zodanig inrichten dat alleen op de inhoudelijke begrijpelijkheid wordt gelet Checken of een vragenlijst niet te gevoelig ligt of te belastend is Werkt de vragenlijst (validatie) Meeluisteren
Het testen van vragenlijsten in de dagelijkse praktijk > Software en het checken op technische fouten
21
