Copyright informatie Dit document bevat een aantal uitkomsten van het Nederlands Online panel vergelijkingsonderzoek (NOPVO) welke zijn gepresenteerd op de openbare bijeenkomst ‘Online panels, goed bekeken” georganiseerd op 14 september 2006 te Utrecht. Het is alleen toegestaan naar bepaalde gegevens uit dit onderzoek te verwijzen indien de volgende brongegevens vermeld worden: - titel: Uitkomsten Nederlands Onlinepanel Vergelijkingsonderzoek (NOVPO). 2006 - bronlocatie: www.moaweb.nl/nopvo - auteurs: T. Vonk, P.Willems, R. van Ossenbruggen Correspondentie:
[email protected] tel. 030 - 2970372
Nederlands Online Panel Vergelijkings Onderzoek (NOPVO)
Online panels goed bekeken
14 september 2006 Projectteam NOPVO
NOPVO 2006 Projectteam Robert van Ossenbruggen
ProCression
Ted Vonk
Onderzoekpaleis
Pieter Willems
Millward Brown
Projectmanager Maaike Vonk Hosting dataverzameling NEBU
Stadspeil
Sessie 3 Hoe reageren panelleden op een vragenlijst?
Agenda sessie 3: Hoe reageren panelleden op een vragenlijst? • Tijdstip/dag van invullen • Snelheid van invullen • Respons naar achtergrondkenmerken • De kwaliteit van het beantwoorden van een vragenlijst
Gastspreker Ineke Stoop “Hoge respons en zelfselectie respondenten”
Binnen 24 uur 75% van vragenlijsten ingevuld
Donder da g
Vrijdag
Zaterdag
Zondag
Maandag
Dinsdag
Woensdag
Eindtotaal
01.00 - 07.00
0%
4%
4%
2%
1%
4%
5%
2%
07.00 - 09.00
0%
9%
5%
3%
5%
6%
4%
4%
09.00 - 12.00
0%
23%
20%
21%
22%
17%
17%
11%
12.00 - 14.00
1%
11%
13%
17%
11%
12%
13%
7%
14.00 - 17.00
34%
17%
20%
17%
17%
13%
19%
26%
17.00 - 20.00
28%
16%
16%
17%
18%
16%
14%
22%
20.00 - 23.00
32%
13%
13%
18%
21%
21%
24%
23%
23.00 - 01.00
5%
6%
8%
5%
5%
12%
4%
6%
Totaal
50%
27%
8%
6%
5%
3%
1%
100%
Tijdstip invullen
Groot deel vragenlijsten wordt op werk(-tijden) ingevuld Selectie: Doet betaald werk voor meer dan 15 uur per week Tijdstip invullen vragenlijst op werkdagen
Donderdag
Vrijdag
Maandag
Dinsdag
Woensdag
Totaal
01.00 - 07.00
0%
5%
1%
3%
5%
2%
07.00 - 09.00
0%
9%
6%
5%
6%
4%
09.00 - 12.00
0%
21%
20%
18%
13%
9%
12.00 - 14.00
1%
10%
10%
13%
9%
5%
14.00 - 17.00
30%
16%
17%
11%
20%
24%
17.00 - 20.00
30%
17%
18%
18%
18%
24%
20.00 - 23.00
34%
16%
23%
22%
26%
27%
23.00 - 01.00
6%
6%
4%
10%
4%
6%
Totaal
100%
100%
100%
100%
100%
100%
Aandeel ingevulde vragenlijsten
50%
27%
5%
3%
1%
86%
Tijdstip invullen
let op: uitnodigingen zijn vanaf donderdagmiddag verstuurd
Benodigde invultijd varieert over panels: wijst op andere gedrag Interviewduur x panel (n=4 extreme waarden) 14 12 10 %
8 6 4 2 0 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
duur (in minuten) M=15
internetgebruik p. week doe mee uit interesse doe mee voor beloning aantal panels lid aantal reclames gezien bekendheid merken
M=10,9
M=11,5
M=14
2 snelste panels
2 langzaamste panels
14,3 en 15,3 uur 31%, 40% 40%, 44% 5,3 en 5,4 4,1 en 4,4 geen effect
7,9 en 8,5 uur 50%, 54% 11%, 25% 1,7 en 2,4 5,3 en 5,5
Meervoudige panelleden werken sneller
van 5 panels lid
Interviewduur x aantal panels lid
14 12
%
10 8 6 4
van 1 panel lid
2 0 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
duur (in minuten) 1 panel (M=13,1)
2-4 panels (M=12,4)
• Gemiddelde invultijd • Lid van 1 panel :13,5 minuten • Lid van 2-5 panels: 12,9 minuten • Lid van 6-10 panels:
11,9 minuten
• Lid van 11 of meer panels:11,2 minuten
5+ panels (M=11,5)
20
21
22
23
24
25
26
27
28
29
30
Geen sterk effect zichtbaar voor interviewdag Interviewdag x aantal panels lid 100 80
%
60 40 20 0 start
do 27-4
vrij 28-4
zat 29-4
1 panel
zon 30-4
2-4 panels
ma 1-5
di 2-5
wo 3-5
5+ panels
Interview dag naar lidm aatschap aantal panels Gem iddeld aantal panels w aar m en lid van is 1e dag
3,52
2e dag
3,17
3e dag
2,94
4e dag
2,85
5e dag
2,81
6e dag 7e dag
2,65 2,43
<-
= 75% van de response
do 4-5
Het beter responderende panellid is…. • Vrouw • Boven de 50 • Hoger opgeleid
Respons NOPVO naar geslacht respons %
Respons NOPVO naar hoogst genoten opleiding
Man
48% Basis onderw ijs
44% respons %
LBO/VMBO
Vrouw
53% Mavo
51%
MBO
50%
Havo/VWO
HBO Wetenschappelijk
Respons NOPVO per leeftijdscategorie respons % 18 - 24 jaar 25 - 34 jaar 35 - 49 jaar 50 - 65 jaar
49%
44% 48% 51% 57%
54% 52%
51%
Kwaliteit van data o.a. afhankelijk van: • Effort in open antwoorden • Neiging tot gebruik categorie ‘wil niet zeggen’ • Neiging tot gebruik categorie ‘weet niet’ • ‘Doorklikkers’: respondent die op reeks schalen iedere keer hetzelfde antwoordt • Neiging tot gebruik van neutrale antwoorden • Noemen van niet bestaande merken
Open antwoorden: van één woord tot een opstel (1/2) • Open vraag: Waarom geeft u het beleid van het huidige kabinet een
? Wat vindt u goed en niet goed aan het beleid van het huidige kabinet?
aantal woorden toelichting
Open antwoorden: van één woord tot een opstel (2/2) • Eén op 8 maakt zich hier makkelijk tot zeer makkelijk van af (1 of 24 woorden) • Maar ook: hele lange verhalen!
zeer kort: 1 woord
kort: 2-4 woorden
zin: 5-30 woorden
63%
verhaal: 31 of meer woorden 5% >80 woorden!
58% 52%
35% 26% 20% 10% 2% min
5%
tot
max
7%
min
11%
tot
14%
max
min
tot
max
min
tot
max
TOMA: 1 op 8 houdt het bij 1 merk voor gezien • Gevraagd: Welke biermerken kent u, al is het alleen maar van naam? tot: 13%
Luie en actieve panels? • Wederom: substantieel deel kent heel weinig biermerken… • …of houdt het snel voor gezien? • Maar ook zéér lange merkenlijsten • Vraag: meten we spontane bekendheid of moeite? 1
2-3
4-8
9-15
16+
80% Aantal spontaan genoemde biermerken
60%
51% 46% 40%
40% 24%
21% 20% 9%
13%
23%
18%
18%
14%
13% 1%
4%
8%
0% min tot max
min tot max
min tot max
min tot max
min tot max
‘Wil niet zeggen’: politiek wel, etniciteit niet • 7 vragen met ‘wil niet zeggen’ categorie • stemgedrag/intentie: 4 • geboorteland zelf/vader/moeder: 3 • Regelmatig ‘wil niet zeggen’ bij politieke vragen maar nauwelijks bij etniciteit • omdat dit geen gevoelig punt is? • of omdat we geen etnische diversiteit in panels hebben?
Weinig ‘doorklikkers’ te constateren • ‘Doorklikker’: respondent die op reeks schalen iedere keer hetzelfde antwoordt • Hoe gaat dat bij lange(re) stellingenblokken?
saboteurs? 30%
20% 12% 10% 5%
7%
7% 2%
3% 0%
1%
2%
0% doorklik Balkenende
doorklik eigen buurt min
totaal
max
doorklik beide
Gemakzuchtige respondent levert minder bruikbare data
22%
21%
14%
14% 12%
12%12%
11% 7%
6%
6%
7% 6% 4%
2% 1%
2% 1% 1%
1%
1+ wil niet zeggen 1+ weet niet (12) (7) totaal
3% 3% 3%
0%
'doorklikkers'
professioneel
6+ neutrale score op 5-p schalen (10) loyaal
fake tv merk genoemd
gemakzuchtig
0 reclames gezien
Gastspreker: Ineke Stoop
Effecten van opzet en onderhoud van panels op respons Hoge respons en zelf-selectie respondenten
Ineke Stoop
Effecten van opzet en onderhoud van panels op respons Hoge respons en zelf-selectie respondenten
Waarom is een hoge respons belangrijk?
Hoge respons – betere resultaten • Bij een random steekproef en 100% respons heb je een goede schatter van de populatie • Bij nonrespons hangt de ernst samen met de hoogte van de nonrespons en het verschil tussen respondenten en nonrespondenten • Als respondenten en nonrespondenten veel verschillen, maar dit verschil samenhangt met een bekend kenmerk, valt nonrespons makkelijk te corrigeren • Nonrespons is erg als factoren die deelname bepalen samenhangen met het onderwerp van het onderzoek (en dan erger naarmate de nonrespons hoger is)
Hoe kan je een hoge respons krijgen? • • • • • • • •
Lagere bovengrens leeftijd (ouderen interviewen duurt te lang) Hogere ondergrens leeftijd (geen toestemming ouders nodig) Geen niet-Nederlandssprekenden Geen onderzoek onder “mobile phone only” Geen onderzoek onder mensen met geheime telefoonnummers Geen onderzoek onder niet-Internet gebruikers Reken non-contact niet tot nonrespons Bereken respons als percentage van de personen die eerst via de telefoon beloofd hebben mee te werken • Alleen onderzoek onder leden van access panels • Alleen onderzoek onder leden van access panels die bijna altijd meedoen
Selecteer trouwe leden access panel: 70% of 80% respons gegarandeerd
100 90 80 Response rate
70 60 50 40 30 20 10 0 0
20
40
60
Response percentiles access panel
80
100
Hoge respons hoeft niet tot betere resultaten te leiden, zeker niet als alle ‘moeilijke’ gevallen bij voorbaat worden uitgesloten
Een hoge respons bij access panels, wat maakt het uit? • Nonrespons bij access panels speelt in 4 fasen:
Nonrespons bij moederonderzoek Nonrespons bij werving Verwijdering slecht responderende personen Nonrespons op een specifiek onderzoek
• Om uitspraken te doen over nonresponsvertekening moet je ook de nonrespons in de eerdere fasen meenemen en nagaan welk verband er in die eerdere fasen kan zijn met het onderwerp van het onderzoek
Door opzet en onderhoud van panels is het mogelijk een hoge respons te verkrijgen. Dit is echter geen bewijs voor een hogere kwaliteit.
Zelf aanmelden van respondenten bij panels zou verboden moeten worden?
Effecten van zelfaanmelding • Bij eenmalige surveys: geen nonrespons • Bij panels: geen nonrespons in wervingsfase • Wat is het verband tussen factoren achter zelfaanmelding en de inhoud van een survey? • Bij zelfaanmelding panels ga je ervan uit dat – na correctie voor een aantal bekende kenmerken – deelnemers en niet deelnemers niet van elkaar verschillen. • Vooronderstellingen niet bewijsbaar
Zelfaanmelding • • • •
Geen nonrespons (initieel) Professionele respondenten: paneltijgers Controle over personalia? Doel aanmelden: resultaten beïnvloeden?
• Geen goede basis voor access panel als je uitspraken wil doen over de bevolking: Mening panel = mening panel
• Selecteren bijzondere groepen??
De geest uit de fles • Marktonderzoek Gebruik onze panels: beter, sneller, goedkoper
• Opdrachtgevers en onderzoekers Weinig voorbehoud bij reclame panels Weinig informatie te verkrijgen over werving, samenstelling, onderhoud, ijking
• Media, opdrachtgevers Techniek beschikbaar, dat kan ik zelf ook
Kwaliteitsrichtlijnen en kwaliteitsonderzoek zeer belangrijk
DANS symposium Access panels en online onderzoek: Panacee of slangenkuil 12 oktober, Den Haag Marktonderzoekers, academici en opdrachtgevers (overheid) www.dans.knaw.nl
