© 2006 Wolters-Noordhoff bv Groningen/Houten
De steekproefomvang
Een toelichting op het belang en het berekenen van de steekproefomvang in marktonderzoek. Inhoud 1 Inleiding 2 Eerst enkele definities 3 Steekproefomvang en response 4 Het berekenen van de nettosteekproefomvang 4.1 Betrouwbaarheid 4.2 Nauwkeurigheid 4.3 Het schatten van de standaarddeviatie s 5 Samenvatting
1 Inleiding Veel vragen van studenten komen neer op het volgende: ‘Hoe groot moet ik mijn steekproef maken om representatief te zijn?’ Dit is een verkeerde vraag, want: • •
Representativiteit heeft te maken met ‘op welke manier trek ik mijn steekproef’. De grootte van de steekproef bepaalt hoe statistisch nauwkeurig en betrouwbaar de uitkomsten zijn.
Als je de steekproef zo trekt dat iedereen dezelfde kans heeft om in de steekproef terecht te komen dan is het resultaat representatief voor de populatie. Dat wil zeggen dat je de resultaten van de steekproef kunt generaliseren naar de populatie. Maar als bijvoorbeeld 40% van alle respondenten ‘ja’ heeft gezegd, kun je niet zeggen dat ook in de populatie precies 40% ja zou zeggen. Dat percentage kan iets hoger maar ook iets lager zijn. Hoe ver dat percentage in de populatie verwijderd kan zijn van de in de steekproef gevonden 40%, hangt af van de grootte van de steekproef.
2 Eerst enkele definities Populatie
Steekproefkader
Steekproef
Non-response
De verzameling van alle elementen waaronder je onderzoek wilt doen. Voor de importeur van hockeysticks kan dat bijvoorbeeld zijn: iedereen die hockey speelt. De administratieve vastlegging van de populatie. Die hoeft niet precies overeen te komen met de populatie. Er is namelijk geen lijst van ‘iedereen die hockey speelt’, hoogstens is er een lijst van alle leden van de Koninklijke Nederlandse Hockey Bond. Een selectie van een aantal elementen uit het steekproefkader. Deze selectie is bedoeld om uiteindelijk uitspraken over de populatie te doen. Je kunt spreken over brutosteekproef: alle getrokken elementen; nettosteekproef: alle elementen die hebben meegewerkt. Niet iedereen doet mee, als hij/zij wordt uitgenodigd om aan een onderzoek mee te doen. Het probleem is dan of je nog wel uitspraken over de gehele populatie kunt doen, als je wel de antwoorden hebt van de mensen die meedoen (de nettosteekproef) en niet van de non-response.
De steekproefomvang
1
© 2006 Wolters-Noordhoff bv Groningen/Houten
Nauwkeurigheid Betrouwbaarheid
Geeft aan hoe precies je, op basis van een steekproef, voorspellingen kunt doen over de populatie. Geeft aan hoe betrouwbaar je, op basis van een steekproef, de voorspelling over de populatie kunt doen. Dus, in hoeveel procent van de gevallen doe je een juiste uitspraak, waarbij heel vaak 95% wordt aangehouden. Hoe hoger de betrouwbaarheid, des te minder nauwkeurig en andersom).
3 Steekproefomvang en response De begrippen steekproefomvang en response worden nogal eens door elkaar gebruikt. Dat kan verwarrend zijn. De non-response speelt hierin een rol. In alle formules om de gewenste steekproefomvang te berekenen gebruikt men het symbool ‘n’. Hiermee bedoelt men de nettosteekproef, of het aantal mensen dat aan de enquête heeft deelgenomen en de vragen beantwoord heeft. De brutosteekproef is altijd groter dan de nettosteekproef, de response. Een deel van de benaderde personen zal immers niet bereikbaar zijn of weigeren om mee te werken. De response of nettosteekproef is het aantal personen dat aan een enquête deelneemt en de vragen beantwoordt. Dus onthoud daarom: als het gaat om het aantal personen dat je moet benaderen in een onderzoek, dan is de brutosteekproefomvang het aantal mensen dat je moet benaderen om, na aftrek van de non-response, netto voldoende respondenten over te houden.
4 Het berekenen van de nettosteekproefomvang De steekproef die je neemt moet zo groot zijn dat hij kwalitatief goede cijfers oplevert over de gehele onderzoekspopulatie. De kwaliteit van de cijfers beoordeel je aan de hand van twee criteria: de nauwkeurigheid en de betrouwbaarheid. Als je weet welke nauwkeurigheid en betrouwbaarheid je kiest in je onderzoek, dan kun je de gewenste steekproefomvang berekenen of aflezen in een nomogram. Nauwkeurigheid en betrouwbaarheid De steekproef (het aantal meewerkende respondenten) moet zo groot zijn dat de cijfers die je vindt voldoende betrouwbaar en nauwkeurig zijn. Hier geldt: hoe groter de steekproef, hoe hoger de nauwkeurigheid van je uitkomsten zijn bij eenzelfde betrouwbaarheid. Je zou dus kunnen denken: ik neem een zo groot mogelijke steekproef. Het nadeel daarvan is echter dat je heel veel vragenlijsten moet laten invullen. Dat kost veel tijd en geld. Daarom streef je in de praktijk naar een steekproef die zo klein mogelijk is. Maar te klein is evenmin goed, want dan zijn de uitkomsten niet nauwkeurig genoeg meer. Om te bepalen hoe groot de steekproef moet zijn, moet je twee dingen weten: • Hoe betrouwbaar moet het onderzoek zijn? • Hoe nauwkeurig moeten de uitkomsten zijn? Om de nauwkeurigheid te bepalen moet je weten: Hoe groot zal de standaarddeviatie zijn in de uitkomsten?
•
Het is echter onmogelijk om van tevoren vast te stellen hoe groot de standaarddeviatie van de uitkomsten van het onderzoek zal worden. Nadat de gegevens zijn verzameld, kun je de standaarddeviatie van de onderzoeksuitkomsten berekenen. Maar dan is het te laat. Daarom schat je voorafgaand aan het onderzoek de standaarddeviatie. Hoe je
2
Marktonderzoek
© 2006 Wolters-Noordhoff bv Groningen/Houten
dat doet, bespreken we in paragraaf 4. Eerst kijken we naar de betrouwbaarheid, want die kun je wel vooraf vaststellen. 4.1 Betrouwbaarheid Het begrip betrouwbaar houdt in: hoe groot de kans is dat als je het onderzoek herhaalt, je dezelfde uitkomsten gaat vinden. Waarbij je ervan uitgaat dat er verder in de populatie niets is veranderd. Hoe betrouwbaar moet een onderzoek zijn? Het grootste marktonderzoeksbureau van Nederland is TNS NIPO. Daar werken ze altijd met een betrouwbaarheid van 95%. Een hogere betrouwbaarheid kan nodig zijn als het om heel gevoelige vragen gaat, zoals bij opiniepeilingen voor de verkiezingen. Men kiest dan voor 99%. Je kunt voor een lagere betrouwbaarheid van 90% kiezen als het heel erg moeilijk, of heel erg duur, is om respondenten te vinden. Dit heeft echter niet de voorkeur. 4.2 Nauwkeurigheid Het begrip nauwkeurig houdt in: hoever kunnen de onderzoeksuitkomsten afwijken als je het onderzoek herhaalt. Nauwkeurigheid en betrouwbaarheid hangen met elkaar samen. Hoe hoger de betrouwbaarheid die je kiest, hoe lager de nauwkeurigheid zal zijn bij dezelfde steekproefgrootte. Wij gaan er daarom van uit dat je kiest voor een betrouwbaarheid van 95%. Over de vraag hoe nauwkeurig de uitkomsten moeten zijn, moet je zelf een beslissing nemen. Bij procentuele uitkomsten kun je bijvoorbeeld een nauwkeurigheidsmarge van 5% kiezen. Dat houdt in dat een uitkomst van 80% met 95% betrouwbaarheid betekent dat de score ligt tussen de 85% en 75% van de populatie. Als de uitkomsten van het onderzoek getallen zijn, bijvoorbeeld rapportcijfers van nul tot tien, dan kies je voor een nauwkeurigheid van 0,5, 0,2 of 0,1. We zeiden al eerder dat de werkelijke nauwkeurigheidsmarge die je zult vinden in je onderzoeksuitkomsten afhangt van de standaarddeviatie van die uitkomsten. Die kun je van tevoren niet weten. Je zult de standaarddeviatie daarom moeten inschatten. Hoe dat werkt leggen we zometeen uit. Eerst kijken we nog even naar de formule voor de nauwkeurigheidsmarge. De algemene formule luidt:
nauwkeurigheidsmarge =
Z
s n
×c
Z = de waarde die afhangt van de gekozen betrouwbaarheid. Bij 95% betrouwbaarheid is deze 1,96. s = de standaarddeviatie die je pas vindt als je de onderzoeksresultaten hebt. n = de omvang van de steekproef. √n = de wortel uit de omvang van de steekproef. c = de correctiefactor die afhangt van de grootte van de steekproef. Deze luidt:
N −n N −1
Als je een grote steekproef neemt, dan is c vrijwel gelijk aan 1. En dus mag je die factor weglaten. Met deze formule kun je de gewenste steekproefomvang berekenen. De breedte van de marge De marge is plus of min:
±Z
s n
× c . Een marge van 5% is dus totaal 10% breed.
De uitkomsten kunnen 5% afwijken naar beneden of 5% naar boven. 4.3 Het schatten van de standaarddeviaties De standaarddeviatie s kun je voorafgaand aan het onderzoek schatten. Hoe je dit doet, hangt ervan af of je uitkomsten luiden in percentages of in cijfers. Eerst bespreken we het berekenen van de standaarddeviatie bij percentages.
De steekproefomvang
3
© 2006 Wolters-Noordhoff bv Groningen/Houten
Percentages Als je weet dat je de onderzoeksuitkomsten gaat uitdrukken in percentages, dan bereken je de standaarddeviatie met de volgende formule:
s=
pq n
Z
p = percentage dat uit het onderzoek komt q = (1 – p) De percentages die je gaat vinden in je onderzoek kunnen van alles zijn: 0%, 10% … 50%, … tot en met 100%. De standaarddeviatie is het hoogste bij een score van 50%. Reken dit maar na: • als p = 50, dan is q 50 en p × q = 2.500 • als p = 30, dan is q = 70 en p × q = 2.100 Als je geen idee hebt welke percentages uit een onderzoek kunnen komen, dan neem je p = 50. De steekproefomvang kun je dan berekenen met de formule: 2
.p.q n= Z 2 marge Als je kiest voor een nauwkeurigheid van 5% en een betrouwbaarheid van 95% (z = 1,96), dan is de steekproefomvang: 2 . p . q 1,96 2 . 50 . 50 n= Z = = 384,16 2 2 marge 5
Bij 385 respondenten is aan je eisen voldaan. Ga na of je dit begrepen hebt Bereken zelf de steekproefomvang n voor een nauwkeurigheidsmarge van 2%. Het antwoord is: 2.401. Nomogram Deze sommen zijn voor allerlei waarden van p gemaakt. Je kunt de uitkomsten opzoeken in een nomogram. Een voorbeeld van een nomogram voor een betrouwbaarheid van 95% staat hierna. Als je bij een verwachte uitkomst van p=15% en een maximale steekproefmarge van 5% zie je dat je een steekproefgrootte van iets minder dan 200 moet hebben. Want bij precies n=200 zit je al op 4,9% steekproefmarge.
4
Marktonderzoek
© 2006 Wolters-Noordhoff bv Groningen/Houten
Nomogram (betrouwbaarheidsniveau: 95%) Steekproef
Steekproefpercentage
omvang 2
5
10
15
20
25
30
35
40
45
50
98
95
90
95
80
75
70
65
60
55
50
25
5,5
8,5
11,8
14,0
15,7
17,0
18,0
18,7
19,2
19,5
19,6
50
3,9
6,0
8,3
9,9
11,1
12,0
12,7
13,2
13,6
13,8
13,9
100
2,7
4,3
5,9
7,0
7,8
8,5
9,0
9,3
9,6
9,8
9,8
200
1,9
3,0
4,2
4,9
5,5
6,0
6,4
6,6
6,8
6,9
6,9
300
1,6
2,5
3,4
4,0
4,5
4,9
5,2
5,4
5,5
5,6
5,7
400
1,4
2,1
2,9
3,5
3,9
4,2
4,5
4,7
4,8
4,9
4,9
500
1,2
1,9
2,6
3,1
3,5
3,8
4,0
4,2
4,3
4,4
4,4
600
1,1
1,7
2,4
2,9
3,2
3,5
3,7
3,8
3,9
4,0
4,0
700
1,0
1,6
2,2
2,6
3,0
3,2
3,4
3,5
3,6
3,7
3,7
800
1,0
1,5
2,1
2,5
2,8
3,0
3,2
3,3
3,4
3,4
3,5
900
0,9
1,4
2,0
2,3
2,6
2,8
3,0
3,1
3,2
3,3
3,3
1 000
0,9
1,4
1,9
2,2
2,5
2,7
2,8
3,0
3,0
3,1
3,1
1 200
0,8
1,2
1,7
2,0
2,3
2,5
2,6
2,7
2,8
2,8
2,8
1 400
0,7
1,1
1,6
1,9
2,1
2,3
2,4
2,5
2,6
2,6
2,6
1 600
0,7
1,1
1,5
1,7
2,0
2,1
2,2
2,3
2,4
2,4
2,5
1 800
0,6
1,0
1,4
1,6
1,8
2,0
2,1
2,2
2,3
2,3
2,3
2 000
0,6
1,0
1,3
1,6
1,8
1,9
2,0
2,1
2,1
2,2
2,2
3 000
0,5
0,8
1,1
1,3
1,4
1,5
1,6
1,7
1,8
1,8
1,8
4 000
0,4
0,7
0,9
1,1
1,2
1,3
1,4
1,5
1,5
1,5
1,5
6 000
0,4
0,6
0,8
0,1
1,0
1,1
1,2
1,2
1,2
1,3
1,3
8 000
0,3
0,5
0,7
0,8
0,9
0,9
1,0
1,1
1,1
1,1
1,0
10 000
0,3
0,4
0,6
0,7
0,8
0,8
0,9
0,9
1,0
1,0
1,0
20 000
0,2
0,3
0,4
0,5
0,6
0,6
0,6
0,7
0,7
0,7
0,7
30 000
0,2
0,2
0,3
0,4
0,5
0,5
0,5
0,5
0,6
0,6
0,6
40 000
0,1
0,2
0,3
0,3
0,4
0,4
0,4
0,5
0,5
0,5
0,5
Bron: Gb. Rustenburg e.a., Marktonderzoek voor marketingbeslissingen, WoltersNoordhoff, 2000 Cijfers De uitkomsten van een enquête kunnen ook heel goed in cijfers luiden. Bijvoorbeeld rapportcijfers, leeftijden of scores op een schaal van 1 tot en met 7. Zulke cijfers noem je continue variabelen. Let op: bij de schaal van 1 tot en met 7 is het twijfelachtig of je dat wel mag doen, want eigenlijk is dat een ordinale schaal. En met ordinale variabelen moet je anders rekenen dan met intervalvariabelen (zie ook hoofdstuk 7 van het boek). Als je de steekproefgrootte wilt bepalen bij een continue variabele gebruik je de formule: marge = ± Z
s n
×c
s bereken je dan uit: s=
(Wi - M) 2 ∑ n
(Zie p. 77)
Waarbij geldt: s = de standaarddeviatie Σ = sommeringsteken, dat wil zeggen: tel alles dat hierna staat bij elkaar op Wi = de waarde van waarneming nummer i
De steekproefomvang
5
© 2006 Wolters-Noordhoff bv Groningen/Houten
M = het gemiddelde van alle waarnemingen. Die bereken je weer door de som van het aantal waarnemingen te delen door het aantal waarnemingen: n. n = het aantal waarnemingen De beste manier om uit te vinden bij welk aantal waarnemingen de marge smal genoeg is, is uitproberen. Je kunt bijvoorbeeld 200 uitkomsten, zoals jij die verwacht, invullen in een rekenblad zoals excel. Vervolgens zet je de formule erin en bereken je de marge. Als de marge smal genoeg is, weet je hoeveel enquêtes je moet afnemen. Het nadeel van deze methode is dat het veel werk is. De uitkomsten liggen in de buurt van de aantallen die je vindt met de percentagemethode. In de praktijk van het marktonderzoek pakken we daarom meestal een nomogram. Tip: Kijk voor een andere uitleg op www.tns-nipo.nl. Kies marktonderzoekstips, steekproefmarges en grootte, en controleer je antwoord bij ‘bereken de steekproef’.
5 Samenvatting De steekproefomvang is het aantal personen dat werkelijk de enquête invult of beantwoordt. Vanwege de non-response moet je voor een onderzoek altijd meer mensen benaderen dan de steekproefomvang. Als je de steekproefomvang wilt bepalen kun je gebruikmaken van een nomogram. Je moet dan vooraf bepalen met welke betrouwbaarheid en welke marge je gaat werken. Je kunt de steekproefomvang ook zelf berekenen. Meestal doe je dit op basis van de verwachte percentages in de steekproef. Daarbij kies je dan meestal het percentage dat de hoogste standaardafwijking geeft: 50% (0,5). Het is in principe ook mogelijk om de steekproefomvang te berekenen op basis van verwachte uitkomsten. Dat is echter veel werk en de uitkomsten zijn niet beter.
6
Marktonderzoek
