H4 Ethiek in sociaalwetenschappelijk onderzoek
H7
Selectie van onderzoekseenheden: steekproeven
Methodologie van de sociale wetenschappen © Academia Press 2014
Methodologie.indb 163
163 16-10-14 11:56
D2 Planning en voorbereiding van empirisch onderzoek
H7 2 november 1948 was zonder twijfel één van de somberste dagen uit de loopbaan van politiek analist Arthur Sears Henning. Henning was als correspondent werkzaam voor de republikeinsgezinde Chicago Daily Tribune. Op die dag bracht hij vanuit Washington verslag uit van de presidentsverkiezingen tussen democraat Harry S. Truman en republikein Thomas E. Dewey. Bij het ter perse gaan van de krant waren nog niet alle resultaten uit de East Coast staten bekend, maar zowel de eerste cijfers als de verkiezingspolls van de afgelopen dagen wezen Dewey duidelijk als overwinnaar aan. Dus waarom zou Henning de gok niet wagen? Hij was er in het verleden toch al meermaals in geslaagd de winnaar van de presidentsverkiezingen te voorspellen? Henning kroop in zijn pen en schreef een hoofdartikel met als titel ‘Dewey defeats Truman’, waarin hij Dewey als winnaar proclameerde. De persen gingen aan het rollen. Luttele uren later bleek dat Henning de bal volledig mis had geslagen. Zittend president Truman verwierf overtuigend een nieuw mandaat met 303 kiesmannen tegenover 189 voor Dewey. Ondertussen waren al 150.000 exemplaren verspreid – mét Hennings foutieve krantenkop op de voorpagina. In een tweede editie werd de hoofdtitel nog snel gewijzigd in “Democrats make sweep of state offices”, maar het kwaad was geschied. Dit geval is de geschiedenis ingegaan als één van de
164 Methodologie.indb 164
meest pijnlijke krantenkoppen ooit. Foto’s waarop een lachende Truman met een kopij van de Chicago Daily Tribune zwaait, gingen de wereld rond. Dit voorval zorgde meteen ook voor een grootschalige blunder in de peiling-industrie. Niet minder dan drie grote verkiezingspolls – namelijk die van Roper, Crossley en Gallup – hadden Dewey als duidelijke overwinnaar aangeduid. De peilers hadden het niet gemakkelijk deze fout te verteren. Maar liefst 50 jaar later verklaarde Ropers zoon – eveneens actief in de polling-business – het volgende aan de LA Times: “I don’t think the polls were wrong in terms of measuring national sentiment. Clearly they were wrong in determining the election. I think the 1948 polls were more accurate than the 1948 election.” (LA Times, 01/01/1998). Het mag dan wel om een commerciële poll gaan, deze blunder beroerde ook de gemoederen van sociale wetenschappers. Zo riep de Social Science Research Council een commissie in het leven, samengesteld uit bekende politieke wetenschappers en surveyonderzoekers, om na te gaan waarom de polls en voorspellingen de mist waren ingegaan. In een lijvig rapport (Mosteller et al., 1949) stelde de commissie meerdere methodologische tekortkomingen achter de verkiezingspolls aan de kaak. Eén van de voornaamste problemen was dat pollsters gebruikmaakten van zogenaamde quotasampling in plaats van
Methodologie van de sociale wetenschappen © Academia Press 2014
16-10-14 11:56
echte toevalsteekproeven: interviewers werden gevraagd om voor verschillende bevolkingsgroepen – bijvoorbeeld mannen en vrouwen, jongeren en ouderen – bepaalde aantallen respondenten te bevragen. Binnen deze groepen waren de interviewers echter vrij om zelf onderzoekseenheden te selecteren. Dit leidde tot een oververtegenwoordiging van hoogopgeleiden – een groep bij wie Dewey veel steun genoot. De steekproeven bevatten ook personen die niet zijn gaan stemmen, terwijl kiezers die onbeslist waren op het moment van het interview uit de analyse werden weggelaten. Kortom, de peilers hadden de onderzochte personen onnauwkeurig geselecteerd en kwamen net daarom tot ver-
Een lachende Truman met de foute krantenkop in de 'Chicago Daily Tribune'.
keerde conclusies. Ruim een halve eeuw na dit vernietigende rapport zijn polls nog altijd bijzonder populair in de media. Nog steeds worden suboptimale steekproeven gebruikt en nog steeds zitten voorspellingen er regelmatig flink naast. En dat is niet zo onschuldig als het lijkt, want vertekende peilingen creëren een fictie die een vertekenend effect kan hebben op het politieke landschap (Billiet & Sonck, 2009).
7.1. Inleiding Empirische waarneming vormt een onmisbaar ingrediënt van sociaalweten schappelijk onderzoek. Onderzoekers doen observaties om na te gaan of hun theoretische ideeën wel degelijk een adequaat beeld schetsen van de sociale realiteit(en). Naast de kwestie hoe en wat je waarneemt – voor de operationa lisering van kenmerken verwijzen we naar Hoofdstuk 6 – is de vraag bij wie je deze kenmerken zal observeren eveneens aan de orde. Bij de keuze van onderzoekseenheden dringt zich een selectie op. Doorgaans kiezen onder zoekers slechts een beperkt aantal eenheden die ze in detail wensen te observeren. Of in methodologisch jargon: uit de populatie wordt een steek proef getrokken. Wie een verkiezingspoll organiseert, bevraagt niet alle kie zers maar beperkt zich tot een selectie. De wijze waarop je onderzoekseenhe den selecteert, is van cruciaal belang. Wie op een verkeerde manier selecteert, kan bedrogen uitkomen – je wil niet in de voetsporen van de onfortuinlijke Henning treden. In dit hoofdstuk staan enkele basisbegrippen van steekproeftrekking centraal en krijg je een overzicht van de uiteenlo pende logica’s die hierachter schuilgaan.
Methodologie van de sociale wetenschappen © Academia Press 2014
Methodologie.indb 165
165 16-10-14 11:56
D2 Planning en voorbereiding van empirisch onderzoek
7.1.1. Onderzoekseenheden, populatie en steekproef Waarnemingseenheden: de onderzoeks eenheden waarbij je waarnemingen uit voert; moet onder scheiden worden van analyseeenheden.
Analyse-eenheden: de onderzoekseenheden waarover je uitspraken doet; moet onder scheiden worden van waarnemingseenheden.
Aggregatie: het samen voegen van observa ties op een lager niveau om uitspraken te kunnen doen over eenheden op een hoger niveau.
Desaggregatie: het gebruiken van obser vaties van eenheden op een hoger niveau om uitspraken te doen over eenheden op een lager niveau.
Ecologische fout: uit observaties op een hoger niveau ver keerde conclusies trekken over eenheden op een lager niveau.
166 Methodologie.indb 166
Omdat sociale wetenschappers zich voornamelijk met menselijk gedrag bezighouden, is het verleidelijk bij de term onderzoekseenheden onmiddellijk aan individuen te denken. Onderzoek gaat echter niet steeds over personen. Communicatiewetenschappers bestuderen de inhoud en vorm van krantenar tikels, politieke wetenschappers pluizen partijprogramma’s uit, sociologen onderzoeken het functioneren van organisaties en criminologen focussen op gesteld gedrag dat strafbaar is. In dit opzicht kunnen onderzoekseenheden dan ook evengoed objecten als subjecten zijn. Het afbakenen van onder zoekseenheden is niet altijd eenvoudig. Zo moet je bijvoorbeeld een onder scheid maken tussen waarnemingseenheden – dit zijn de eenheden waarbij een onderzoeker kenmerken waarneemt – en analyseeenheden – dit zijn de eenheden waarover uitspraken worden gedaan. Vaak observeer je recht streeks de eenheden waarover je uitspraken wil doen, maar dit hoeft niet noodzakelijk het geval te zijn. Wie geïnteresseerd is in de kwaliteit van een huwelijk (de analyseeenheid), zal bijvoorbeeld gehuwde partners (de waarne mingseenheden) observeren door middel van een interview. Een bijkomende complexiteit is dat onderzoekseenheden op verschillende niveaus beschouwd kunnen worden, waarbij eenheden op hogere niveaus bestaan uit meerdere eenheden van lagere niveaus. De onderwijscontext levert hiervan een klassiek voorbeeld, waarbij je op zijn minst drie niveaus kan onderscheiden. Een school (hoogste niveau) omvat verschillende klassen (middelste niveau) waarin meerdere leerlingen (laagste niveau) les krijgen. Onderwijsonderzoekers kunnen in de kenmerken van elk van deze niveaus geïnteresseerd zijn. Omdat de sociale realiteit gelaagd is, vind je talloze voor beelden van eenheden op meerdere niveaus: individuen maken deel uit van gezinnen, zijn tewerkgesteld in bedrijven, nemen actief deel in culturele orga nisaties en sportclubs en wonen in gemeenten en natiestaten. In sommige gevallen bevinden waarnemings en analyseeenheden zich op een verschil lend niveau. Wanneer eenheden op een lager niveau geobserveerd worden om uitspraken te doen over eenheden op een hogere niveau, spreekt men over aggregatie. Zo kan je de etnische achtergrond van leerlingen (leerlingen kenmerk) observeren om na te gaan of een school al dan niet etnisch homo geen is (schoolkenmerk). Desaggregatie betekent dan weer dat je observaties van eenheden op een hoger niveau toewijst aan eenheden op een lager niveau. Dit is het geval wanneer je bijvoorbeeld het schoolnet waarbinnen een kind onderwezen wordt (een schoolkenmerk) gebruikt op leerlingniveau. Het ‘springen’ van het ene niveau naar het andere is echter niet zonder gevaar. Wie op foutieve wijze conclusies op basis van eenheden op een hoger niveau doortrekt naar een lager niveau, begaat een zogenaamde ecologische fout (ecological fallacy in het Engels; Robinson, 1950). Het Vlaamse politieke landschap biedt een mooie illustratie van zo’n redenering. Eind jaren 1980 kende de antiimmigratie partij Vlaams Blok haar doorbraak precies in de distric ten van Antwerpen met een groot aandeel inwoners van vreemde afkomst (zie
Methodologie van de sociale wetenschappen © Academia Press 2014
16-10-14 11:56
H7 Selectie van onderzoekseenheden: steekproeven
bijvoorbeeld Poznyak, Abts & Swyngedouw, 2011). Op het niveau van de gemeente was er een positieve samenhang tussen het percentage Vlaams Blokstemmers en het aandeel inwoners met een immigratieachtergrond. Uiter aard kan je dit verband niet zomaar naar individuen doortrekken: het is niet zo dat personen met een migratieachtergrond vaker voor het Vlaams Blok stem den, wel integendeel. Het omgekeerde – uit informatie over eenheden op een lager niveau verkeerde conclusies trekken over eenheden op een hoger niveau – wordt een individualiseringsfout genoemd (atomistic fallacy in het Engels). Het is bijvoorbeeld bekend dat een meerderheid van individuele Belgen ervoor gewonnen is grote vermogens zwaarder te belasten (zie bijvoorbeeld De Morgen van 16/11/2012: “Belgen massaal achter rijkentaks”). Toch mag je uit deze observatie van individuele onderzoekseenheden niet zomaar besluiten dat Bel gië als land voor een vermogensbelasting staat. Politieke processen en ingre pen van belangengroepen leiden ertoe dat individuele opinies niet automatisch in veranderingen op nationaal niveau resulteren.
Individualiseringsfout: uit observaties op een lager niveau verkeerde conclusies trekken over eenheden op een hoger niveau.
Criminaliteit en ecologische fout Waarom worden sommige gemeenten geplaagd door criminaliteit, terwijl er in andere nauwelijks criminele feiten gepleegd worden? Om deze vraag te beantwoorden deden Hooghe en zijn collega’s (2011) een analyse op basis van
gemeentelijke, administratieve databases. De gemeenten vormden hier de analyse-eenheden. Omdat alle 589 Belgische gemeenten in het onderzoek betrokken werden, kan je hier spreken van een populatieonderzoek. De onderzoekers gingen na of criminaliteitscijfers samenhangen met gemeentelijke kenmerken zoals werkloosheidsgraad, inkomensongelijkheid en de aanwezigheid van inwoners met een andere nationaliteit. Hooghe en zijn team kwamen tot de vaststelling dat vooral werkloos-
heid sterk samenhangt met de prevalentie van criminele feiten. In gemeenten met een grote inkomensongelijkheid doet zich meer eigendomscriminaliteit (inbraken en diefstal) maar minder gewelddadige criminaliteit voor. Het aandeel vreemdelingen in een gemeente, ten slotte, bleek niet gerelateerd te zijn aan criminaliteitsstatistieken. Voor verschillende van deze kenmerken fungeerden individuen als waarnemingseenheid. De kenmerken jobstatus, inkomen en nationaliteit werden immers bij individuen geobser-
Methodologie van de sociale wetenschappen © Academia Press 2014
Methodologie.indb 167
veerd en vervolgens geaggregeerd naar het gemeentelijk niveau. Bij de interpretatie van de conclusies mag je niet uit het oog verliezen dat dit onderzoek de samenhang tussen gemeentelijke kenmerken betreft, die niet zomaar naar individuen mogen worden geëxtrapoleerd. Dat gemeenten met hoge werkloosheid veel criminaliteit kennen, impliceert niet dat werkloze individuen vaker criminele feiten begaan. Wie zich toch aan dergelijke uitspraken waagt, riskeert een ecologische fout te begaan.
167 16-10-14 11:56
