Het onderscheid tussen kwalitatief en kwantitatief onderzoek is gradueel

03_050530_Kwalon2_Essay

26-05-2005

11:40

Pagina 6

Dit artikel uit KWALON is gepubliceerd door Boom Lemma uitgevers en is bestemd voor anonieme bezoeker

Essay, debat en dialoog

Deze rubriek is een forum voor debat over kwalitatief methodologische kwesties. Wie een idee heeft voor een thema of een reactie wil leveren op een eerder verschenen stuk, vragen wij contact op te nemen met Jeanine Evers: [email protected]

Het onderscheid tussen kwalitatief en kwantitatief onderzoek is gradueel Foeke van der Zee Het onderscheid tussen kwalitatief en kwantitatief onderzoek wordt door velen als lastig ervaren. In KWALON 26 wordt daar weer eens aandacht aan besteed. Swanborn (2004a) huldigt de stelling dat er een sterke empirische relatie is tussen kwalitatief onderzoek en exploratie. Dit wekt de indruk dat er in kwantitatief onderzoek niet of nauwelijks exploratie voorkomt. Dit klopt echter niet: ook in kwantitatief onderzoek maakt men veelvuldig gebruik van exploratie. Ik hoef alleen maar te verwijzen naar klantenbestanden van grotere winkelbedrijven, waarin veelvuldig exploratief naar bepaalde combinaties wordt gezocht. Op deze wijze worden nieuwe trends vaak eerst statistisch ‘waargenomen’, waarna nagegaan wordt of ze economisch kunnen worden geëxploiteerd. Een veelgenoemd onderscheid is dat kwalitatief onderzoek vooral theorievormend zou zijn en kwantitatief onderzoek theorietoetsend. Dit hangt natuurlijk samen met het (voor)oordeel dat kwalitatief onderzoek en exploratie sterk met elkaar samenhangen. Verschelden (2004) protesteert hiertegen door te stellen dat kwalitatief onderzoek niet alleen exploratief/verkennend is. De traditionele opvatting is uiteindelijk ook niet houdbaar. Er zijn juist veel databestanden (met kwantitatieve gegevens) die zich goed lenen voor theorievormend onderzoek. Ik verwijs naar de bestanden van het CBS, de KvK en van gemeenten die alle goed bruikbaar zijn om door middel van kwantitatieve exploratie nieuwe theorieën mee op te stellen en door middel van data mining te kijken of er steun voor is te vinden. Bovendien, elke kwantitatieve onderzoeker doorploegt de gegevens in het verkregen databestand statistisch (of zou dit moeten doen), om te kijken of er nog bijzondere resultaten naar voren komen die (theoretisch) interessant zijn. Op die manier is destijds in Zweden een relatie gevonden tussen het aantal ooievaars en het aantal geboorten van mensen. Daar lag helemaal geen fatsoenlijke theorie aan ten grondslag. Wat een theorie nou precies is, is overigens moeilijk aan te geven. Swanborn (2004b) merkt mijns inziens terecht op dat de term theorie op verschillende manieren wordt gebruikt en dat dit de discussie over het onderscheid tussen kwalitatief en kwantitatief onderzoek bemoeilijkt. De opmerking van Swanborn dat kwantitatief onderzoek zich van kwalitatief onderzoek onderscheid door het gebruik van variabelen op interval- of rationiveau in kwantitatief onderzoek en niet in kwalitatief onderzoek, snijdt geen hout. Het is naar mijn mening terecht dat

6



26-05-2005

11:40

Pagina 7


Jansen (2004) en Verschelden (2004) hiertegen protesteren. Jansen geeft aan dat ook in kwalitatief onderzoek gebruik wordt gemaakt van variabelen op interval- of rationiveau. Aanvullend kunnen we melden dat in veel kwantitatief onderzoek variabelen op interval- of rationiveau niet te vinden zijn. Er vindt heel veel kwantitatief onderzoek plaats waarin personen stellingen krijgen voorgelegd, waarin men het antwoord op een 5-puntenschaal mag aankruisen variërend van ‘helemaal mee eens’ tot ‘helemaal mee oneens’, aangevuld met hier en daar een meerkeuzevraag en waarbij aan het eind nog wordt gevraagd naar het geslacht en de postcode van de respondent. Jansen (2004) stelt dat de context waarin de gegevens verzameld worden, kenmerkend is voor het onderscheid tussen kwalitatief en kwantitatief onderzoek. Praktisch gezien klopt dat wel. In kwantitatief onderzoek wordt de context vaak niet meegenomen in het onderzoek, maar dat wil niet zeggen dat het niet had gekund. Het grootste probleem is dat de kwantitatieve onderzoeker niet weet hoe de context te operationaliseren. Ook heeft men problemen met de analyse van dergelijke gegevens. Ten slotte wordt er in de bijdragen van Swanborn, Verschelden en Jansen een aantal kenmerken aan bepaalde vormen van onderzoek gekoppeld, die in de praktijk helemaal niet kloppen. Zo is mijns inziens routineonderzoek helemaal niet gekoppeld aan kwantitatief onderzoek, maar komt dat (vermoedelijk) net zo goed en net zo vaak voor als bij kwalitatief onderzoek. Kwantitatief onderzoek is meestal niet verklarend of toetsend; de meeste kwantitatieve onderzoeken zijn gewoon peilingen oftewel beschrijvingen. Mijn conclusie is dat Swanborn, Verschelden en Jansen aan kwalitatief en aan kwantitatief onderzoek kenmerken koppelen, die helemaal niet karakteriserend zijn voor een van beide vormen. Toch maakt men wel een onderscheid. Wat is het verschil dan? Is er een typerend kenmerk aan te wijzen waardoor de onderzoeker weet of hij een kwalitatief dan wel een kwantitatief onderzoek uitvoert? Naar mijn mening is er wel een duidelijk verschil aan te geven. Een belangrijk onderscheid tussen kwalitatief en kwantitatief onderzoek heeft te maken met het aantal onderzoekseenheden dat gebruikt wordt. De term onderzoekseenheid gebruik ik als een algemene term voor mensen, dieren, planten of objecten. In kwalitatief onderzoek is het aantal onderzoekseenheden klein; bij kwantitatief onderzoek is het aantal onderzoekseenheden groot. Dientengevolge zal er een andere strategie gevolgd worden. De feitelijke beslissing welk type onderzoek er uitgevoerd zal worden, wordt ergens in de loop van het opzetten/uitwerken van het onderzoek, genomen. Laten we daarom het handelen van de onderzoeker nader bestuderen.

Het methodologisch handelen van de onderzoeker De onderzoeker voert gedurende het onderzoekstraject een aantal handelingen uit, deels successievelijk en deels in een onderlinge samenhang. Deze handelingen heb ik elders uitvoerig beschreven (Van der Zee, 2004). Voor alle duidelijkheid geef ik hieronder een korte samenvatting van de fasen. In de fase van de probleemstelling wordt gewoonlijk de aanleiding van het onderzoek beschreven. In toegepast en probleemoplossend onderzoek is dit deel meestal vrij kort. Dit

KWALON 29 (2005, jaargang 10, nr. 2)

7


26-05-2005

11:40

Pagina 8


betekent niet dat er geen theoretische veronderstellingen en/of hypothesen aan het onderzoek ten grondslag liggen. Die zijn er wel, maar worden gewoonweg niet expliciet beschreven. In zuiver wetenschappelijk/fundamenteel onderzoek wordt de probleemstelling uitgebreid omschreven en is er een theoretische verhandeling over de problematiek die aan het onderzoek ten grondslag ligt. Indien de probleemstelling eerst uitgebreid wordt uitgediept, wordt dit meestal aangeduid met termen als ‘het vooronderzoek’ of ‘de literatuurstudie’ en dergelijke. Het leidt meestal tot de formulering van een scherpere vraagstelling, waar het feitelijk om begonnen is. Het onderzoek zelf duidt men vaak aan met termen als ‘het hoofdonderzoek’, ‘de veldstudie’. Indien de aanleiding van het onderzoek op deze manier wordt ontleed, is er in mijn optiek sprake van twee deelonderzoeken met elk een eigen probleemstelling, vraagstelling, onderzoeksopzet, uitvoering en rapportage. In de fase van de vraagstelling wordt de precieze vraag geformuleerd waarop een antwoord zal worden gegeven. Vaak maakt men hier een onderscheid tussen de centrale vraagstelling en subvragen. De doelstelling in het onderzoek (Verschuren, 2002; Van der Zee, 2004) is het beantwoorden van de centrale vraagstelling. In de onderzoeksopzet geeft men weer op welke wijze men het onderzoek zal uitvoeren om de centrale vraagstelling en de subvragen te beantwoorden. Deze bestaat uit vier onderling gerelateerde aspecten: a) bij welke personen/objecten gaat de onderzoeker de gegevens verzamelen; b) hoe gaat de onderzoeker de gegevens verzamelen; c) op welke momenten en bij welke subgroepen vinden de metingen plaats; en d) op welke wijze zullen de gegevens worden geanalyseerd? Pas na deze drie fasen, dit zijn de fasen waarin het onderzoek op de tekentafel wordt opgesteld, worden de gegevens daadwerkelijk verzameld. Aansluitend worden de gegevens geanalyseerd, wordt er een conclusie getrokken en beschrijft men de bevindingen in een onderzoeksverslag. Ergens gedurende dit proces wordt bepaald of men een kwalitatief dan wel een kwantitatief onderzoek zal uitvoeren. Maar waar precies? Mijns inziens valt de beslissing in de fase van het formuleren van de vraagstelling. Mogelijk is er nog enige beïnvloeding uit de fase van de probleemstelling (wat wil de opdrachtgever en/of wat is theoretisch al bekend of mogelijk?) of vanuit de onderzoeksopzet (zijn er onoverkomelijk obstakels in de empirie zodat een bepaalde vorm van onderzoek niet kan worden uitgevoerd?), maar op het moment dat de vraagstelling is vastgelegd, ligt ook het soort onderzoek vast. Het verdient dan ook aanbeveling de vraagstelling zodanig te formuleren dat het een duidelijke indicatie oplevert over het type uit te voeren onderzoek. De concrete invulling gebeurt tijdens de fase van de onderzoeksopzet.

Het onderscheid tussen kwantitatief en kwalitatief onderzoek Een goed voorbeeld maakt meer duidelijk dan een theoretische verhandeling. Het volgende voorbeeld ontleen ik aan Verschuren (2002). Op pagina 158 formuleert hij een (fictieve) vraagstelling voor een onderzoek: ‘Hoe is de kwaliteit van in Nederland gebouwde meubels?’ Er is van alles mis met deze vraagstelling. Verschuren werkt dit alleen uit naar de gehanteerde begrippen in de vraagstelling: er zijn heel veel soorten meubels en wat wordt eigenlijk

8



26-05-2005

11:40

Pagina 9


bedoeld met kwaliteit? De vraagstelling geeft echter nog veel meer problemen. Zo is het onduidelijk of het een technisch vraagstuk betreft of een belevingsvraagstuk (stevigheid versus comfort); het referentiekader is onduidelijk (Nederlandse meubels in vergelijking met welke andere landen?); wie moet de vraag beantwoorden (degene die een totaalzicht heeft zoals meubelfabrikant, de meubelverkoper, de importeur/exporteur of de gebruiker die slechts een enkel meubelstuk kent; Nederlanders of buitenlanders?). Een dergelijke vraagstelling schreeuwt om nadere specificering. Een goede vraagstelling moet aan vier eisen voldoen (Van der Zee, 2004:20). 1 De vraagstelling moet zodanig zijn geformuleerd dat de vraag te beantwoorden is. 2 De vraagstelling moet zodanig zijn opgesteld dat duidelijk is welke onderzoeksaanpak gewenst is. 3 De vraagstelling moet zodanig geformuleerd zijn dat duidelijk is met welk type of met wat voor soort antwoord de opdrachtgever tevreden is. 4 De begrippen in de vraagstelling moeten eenduidig zijn, dat wil zeggen niet voor meerdere uitleg vatbaar. Indien die eenduidigheid ontbreekt, kan dat verbeterd worden door de vraagstelling scherper te formuleren, door meerdere kernvragen te formuleren, of door een korte toelichting te geven. Het aantal betere vraagstellingen over de kwaliteit van de in Nederland gebouwde meubels, is schier onuitputtelijk. Daarvan formuleren we er twee. – Verschillen de zelfstandige en onafhankelijke Nederlandse importeurs/exporteurs in hun oordeel over de ervaren kwaliteit van de in Nederland gemaakte meubels en de in Italië gemaakte meubels? Tot de te vergelijken meubels behoren: de salontafel, de bank, het fauteuil, de eettafel en eettafelstoelen. – Hoeveel procent van de Italianen vindt de in Nederland gemaakte fauteuils en banken lekker zitten en wat vinden zij van de prijsstelling? Daarvoor wordt gebruikgemaakt van een testsituatie in een grote meubelwinkel en passerende bezoekers worden uitgenodigd een aantal fauteuils en banken uit te proberen. In het eerste alternatief zal de onderzoeker kiezen voor een kwalitatief onderzoek. Dit wordt mede ingegeven door de feitelijke situatie: uit de landelijke Nederlandse telefoongids blijkt dat er slechts acht zelfstandige en onafhankelijke importeurs/exporteurs zijn. In het tweede alternatief zal de onderzoeker kiezen voor een kwantitatief onderzoek: men wil een percentage vaststellen. Als we de vier aspecten van de onderzoeksopzet langslopen, zien we het volgende. a Selectie van de respondenten: bij de importeurs/exporteurs zal men er waarschijnlijk voor kiezen ze allemaal te ondervragen; een steekproef trekken uit een totaal van acht is zinloos. Voor het beantwoorden van de vraag hoeveel procent van de Italianen de Nederlandse meubeltjes lekker vindt zitten, is het trekken van een steekproef een noodzaak: het is immers onmogelijk om alle Italianen te ondervragen (een passantenonderzoek levert misschien niet een representatief beeld op, maar dat terzijde).


9


26-05-2005

11:40

Pagina 10


b In beide situaties gaat het om een eenmalige meting. Bij de importeurs/exporteurs gaat het om een vergelijkend onderzoek (verschillen in kwaliteit van de Nederlandse en de Italiaanse meubels). Wat de Italianen van de Nederlandse meubels vinden, is beschrijvend van aard. Men wil komen tot het beschrijven van twee kenmerken, namelijk lekker zitten en de prijsstelling. c Wijze van bevragen: bij een klein aantal onderzoekseenheden is het zeer waarschijnlijk dat men zal kiezen voor een persoonlijk interview met merendeels open vragen (eventueel aangevuld met een beperkt aantal gesloten vragen). In het tweede alternatief is het aantal onderzoekseenheden groot. Men zal er dan voor kiezen om een vragenlijst op te stellen met gesloten vragen (eventueel aangevuld met een enkele open vraag). d Analyse van de gegevens: bij de importeurs/exporteurs zal men gebruik moeten maken van een vorm van analyse die het meeste weg heeft van een protocolanalyse. Bij de testsituatie in de winkels zal men gebruik gaan maken van statistische procedures. U kunt de gegeven illustratie te veel een voorbeeld vinden van toegepast onderzoek. Voor fundamenteel wetenschappelijk onderzoek wordt evenwel dezelfde werkwijze gevolgd. Als u bijvoorbeeld een onderzoek zou moeten uitwerken naar de relatie tussen milieuvervuiling en gedragsstoornissen bij jongeren, zult u ook eerst de vraagstelling heel precies moeten formuleren, daarna de onderzoeksopzet uitwerken naar deze vier aspecten (wie nemen deel aan het onderzoek; in welke situatie; met welke vragenlijsten; en hoe worden de gegevens geanalyseerd?). U zult dan zelf vaststellen dat het aantal onderzoekseenheden bepalend is voor de vraag of er een kwalitatief dan wel een kwantitatief onderzoek wordt uitgevoerd.

Het aantal onderzoekseenheden als hét demarcatiecriterium Men kan zich afvragen hoeveel onderzoekseenheden er nodig zijn om van een kwantitatief dan wel een kwalitatief onderzoek te spreken. Gemakshalve houd ik het op een aantal van dertig onderzoekseenheden. Dat heeft de volgende redenen. 1 Menig statistische toets gaat ervan uit dat de achterliggende variabele normaal verdeeld is. Slotboom (1987: 160) maar ook menig ander statistiekboek geeft aan dat men van deze veronderstelling mag uitgaan als er dertig eenheden in de analyse meedoen. 2 Proefondervindelijk blijkt dat de onderzoeker tot ongeveer dertig eenheden nog redelijk in staat is een algemeen beeld uit de gegevens te schetsen. Bij nog meer eenheden wordt het voor hem steeds lastiger om nog onbevooroordeeld – dat wil zeggen nog niet beïnvloed door de gegevens die hij eerder heeft geanalyseerd – naar de gegevens te kijken. 3 Het is mijn ervaring dat vanaf dertig eenheden er een min of meer stabiel beeld ontstaat in de frequentieverdeling. Bij heel kleine aantallen zijn er grote fluctuaties, maar hoe meer eenheden er zijn des te stabieler wordt het beeld (bij een aantal van vijf eenheden levert elke eenheid een bijdrage van twintig procent, en bij dertig eenheden is dat 3,33 procent). Het demarcatiepunt van dertig onderzoekseenheden moet niet al te strikt worden opgevat. Er is niets op tegen om – als er minder dan dertig eenheden zijn – met de nodige voorzichtigheid de gegevens statistisch te analyseren. Er zijn zelfs toetsen die speciaal voor kleine aantallen

10



26-05-2005

11:40

Pagina 11


ontworpen zijn. En anderzijds, als er eens meer dan dertig eenheden ondervraagd zijn, is het niet op voorhand uitgesloten dat men (een deel van) de gegevens met behulp van kwalitatieve technieken analyseert. Al met al is er een grijs overgangsgebied. Een heel bijzondere situatie is de case study waarbij men slechts één onderzoekseenheid heeft. Deze is heel duidelijk van de rest te onderscheiden.

Conclusie Door alleen te letten op het aantal te gebruiken of gebruikte onderzoekseenheden vallen veel andere eigenschappen die het onderscheid tussen kwalitatief en kwantitatief onderzoek karakteriseren, op hun plaats. De wijze waarop men de onderzoekseenheden (respondenten) selecteert is anders, evenals de manier waarop de gegevens verzameld en geanalyseerd worden. Zo wordt er in kwantitatief onderzoek bijna altijd gebruikgemaakt van statistische procedures. Het is immers ondoenlijk om van een grote hoeveelheid onderzoekseenheden de gegevens nog door middel van kwalitatieve analyse technieken te beoordelen. Anderzijds is het onzinnig om bij slechts enkele onderzoekseenheden uitspraken te doen in de vorm van percentages. Dit vindt zijn weerslag in de manier van gegevens verzamelen. Met antwoorden op open vragen kan een statisticus niet zoveel aanvangen, met antwoorden op gesloten vragen kan hij beter uit de voeten. Daar staat tegenover dat de respondent op gesloten vragen meestal niet zijn eigen, persoonlijke situatie kan duidelijk maken. Gesloten vragen leiden wat dat betreft tot een reductie van de werkelijkheid. Door met kleinere aantallen te werken, hoeft men minder redundant te zijn. Maar door die kleinere aantallen heeft men te maken met specifiekere situaties op grond waarvan men minder goed generieke uitspraken kan doen. Het demarcatiepunt tussen kwalitatief en kwantitatief onderzoek kan men formeel leggen op dertig onderzoekseenheden. In de praktijk echter is de overgang gradueel. Zowel met kwalitatief als met kwantitatief onderzoek kan men een exploratief, een beschrijvend, een vergelijkend, een evaluerend of een verklarend onderzoek uitvoeren (ook toetsend onderzoek kan met beide vormen worden uitgevoerd, al moet ik daarbij direct opmerken dat men onder de term toetsend onderzoek verschillende vormen van onderzoek kan verstaan). Dit soort kenmerken zijn dus irrelevant om het onderscheid tussen kwalitatief en kwantitatief onderzoek aan te duiden. Men moet ervoor waken andere kenmerken aan kwalitatief of aan kwantitatief onderzoek toe te kennen. Mogelijk is er enige contaminatie, maar dat is niet vanzelfsprekend. Het vooronderzoek is niet per definitie kwalitatief van aard en het hoofdonderzoek is niet per definitie kwantitatief. Kwalitatief onderzoek is niet per definitie theorievormend net zoals dat kwantitatief onderzoek niet per definitie theorietoetsend is.

Slotwoord Ik ben van mening dat de traditionele indeling in typen of soorten onderzoek niet voldoet. Dit heeft te maken met mijn opvatting dat aan bepaalde typen onderzoek kenmerken worden toegekend die in de praktijk niet kloppen. Swanborn heeft trouwens ook al bezwaar aangetekend bij de traditionele indeling. In eindnoot 2 schrijft hij dat hij de indeling volgt die momenteel in handboeken wordt beschreven, maar dat hij daar in het verleden al kant-


11


26-05-2005

11:40

Pagina 12


tekeningen bij heeft geplaatst (Swanborn, 2004a). Die traditionele indeling is overigens ook niet constant, maar wordt door diverse auteurs anders beschreven. In mijn boek (Van der Zee, 2004) wordt een indeling gepresenteerd die meer in overeenstemming is met de huidige praktijk. Daarin wordt onder andere gesteld dat men kwalitatief onderzoek niet als ondergeschikt (of van met lagere status) mag beoordelen dan kwantitatief onderzoek. Het is een andere manier om naar de empirie te kijken. Beide vormen leveren relevante informatie op. Elke vorm heeft zijn eigen meerwaarde. Elke vorm van onderzoek levert een bijdrage aan het leren kennen van de empirie.

Literatuur Jansen, Harrie (2004) De kwalitatieve survey: soms routineus, meestal exploratief, meestal beschrijvend, vaak hypothesevormend, soms toetsend. Een commentaar op Swanborn. KWALON 26, jg 9, nr 2: 19-24. Slotboom, A. (1987) Statistiek in woorden. De meest voorkomende termen en technieken. Groningen: Wolters Noordhoff. Swanborn, P.G. (2004a) Kwalitatief onderzoek en exploratie. KWALON 26, jg 9, nr 2: 7-13. Swanborn, P.G.(2004b) Reactie op Harrie Jansen en Griet Verschelden. KWALON 26, jg 9, nr 2: 24-28. Verschelden, G (2004) Inzet kwalitatief onderzoek niet altijd explorerend van aard. KWALON 26, jg 9, nr 2: 14-18. Verschuren, P.J.M. (2002) De probleemstelling voor een onderzoek. Handleiding voor het maken van de probleemstelling voor een wetenschappelijk of beleidsgericht onderzoek, voor een scriptie, een nota, of artikel. Utrecht: Het Spectrum. Zee, F. van der (2004) Kennisverwerving in de empirische wetenschappen. De methodologie van wetenschappelijk onderzoek. Groningen: BMOOO.

Repliek op Foeke van der Zee Peter Swanborn Het ging in mijn bijdrage (KWALON 27) om de relatie tussen kwalitatief onderzoek en het toepassen van een explorerende benadering en om de status van explorerend versus ‘routine’. Ik stelde dat kwalitatief onderzoek meestal explorerend is. Dat is niet een (voor)oordeel, maar een empirische constatering, waarmee je het meer of minder eens kunt zijn op empirische gronden (er is dus geen discussie met degenen die een explorerende, flexibele, open benadering zien als een van de definitiekenmerken van kwalitatief onderzoek). In mijn betoog had ik natuurlijk een korte aanduiding nodig van dat wat wij gewoonlijk met kwalitatief onderzoek bedoelen. Ik zocht die aanduiding in het (nagenoeg) afwezig zijn van variabelen waarmee niet alleen geteld maar ook gerekend wordt (dat wil zeggen, variabelen op interval- en rationiveau).

12


Het onderscheid tussen kwalitatief en kwantitatief onderzoek is gradueel

Recommend Documents