De kwalitatieve survey

04_052320_Kwalon3_jansen

01-11-2005

12:18

Pagina 15

Dit artikel uit KWALON is gepubliceerd door Boom Lemma uitgevers en is bestemd voor anonieme bezoeker

De kwalitatieve survey Methodologische identiteit en systematiek van het meest eenvoudige type kwalitatief onderzoek Harrie Jansen

Inleiding Deze bijdrage is een poging om helderheid te verschaffen over de methodologische identiteit en systematiek van het meest eenvoudige en populaire type kwalitatief onderzoek dat ik zal benoemen als kwalitatief surveyonderzoek of kortweg: de kwalitatieve survey. Het gaat om onderzoek waarbij de dataverzameling in het typische geval bestaat uit interviews met representanten van een bepaalde ‘populatie’ (een beroepsgroep, patiënten met dezelfde diagnose, gebruikers van eenzelfde vervoermiddel, bewoners van een wijk et cetera), een vergelijkende analyse die uitmondt in één of meer typologieën (nominale classificaties) en een rapportage waarin de naar voren gebrachte resultaten worden ondersteund met citaten uit de interviews. Dit populaire type onderzoek wordt in rapportages vaak zonder nadere specificatie aangeduid als ‘kwalitatief onderzoek’ alsof er één methode bestaat die voor het hele veld van kwalitatief sociaal-wetenschappelijk onderzoek van toepassing is en waar de specifieke onderzoekstypen slechts varianten zijn. De laatste tijd wordt die vooronderstelling zelfs expliciet geclaimd door te spreken van ‘algemeen’ of ‘generiek’ kwalitatief onderzoek (vergelijk Merriam, 1998; Yefimov, 2003; Boeije, 2005). Maar er bestaat een grote variëteit van kwalitatieve onderzoekstypen zoals de gevalsstudie, procesevaluatie, conversatieanalyse, vertooganalyse, empirische fenomenologie, handelingsonderzoek, etnografie, biografie, narratieve analyse, enzovoorts. Dit zijn bepaald niet allemaal verschillende varianten van eenzelfde methodiek. In gevallen waar dit type kwalitatief onderzoek wel nader wordt gespecificeerd, verschijnt vaak het label ‘grounded theory’ (gefundeerde theorie, GT). In de meeste van die gevallen wordt deze vlag echter niet of nauwelijks gedekt door de lading van het uitgevoerde onderzoek, zoals al uitvoerig door anderen is gesignaleerd; zie bijvoorbeeld Baker, Wuest & Stern (1992) en Caelli, Ray & Mill (2003). De greep naar het gewichtige label ‘GT’ lijkt vooral een noodsprong te zijn van onderzoekers (en kennelijk ook hun begeleiders/opleiders) die in wetenschappelijke legitimatienood verkeren. Het is een claim op wetenschappelijke erkenning. Wanneer die claim niet waargemaakt wordt, maakt deze noodsprong de betreffende kwalitatief onderzoekers alleen maar kwetsbaarder voor methodologische kritiek. Bovendien frustreert de valse GT-claim de ontwikkeling van een realistische methodologische onderbouwing van dat niet-echt-GT-onderzoek. De praktische doelstelling van deze bijdrage is in deze legitimatienood te voorzien door aan onderzoekers een naam te leveren die a) beter dan ‘GT’ weergeeft wat zij in hun onderzoek feitelijk doen, b) specifieker is dan het weinig zeggende ‘algemeen’ of ‘generiek kwalitatief onderzoek’, en c) bovendien methodologisch verdedigbaar en toetsbaar is. Dit laatste is voorwerp van mijn tweede doelstelling met deze bijdrage: de systematiek beschrijven van de kwalitatieve survey.

KWALON 30 (2005, jaargang 10, nr. 3)

15


01-11-2005

12:18

Pagina 16


Hieronder zal ik nu eerst de survey als onderzoekstype beschrijven met een korte wetenschappelijke en historische plaatsbepaling. Vervolgens schets ik de geschiedenis van de term ‘kwalitatieve survey’ en mijn eigen voorstel voor de invulling daarvan. Tot slot volgt een uiteenzetting van de systematiek van de kwalitatieve survey, gespiegeld aan de systematiek van de statistische survey. Voor mijzelf was deze vergelijking heel verhelderend. Ik hoop dat dit voor anderen, zowel kwalitatief als statistisch onderzoekers ook zo werkt. ‘Statistisch’ in plaats van ‘kwantitatief’ In discussies over kwalitatief versus kwantitatief onderzoek worden vaak vergissingen gemaakt. Men zegt ‘kwantitatief’ waar kwalitatief bedoeld wordt en omgekeerd. Om dergelijke versprekingen te voorkomen vervang ik hier ‘kwantitatief’ door ‘statistisch’. Dat is bovendien een scherpere weergave van het eigenaardige van dit type onderzoek in vergelijking met kwalitatief onderzoek. Surveyonderzoek

Met de term ‘survey’ wordt verwezen naar onderzoek waarin een populatie wordt beschreven van (voor het onderzoek) gelijkwaardige en gelijkwegende autonome eenheden; het is inventariserend onderzoek. In de sociologie gaat het meestal om een verzameling personen, maar de eenheden kunnen ook huishoudens zijn of families of bedrijven. Waar het om gaat is dat niet de sociale relaties tussen de bestudeerde eenheden worden onderzocht maar kenmerken, gedragingen of cognities ervan, bijvoorbeeld sekse, beroep, politieke voorkeur, alcoholconsumptie, theaterbezoek, etcetera. (Secundair worden vervolgens statistische relaties tussen kenmerken onderzocht, bijvoorbeeld de relatie tussen sekse en alcoholconsumptie maar dat komt later aan de orde). In zekere zin is de survey het meest eenvoudige, primitieve, onderzoeksdesign voor onderzoek met meer dan één waarnemingseenheid. De oudste vorm ervan is de volkstelling, die, zoals wij met Kerstmis memoreren, al door de Romeinen werd uitgevoerd. In het Oude Testament kunnen we lezen dat het ook al werd gedaan door koning David, getuige Korinthen 1, 21 vers 3: ‘Satan keerde zich tegen Israël en zette David aan Israël te tellen’; David had er later spijt van: ‘Was ik het niet die bevel gaf het volk te tellen? Ja, ik ben het, die gezondigd heb en zeer verkeerd gehandeld heb...’ (Fijnvandraat, 2005) Het belangrijkste verschil tussen de volkstelling en de gebruikelijke surveys is het gebruik van steekproeven in surveys. Sociologische, psychologische, biologische en economische surveys zijn sample surveys: in de survey wordt een selectie uit een populatie bestudeerd om iets over die populatie als geheel te weten te komen. Dit steekproefkarakter met de daaruit volgende vraag naar de representativiteit, domineert de academische surveymethodologie: hoe kun je ervoor zorgen dat je steekproef werkelijk de bedoelde populatie representeert? De meest eenvoudige steekproefsurvey is de simple random survey waarbij de steekproef in één keer uit de hele populatielijst (het steekproefkader) wordt getrokken op basis van ‘toeval’, dat wil zeggen een selectiecriterium waarvan geen systematische relatie bekend is met de te onderzoeken kenmerken van populatieleden.

16

De kwalitatieve survey


01-11-2005

12:18

Pagina 17


Het of de survey? Survey is een Engelstalig woord dat vaak vertaald wordt als ‘enquête’ (Frans!). Maar het wordt ook vaak onvertaald geleend. In de sociologische methodologie schrijft men traditioneel het survey, terwijl het in andere kringen de survey is. Een toets met Google leert dat de survey standaard is geworden; ook de dikste Van Dale (Geerts & Den Boom, 1999) schrijft de survey.

Een klassiek methodologisch boek over surveyonderzoek is Moser’s Survey methods in social investigation (1958). In het eerste hoofdstuk ‘The nature of social surveys’ onderscheidt Moser twee benaderingen in surveys: intensief onderzoek bij een klein aantal eenheden versus extensief onderzoek bij een grootschalige steekproef. Op pagina 2 vergelijkt hij deze twee als volgt: ‘These two approaches usually serve different ends and use markedly different methods: the intensive study of a few cases will tend to dig deeper, but may lose something in generality; it will probably use less formal interviewing than the other, and in the analysis of results will give more prominence to non-quantified material. This is an important difference, but the methodology used for such “field studies” or “field experiments” is in many respects so similar to that of the social survey proper (nadruk HJ) that I shall refer to them from time to time.’

Kortom: volgens Moser is de echte survey een statistische survey maar is de methodologie van intensief onderzoek met open interviews bij een klein aantal casussen niet wezenlijk anders. Je kunt dat ook wel onder de titel survey research vatten. Toch ontkomt Moser niet aan de vaststelling dat de andere methoden zoals directe (participerende) gedragsobservatie en documentenanalyse moeilijk kunnen voldoen aan de methodologische eisen van representativiteit, objectiviteit en betrouwbaarheid die in surveyonderzoek centraal staan. Hij erkent de waarde ervan maar deze methoden vallen buiten de harde wetenschappelijke kern van de echte survey. Wat de wetenschappelijke status van die andere methoden dan wel is, laat hij in het midden. En zo is het lange tijd gebleven in het universitaire sociaal-wetenschappelijke methoden en technieken bedrijf. De waarde van ‘veldonderzoek’ of ‘kwalitatief onderzoek’ (gebruikelijke verzameltermen) wordt enerzijds niet betwist maar anderzijds niet de moeite waard gevonden om in het methodeonderwijs op te nemen. Sprekend voorbeeld is het Basisboek sociaal onderzoek van Swanborn (1997). Hierin staat een afzonderlijk hoofdstuk over ‘veldonderzoek’ maar de vijf hoofdstukken over analyse betreffen uitsluitend de statistische analyse van gestandaardiseerde enquêtedata met SPSS. Daarnaast zijn er boeken, zoals het veel gebruikte leerboek van Babbie The practice of social research (1989), waarin de term ‘survey’ niet wordt gebruikt omdat alle wetenschappelijke sociaal onderzoek geacht wordt statistisch surveyonderzoek te zijn. Babbie ‘bewijst’ zelfs expliciet dat alle wetenschappelijke vragen kwantificeerbaar zijn. Opmerkelijk is dat in de loop der jaren het inhoudelijke theorieonderwijs in de sociologie (en andere sociale wetenschappen) wel veel aandacht heeft besteed aan de resultaten van kwalitatief onderzoek zoals dat van de Chicago school en de culturele antropologie, maar voor 1980 werden nergens in de psychologie, sociologie of economie in Nederland de methoden van dat onderzoek systematisch onderwezen en getraind. Zo weet ik zelf pas sinds enkele jaren dat


17


01-11-2005

12:18

Pagina 18


Znaniecki die rond 1920 met Thomas de vijfdelige klassieker The Polish peasant in Europe and America schreef, ook een van de grondleggers is van de analytische inductie. Ongeveer tien jaar geleden hoorde ik voor het eerst van de term analytische inductie (Murphy, Dingwall et al., 1998: 135-140). Een eenvoudige definitie van de kwalitatieve survey

De ‘kwalitatieve reactie’ in de sociaal-wetenschappelijke methodologie is sterk verbonden met Glaser en Strauss (1967), The discovery of Grounded Theory. Naar mijn perceptie is dat in Nederland heel sterk bevorderd door het proefschrift van Fred Wester (1984). Daarin maakte Wester niet alleen de werkwijze van de ‘gefundeerde theoriebenadering’ als ‘onderzoeksstrategie’ toegankelijk en (min of meer) navolgbaar voor Nederlandse studenten maar verschafte hij bovendien een academisch wetenschappelijk identiteitsbewijs voor kwalitatief onderzoek op basis van open interviews. In vervolgen op zijn proefschrift heeft Wester (1995: 38-41, 2000:26-28) verschillende ‘vormen’ of ‘strategieën’ van kwalitatief onderzoek onderscheiden: de etnografische studie, de kwalitatieve survey en de casestudy. In zijn definitie verbindt Wester (1995: 40-41) de kwalitatieve survey met: a veelal de beperking tot één waarnemingsmethode, meestal het (kwalitatieve) interview, b relatief grote aantallen (50+) gevallen, c iteratie van waarneming (lees: interviews) en analyse, en d gerichtheid op (gefundeerde) theorievorming Met name de eisen van grote aantallen, iteratie en theoriegerichtheid sluiten onderzoek buiten, dat gebaseerd is op eenmalige observaties of op een bescheiden aantal interviews (zeg, tussen plm. 10 en 40 gevallen). Dat is een heel groot deel van alle kwalitatief onderzoek dat er gedaan wordt. En dat soort kwalitatief onderzoek met een beperkte externe geldigheid, dat niet voldoet aan Wester’s criteria, levert soms wel degelijk bruikbare, contextueel redelijk valide en betrouwbare kennis op over het bestudeerde fenomeen (bijvoorbeeld het functioneren van de Rotterdamse huisartsgeneeskundige praktijk voor daklozen, of het cocaïnegebruik in Volendam, om maar wat recent onderzoek van het IVO te noemen). De kenmerken die Wester verbindt aan de kwalitatieve survey zijn mijns inziens dan ook methodologisch overbodige ballast bij een zo letterlijk mogelijke interpretatie van de term ‘kwalitatieve survey’ die aansluit bij de hiervoor aangegeven algemene definitie van survey als populatie-inventariserend onderzoek. Aangezien Wester in zijn laatste boek (Kwalitatieve analyse, Wester en Peters 2004) de hele term heeft laten vallen, is er des te minder bezwaar om het concept ‘kwalitatieve survey’ te herdefiniëren en daarbij terug te brengen tot de methodologische kern: De kwalitatieve survey is een onderzoek naar de verscheidenheid in aard of betekenis van een of meer gedragingen, cognities of attributen binnen een populatie. In de meest eenvoudige vorm wordt volstaan met eenmalige dataverzameling met betrekking tot één object bij een enkelvoudige vooraf bepaalde steekproef.

18



01-11-2005

12:18

Pagina 19


Nog korter: de kwalitatieve survey is een onderzoek naar verscheidenheid, en de statistische survey is een onderzoek naar frequentie. Buiten het boek van Wester wordt bij mijn weten de term ‘kwalitatieve survey’ nergens gebruikt in de kwalitatieve methodologie, althans in geen van de inleidingen die ik er op nageslagen heb, noch in het woordenboek van Schwandt (1997). Dat is opmerkelijk – en waarschijnlijk een van de redenen voor Wester om het ook te laten vallen. Vermoedelijk heeft dat te maken met de dominantie van interpretativistische en constructivistische opvattingen van kwalitatief onderzoek onder kwalitatief methodologen, mede in het kielzog van de polemische positie van Glaser en Strauss tegenover positivistische sociologie. Het kwalitatief surveyonderzoek waar ik me hier op richt is echter veelal oprecht positivistisch en veelal praktijkgericht, zonder veel methodologische of wetenschapsfilosofische reflectie. Generiek kwalitatief onderzoek?

Ook door anderen is geconstateerd dat er veel eenvoudig kwalitatief onderzoek gedaan wordt zonder expliciete methodologische of filosofische bagage en theoriedoelen maar dat niettemin betrouwbaar, valide en nuttig kan zijn. Sommigen benoemen dit tot nu toe miskende onderzoek als ‘generiek kwalitatief onderzoek.’ Zo ook Caelli, Ray & Mill (2003) die een heldere formulering van het probleem leveren: ‘We have observed a growth in the number of qualitative studies that have no guiding set of philosophic assumptions in the form of the established qualitative methodologies. This lack of allegiance to an established qualitative approach presents many challenges for “generic qualitative studies”, one of which is that the literature lacks debate about how to do a generic study well.’

Naar mijn idee is de analyse van Caelli e.a. heel goed, maar is het label ‘generiek’ een misser. Want het betreft hier wel degelijk een specifiek (taalkundig het tegendeel van generiek) type onderzoek, namelijk de kwalitatieve survey. GT, etnografie, conversatieanalyse, discoursanalyse etcetera hebben andere kennisdoelen en volgen daarom andere methodieken. In de sector van praktijkgericht of beleidsonderzoek spreekt men vaak onbekommerd van ‘kwalitatief onderzoek’ zonder nadere specificatie. Dat is voornamelijk een blijk van onzorgvuldigheid in het taalgebruik; bij nadere beschouwing gaat het bijna altijd om kwalitatieve surveys en soms om etnografisch ‘veldwerk’. Ook het overigens heel verdienstelijke leerboek van Baarda, De Goede & Teunissen (1995) titelt zich zonder toelichting als ‘basisboek kwalitatief onderzoek’. Huismijt

Toen ik de eerste keer de Google scholar zoekmachine voor wetenschappers testte, deed ik dat met de zoekterm qualitative survey. Het resultaat was een aangename verrassing, want als een van de eerste hits kreeg ik deze titel: House dust mites and respiratory allergy: a qualitative survey of species [nadruk HJ] occurring in Finnish house dust. Stenius B. en Cunnington AM. in the Scandinavian Journal of Respiratory Diseases 1972; 53 (6):338-48.


19


01-11-2005

12:18

Pagina 20


Dat is nu precies wat ik bedoel: waar een statistische survey telt hoeveel beestjes er van de ene en/of de andere soort zijn, brengt de kwalitatieve survey in kaart welke verschillende soorten beestjes ergens rondkruipen. En vervolgens, maar dat is een analytische stap buiten de survey zelf, wordt dan onderzocht welke combinatie van mijtsoorten de huizen van personen met astma-aanvallen onderscheidt van huizen waar geen astma-aanvallen optreden. En zo kom je er dan wellicht achter waarom astmapatiënten in het ene stoffige huis wel allergisch reageren en in het andere stoffige huis niet. Ook de meeste andere hits voldeden aan mijn definitie. Nog twee voorbeelden: 1 A Qualitative Survey of Tertiary Instructor Attitudes towards Project-Based CALL, door Debski en Gruba in Computer assisted language learning, juli 1999 (219-239). Op basis van een aantal (hoeveel staat niet in het abstract) semi-gestructureerde interviews met docenten wordt een zesdelige typologie van houdingskenmerken opgesteld. 2 A national qualitative survey of community-based musculoskeletal services in the UK, door Roberts, Dolman, Adebajo en Underwood in Rheumatology 2003; 42: 1074-1078. Dit lijkt meer op wat Wester bedoelde: 461 schriftelijke vragenlijsten gestuurd naar 350 instellingen ‘To determine the characteristics of community-based musculoskeletal services provided by primary care organizations within the UK’. Conclusie: ‘There are a wide range of musculoskeletal services flourishing within the community sector, whose quality may be variable’. Kortom: de term ‘kwalitatieve survey’ is in verschillende disciplines (economie, biologie, onderwijskunde) en onderzoeksvelden in gebruik als een bijna vanzelfsprekend begrip, maar juist niet in de wereld van Denzin & Lincoln (1998), Silverman (2000), Creswell (1998), Schwandt (1997) en Flick (2002). Mede uit de geselecteerde voorbeelden is duidelijk dat het aantal waarnemingen in principe kan variëren van twee tot meer dan honderdduizend, de waarnemingseenheid van minuscule diertjes tot maatschappelijke instellingen, de waarnemingsmethode van microscopische observatie tot schriftelijke vragenlijsten, het praktijkdoel van ziektebestrijding tot verbetering van onderwijs. Wat de survey kwalitatief maakt is het beoogde type kennis: verscheidenheid. Het vaststellen van verscheidenheid kan zowel een exploratief doel hebben als een toetsend doel, want wetenschappelijke hypothesen kunnen niet alleen gaan over kansen en correlaties maar ook over noodzakelijke voorwaarden en constellaties van kenmerken. Hiermee wil ik niet beweren dat elk onderzoekje met zes of zeven interviews uit een populatie van bijvoorbeeld verpleegkundigen een goede kwalitatieve survey is, of überhaupt de titel ‘onderzoek’ verdient. Ik ben het met Tony Hak (2004) eens dat veel kwalitatief onderzoek niet voldoet aan de eisen die een wetenschappelijk tijdschrift of zelfs een scriptiebegeleider zou moeten hanteren. Maar juist voor de ontwikkeling van een toetsingskader geeft het etiket ‘kwalitatieve survey’ en de hieronder volgende uiteenzetting van de daaraan eigen systematiek, een veel adequater uitgangspunt dan het etiket ‘grounded theory’ of ‘generiek kwalitatief onderzoek’.

20



01-11-2005

12:18

Pagina 21


De systematiek van de kwalitatieve survey in vergelijking met de statistische survey Voordat ik de systematiek van de kwalitatieve survey ga bespreken wil ik de invalshoek op een aantal punten verduidelijken. 1 In de sociale wetenschappen wordt de term ‘survey’ gebruikt voor alle kwantificerend onderzoek waarvan de dataverzameling berust op gestandaardiseerde vragenlijsten of observatieschema’s die worden toegepast op een steekproef uit een populatie. De doelstelling van zulke surveys is vaak niet zozeer de bepaling van frequenties waarmee bepaalde kenmerken voorkomen maar vooral de analyse van statistische correlaties tussen kenmerken, bijvoorbeeld tussen werksituatiekenmerken en arbeidssatisfactie van werknemers. De onderzoeker zoekt naar statistische verklaring voor (gebrek aan) arbeidssatisfactie en toetsing van statistische hypothesen daarover, die hij heeft afgeleid uit een ‘theorie’ dan wel een verzameling onderzoeksliteratuur. Toch is het gebruikelijk om ook in dergelijk theoriegericht onderzoek de eis te stellen dat het onderzoek representatief is voor een vooraf gedefinieerde populatie. De eerste fase van het onderzoek is dan te benoemen als een statistische survey: inventarisatie van scores op geselecteerde variabelen in een populatie. Dat is het fundament waarop de verklarende of toetsende statistische analyse is gebouwd. Wat ik hieronder zeg over de statistische en de kwalitatieve survey beperkt zich tot deze inventarisatiefase. Voor andere kennisdoelen zijn andere onderzoeksontwerpen vaak meer aangewezen. 2 Mutatis mutandis geldt dit ook voor kwalitatieve surveys: de inventariserende fase, vaak afgerond met een of meer classificaties, kan onderdeel zijn van een veel breder onderzoeksproject waarin bijvoorbeeld ook causale hypothesen of conceptuele modellen getoetst worden. 3 In de genoemde ‘primitieve’ betekenis heeft de kwalitatieve survey dezelfde fasering als de statistische, namelijk die van ‘de empirische cyclus’. Dat maakt het gemakkelijk om de beide onderzoeksprocessen parallel te schematiseren en per stap te vergelijken. 4 Voor het gemak beperk ik de vergelijking tot surveys waarin de dataverzameling plaatsvindt in de vorm van individuele interviews of schriftelijke enquête. Qua systematiek maakt het geen verschil met surveys op basis van observatie van dieren, lezing van teksten of MRI-scans. 5 Om didactische redenen gebruik ik als voorbeeld een onderzoek naar het gebruik van benzodiazepinen, hier afgekort tot benzo’s. Benzo’s zijn geneesmiddelen met varianten van dezelfde werkzame stof, die onder verschillende merknamen (valium, librium, temazepam, diazepam, rohypnol etcetera) worden verkocht als slaapmiddel of als kalmeringsmiddel. Zij behoren tot de meest voorgeschreven en gebruikte geneesmiddelen in Nederland. Wat hieronder over dit onderzoek wordt geschreven is deels gebaseerd op recent eigen onderzoek, maar waar passend aangevuld met fictieve data en resultaten. Het echte onderzoeksrapport is verkrijgbaar bij het IVO (Stoele, Luijendijk, Tiemeijer, Heeringa & Jansen, 2004).


21


01-11-2005

12:18

Pagina 22


Onderwerp, doelstelling, vraagstelling en kennisdoel

Empirisch zijn er ‘Wahlverwantschaften’ tussen enerzijds de keuze van onderwerpen, doelstellingen en probleemstellingen en anderzijds de keuze voor een kwalitatieve dan wel een statistische benadering en omgekeerd. ‘Kwalitatieve’ onderzoekers kiezen vaak andere onderwerpen en vraagstellingen dan ‘statistische’ onderzoekers. Daar kan ook een politieke of anderszins levensbeschouwelijke voorkeur van de onderzoeker een rol bij spelen. Strikt (methodo-)logisch gezien is die relatie tussen onderwerp, doelstelling en methode echter niet zo hecht. Met de doelstelling van een onderzoek wordt aangegeven welk probleem het onderzoek moet helpen oplossen. Dat kan een praktisch probleem zijn of een theoretisch probleem. Vooral bij praktijkgericht onderzoek laat de doelstelling vaak zowel kwalitatieve als statistische uitwerkingen toe. Voor de bepaling van het onderzoeksdesign is het kennisdoel beslissend: wat wil je precies weten over wie/wat in welke context? Als het goed is wordt dit kennisdoel gespecificeerd in de vraagstelling. Dat is in de praktijk echter lang niet altijd het geval, zoals gemakkelijk kan worden geïllustreerd aan de ‘Voorbeelden van vraagstellingen uit kwalitatief onderzoek’ die Boeije (2005:42) presenteert. Elk van die voorbeelden zou ook in een statistisch onderzoek kunnen worden uitgewerkt. Ik neem hier het laatste voorbeeld omdat dat toevallig over benzodiazepinen gaat. De vraagstelling is ontleend aan Haafkens (1997) en luidt: ‘Hoe is de betekenis die vrouwen toekennen aan kalmeringsmiddelen […] beïnvloed door informatie die ze hebben verkregen van hun dokters, van mensen in hun sociale netwerk of uit andere bronnen?’

Deze vraagstelling zou op zichzelf best kunnen worden uitgewerkt in een gestandaardiseerde vragenlijst met gesloten antwoorden waaruit de respondenten moeten kiezen, een statistische survey dus. Bijvoorbeeld: ‘Heeft uw dokter u ooit meegedeeld dat de pillen niet meer werken?’ (ja/nee), zo ja: ‘Hoe vaak?’ (een keer/ vaker) en ‘Wanneer voor het laatst?’ (meer dan een jaar geleden,/langer dan een maand maar minder dan een jaar geleden/ een maand of korter geleden). Op basis van de geciteerde vraagstelling zou dus best gekozen kunnen zijn voor een statistische aanpak (p.m. grammaticaal gaat het hier strikt genomen om een causale vraag). Toch was voor de onderzoeker en ook voor de lezer bij deze passage in de ontwikkeling van het onderzoeksontwerp al lang duidelijk dat er een kwalitatieve survey met een aantal semi-gestructureerde biografische interviews zou worden uitgevoerd. Kortom: deze vraagstelling levert geen adequate specificatie van de feitelijke kennisdoelen en dat geldt ook voor de andere voorbeelden van Boeije. Het lijkt er dan ook op dat dit een structureel probleem is in de formulering van vraagstellingen voor kwalitatief onderzoek.

De kwalitatieve en de statistische survey in acht stappen Op grond van bovenstaande overwegingen wordt hieronder bij de behandeling van de systematiek van de kwalitatieve en de statistische survey gestart bij de definitie van het kennisdoel. Daarin zijn 8 stappen te onderscheiden (zie schema 1 voor een kort overzicht).

22



01-11-2005

12:18

Pagina 23


Schema 1 Stappen in de kwalitatieve en de statistische survey Stappen

kwalitatieve survey

(kwantitatieve/) statistische survey

1. Bepalen van kennisdoel door specificatie van a. verscheidenheid in aard van

a. frequenties van kenmerk gedrag,

een kenmerk, gedrag of cognitie

cognitie

b. het materieel object

b. populatie = verzameling

b. populatie = verzameling individuen

(analyse-eenheid), en

individuen

c. de waarnemingseenheid

c. persoon/ding/document

c. persoon/ding/document

2. Kiezen van

interview

interview

waarnemingsmethode

(face-to-face, telefonisch)

(face-to-face, telefonisch)

a. het type kennis

zelf-invul-vragenlijst

zelf-invul-vragenlijst

(schriftelijk, elektronisch)

(schriftelijk, elektronisch)

3. Steekproef trekken a. wijze van selectie

‘theoretisch’ beredeneerd, ‘targeted’ toeval (gelijke kansen)

b. bepaling van omvang

verzadiging

nauwkeurigheid

= dekking verscheidenheid

populatieschatting

4. Vragen stellen

open

gesloten

5. Data opslaan

elektronisch opnemen of

aankruisen van

opschrijven van antwoorden

antwoordcategorieën

a. aard van codering

inductief/ interpreterend

deductief/ operationaliserend

b. moment van coderen

achteraf

vooraf

7. Analyseren

vergelijken en typeren

tellen en schatten, statistiek

kwalitan, atlas-ti, maxqda, nvivo

spss, sas, systat, bmdp

6. Coderen

8. Rapporteren

typen met illustratieve fragmenten

tabellen en conclusies

verantwoorden en controleerbaar

minimale verantwoording van

maken van interpretaties

toekenning codes


23


01-11-2005

12:18

Pagina 24


Stap 1. Het kennisdoel: type kennis, analyse-eenheid en waarnemingseenheid

Bij de doelstellingen van een onderzoek wordt vaak onderscheid gemaakt tussen externe doelstellingen (oplossing van een praktisch en/of theoretisch doel) en de kennisdoelen die in de vraagstelling worden geformuleerd. Voor elk kennisdoel moet afzonderlijk bepaald worden welke onderzoeksmethode daarvoor de meest adequate is binnen het onderzoek dat men gaat doen. Vooral case studies zijn vaak ‘multi method’; combinaties van bijvoorbeeld inhoudsanalyse op documenten, expert interviews, een enquête onder klanten/patiënten, en praktijkobservaties. Op de keper beschouwd worden er dan methodologisch verschillende onderzoeken gedaan met elk hun eigen kennisdoel dat bepalend is voor de systematiek van dat onderdeel. In surveys met een primair statistisch karakter worden soms ook open vragen opgenomen ter ‘exploratie’ van een onderwerp waarvan men de verscheidenheid in de populatie wil onderzoeken. In andere gevallen worden open vragen vooral ingezet omdat het codeerschema te complex is. Neem bijvoorbeeld een beroepenclassificatie. Het is efficiënter om het beroep op te (laten) schrijven en later te coderen dan de hele beroepenlijst in de antwoordcategorieën op de vragenlijst te zetten. Bij exploratieve open vragen is het goed om je te realiseren dat het kennisdoel van die vragen anders is dan van de gesloten vragen, en daarom bijvoorbeeld eigenlijk om een andere steekproef en analysemethode vraagt. Het benzo-onderzoek bestond uit drie onderdelen: a een longitudinaal statistisch onderzoek naar het verloop van de benzoconsumptie door ouderen in Ommoord over de periode 1992-1999. Kennisdoel: de prevalentie van ‘langdurig frequent gebruik’ over opeenvolgende jaren. b een kwalitatieve survey onder oudere langdurig gebruikers van benzo’s in de regio Rotterdam. Kennisdoel: de verscheidenheid van biografische betekenissen (/functies) van benzo’s en manieren van omgaan met benzo’s in deze populatie. c een kwalitatieve survey onder huisartsen in Rotterdam en omgeving. Kennisdoel: de verscheidenheid in visies op benzodiazepines en voorschrijfbeleid ten aanzien van ouderen. De analyse-eenheid is het object waar je door middel van het onderzoek uitspraken over wilt doen; de waarnemingseenheden zijn de objecten waarover je data verzamelt. In een survey is de analyse-eenheid (populatie) een verzameling waarnemingseenheden (individuen). In het benzo-onderzoek: analyse-eenheden respectievelijk populatie ouderen in Ommoord, populatie oudere benzogebruikers regio Rotterdam, populatie huisartsen regio Rotterdam. Ik ga hier niet verder in op de complexiteit van analyse-eenheden, waarover in de kwantitatieve methodologie veel geschreven is, onder meer in verband met ‘fallacy of the wrong level’. Heel goed – en niet alleen over dit onderwerp – is nog steeds mijn oude ‘bijbel’ van Galtung (1967). Stap 2. De waarnemingsmethode

Het is opmerkelijk dat in de sociale wetenschappen van ‘waarneming’ en ‘waarnemingsmethoden’ wordt gesproken waar het feitelijk gaat om de registratie van zelfrapportages van respondenten over hun eigen gedrag of cognities, waar de onderzoeker meestal niets van te zien of te horen krijgt. Niettemin zal ik me hier aan het gangbare spraakgebruik aanpassen.

24



01-11-2005

12:18

Pagina 25


Zowel in statistische als kwalitatieve surveys kan men de data verzamelen door middel van schriftelijk, telefonisch, elektronisch of face-to-face (mondeling) gestelde vragen, dan wel door middel van auditieve/visuele waarneming. Statistische surveys zijn door de standaardisatie van zowel vragen als antwoorden beperkt tot gesloten vragen of gesloten observatieschema’s. Dat wil zeggen daar is in principe geen interactie met de respondent in die zin dat tijdens het interview niet gereageerd kan worden op wat de respondent zegt (vgl. Houtkoop-Steenstra, 2000). In de kwalitatieve survey is de onderzoeker vaak zelf (mede-) interviewer juist omdat de kwaliteit van de interviews sterk bepaald wordt door het inzicht van de interviewer in de kennisdoelen van de survey. Omwille van die kwaliteit zal in de kwalitatieve survey vaak worden gewerkt met relatief dure observaties en/of face-to-face mondelinge interviews, terwijl in de statistische survey eerder gekozen wordt voor schriftelijke of elektronische (internet-) vragenlijsten. Stap 3. De steekproef

a. De statistische steekproef Bij een statistische survey gaat het om de schatting van frequenties in een populatie. De statistische betrouwbaarheid van die schatting kan worden bepaald mits de selectie van de steekproef at random gebeurt zodat elk lid van de populatie evenveel kans heeft om gekozen te worden. Dat vereist op de eerste plaats een steekproefkader (lijst) waarin alle leden van de populatie voorkomen; bijvoorbeeld de gemeentelijke bevolkingsadministratie, of (minder goed maar goedkoop) het postcodeboek dan wel het telefoonboek. Als een dergelijke lijst beschikbaar is, is het zeer eenvoudig om een random steekproef te trekken. Hoe groot de steekproef moet zijn, kan worden berekend als men weet hoe nauwkeurig de schatting moet zijn. Wil je bijvoorbeeld de gemiddelde leeftijd schatten met 95 procent zekerheid dat je er niet meer dan twee jaar naast zit, dan heb je een grotere steekproef nodig dan wanneer je genoegen neemt met een marge van drie jaar, of met 90 procent zekerheid. Een steekproef geeft nooit volledige zekerheid. Voor 100 procent zekerheid en nauwkeurigheid moet je de hele populatie onderzoeken (een volkstelling). Van groot belang is dat alle leden van de getrokken steekproef ook daadwerkelijk meedoen aan de enquête. Dat is in Nederland een steeds groter probleem: bij de meeste enquêtes is de respons niet meer dan 50 procent. Voor onderzoek naar kenmerken of gedrag dat heel scheef verdeeld is over de bevolking (zoals benzogebruik) of waarvan de prevalentie heel laag is (zoals de lotto winnen) of die vooral van toepassing zijn op mensen die geen vast adres hebben (zogenaamde hidden populations), is een bevolkingsadministratie niet goed bruikbaar als steekproefkader. Daarom bestaat bij statistische surveys over bijvoorbeeld harddruggebruikers het grootste deel van het werk uit de ontwikkeling van een steekproefkader. Er wordt bijvoorbeeld eerst veldwerk gedaan om tot een etnographic map te komen van de populatie, dat wil zeggen de identificatie van plaatsen in de stad waar leden van deze populatie vaak te vinden zijn. Vervolgens wordt dan een aantal van deze vindplaatsen geselecteerd en wordt per vindplaats een ‘randomisatieprocedure’ afgewerkt om respondenten te selecteren. Merk op dat voor kwantitatief onderzoek met een theoretisch doel, bijvoorbeeld toetsing van hypothesen over de samenhang tussen opleidingsniveau en benzogebruik, niet zozeer de statistische ‘frequentiële’ afspiegeling van de populatie van belang is, maar de vertegenwoordi-


25


01-11-2005

12:18

Pagina 26


ging van de heterogeniteit van de populatie zowel qua opleiding als qua benzogebruik – dus vooral zorgen dat er voldoende niet-gebruikers, zeer incidentele gebruikers en extreem veelgebruikers in de steekproef zitten en voldoende laag opgeleiden en hoog opgeleiden. Daarvoor worden de steekproeven ‘gestratificeerd’: per categorie (‘stratum’) wordt een steekproef getrokken die groot genoeg is om voldoende nauwkeurige schattingen van de frequenties per categorie te kunnen doen; dat is dan efficiënter dan dat te waarborgen door een hele grote simple random-steekproef te trekken. b. De ‘theoretische’ steekproef Voor een kwalitatieve survey gaat het om vertegenwoordiging van de verscheidenheid die in de populatie bestaat, met andere woorden dat alle varianten van het onderzoeksobject in de steekproef vertegenwoordigd zijn. Als dat het geval is spreekt men van variatiedekking of ‘verzadiging’. De term ‘verzadiging’ heeft hier een iets andere betekenis dan in de grounded theory-literatuur; daar gaat het om theoretische verzadiging (vergelijk Wester, 1995: 58) hier om empirische verzadiging. Verzadiging is altijd een conditioneel begrip, want wat verzadiging is, hangt mede af van welke verscheidenheid je uiteindelijk relevant vindt. Aangezien elk individu anders is, is voor 100 procent volledige verzadiging de hele populatie nodig, net zoals voor 100 procent betrouwbaarheid bij de statistische survey. Bij hele kleine populaties (bijvoorbeeld de raad van bestuur van een onderneming) is dat trouwens ook best mogelijk. Om verzadiging zo volledig mogelijk te maken is een stapsgewijze iteratieve dataverzameling en -analyse te prefereren. Dat wil zeggen, je begint met bijvoorbeeld vijf interviews, analyseert de verscheidenheid en bedenkt dan waar in de populatie je zou kunnen verwachten nog nieuwe varianten te vinden. Daar doe je dan weer enkele interviews en vergelijkt deze met de eerste vijf om te zien of er echt iets nieuws gevonden is, enzovoorts tot je geen nieuwe informatie meer vindt. Schema 2 Voorbeeld van ‘theoretisch’ kader voor een kwalitatieve steekproef van huisartsen solopraktijk

duopraktijk

groepspraktijk

centrum

buiten

centrum

buiten

centrum

buiten

vrouw

I

II

III

IV

V

VI

man

VII

VIII

IX

X

XI

XII

In de praktijk is het niet altijd mogelijk om een dergelijke stapsgewijze procedure te volgen en moet je vooraf een steekproef samenstellen en de omvang bepalen. In een subsidieaanvraag moet je bijvoorbeeld een aantal uit te voeren interviews noemen. Vaak is het logistiek veel efficiënter om een one shot-steekproef te trekken. Om dat zo goed mogelijk te doen is het goed om – op basis van literatuur en andere kennis – een ‘theoretisch’ steekproefkader te maken. Dat is een classificatiesysteem met de condities waarvan je vermoedt, dat die verschil maken voor je onderwerp. Bijvoorbeeld voor de huisartsensurvey in het benzo-onderzoek hadden wij bedacht, dat structureel geregelde collegiale samenwerking verschil zou maken

26



01-11-2005

12:18

Pagina 27


voor het voorschrijfbeleid. Daarbij werden drie typen onderscheiden: solopraktijk, duopraktijk en groepspraktijk; ook zouden mannelijke huisartsen wellicht anders met benzo’s omgaan dan vrouwelijke, en huisartsen in grootstedelijke achterstandswijken zouden wellicht met andersoortige benzoproblematiek worden geconfronteerd dan huisartsen in welvarende buitenwijken. Deze drie variabelen leveren in totaal 3 x 2 x 2 = 12 verschillende condities op (schema 2). Uiteindelijk werden tien huisartsen geïnterviewd die zoveel mogelijk gespreid waren over deze condities. Hoewel niet geclaimd kan worden dat er sprake is geweest van volledige verzadiging hebben wij onder deze tien huisartsen wel een relevante verscheidenheid aan ervaringen en visies aangetroffen, die waardevolle inzichten opleverde over het langdurig voorschrijven van benzo’s. ‘Theoretisch’ zet ik hier tussen aanhalingstekens omdat dit steekproefkader gebouwd is op vooroordelen, die maar in beperkte mate worden gerechtvaardigd door wetenschappelijk getoetste theorieën. Overigens is een dergelijk schema vooraf als richtlijn ook handig wanneer er wel tijd en geld is om iteratief te werken. In dat geval verandert het steekproefkader bij elke stap in het iteratieve proces. Want gaandeweg kom je bijvoorbeeld op het idee, dat huisartsen die recent opgeleid zijn waarschijnlijk anders omgaan met benzo’s dan huisartsen die lang geleden zijn opgeleid, toen nog algemeen werd aangenomen dat benzo’s onschadelijk waren. Merk op dat hier in feite dezelfde logica gevolgd wordt als in de gestratificeerde steekproef voor statistische surveys; alleen worden in de statistische survey per cel grotere aantallen respondenten op toeval gekozen vanwege de statistische betrouwbaarheidseisen (p-waarden). Stap 4. Open en gesloten vragen, maatwerk en standaardisering

‘Open vraag’ betekent niet meer dan een vraag zonder voorgecodeerde antwoorden. Vaak worden de termen ‘gestructureerd’ of ‘gestandaardiseerd’ gebruikt voor vragenlijsten in statistische surveys. Men bedoelt dat gewerkt wordt met vaste volgorde, vaste vraagformulering en vaste antwoordcategorieën. In de kwalitatieve survey kan gewerkt worden met een lijst van vaste startvragen met een vaste volgorde, maar altijd gaat het om open vragen. Vaak gebruikt men een ‘itemlijst’ met korte aanduidingen van de onderwerpen die aan de orde moeten komen, soms een uitvoerige interviewhandleiding, een guide (vergelijk Heldens & Reysoo, deze bundel). Precieze formuleringen en volgorde worden aangepast aan het verloop van het interview. Hier wordt dus maatwerk geleverd. Men spreekt van ‘semi-gestructureerd’ interview als de itemlijst wel vooraf vast staat en van een volledig open interview als alleen het globale onderwerp vast staat – zonder structurering in een itemlijst. In de minimale vorm is het kwalitatieve interview een interview met één open vraag zoals: ‘Hoe vaak neemt u een pil?’ of ‘Wanneer gebruikt u een kalmeringsmiddel?’


27


01-11-2005

12:18

Pagina 28


Schema 3 Vergelijking van de gesloten en de open vraag ‘Hoe vaak neemt u een pil?’

gesloten

VRAAG

RESPONSIEPROCES*

DATA

Hoe vaak...?

Respondent

Hoe vaak?

■

1x per dag

■

1x per dag

■

4-5 x p w

■

4-5 x p w

etc open

Hoe vaak...? ..................... .....................

?

‘Nou, dat ligt er aan. Soms elke dag, soms niet. Als ik goed ben neem ik niks hoor; alleen als het echt nodig is, en dan wacht ik zo lang mogelijk’

*

De vraag brengt bij de respondent een cognitief proces op gang dat niet waarneembaar is voor de interviewer. In die zin is de respondent een ‘black box’. Bij een open vraag komt van dat interne proces meer naar buiten dan bij een gesloten vraag. Open vragen leveren vaak veel meer informatie op dan waar letterlijk naar wordt gevraagd. Dat kan informatie zijn die onvoorziene aspecten van het bestudeerde gedrag aan het licht brengt en/of ‘diepte-informatie’ over relevante motieven en andere achtergronden. Dat is ook juist de bedoeling van open vragen. Een open interview krijgt meer ‘diepte’ wanneer er na het eerste antwoord verder doorgevraagd wordt naar details en omstandigheden. In het voorbeeld wordt op een simpele open vraag direct al heel veel informatie gegeven over het gebruikspatroon van de respondent. Maar de respondent had ook kunnen volstaan met het eerste onderdeel: ‘Nou, dat ligt er aan’ en daar had de interviewer dan genoegen mee kunnen nemen. Meestal zal een interviewer dan doorvragen, en er dus een ‘diepte-interview’ van maken. Merk op dat in dit voorbeeld beide antwoorden (op de open vraag en op de gesloten vraag) van dezelfde respondent afkomstig zouden kunnen zijn. Stap 5. Data opslaan

In de statistische survey bestaan de data uit kruisjes bij antwoordcategorieën op een vragenlijst. Die antwoordcategorieën zijn vooraf bepaald en van een numerieke code voorzien. In moderne varianten kunnen de data zonder tussenbewerking elektronisch worden opgeslagen in een computer en zijn dan klaar voor analyse. Het opslaan van de data vergt dan nauwelijks tijd van de onderzoeker.

28



01-11-2005

12:18

Pagina 29


In de kwalitatieve survey worden de vragen en antwoorden op band of digitaal (bijvoorbeeld mp3) opgenomen en vervolgens integraal dan wel selectief letterlijk uitgetypt (transcriptie). Soms worden met de hand notities gemaakt tijdens het interview die dan later worden uitgetypt; in dat geval moet volstaan worden met samenvattingen en korte letterlijke citaten. Hierbij kan veel relevante informatie verloren gaan. Bovendien is de selectie oncontroleerbaar in vergelijking tot volledige registratie. Stap 6. Coderen

Coderen is het verbinden van ruwe data met ‘theoretische’ begrippen. In de statistische survey wordt die stap gezet bij de constructie van de vragenlijst, en wel deductief: op basis van voorafgaande inzichten (‘theorie’) worden vragen ontworpen en wordt per vraag bepaald welke antwoorden voor dit onderzoek relevant zijn. Die relevante antwoorden worden op een rijtje onder de vraag gezet en voorzien van een selectievakje (al dan niet genummerd) en een instructie. Als het goed is wordt in een pretest bij een ‘theoretische’ steekproef gecontroleerd of alle soorten leden van de beoogde populatie de vragen en antwoorden lezen en invullen zoals bedoeld werd bij het ontwerp van de vragenlijst. Bij de steekproef voor de pretest moet vooral gedacht worden aan representatie van cultuurverschillen en competentieverschillen (opleiding) zoals die in de beoogde populatie voorkomen. In de kwalitatieve survey wordt het coderen achteraf en min of meer inductief gedaan. Dat gaat in een aantal stappen, zoals gedetailleerd beschreven door Baarda, De Goede & Teunissen (1995; 2005). Boeije (2005: 98 e.v.) geeft een aantal verschillende aanpakken voor het coderen. Een heel simpele aanpak is deze: – Lees eerst een aantal uitgewerkte interviews integraal door om een idee te krijgen van ‘wat er allemaal is’. – Begin dan met de teksten in te delen in fragmenten die globaal over hetzelfde onderwerp gaan. Dikwijls zijn dit de startvragen uit het vragenschema, of termen die deze samenvatten, bijvoorbeeld ‘slikfrequentie’ maar meestal zul je al meteen meer onderwerpen onderscheiden dan in de itemlijst stonden. – Dat onderwerp is dan de eerste code die aan het betreffende fragment wordt toegekend. – Daarna wordt de codering verfijnd met meer kwalificaties per fragment en verdere onderverdeling van fragmenten. Bijvoorbeeld in het voorbeeld in schema 3: het fragment ‘Nou dat ligt er aan. Soms elke dag, soms niet’ krijgt code ‘verschillend’ (tegenover ‘vast’), het fragment ‘Als ik goed ben neem ik niks hoor’ krijgt code ‘afhankelijk van gevoel’ en het fragment ‘alleen als het echt nodig is, en dan wacht ik zo lang mogelijk’ krijgt bijvoorbeeld de code ‘alleen als nodig’. – In de loop van het proces kunnen codes worden gegroepeerd en gehergroepeerd onder nieuwe abstractere begrippen, bijvoorbeeld alle hier genoemde codes kunnen worden ondergebracht bij ‘gebruikspatroon’ en in de loop van de verdere analyse kunnen hier weer subgroepen van gemaakt worden onder een typologie van gebruikspatronen: routinegebruik (vaste frequentie, vaste dosis, vast tijdstip), verantwoord gebruik en gepreoccupeerd gebruik.


29


01-11-2005

12:18

Pagina 30


In het algemeen is het handig om bij dit fragmenteren, coderen, verder verfijnen en hergroeperen, ofwel het knippen en plakken, een software programma te gebruiken zoals MAXqda, Kwalitan, Atlas-ti of Nvivo. Het kost een paar dagen om in een dergelijk programma thuis te raken, maar die tijd verdien je dubbel en dwars terug. Intermezzo: de datamatrix

In schema 4 wordt getoond hoe de statistische en de kwalitatieve datamatrix eruit zien, met in de cellen respectievelijk cijfers en tekstfragmenten. De ruwe datamatrix is de matrix waarin alle data staan zoals ze zijn verzameld, zonder enige bewerking. In beide matrices staat in de eerste kolom het identificatienummer of eventueel de naam of initialen van de respondent. Elke respondent heeft een rij in de matrix. In de statistische datamatrix staan de namen van de variabelen boven de kolommen. In de analyse worden nieuwe kolommen toegevoegd met nieuw berekende variabelen – de laatste kolom met leeftijdsklasse is daar een voorbeeld van. In het codeboek (c.q. de variable view in de laatste versie van SPSS) wordt de betekenis en de berekeningswijze van de variabelen opgeslagen. In de kwalitatieve datamatrix staan boven de kolommen geen variabelennamen maar codes (kwestie van taal). Bij de kwalitatieve survey bestaat de meest ruwe datamatrix uit de integrale interviews. In dat geval telt de matrix voor elke respondent slechts twee cellen: een met het id-nummer of naam en een met het interview. Bij sommige programma’s worden de interviews meteen bij het inlezen opgesplitst in fragmenten; de eerste grove codering wordt dan al bij het intypen aangegeven (bijvoorbeeld bij Kwalitan: een regel die met een @ begint). De getoonde kwalitatieve datamatrix (schema 4) is ergens halverwege de analyse. Net als in de statistische analyse worden in de analyse steeds kolommen toegevoegd met nieuwe codes. Stap 7. Analyseren

In de statistische survey is de analyse gescheiden van de data-opslag. De analyse bestaat minimaal uit het berekenen van frequentieverdelingen (aantal scores per waarde). Aangezien elke frequentie een schatting is voor de frequentie in de populatie, zou er eigenlijk altijd een betrouwbaarheidsinterval moeten worden berekend. Voor een nadere typering van de frequentieverdeling worden centrummaten berekend (gemiddelde, mediaan, modus) en eventueel ook spreiding (standaarddeviatie, variantie, kwartielen, percentielen), scheefheid (skewness) en platheid (kurtosis) van de verdeling. Voor de overzichtelijkheid worden variabelen met een groot aantal antwoordcategorieën (zoals leeftijd in jaren), gehercodeerd tot een beperkt aantal categorieën of klassen. Naast frequentieverdelingen voor de hele steekproef, kunnen ook verdelingen en gemiddelden per subgroep worden berekend (leeftijdsklassen, man/vrouw; etcetera). Een logische volgende stap is de vergelijking tussen subgroepen, bijvoorbeeld de vergelijking tussen de gemiddelde slikfrequentie van mannen en die van vrouwen. Maar alles wat na de analyse van de frequentieverdelingen wordt gedaan is in wezen geen inventarisatie meer en valt daarom buiten het bestek van de survey zelf. Want dan worden er nieuwe kennisdoelen gesteld, namelijk vergelijking en vervolgens verklaring. In de kwalitatieve survey begint de analyse bij het coderen. In principe zou het kunnen blijven bij een enkelvoudige codeergang: de interviews worden in fragmenten geknipt, de fragmenten

30



01-11-2005

12:18

Pagina 31


Schema 4 De statistische en de kwalitatieve datamatrix 1. Statistische datamatrix Respondent ID

Var1

Var2

Var3

Var4

Rvar1

leeftijd

sekse

slikfrequentie

dosering

leeftijdsklasse

0001

73

2

1

20

5

0002

54

1

3

5

2

0003

65

1

5

5

4

etc. 2. Kwalitatieve datamatrix Respondent

Leeftijd

Sekse

Hoe vaak?

Hoeveel?

1

73

vrouw

Altijd meteen na het journaal

In principe neem ik altijd die rose.

want dan kan ik goed in slaap

Maar soms neem ik ook wel zo’n

komen. Als ik hem te laat

witte erbij als ik veel spanning heb.

neem lig ik wakker.

Ja met mijn dochter gaat het wel eens moeilijk.

2

54

man

Nou, niet elke dag hoor, want

Nou, ik zei al, ik neem er altijd één,

dan helpt het niet goed meer

maar een enkele keer ook wel eens

of ik moet er dan twee nemen

twee, maar mijn vrouw zegt dat je

en dat wil ik liever niet, weet je

dat niet moet doen, dus meestal

wel. Je moet niet te veel van

blijft het bij één.

dat spul nemen. Meestal aan het eind van de week vrijdags en zaterdags. Dan voel ik me vaak ongedurig 3 etc

met hetzelfde onderwerp krijgen dat onderwerp als code, en de stukjes met dezelfde code worden bij elkaar geplaatst. De verzameling fragmenten per code beschrijft dan de verscheidenheid van uitspraken over dat onderwerp. Maar in het algemeen zal men die verscheidenheid willen samenvatten in een beperkt aantal categorieën, net als bij de statistische analyse; in dit geval zijn het nominale categorieën. Bijvoorbeeld ‘vrijwel dagelijks slikken’, ‘enkele keren per week’, ‘perioden dagelijks afgewisseld met perioden zonder pillen’. Om dit te kunnen doen moeten de interviews steeds met elkaar vergeleken worden, om te controleren of een nieuw bedachte code overal dezelfde betekenis heeft en of er geen gevallen zijn waar nog weer een


31


01-11-2005

12:18

Pagina 32


ander onderscheid moet worden benoemd. Deze methode van ‘constante vergelijking’ is ontwikkeld in de traditie van de gefundeerde theorie, maar is daar niet aan gebonden (vergelijk Wester & Peters, 2004: hoofdstuk 7; Boeije, 2005: 75-77). Van ‘typen’ gaat men meestal pas spreken als per categorie meerdere kenmerken opgenomen zijn. Bijvoorbeeld in de typologie van gebruikspatronen gaat het niet alleen om de frequentie maar ook om de dosering en de manier waarop tijdstip en dosis worden bepaald. De typologieconstructie is als het ware de kwalitatieve tegenhanger van de multivariate statistiek, en valt in wezen ook al buiten het bestek van de survey als zodanig. Het is een stap in de (gefundeerde) theorievorming. Merk op dat er veel geschreven is over de kwalitatieve analysemethoden voor de vorming van gefundeerde theorie. Toch wordt het resultaat slechts niet alleen bepaald door die methoden maar vooral ook door de creativiteit van de onderzoeker. Begrippen, typen, theorieën borrelen niet spontaan omhoog uit de data, maar komen op in je hoofd als resultaat van een soort brouwproces dat heel moeilijk te reproduceren is. De data zijn onderdeel van het brouwsel maar zeker niet het enige. Badwater is de klassieke katalysator van Archimedes’ ontdekking. Een scriptiestudent vertelde hoe zij onderweg in de auto haar ‘Eureka’ kreeg voor een typologie van gebruikersverhalen over benzo’s, naar huis racete en de trap op rende om het te gaan opschrijven voor ze het vergeten zou zijn. Zulke ontdekkingsverhalen zijn er – hoop ik – bij vrijwel elke analyse. Uiteraard moet de ‘ontdekking’ vervolgens wel worden verantwoord op basis van getoonde data en overtuigende interpretaties, zodat collega-onderzoekers en andere lezers de betrouwbaarheid en geldigheid kunnen vaststellen. Achteraf kan blijken dat het spannende idee toch niet deugt. Bovendien moet de pretentie iets ‘nieuws’ ontdekt te hebben, waar gemaakt worden door haar in de literatuur te plaatsen. Maar zeker in kwalitatieve analyse, waar de interpretatie van data nog grotendeels open is na de dataverzameling (in tegenstelling tot statistische surveys) zullen geen twee onderzoekers dezelfde typologie produceren. Analyse is ook altijd persoonlijke selectie. Het is heel goed mogelijk dat de een niets ‘nieuws’ vindt en de ander wel. Wetenschappelijke kwaliteit garandeert geen originaliteit van het resultaat (en omgekeerd). Stap 8. Rapporteren

De resultaten van de statistische survey worden gerapporteerd in de vorm van frequentietabellen met toelichting. De resultaten van de kwalitatieve survey worden gerapporteerd in de vorm van beschrijvingen van de verscheidenheid per onderwerp in nominale categorieën, die worden toegelicht met geselecteerde ‘typerende’ citaten uit de interviews. In beide gevallen wordt uitgelegd wat de betekenis van de resultaten is voor de beantwoording van de vraagstelling en voor het streven naar de wetenschappelijke en/of maatschappelijke doelstellingen van het project. Wat is er nieuw in de geproduceerde kennis en wat wisten we al? Het nieuws van een statistische survey zal liggen in de bepaling van de omvang van een probleem en de spreiding over subgroepen in de bevolking. Het nieuws van een kwalitatieve survey zal liggen in de ontdekking van een verscheidenheid die in de praktijk vaak groter en anders is dan werd gedacht en die bijvoorbeeld tot de conclusie leidt, dat ook een meer gedifferentieerde aanpak van het bestudeerde probleem nodig is, maatwerk. Bijvoorbeeld bij een gepreoccupeerde benzodia-

32



01-11-2005

12:18

Pagina 33


zepinegebruiker is een ander soort hulp nodig om het gebruik te verminderen dan bij een gewoontegebruiker. Een belangrijk onderdeel van elke rapportage is de methodeparagraaf (zie elders in deze bundel); die is voor een kwalitatieve survey complexer dan voor een statistische survey aangezien de kwalitatieve survey veel minder gestandaardiseerd is. In een goed verslag moeten alle hiervoor behandelde stappen worden beschreven en verantwoord; alleen dan kan de lezer de methodologische kwaliteit van het onderzoeksresultaat beoordelen.

De kwalitatieve survey in relatie tot andere typen kwalitatief onderzoek Een systematische classificatie van kwalitatieve onderzoekstypen op basis van kennisdoelen valt ver buiten het bestek van deze bijdrage maar het lijkt toch van belang hier kort iets te zeggen over de relatie tot de gevalsstudie, gefundeerde theorie (GT) en etnografie. Hierboven heb ik de systematiek van de kwalitatieve survey ontwikkeld in contrast tot de statistische survey. Daar was een hele goede reden voor: beide designs betreffen beschrijving van populaties (analyse-eenheid) op basis van waarnemingen bij individuen, waarbij de ‘waarnemingen’ in het typische geval uit interviews bestaan. Maar ik vertrok vanuit de behoefte aan afbakening ten opzichte van andere vormen van kwalitatief onderzoek, met name GT. Voor zowel GT als de gevalsstudie en etnografie geldt dat een of meer kwalitatieve surveys daar onderdeel van kunnen zijn. Bij de GT kan een kwalitatieve survey de eerste stap zijn; de grens tussen kwalitatieve survey en GT is in dat geval niet scherp. Formeel zou ik zeggen dat de kwalitatieve survey eindigt met de formulering van een typologie die de variatie beschrijft in het bestudeerde onderwerp (benzogebruik, benzovoorschrijfbeleid, indelingen van kwalitatief onderzoek, etcetera). GT zou in het geval van het benzo-onderzoek niet alleen meer stappen in dataverzameling en analyse toevoegen maar ook en vooral directe observatie en dossieranalyse. De kern is echter dat het doel zou zijn om een theorie te ontwikkelen over het benzoconsult: wat gebeurt er precies in het contact tussen de voorschrijvende arts, of: wat is het centrale mechanisme dat ervoor zorgt dat het gaat zoals het gaat? GT is niet de beschrijving van een populatie maar de analyse van een sociale situatie (gezin, intensive care, redactievergadering). Ik denk dat veel onderzoekers die eigenlijk GT zouden willen of zouden moeten doen, in feite alleen onder een of twee partijen een kwalitatieve survey doen en op basis daarvan speculeren over wat er tussen die partijen gebeurt; dat is precies wat wij in het benzo-onderzoek hebben gedaan (en pragmatisch verantwoord). Etnografie is niet zozeer gericht op de ontdekking van regulerende mechanismen in een specifieke institutionele interactiesituatie maar op de karakteristieke gemeenschappelijkheid in manieren van doen en denken binnen een gemeenschap, ‘de cultuur’. Dit kan beperkt zijn tot een specifiek thema zoals de reinheidscultuur. Ook hier kunnen een of meer kwalitatieve surveys onderdeel zijn van het project. De gevalsstudie is een onderzoek waarbij zo volledig mogelijk informatie wordt verzameld over één object. Dat object kan van alles zijn: een gebeurtenis, een proces, een organisatie, een institutie etcetera. Een of meer kwalitatieve – maar ook statistische – surveys kunnen onderdeel zijn van een case study.


33


01-11-2005

12:18

Pagina 34


To t s l o t In deze bijdrage heb ik bewust gekozen voor de minimale vorm van de kwalitatieve survey. Daarmee hoop ik duidelijk gemaakt te hebben dat de kwalitatieve survey een eigen inherente systematiek heeft, die volledig verantwoord kan worden op basis van het kennisdoel zonder verdere epistemologische of anderszins filosofische argumentatie. Natuurlijk kan het altijd diepzinniger, grootser, beter gevalideerd etcetera. Zo zul je met vijftig interviews van huisartsen met tussentijdse analyses na elke vijf interviews en gerichte selectie van nieuwe respondenten, meer verscheidenheid vinden dan met tien interviews in een one shot-steekproef. En je kunt dan misschien ook een meer gedifferentieerde en beter gevulde typologie (of zelfs ‘theorie’) ontwikkelen van voorschrijfpraktijken en wellicht ook nog een indicatie geven van de getalsverhoudingen waarin die verschillende typen zich voordoen. Ik wil absoluut niet beweren dat ons benzo-onderzoek dat ik hier als didactisch voorbeeld heb gebruikt, een voorbeeldig onderzoek is in termen van verzadiging en theoretische diepgang. Maar dat neemt niet weg dat op basis van tien behoorlijk goede interviews toch relevante inzichten werden geproduceerd over verschillen tussen huisartsen in hun voorschrijfbeleid en hun visie op benzodiazepinegebruik door ouderen. Verder wil ik opmerken dat veel onderzoek waarbij een survey wordt ingezet, het doel heeft om inzicht te verwerven in een handelingsprobleem van de geïnterviewde respondenten. Ook als het om beleidsondersteunend onderzoek gaat dat primair is gericht op handelingsproblemen van bestuurders, dan nog is dat bestuurlijke probleem vaak een afgeleide van handelingsproblemen van de burgers die moeten worden bestuurd. Het benzo-onderzoek is daarvan een voorbeeld. Het ministerie van volksgezondheid wil de overmatige consumptie van benzodiazepinen bestrijden. Om dat effectief te kunnen doen heeft het ministerie inzicht nodig in de manier waarop huisartsen deze slaap- en kalmeringsmiddelen voorschrijven en de manier waarop patiënten deze middelen consumeren. Zulke inzichten in handelingsproblemen van burgers, personeel, cliënten etcetera kunnen bij uitstek door kwalitatieve surveys worden voortgebracht, omdat daarin per definitie het perspectief van de respondent meer tot zijn recht komt dan in een statistische survey met een gestandaardiseerde vragenlijst. De laatste blijft uiteraard een aangewezen methode voor schattingen van aantallen mensen met bepaalde kenmerken of problemen. Zoals al vaak door anderen gezegd kan het één ook logisch volgen op het ander: eerst de verscheidenheid in kaart brengen en dan tellen hoeveel van elk relevant type er zijn, of eerst tellen en dan in kaart brengen welke verschillende verschijningsvormen en betekenissen er voorkomen in wat je opgeteld hebt.

34


De kwalitatieve survey

Recommend Documents