Brandveilig Leven in de praktijk Brandveilig Leven in de praktijk Hoe meet ik resultaat? Hoe meet ik resultaat?
Inhoud
1 Inleiding
4
2 Meten is weten?
5
3 Nulmeting
7
4 Kwantitatief of kwalitatief
8
5 De vragenlijst
10
6 Observatie
13
7 De respondenten
14
8 De 1-meting
16
9 Analyse en rapportage
17
Bijlage 1: Literatuuroverzicht
19
1 Inleiding Onder de noemer “Brandveilig Leven” worden de laatste jaren
Het meten van projectresultaten is echter een onderwerp dat
talrijke initiatieven ontplooid die erop gericht zijn mensen bewust te
nadere uitwerking behoeft. Dit gebeurt in de voor u liggende
maken van het belang van brandveiligheid en hen te wijzen op wat
publicatie Brandveilig leven. Hoe meet ik resultaat? Hierin worden
zij zelf kunnen doen om die brandveiligheid te vergroten.
tips en valkuilen bij het doen van evaluatieonderzoek benoemd. Er wordt ingegaan op: – het verschil tussen kwantitatief en kwalitatief onderzoek en
Om brandweerkorpsen te ondersteunen met het opzetten van
bijbehorende onderzoeksmethodieken;
projecten op dit gebied heeft Brandweer Nederland in 2012 (toen nog NVBR geheten) in samenwerking met de Nederlandse
– aandachtspunten bij het opstellen van een vragenlijst;
Brandwondenstichting een handreiking gepubliceerd met de titel
– werving van respondenten (inclusief problematiek van non-
Brandveilig leven in de praktijk. Hoe zet ik een project op? In deze
respons);
publicatie komt ook het meetbaar maken van projectresultaten aan
– het doen van observaties;
de orde. Zo wordt er kort stilgestaan bij het belang van concreet
– de wijze waarop kwalitatieve en kwantitatieve gegevens verwerkt kunnen worden.
omschreven doelstellingen en beoogde resultaten, het doen van een nulmeting en het hebben van een controlegroep.
4
2 Meten is weten? De basis van een Brandveilig Leven-project is de wens om
Tot de belangrijkste methodologische principes horen
bepaalde resultaten op het gebied van brandveiligheid te
betrouwbaarheid en validiteit. Als een onderzoek betrouwbaar
bereiken. Deze resultaten kunnen heel breed en abstract zijn ( ‘het
is, betekent dit dat de resultaten niet afhankelijk zijn van
brandveiligheidsbewustzijn verbeteren’) of juist heel specifiek en
toevallige (storende) factoren. Wanneer je je onderzoek onder
concreet (‘het percentage werkende rookmelders in woningen in
dezelfde omstandigheden zou laten herhalen, zou je dus
wijk X verhogen’). Bij het formuleren van de gewenste resultaten
dezelfde resultaten moeten krijgen. In een laboratorium kun
(doelstellingen) moet met het volgende rekening gehouden worden:
je de betrouwbaarheid meestal waarborgen door te zorgen
– de gewenste resultaten worden gedefinieerd voordat een een
voor gekalibreerde apparatuur en constante, gecontroleerde omstandigheden. In sociaalwetenschappelijk onderzoek dient
project uitgevoerd wordt;
vermeden te worden dat de onderzoeker zelf een toevallige/
– de gewenste resultaten dienen zo meetbaar mogelijk te om-
storende factor is. Dit zou kunnen doordat de onderzoeker zijn
schreven te worden;
eigen voorkeuren en aannames laat meewegen in de selectie van
– de omschrijving moet precies, helder en slechts op één manier
data of respondenten (wie spreek je wel of niet aan op straat?) of
uit te leggen zijn.
doordat hij of zij suggestieve vragen stelt (bijvoorbeeld: ‘vindt u ook niet dat…?’).
Na afloop van een project wil je meestal weten in hoeverre de resultaten daadwerkelijk bereikt zijn. Dit kan zijn omdat je verantwoording af moet leggen over de wijze waarop het
Wanneer we het hebben over de vraag of een onderzoek valide
toegekende budget besteed is en of dit budget wel op effectieve en
is, hebben we het over de vraag of de resultaten ‘geldig’ zijn.
efficiënte wijze besteed is. Maar dit kan ook zijn omdat je zelf wilt
Met andere woorden: meet je wel wat je wilt meten? Wanneer
weten of het project aan de verwachtingen voldaan heeft, zodat je
je bijvoorbeeld wilt weten of het brandveiligheidsbewustzijn
weet of het ‘voor herhaling vatbaar is’ (of dat je de volgende keer
in een bepaalde wijk is toegenomen, maar je meet alleen
bepaalde dingen anders moet doen).
het aantal aangeschafte rookmelders, is je onderzoek niet valide. Immers: het aantal aangeschafte rookmelders is
Om hier achter te komen, moet je onderzoek doen. Dat wil zeggen:
niet de allesbepalende factor waar de toename van het
het verzamelen en verwerken van gegevens op een zodanige
brandveiligheidsbewustzijn uit blijkt. Je onderzoeksresultaat is
wijze dat een betrouwbaar antwoord gegeven kan worden op je
dan bijvoorbeeld dat er 10% meer rookmelders zijn aangeschaft,
onderzoeksvraag. Onderzoeken is geen vrijblijvende bezigheid.
maar dit getal zegt niet noodzakelijkerwijs iets over de toename
Het is gebaseerd op allerlei regels die ervoor moeten zorgen dat
van het brandveiligheidsbewustzijn. Met andere woorden: je
het onderzoek plaatsvindt op een objectieve, systematische en
onderzoeksresultaten zijn niet valide voor je onderzoeksvraag. In
controleerbare (verifieerbare en herhaalbare) wijze. De regels
de volgende hoofdstukken wordt nader ingegaan op kwesties die
voor het opzetten en uitvoeren van een onderzoek wordt de
te maken hebben met validiteit en betrouwbaarheid.
‘onderzoeksmethodologie’ genoemd.
5
Een populaire uitdrukking over het doen van onderzoek luidt: ‘Meten is weten’. Maar als je niet weet wat je meet, weet je nog niets (je onderzoek is niet valide). En als je wel weet wat je meet, maar je meetmethode is niet goed, leidt dat tot de onterechte veronderstelling dat je iets weet (hetgeen kan leiden tot onterechte conclusies; je onderzoek is niet betrouwbaar). Pas als je weet wat je wilt weten en hoe je dat kunt meten, kan meten ook weten worden. Met andere woorden: dan kan meten leiden tot waardevolle informatie en inzichten.
6
3 Nulmeting Het is een open deur, maar wel een die in praktijk soms vergeten wordt: om te weten of iets veranderd is, zul je eerst moeten weten
Start
hoe de situatie was voordat je je acties begon. Je wilt immers weten of er verschil zit tussen de situatie zoals die oorspronkelijk was en de situatie nadat de campagne geweest is. Als je bijvoorbeeld wilt weten of er na je campagnes meer werkende rookmelders in woningen in wijk X hangen, moet je eerst weten hoeveel werkende
Fase 0
rookmelders er hingen voordat je de campagne startte. Als je geluk hebt, dan beschik je al over deze gegevens. Bijvoorbeeld omdat hier al een keer onderzoek naar gedaan is. Zo niet, dan zul je zelf eerst de uitgangssituatie moeten bepalen. Dit
Loopt de campagne al?
noemen we de nulmeting.
Nee
Bepaal onderzoeksmethode
Het kan vóórkomen dat je (om wat voor reden dan ook) geen Ja
nulmeting hebt uitgevoerd voordat jouw project startte en dat er ook geen gegevens beschikbaar zijn op basis waarvan je de uitgangssituatie kan bepalen. In dat geval zou je kunnen kijken
Is de uitgangssituatie te reconstrueren?
of je de uitgangssituatie achteraf kunt reconstrueren. Om bij het voorbeeld van de rookmelderscampagne te blijven: je zou mensen
Nee
Effectmeting niet mogelijk
kunnen vragen hoe lang ze de rookmelder al hebben hangen. Maar het achteraf inventariseren van de startsituatie is altijd een stuk Ja
onbetrouwbaarder dan het uitvoeren van een echte nulmeting. Dit geldt nog sterker voor zaken die gaan over meer subjectieve onderwerpen als meningen, visies, overwegingen enzovoort. Uit
Bepaal onderzoeksmethode
psychologische literatuur blijkt de grote onbetrouwbaarheid van het menselijk geheugen bij het reconstrueren van dit soort zaken.
Als het niet mogelijk is om de uitgangssituatie vast te stellen, is het niet mogelijk een effectmeting te doen.
7
4 Kwantitatief of kwalitatief De meest basale indeling in soorten onderzoek is die tussen
Een veel gemaakte fout in het doen van onderzoek is dat er
kwantitatief en kwalitatief onderzoek. Het is belangrijk om deze
kwantitatieve conclusies getrokken worden op basis van een niet-
soorten onderzoek goed uit elkaar te houden omdat ze anders van
kwantitatief onderzoek. Het opzetten van een goed kwantitatief
karakter zijn en andere spelregels (en uitkomsten) kennen.
onderzoek kost tijd, en dus geld. Wanneer dit ontbreekt, worden onderzoekers soms in de verleiding gebracht (al dan niet onder
Kwantitatief onderzoek doe je als je op zoek bent naar aantallen,
druk van hun opdrachtgever) om op basis van een onderzoek
verhoudingen, gemiddelden, modaliteiten, percentages enzovoort.
dat niet voldoet aan de regels van kwantitatief onderzoek toch
Resultaten van kwantitatief onderzoek worden meestal uitgedrukt
kwantitatieve uitspraken te doen.
in getallen, maar dat hoeft niet. Ook uitspraken als “gemiddeld komt dit het meeste voor”, “de meeste mensen vinden dit” of “het
Wanneer het gaat om het meten van resultaten van een
grootste deel bestaat uit” zijn in wezen kwantitatieve uitspraken.
Brandveilig Leven-campagne, ligt het voor de hand om hiervoor een kwantitatieve onderzoeksmethodiek te kiezen. Immers: je
Regels rond het doen van kwantitatief onderzoek gaan bijvoorbeeld
bent op zoek naar cijfers om daarmee het effect van de campagne
over hoe je je steekproef bepaalt, hoe groot die moet zijn en hoe
inzichtelijk te maken. In de hiernavolgende hoofdstukken gaan we
je de resultaten analyseert en rapporteert. Dit is het domein van
daarom uit van een kwantitatief onderzoek.
de statistiek. Over het doen van kwantitatief onderzoek is veel literatuur beschikbaar. Een veel gebruikt onderzoeksmiddel bij
Het is niet altijd eenvoudig om complexe of abstracte zaken te
kwantitatief onderzoek is de (meerkeuze)vragenlijst. Maar ook kan
vertalen in meetbare variabelen die je cijfermatig kunt uitdrukken.
er gebruik gemaakt worden van observatielijsten. Dit zijn een soort
Brandveilig leven-campagnes richten zich vaak op zaken als
checklisten die door de onderzoekers zelf worden ingevuld op basis
‘gedrag’ of ‘houding’. Je zult daarom goed na moeten denken
van waarnemingen die zij zelf gedaan hebben.
over bepaalde meetbare aspecten van dit gedrag of die houding. Er zijn allerlei manieren om gedrag en houding te vertalen
Bij een kwalitatief onderzoek gelden andere regels. Dit type
naar meetresultaten die cijfermatig te analyseren zijn. Deze
onderzoek heeft een meer inventariserend karakter. Hierbij ben
meetresultaten komen tot stand via vragenlijsten of observaties.
je vooral op zoek naar diversiteit. Je pakt je onderzoek zo aan
Daarover gaan de volgende twee hoofdstukken.
dat je zoveel mogelijk verschillende meningen of mogelijkheden inventariseert, zonder dat je daar een kwantitatieve uitspraak over doet. Kwalitatief onderzoek kan gedaan worden als voorbereiding op een kwantitatief onderzoek, maar kan ook op zichzelf bestaan.
8
Bepaal onderzoeksmethode
Probleemverkenning?
Ja
Kwalitatief onderzoek
Nee
(ook) Hoeveelheden of verhoudingen?
Nee
Ja
Geen onderzoek
Kwalitatief en kwantitatief onderzoek
9
5 De vragenlijst Een vragenlijst (ook wel survey of enquête genoemd), kan een
bepaald antwoord. Ook moet een vraag maar op één manier te
doeltreffend en efficiënt middel zijn om resultaten te meten. Maar
begrijpen zijn. Als mensen de vraag op meerdere wijzen kunnen
zoals aan elk onderzoeksmiddel, zitten ook hier haken en ogen aan.
interpreteren, is de vraag niet bruikbaar voor je onderzoek.
In dit hoofdstuk wordt hierop ingegaan.
Wanneer er meer vragen in één vraag verstopt zitten, is het beter om deze vraag ‘op te knippen’ in aparte vragen. Laat je vragen vooraf hierop beoordelen door een collega of door een testpanel.
Ten eerste dien je ervoor te zorgen dat de vragenlijst aansluit bij het doel van je onderzoek. Bedenk wat je moet weten om de onderzoeksvraag te beantwoorden en stem je vragenlijst daarop
Ten vierde dien je bij een kwantitatief onderzoek vooraf de
af. Probeer niet in de verleiding te komen om de vragenlijst uit te
antwoordmogelijkheden te bepalen (meerkeuzevragen). Je bent
breiden met allerlei vragen die je ook nog wel interessant lijken
immers niet op zoek naar diversiteit van antwoorden (kwalitatief),
(nice to know), zonder dat je aan kunt geven in hoeverre die
maar je wilt weten hoe vaak een bepaald antwoord voorkomt
bijdragen aan het beantwoorden van je onderzoeksvraag. Dit is
(kwantitatief). Om te weten welke soorten antwoorden er
zowel om te voorkomen dat je onderzoek te breed gaat worden
zoal gegeven kunnen worden, kan het goed zijn om eerst een
(en je dus budget en tijd gaat overschrijden) als om te voorkomen
verkennend, kwalitatief onderzoek te doen. Zorg ook voor een
dat de vragenlijst te omvangrijk wordt, waardoor respondenten
optie ‘anders’ of ‘weet niet’ of ‘niet aan de orde’. Het kan immers
misschien af gaan haken. Bovendien dwingt deze beperking je om
voorkomen dat een respondent een ander antwoord wil geven
goed na te denken over wat je nu werkelijk moet meten (need to
dan de antwoordmogelijkheden die je hem of haar biedt. De wijze
know) om je onderzoeksvraag te kunnen beantwoorden.
waarop je de antwoordmogelijkheden formuleert, moet voldoen aan dezelfde voorwaarden als waarop je je vraag formuleert
Ten tweede moet je je verplaatsen in je doelgroep. Wat voor
(eenduidig, niet suggestief, niet op verschillende manieren te
mensen zijn het? Zijn ze in staat om de vragen te begrijpen en wat
interpreteren). Laat ook je antwoordmogelijkheden beoordelen
moet je doen om ervoor te zorgen dat ze eerlijk antwoord zullen
door een collega of een testpanel.
geven? In hoeverre is het waarborgen van anonimiteit belangrijk? Kun je ze überhaupt bereiken en hoe kun je ze motiveren om mee
Een bijzondere vorm van meerkeuzevragen zijn de vragen waarbij
te werken aan het onderzoek? In het volgende hoofdstuk wordt
respondenten kunnen aangeven in hoeverre zij het eens zijn met
hier nader op in gegaan.
een bepaalde stelling, of in hoeverre een bepaalde situatie op hen van toepassing is. Hiervoor worden meestal de zogenaamde
Ten derde moet je aandacht hebben voor hoe je de vraag
Likert-schalen gebruikt met (meestal) vijf antwoordmogelijkheden
formuleert. Suggestieve vragen zijn uit den boze. Uit de manier
in oplopende volgorde (bijvoorbeeld variërend van ‘helemaal niet
waarop je de vraag stelt mag niet blijken dat je uitgaat van een
mee eens’ tot ‘helemaal mee eens’ of van ‘nooit’ tot ‘altijd’). Ook
10
bij dit soort meerkeuzevragen is het belangrijk dat vragen en
Uitvoering
antwoordmogelijkheden niet suggestief en eenduidig geformuleerd
Een vragenlijst kan op verschillende manieren ingevuld worden.
worden. Let daarbij ook goed op de volgorde van je antwoorden.
Je kunt mensen bellen en telefonisch de vragenlijst met ze
Het is voor respondenten beter te begrijpen als de antwoorden bij
doornemen. Je kunt dit ook face-to-face doen. Ook kun je mensen
een Likert-schaal altijd op dezelfde wijze verlopen, bijvoorbeeld
vragen de vragenlijst zelf in te vullen op papier of online. Elke
altijd van een lage score naar een hoge score. Er is dan minder kans
mogelijkheid heeft voor- en nadelen. Online enquêtes hebben
op fouten bij het invullen van de vragenlijst.
het voordeel dat je makkelijk en goedkoop veel mensen kunt bereiken en je de resultaten direct digitaal binnenkrijgt. Maar
Ten vijfde is het goed om vooraf te bedenken wat je doet met niet
niet iedereen is even handig met de computer. Sommige mensen
volledig ingevulde vragenlijsten. Neem je die wel mee in je analyse,
hebben andere redenen om geen online enquête in te vullen. Het
of sluit je die bij voorbaat uit? Als je het noodzakelijk vindt dat
gevaar hiervan is dat je door voor een bepaalde mogelijkheid te
respondenten de volledige vragenlijst invullen, vermeld dit dan.
kiezen, een bepaalde groep mensen uitsluit (zelfselectie) en je
Ook wordt het vaak gewaardeerd als je aangeeft hoeveel tijd het
dus geen representatieve steekproef hebt. Welke mogelijkheid (of
invullen van de vragenlijst ongeveer zal kosten, zodat mensen
combinatie van mogelijkheden) het meest geschikt is, is afhankelijk
weten waar ze aan toe zijn. Bij online vragenlijsten wordt vaak
van je doelgroep of informanten (respondenten). Hierover gaat het
aangegeven hoeveel vragen mensen nog in moeten vullen.
volgende hoofdstuk.
11
Vragenlijst
Bedenk een vraag
Is de vraag nodig voor het beantwoorden van de hoofdvraag?
Nee
Verwijder vraag
Nee
Maak de vraag specifiek, concreet, objectief en begrijpelijk
Nee
Ja
Is de vraag specifiek, concreet, objectief en begrijpelijk?
Kan de hoofdvraag hiermee volledig beantwoord worden?
Ja
Zet de vraag op de lijst
Ja
Bepaal antwoordmogelijkheden
Zijn antwoordmogelijkheden begrijpelijk, eenduidig en niet-suggestief?
Pas antwoordmogelijkheden aan
Nee
12
Ja
Maak vragenlijst definitief
6 Observatie Naast het laten invullen van vragenlijsten, is het ook mogelijk om
Als je van plan bent observatie te gebruiken als kwantitatieve
op andere manieren aan onderzoeksgegevens te komen. Dit kan
methode om gegevens te verzamelen, dan is het van belang dit op
bijvoorbeeld door middel van observatie.
een zo gestructureerd mogelijke manier te doen, bijvoorbeeld door het gebruik van een checklist of scorelijst.
Observatie wordt vaak toegepast bij het bestuderen van gedrag. Het gaat dan meestal om kwalitatieve studies, waarbij geprobeerd
Net als bij het ontwerpen van een vragenlijst is het van belang
wordt een zo goed mogelijk beeld van het vertoonde gedrag of de
dat deze checklist de onderwerpen bevat die relevant zijn voor
geobserveerde situatie te schetsen. Observatie kan echter ook op
het beantwoorden van je onderzoeksvraag. Bovendien moet van
een meer kwantitatieve wijze gebruikt worden bij het verzamelen
tevoren duidelijk zijn hoe de geobserveerde situaties gescoord
van gegevens in het ‘vrije veld’.
worden (wanneer spreek je bijvoorbeeld van een goed werkende rookmelder?).
Door gegevens te verzamelen via observatie ben je niet afhankelijk van de informatie die respondenten jou verstrekken. Dit betekent dat
Het is daarom belangrijk dat er een goede toelichting
informatie verkregen door observatie betrouwbaarder is dan informatie
geschreven wordt bij de scorelijst. Het onderzoek wordt daarmee
die uit bijvoorbeeld interviews of vragenlijsten wordt verkregen. Zo
betrouwbaarder. Dat wil zeggen: als hetzelfde onderzoek door
is het betrouwbaarder als de onderzoeker in elke woning zelf heeft
een andere observator uitgevoerd zou worden, dan zou dit
vastgesteld of er een werkende rookmelder hangt, dan wanneer hij
dezelfde scores moeten opleveren. De onderzoeksresultaten
deze informatie verkrijgt uit datgene wat deze bewoners hebben
zijn dus niet afhankelijk van de observator. (Dit wordt de ‘inter-
ingevuld in een vragenlijst. Mensen kunnen in een vragenlijst immers
observatorbetrouwbaarheid’ genoemd.)
sociaal wenselijke antwoorden geven, die niet in overeenstemming zijn met de werkelijkheid. Ook kan het zijn dat zij niet goed in staat zijn
Een goede scorelijst kan er ook voor zorgen dat de waarnemingen
om de vragen in de vragenlijst te beantwoorden doordat zij over het
van één observator over de hele meetperiode consistent zijn. Dit
onderwerp onvoldoende kennis hebben (wat is een goed werkende
wordt ‘inter-observatorbetrouwbaarheid’ genoemd. Als je langer
rookmelder?). Hierdoor kan de via vragenlijsten of interviews verkregen
met observaties bezig bent, kan het gebeuren dat je anders gaat
informatie een vertekend beeld geven van de werkelijke situatie.
kijken, op andere dingen gaat letten of dat je aandacht verslapt. Een goede scorelijst kan helpen af en toe je eerder verzamelde data
Het nadeel van observatie is dat het nogal arbeidsintensief is.
nog eens te bekijken om na te gaan of je je waarnemingen nog
Daarom wordt er in onderzoek minder vaak gebruik gemaakt van
steeds op dezelfde manier scoort.1
observatie dan van de data- verzamelingsmethode.
1
In natuurwetenschappen (natural science) wordt nog een andere methode gebruikt om de betrouwbaarheid vast te stellen: de foutenanalyse. Hiermee wordt op basis van de absolute of relatieve afwijkingen van meetin-
strumenten de totale range van afwijking (‘fouten’) in het onderzoek bepaald. Bij het soort onderzoek waar we het hier over hebben, kunnen dergelijke afwijkingen niet vastgesteld worden en is een foutenanalyse daarom niet mogelijk.
13
7 De respondenten Wanneer je effecten van een campagne wilt meten middels
De beperking van elke manier van werven is dat je altijd slechts
vragenlijsten of interviews, moet je vooraf bedenken wie je
een bepaald deel van je populatie te pakken krijgt en een ander
moet bevragen om de voor jou relevante gegevens te krijgen.
deel uitsluit. Dit noemen we zelfselectie. Als je bijvoorbeeld op
In veel gevallen zullen dit de mensen zijn op wie je je richt
een doordeweekse ochtend in een winkelcentrum gaat werven,
in je campagne: je doelgroep. Als het goed is, heb je bij het
zul je niet de mensen bereiken die op dat moment op hun werk
ontwerp van je campagne deze doelgroep gedefinieerd (zie ook
zitten. Er is een kans dat je hierdoor geen representatief deel
de eerdergenoemde publicatie Hoe zet ik een project op?). Dit
van je populatie te pakken hebt. Met andere woorden: als je
kunnen bewoners van een bepaalde wijk zijn, of mensen in een
groep respondenten bijna volledig bestaat uit de leden van een
bepaalde leeftijdsfase, of verminderd zelfredzamen (of welk ander
voetbalclub, kun je je afvragen in hoeverre je meetresultaten iets
onderscheidend criterium maar relevant is voor de betreffende
zeggen over alle wijkbewoners (inclusief de mensen die geen lid
campagne). Maar soms is het beter om je in je onderzoek niet
zijn van die voetbalvereniging). Zelfselectie kan ook het gevolg zijn
rechtstreeks te richten tot de doelgroep van je campagne, maar tot
van taal. Als je respondenten bijvoorbeeld schriftelijk werft in het
de mensen die relevante informatie kunnen verstrekken over deze
Nederlands, bereik je bijvoorbeeld geen analfabeten of mensen die
doelgroep. Deze mensen noemen we de informanten. Denk hierbij
de Nederlandse taal onvoldoende machtig zijn. Als deze mensen
aan mensen die een bepaalde relatie hebben tot de oorspronkelijke
wel een substantieel deel van je onderzoekspopulatie uitmaken, kan
doelgroep van je campagne en die de voor jou onderzoek relevante
het zinvol zijn om hier je werving op aan te passen. (NB: dit geldt
gegevens kunnen leveren (ouders, leraren, verzorgers, wijkagenten
ook voor de taal van je vragenlijsten.)
etc.). De doelgroep voor je onderzoek (respondenten) hoeft niet Een probleem dat nauw verwant is met het probleem van
dezelfde te zijn als de doelgroep van je campagne.
zelfselectie is het probleem van non-respons. Welk onderzoek Wanneer je de respondenten of informanten voor je onderzoek
je ook doet, er zullen altijd mensen zijn die er niet aan willen
hebt vastgesteld, is de volgende stap het bereiken (werven) van
meewerken. De redenen hiervoor kunnen divers zijn. Zo zullen er
deze respondenten. Dit kan op verschillende manieren (al dan niet
mensen zijn die principieel niet meedoen aan onderzoeken. Maar
gecombineerd). Te denken valt aan een mailing (per reguliere post)
er kunnen ook mensen zijn voor wie het onderwerp brandveiligheid
en het plaatsen van berichten op relevante websites en in huis-aan-
te gevoelig ligt omdat ze bijvoorbeeld in het verleden zelf een
huisbladen. Ook kun je in bijvoorbeeld winkelcentra en bibliotheken
brand meegemaakt hebben. Of mensen die niet mee willen werken
werven en bedenk dat ook sport- en wijkverenigingen om hulp
omdat ze negatieve ervaringen hebben met de organisatie die het
gevraagd kunnen worden.
onderzoek uitvoert (bijvoorbeeld de brandweer). Je zult dan moeten kijken of er een mogelijkheid is om deze mensen toch te bereiken.
14
Wanneer je (heel) weinig reactie krijgt op je verzoek tot
Respondenten
medewerking aan het onderzoek, zul je je af moeten vragen waar dat aan ligt. Zo kan het zijn dat je werving onvoldoende motiverend is, of dat de vragenlijst te lang is. In sommige gevallen kun je de werving van respondenten ook uitbesteden aan (markt) onderzoeksbureaus.
Bepaal doelgroep en informanten
Bepaal de omvang van je steekproef
Aparte aandacht vraagt de vereiste omvang van je steekproef. Hoeveel mensen moet je bevragen voordat je uitspraken kunt doen over de hele groep die je onderzoekt? Ook hiervoor gelden statistische uitgangspunten. Deze uitgangspunten zijn onder meer
Bepaal wervingsmethode
gebaseerd op de omvang van de populatie die je onderzoekt in relatie tot de precisie die je nastreeft (toegestane foutenmarge en betrouwbaarheidsniveau). Op internet zijn tools te vinden waarmee
Ja
vrij eenvoudig de vereiste omvang van je steekproef te berekenen is. Kan er sprake zijn van zelfselectie?
Nee
Kan er sprake zijn van non-respons?
Nee
Uitvoering onderzoek
15
Ja
8 De 1-meting Als is vastgesteld hoe de meting plaats zal vinden en de nulmeting 1-Meting
is uitgevoerd (zie hoofdstuk 3), is het moment gekomen voor de eerste echte effectmeting. Meestal gebeurt dit nadat de campagne is afgelopen, maar soms ook al tijdens de campagne. Deze eerste effectmeting noemen we de 1-meting.
Bepaal tijdstip van meten
De samenstelling van de steekproef vereist de nodige aandacht. Is deze beduidend anders dan je steekproef bij je 0-meting? En hoe representatief is die? Je zult je af moeten vragen of er verschillen zitten in je groep respondenten van de 0-meting en je groep Wijzigingen in omstandigheden of in groep respondenten?
respondenten van je 1-meting. Vervolgens moet je kritisch kijken of deze verschillen mogelijk een invloed hebben op de resultaten en waarom mensen die meegedaan hebben aan de 0-meting niet mee hebben gedaan aan de 1-meting. Zijn daar misschien redenen voor die je meetresultaten beïnvloeden?
Ja
Ten derde is het moment van meten belangrijk. Sommige Hebben deze mogelijkheden invloed op resultaten?
campagnes zullen direct een blijvend resultaat hebben. Andere campagnes zullen misschien een kortstondig resultaat hebben dat echter na enkele maanden weer volledig is ‘verdampt’. Weer andere campagnes hebben op de korte termijn geen direct meetbaar effect, maar hebben dat op de langere termijn misschien wel. In
Ja
principe is het raadzaam om altijd meerdere metingen te doen,
Nee
omdat het aannemelijk is dat het effect van je campagne toe- en
Vermelden in rapportage
afneemt in de loop der tijd. Het doen van meerdere metingen is echter niet altijd haalbaar vanwege praktische en financiële redenen. In dat geval is het verstandig om goed na te denken over op welk moment de 1-meting het beste kan plaatsvinden.
Rapportage
16
Nee
9 Analyse en rapportage Wanneer de metingen zijn uitgevoerd, begint de noeste arbeid
Wanneer je statistisch significante verschillen hebt geconstateerd
van de analyse. De meetresultaten worden allereerst bekeken op
tussen je 0-meting en je 1-meting moet je er echter voor waken dit
consistentie. Wellicht zitten er rare uitschieters in je meetresultaten.
meteen aan je interventie (je Brandveilig Leven-campagne) toe te
Kun je die verklaren? Is er wellicht iets mis gegaan bij de meting of
schrijven. Uiteraard is het verleidelijk om dit wel te doen, en wellicht
bij de digitale verwerking van de meetresultaten? In dat geval kun
dat je hiermee kunt scoren (“Door Brandveilig Leven-campagne meer
je overwegen om die meetresultaten niet mee te laten wegen in je
rookmelders in woningen!”), maar helemaal juist is dat niet. Het
analyse. Je moet dit echter wel goed motiveren in je rapportage.
verschil kan namelijk ook verklaard worden door andere oorzaken.
Het ‘zomaar’ weglaten van meetgegevens is uit den boze, zeker
In het geval van een rookmeldercampagne, zou het bijvoorbeeld
als je daarmee probeert mooiere onderzoeksresultaten te krijgen.
kunnen zijn dat tussen de 0- en de 1-meting rookmelders positief in
Laat daarom altijd iemand met verstand van zaken meekijken voor
het nieuws zijn gekomen, of dat de plaatselijke doe-het-zelfzaak een
je besluit om bepaalde meetgegevens buiten beschouwing te
stuntaanbieding met rookmelders had. Met andere woorden: je kunt
laten. Het is ook verstandig om voordat je je onderzoek start, aan
wel aantonen dat er verschillen zijn tussen de uitgangssituatie en de
te geven binnen welke range je antwoorden verwacht. Zodoende
nieuwe situatie, maar je kunt niet altijd met zekerheid zeggen dat dit
is het makkelijker om uitschieters te herkennen en kun je achteraf
komt door je interventie. Het feit dat je een relatie ziet tussen twee
beter motiveren waarom je bepaalde meetgegevens eruit filtert.2
dingen, wil niet zeggen dat het één volgt uit het ander. Met andere woorden: correlatie (samenhang) hoeft nog geen causaliteit (oorzakelijke samenhang) te zijn.
Vervolgens vindt de eigenlijke statistische analyse plaats. Je kunt hiervoor het beste je meetgegevens digitaliseren en statistische analysesoftware gebruiken, zoals het programma SPSS. Maar ook
Een ander voorbeeld om het verschil tussen correlatie en causaliteit
met een ‘alledaags’ spreadsheetprogramma als Excel is het mogelijk
aan te tonen is de uitspraak “wanneer er meer ijsjes verkocht
om statistische analyses te doen. Je kunt hiermee frequentietabellen
worden, verdrinken er ook meer mensen”. Deze uitspraak is
maken en berekenen hoe de verdeling van je meetresultaten is
op zich waar, aangezien met statistiek aangetoond kan worden
(gemiddelden, modus, mediaan en standaarddeviatie). Door de
dat op (zomerse) dagen dat er veel ijs wordt verkocht ook meer
uitkomsten van je nul- en éénmeting goed te analyseren, kun je
mensen verdrinken (correlatie). Dit betekent echter nog niet dat er
aangeven:
meer mensen verdrinken doordat er meer ijsjes verkocht worden
– of er verschillen zitten tussen de uitkomst van de nulmeting en
(causaliteit). Er kunnen dus andere variabelen in het spel zijn (in dit geval de warmte) die dit verband beter verklaren. Met warm weer
de éénmeting; – hoe groot die verschillen zijn;
eten mensen niet alleen meer ijs, maar zijn er ook meer mensen die
– of die verschillen ‘er toe doen’ (statistisch significant zijn).
gaan zwemmen. Als er meer zwemmers zijn, is de kans ook groter
2
Enkele recente gevallen van wetenschapsfraude die het nieuws hebben gehaald, gingen over het heimelijk weglaten van meetresultaten om zodoende naar een gewenste uitkomst toe te werken. Zie onder meer het rap-
port Zorgvuldig en integer omgaan met wetenschappelijke onderzoeksgegevens (Koninklijke Akademie van Wetenschappen, september 2012).
17
dat één van die zwemmers zal komen te verdrinken. Dit komt niet
Omdat deze voorwaarden in het soort onderzoek4 waar we het
door de toegenomen verkoop van ijs, maar met het (gelijktijdig
hier over hebben, in de praktijk niet realiseerbaar zullen zijn, is het
optredende) warme weer.
raadzaam om met enige voorzichtigheid en nuance te rapporteren over de gevonden verbanden.
Voor het aantonen van causaliteit is meer nodig. Zo moet je zeker weten dat andere factoren de resultaten niet hebben kunnen
Voordat je het rapport als ‘definitieve versie’ oplevert, is het
beïnvloeden. Dit kun je controleren door een zogenaamde
belangrijk om nog eens goed te kijken naar de opbouw en
‘controlegroep’ te gebruiken. Dit is een groep mensen die qua
het taalgebruik. Het rapport dient begrijpelijk te zijn en het
samenstelling (leeftijd, geslacht, persoonskenmerken, etc.)
taalgebruik zorgvuldig. De schrijfstijl moet bovendien aansluiten
precies gelijk is aan de groep die je wilt onderzoeken. Daarnaast
bij de doelgroep. Het is raadzaam om het rapport hierop te laten
moet deze controlegroep aan exact dezelfde omstandigheden
controleren door iemand die inhoudelijk niet bij het onderzoek
(zelfde informatie, zelfde prikkels, zelfde mogelijkheden) worden
betrokken is geweest. Ten slotte kun je nog nadenken over het
blootgesteld. Het enige verschil is dat je bij de controlegroep
openbaar maken van het rapport en over de wijze waarop je
géén ‘interventie’ pleegt.3 Deze interventie is je Brandveilig Leven-
hierover wilt communiceren (persbericht, website, sociale media,
project. Wanneer je na je interventie bij de onderzoeksgroep een
etc.). Wanneer je het rapport in opdracht geschreven hebt, gebeurt
verschil constateert met je controlegroep, dan kun je spreken van
dit uiteraard in overleg met de opdrachtgever.
causaliteit.
3
De interventie vindt plaats tussen de 0- en de 1-meting.
4
In (natuurwetenschappelijke) laboratoriumexperimenten is dit meestal wel mogelijk, omdat daar de omstandigheden gecontroleerd kunnen worden.
18
Bijlage 1 Literatuuroverzicht
In de volgende Nederlandstalige en Engelstalige boeken wordt dieper ingegaan op de basisbeginselen van het doen van onderzoek.
Ben Baarda, Dit is onderzoek! Richtlijnen voor het opzetten,
Hans Doorewaard, Piet Verschuren, Het ontwerpen van onderzoek
uitvoeren en evalueren van kwantitatief en kwalitatief onderzoek
(Den Haag: Lemma, 2007)
(Groningen, Houten: Noordhoff, 2009)
Uwe Flick, Introducing Research Methodology. A Beginners Guide to Doing a Research Project (London: SAGE Publications 2011)
Ben Baarda, Esther Bakker, Monique van der Hulst, Mark Julsing, Tom Fischer, Rene van Vianen, Martijn de Goede, Basisboek
Wane Goddard & Stuart Melville, Research Methodology. An
methoden en technieken Vijfde editie (Groningen, Houten:
Introduction Second edition (Lansdowne: Jutta & Co, 2007)
Noordhoff, 2012) Ranjit Kumar, Research Methodology. A Step by Step Guide for beginners (London, SAGE Publications, 2011)
Ben Baarda, Martijn de Goede, Matthijs Kalmijn, Basisboek enquêteren (Groningen, Houten: Noordhoff, 2010)
Lisa McIntyre, Need to know. Social Science Research Methods (Boston etc.: McGraw-Hill, 2005)
Ben Baarda, René van Vianen, Basisboek statistiek met Excel. Handleiding voor het verwerken en analyseren van en rapporteren
Frank Plooij, Onderzoek doen. Een praktische inleiding in
over (onderzoeks)gegevens (Groningen, Houten: Noordhoff, 2011)
onderzoeksvaardigheden (Amsterdam: Pearson, 2008) D.B. Baarda, M.P.M. de Goede en J. Teunissen, Basisboek kwalitatief onderzoek. Handleiding voor het opzetten en uitvoeren van
Mark Saunders, Philip Lewis, Adrian Thornhill, Marije Booij, Jan
kwalitatief onderzoek (Groningen en Houten: Noordhoff, 2009)
Pieter Verckens, Methoden en techinieken van onderzoek. Vijfde editie (Amsterdam, Pearson Education Benelux 2011)
J. Billiet & H. Wage (red.), Een samenleving onderzocht. Methoden van Jo Segers, Methoden voor de maatschappijwetenschappen (Assen:
sociaal-wetenschappelijk onderzoek (Antwerpen: De Boeck, 2003)
Van Gorcum 2002) Hennie Boeije, Harm ’t Hart en Joop Hox (red.), Nel Verhoeven, Wat is onderzoek? Praktijkboek methoden en
Onderzoeksmethoden (Amsterdam etc.: Boom 2009)
technieken voor het hoger onderwijs (Boom Onderwijs, 2007)
19
Naar aanleiding van enkele gevallen van wetenschapsfraude in Nederland (onder meer de ‘affaire Stapel’, zijn er enkele publicaties die ingaan op de zorgvuldigheid bij het doen van onderzoek. Hierin worden ook dilemma’s en valkuilen beschreven. Deze publicaties zijn gratis online beschikbaar.
Falende wetenschap: de frauduleuze onderzoekspraktijken van sociaal-psycholoog Diederik Stapel (rapport van de commissie Levelt, de commissie Noort en de commissie Drenth, 28 november 2012) Johan Helibron, Wetenschappelijk onderzoek: dilemma’s en verleidingen (Koninklijke Akademie van Wetenschappen, Amsterdam 2005) Zorgvuldig en integer omgaan met wetenschappelijke onderzoeksgegevens (Koninklijke Akademie van Wetenschappen, september 2012)
20
Colofon Dit is een uitgave van Brandweer Nederland. Tekst: Nancy Oberijé en Clemont Tonnaer (IFV) Contactpersoon: Marcel van Galen (Projectleider Brandveilig Leven) Redactie: Jeanine van Weert (Bureau Brandweer Nederland) Datum: September 2013 Illustratie: Patrick van Gerner (Bureau Brandweer Nederland) Vormgeving: Carlo Polman (Oud.Zuid Ontwerp)
