3. Nonrespons. Wat weten we en wat kunnen we eraan doen E.D. DE LEEUW *
SAMENVAThNG Nonrespons, oftewel het niet kunnen verkrijgen van gegevens van potenti~le respondenten, vormt een ernstige bedreiging voor de geldigheid van enqu~teresu1taten. Nationaal en intemationaal groeit momenteel de bezorgdheid om een toenemende nonrespons. In dit artikel wordt eerst een overzicht gegeven van intemationale cijfers over nonresponse en wordt aandacht geschonken aan theorie~n die een mogelijke verkiaring geven van het verschijnsel. Daama worden manieren besproken om de nonrespons het hoofd te bieden. De nadruk ligt hierbij op veldwerkstrategie~n om nonrespons te bestrijden, maar ook zal kort aandacht besteed worden aan statistische wegingstechnieken.
1. INLEIDING In ieder onderzoek zijn er potenti~1e respondenten die om een of andere reden niet kunnen of willen meewerken aan een enqu&e, terwiji zij wel tot de doelpopulatie behoren en in de steekproef getrokken zijn: de nonrespons. Nonrespons is een fenomeen dat zo oud is als het enqueteonderzoek zeif. In de afgelopen twintig jaar hebben er dan ook met regelmaat artikelen over de verschillende aspecten van nonrespons in het Jaarboek gestaan; bijvoorbeeld Van Tulder (1977 en 1978), Van den Berg en Vermunt (1980), Zijdenbos (1983), Bethlehem en Kersten (1987), en Brand en Bijmolt (1993). De laatSte jaren neemt de bezorgdheid over toenemende nonrespons echter hand over hand toe, zo zeer zelfs dat Norman Bradbum zijn eerste offici~1e toespraak bij het aanvaarden van het presidentschap van de American Association of Public Opinion Research gebruikte om er op aan te dringen om in de dagelijkse praktijk te tracliten de nonrespons zo goed mogelijk te beschrijven, te hegrijpen en te bestrijden. Van waar nu deze bezorgdheid? Wanneer nonrespons volstrekt toevallig is, dat wil zeg-
*
Verantwoording: Met dank aan de leden van de intemationale workshop on household survey nonresponse voor hun stimulerende voorbeeld, en aan Janny Lok, Fred Bronner en Joop Hox voor hun steun bij het schrijven van dit artikel. Uiteraard ligt de eindverantwoordelijkheid voor dit artikel geheel bij de auteur. Opvattingen zijn voor rekening van de auteuren komen niet noodzakelijk overeen met het heleid van het Centraal Bureau voor de Statistiek.
39
gen niet gerelateerd aaa enige variabele dan is er geen enkel probleem. De uitvallers zijn toevallig en de juistheid van de schatters wordt niet door de uitval bedreigd. De uiteindelijke gerealiseerde steekproef is echter wel kleiner dan verwacht en de betrouwbaarheidsintervallen zijn als gevoig hiervan wat groter. Dit kan opgevangen worden door een grotere initi~le steekproef te trekken om zo alsnog het vanuit statistische overwegingen gewenste grotere aantal daadwerkelijk ondervraagden te verkrijgen. Een nadeel is dan wel dat de kosten van onderzoek daardoor enigszins stijgen. Er ontstaat pas een ernstig probleem wanneer de respondenten en nonrespondenten van elkaar verschillen op belangrijke variabelen: de nonrespons is selectief en bepaalde groepen zijn ondervertegenwoordigd. Wanneer dan ook nog eens de nonrespons en de ondervertegenwoordiging blijken samen te hangen met een belangrijke uitkomstvariabele in het onderzoek dan is Leiden in last, en kunnen de uitkomsten vertekend zijn. Bethlehem en Kersten (1987) geven hiervan enkele mooie voorbeelden. Zo zijn mensen die ‘s avonds thuis bang zijn, minder bereid om mee te doen aan een vervolgonderzoek van de enquete slachtoffers misdrijven en blijkt dat bij het onderzoek naar verplaatsingsgedrag de meer mobiele mensen juist minder vaak thuis getroffen worden. In het algemeen geldt dat hoe groter de nonrespons is e~n hoe groter het verschil is tussen respondenten en nonrespondenten op de uitkomstvariabele, hoe groter de vertekening is. Genoeg redenen voor bezorgdheid. De bezorgdheid over de toename van de nonrespons strekt zich uit over alle landen en disciplines, en heeft tot verschillende positieve initiatieven geleid. Zo is vanuit het marktonderzoek het voorlichtingscentrum ‘uw mening telt’ al sinds 1989 actief bezig met bet geven van informatie aan respondenten en het bevorderen van de kwaliteit van marktonderzoek. Ook binnen de Vereniging van Marktonderzoeksbureaus (VMO) is nonrespons een belangrilk aandachtspunt. Binnen de wereld van de offici~le statistische (census) bureaus wordt sinds 1990 informatie uitgewisseld tijdens de jaarlijkse ‘workshops on household survey nonresponse’. Deze workshops hebben zich in de loop der jaren verder ontwikkeld en naast bet uitwisselen van informatie staat het initi&en en uitvoeren van onderzoek over nonrespons nu centraal. Ook binnen de universitaire wereld neemt de bezorgdheid rond nonrespons toe, zoals onder meer blijkt uit een mitiatief van de Koninldijke Nederlandse Vereniging van Wetenschappen om in 1994 de ervaringen met nonrespons van beoefenaars van sociale wetenschappen in kaart te brengen Daamaast neemt het methodologische onderzoek naar oorzaken en bestrijding van nonrespons toe. Dit alles heeft ertoe geleid dat onze kennis in zijn geheel is toegenomen, zowel wat betreft de omvang van bet verschijnsel als van mogelijke oorzaken en remedies. In deze bijdrage geef ik een overzicht van de huidige kennis van zaken met betrekking tot nonrespons. De volgende onderdelen komen aan bod: 1) een overzicht van (inter)nationale gegevens over nonrespons, 2) theorie~n over deelname aan onderzoek, 3) veldwerkprocedures om nonrespons tegen te gaan, en 4) statistische mogelijkheden tot correctie.
40
2. OVERZICHT VAN NATIONALE EN INTERNATIONALE GEGEVENS OVER NONRESPONS 2.1. Inleiding Hoewel men zowel nationani als intemationaal van mening is dat nonrespons een groeiend probleem is bij enqueteonderzoek, zijn empirische overzichten van responstrends relatief schaars. Dit heeft een aantal redenen, een van de meest belangrijke is dat bij verschillende onderzoeken gebruik wordt gemaakt van verschillende formules om een responspercentage te berekenen en dat vaak de gegevens ontbreken om de gegeven getallen om te rekenen naar een ‘standaard’ (zie b.v. Groves, 1989: 4.2). Daarnaast ontbreken vaak belangrijke achtergrondgegevens voor een goede trendanalyse, zoals een beschrijving van de populatie, het veidwerk, en het onderwerp. Een van de eerste trendbeschrijvingen is van Steeh (1981). Zij beschrijft een duidelijke toename in weigeringen in academische enquetes in the Verenigde Staten in de periode 1952-1979. In zijn boek “The Silent Minority” geeft Goyder (1987) een overzicht van potenti~le oorzaken van nonrespons. Op grond van een meta-analyse van Amerikaans en Canadees onderzoek, concludeert hij dat er een duidelijke toename van nonresponse is bij face-to-face onderzoek, maar dat de respons bij post-enquetes stabiel is. Groves (1989: 4.3) tenslotte concludeert dat zowel bij universitair onderzoek als bij marktonderzoek de respons terugloopt, maar dat bij overheidsonderzoek de responspercentages constant blijven. Nadere analyse van de gegevens leert dat er wel degelijk verschuivingen optreden: het aantal weigeringen neemt ook bij overheidsonderzoek toe, maar dat wordt gecompenseerd doordat extra veidwerkinspanning het aantal ‘onbereikbaren’ doet afnemen. Het uiteindelijke globale responscijfer blijft daardoor constant over de tijd, maar de kosten per respons nemen duidelijk toe! Bovengenoemd intemationaal onderzoek wijst op een toename van de nonrespons, maar ook op verschillen in toename afhankelijk van de gebruikte veldwerkmethoden. Wanneer we deze voomamelijk Amerikaanse cijfers vergelijken met de Nederlandse situatie dan rijst het vermoeden dat de nonrespons in Nederland extreem hoog is. Hieronder wordt een overzicht gegeven van de Nederlandse situatie en waar mogelijk wordt deze vergeleken met intemationale gegevens. 2.2. Nonrespons bi] overheidsonderzoek In 1990 namen tijdens de eerste workshop on household survey nonresponse een nantal statistici werkzaam bij officinle statistische bureaus het initiatief tot het opstellen van een internationale vragenlijst over responstrends. Deze vragenlijst is met name door Wim de Heer van het Nederlandse CBS verder uitgewerkt en in achtereenvolgende jaren toegestuurd aan officinle statistische bureaus (censusbureaus) over de hele wereld. De resultaten zijn verrassend: De toename van nonrespons (1983-1995) verschilt per land, per onderwerp, en per veldwerkstrategie, ~n de situatie in Nederland is extreem! (Maas en de Heer, 1995; De Heer, 1996). Zo presenteert De Heer tabellen waarin de responspercentages voor ~n enkel vergelijkbaar onderzoek, de Labor Force survey, in verschillende landen vergeleken wordt. In het algemeen betreft het hier face-to-face onderzoek, behalve in Finland en Zweden waar bet onderzoek telefonisch gebeurt. Was in Nederland het responspercentage in 1983 nog 81%, in 1995 is dit nog maar 60%. Ter vergelijking: in Belgin en de UK is 41
men redelijk constant gebleven op ruim 80%, in de USA is men redelijk constant op ruim 95% en in Zweden en Finland is er sprake van een lichte daling van respectievelijk 94% naar 87% (Zweden) en van 96% naar 92% (Finland). In de inleiding is al gewezen op het feit dat de constante cijfers in de USA gekocht worden met een hogere investering in veidwerk: de extra inspanning orn liet percentage onbereikbaren terug te dringen compenseert gedeeltelijk voor de toename in het percentage weigevringen. lets soortgelijks is het geval in de UK Maas en de Heer (1995) pleiten dan ook voor verbeteringen in veldwerkprocedures en een vermindering van de respondenthelasting door herontwerpen van de vragenlijsten in Nederlands overheidsonderzoek. Zij zijn zich echter ook terdege bewust van de stijgende kosten die een intensivering van het veldwerk met zich meebrengt en benadrukken het belang van goedgecontroleerde experimenten om na te gaan of de extra kosten wel de moeite waard zijn. 2.2. Nonrespons binnen marktonderzoek Gegevens over consumentenonderzoek binnen Nederland bevestigen voor een groot deel de condusies van Maas en de Heer. In 1990 zijn in opdracht van de Vereniging van Marktonderzoekbureaus door AGB-Interact analyses uitgevoerd naar de bereikbaarheid en de bereidheid om deel te nemen aan onderzoek. Het databestand vormde de AGB MiniCensus 1990; hierbij wordt de nonresponsgroep herbenaderd tot er een uiteindelijke respons van tenminste 85% is, er werd gebruik gemaakt van telefonische en persoonlijke benadering. Voor een heldere en uitgebreide beschrijving zie Louwen (1992). Belangrijk voor het onderzoeken van nonrespons is het onderscheid in bereikbaarheid en bereidwilligheid dat Louwen in zijn artikel maakt. Bereikbaarheid kan een probleem zijn. Van alle bereidwillige respondenten (de uiteindelijke 85%) ~s slechts 38% na ~n contactpoging bereikt. Na drie pogingen was dit aantal gestegen tot 71%, wat ons brengt op een geschatte totale respons van zo’n 60%. Zestig procent is ook precies het getal dat eerder door Maas~ en de Heer genoemd werd als responscijfer bij goed uitgevoerd Nederlands onderzoek. Om de nonrespons terug te dringen is bet belangrijk ook die bereidwihigen te bereiken die bij eerdere pogingen niet thuis getroffen werden. Het aantal benaderingspogingen in de praktijk bedraagt vaak niet meer dan drie; de cijfers van Louwen laten zien dat dan bijna 30% van potentieel bereidwillige respondenten niet bereikt wordt. Wie zijn deze moeilijk bereikbaren? Het zijn met name de kleine huishoudens, jongeren, en werkenden die pas na meerdere contactpogingen te bereiken zijn. Niet alleen het aantal contactpogingen zelf is belangrijk, maar ook het tijdstip waarop deze poging gedaan wordt. Al naar gelang de leeftijd, deelname aan het arbeidsproces, en sociale kiasse verschillen de tijdstippen waarop iemand bereikbaar is. Onbereikbaarheid is dan ook geen toevalsproces en kan leiden tot ondervertegenwoordiging van bepaalde groepen! Recente cijfers van Louwen (1995) bevestigen dat met een toenemend aantal contactpogingen zowel de oververtegenwordiging van ouderen, nietwerkenden en grote huishoudens als de ondervertegenwoordiging van jongeren, werkenden en eenpersoonshuishoudens afneemt. Voor bet effectief terugdringen van nonrespons is bet niet alleen belangrijk om te weten wanneer iemand bereikbaar is, maar ook of men op dat tijdstip in de gelegenheid is en bereid is om mee te werken. Wanneer de aardappelen op tafel staan koud te worden is de kans op bereikbaarheid groot, de vraag is echter of men dan gemotiveerd is 42
voor een interview. Nadere analyse van succesvolle tijdstippen om respondenten over te halen is daarom aan te bevelen (vgl. Van der Leest, 1996). Naast bereikbaarheid is ook bereidwilligheid een belangrijke factor. In het door Louwen beschreven onderzoek was 15% niet bereid mee te werken. Ook de bereidwilligheid is gerelateerd aan belangrijke achtergrondvariabelen. De nonrespons was met name sterk in de Randstad en de grote steden, en bewoners van duurdere woningen zijn iets vaker bereid om mee te doen. Dit komt overeen met bevindingen in intemationaal onderzoek (cf. Groves, 1989; Couper & Groves, 1993). Maar ook de uiteindelijk ondervraagden verschillen in de mate van bereidwilligheid cm mee te werken. Met name ouderen zijn minder bereid om mee te werken, terwiji hoger opgeleiden en hogere sociale kiassen volgens eigen opgave vaker bereid zijn om mee te doen. Ook dit komt terug in eerder genoemd intemationaal onderzoek. Opva]lend is dat met name de groepen die moeilijker bereikbaar zijn (jongeren, hogere sociale Masse), mist diegenen zijn die meer bereidwillig zijn. Voor het effectief terugdringen van de nonrespons, dient men zowel de bereikbaarheid te verbeteren, als de bereidwilligheid in positieve zin te beYnvloeden. 2.3. Nonrespons bi] universitair en para-universitair onderzoek In 1994 heeft de universiteit van Amsterdam in opdracht van de Sociaal-Wetenschappelijke Raad een verkennend onderzoek uitgevoerd naar de nonrespons bij surveyonderzoek uitgevoerd door universitaire en para-universitaire instellingen (Kalfs en Kool, 1994). Hiervoor zijn 64 landelijke experts ondervraagd, die Ms eerstverantwoordelijke onderzoeker gedurende de afgelopen vijf jaar regelmatig betrokken waren bij een of meer (para)universitaire survey-onderzoeken. Dc ondervraagden schatten de totale nonrespons in tussen de 30% en 50%, met een gemiddelde van 45%. Ook is een grote meerderheid van mening dat er een duidelijk trend is in nonrespons en dat de nonrespons nu beduidend hoger is dan 15 jaar geleden. Wanneer gevraagd wordt naar de belangrijkste oorzaken dan worden enerzijds redenen genoemd die samenhangen met bereikbaarheid (grotere mobiliteit, kicinere huishoudens, lagere trefkans, problemen met steekproefkader) en anderzijds met bereidwilligheid (men is enqu&e-moe, te yank belast, gedesinteresseerd, wantrouwend en meer privacygericht). Ook het onderwerp van onderzoek, de onderzochte groep zelf, en de gebruikte dataverzamelingsmethode kunnen naar de mening van de ondervraagden de respons ongunstig beYnvloeden. Opvallend is de licht fatalistische houding die uit de antwoorden spreekt: respondenten zijn niet goed te bereiken en als ze al bereikt worden dan zijn ze niet over te halen. Niet alleen wordt een forse nonrespons geconstateerd, de ondervraagde deskundigen zijn ook bevreesd voor een duidelijke selectiviteit in de nonrespons. Ruim twee derde van de ondervraagden wijst op het gevaar van selectieve nonrespons in de zin van een duidelijk afwijkende samenstelling van de uiteindelijk gerealiseerde steekproef. Met name jongeren, ouderen, lager opgeleiden en mensen woonachtig in grote steden behoren tot de nonrespons. Ook wordt crop gewezen dat minderheden buiten de standaard onderzoeken vallen en alleen goed vertegenwoordigd zijn als het onderzoek op deze specifieke doelgroepen is ingericht. Opgemerkt dient nog te worden dat er op universiteiten relatief veel onderzoek wordt gedaan naar specifieke groepen (pati~nten lijdende aan een bepaalde ziekte, leerlingen, ouderen, e.d.). Over de omvang van de nonrespons onder specifieke doclgroepen is 43
minder bekend. Dit hangt voor een deel samen met speciale steekproeftechnieken zoals sneeuwbal sampling, die soms nodig zijn bij gebrek aan beschikbare steekproefkaders. Wanneer men wel de gegevens heeft om responspercentages te berekenen, dan blijkt de nonrespons bij speciale doelgroepen vaak lager te zijn dan bij onderzoek onder de algemene bevolking. Niet alleen weigeren personen uit speciale doelgroepen minder, ze worden ook beter bereikt. Desgevraagd blijkt dat onderzoekers vaak zeer veel mocite doen om de doelgroep te bereiken en te stimuleren om mee te werken. Deze extra inspanning wordt blijkbaar beloond met een hogere respons. Daarnaa~t7 is het belang dat doelgroepen soms zelf kunnen hebben bij het slagen van een onderzoek vaak een extra stimulans om mee te doen. 2.4. Conchisie
-
Zowel bij overheidsonderzoek, marktonderzoek en universitair onderzoek komt men in Nederland hetzelfde beeld tegen. Bij reguliere veldwerkprocedures is een respons van 50% ~ 60%te ~Terwachten.Internationaal gezien is deze respons laag. Voor overheidsonderzoek worden in omliggende landen nog steeds responspercentages van minimaal 80% hehaald. Het betreft hier dan meestal face-to-face interviews. Bij pogingen om de respons te verhogen is een tweesporenbeleid aan te ra-den; men dient zowel de bereikbaarheid te verbeteren, als de bereidwilligheid in positieve zin te beYnvloeden. Hierop wordt in paragraaf 4 nader ingegaan. Niet alleen het veidwerk ook de dataverzamelingsmethode zelf is van invloed op de respons. Twee~nderzoeken hebben hier speciale aandacht aan besteden: een overzicht van gegevens van de Duitse Demos databank (Bretschneider en Schumacher, 1996) en een meta-analyse van Hox en de Leeuw (1994) op hoofdzakelijk Am~rikaans vergelijkend surveyonderzoek. Bij demografisch sociologisch onderzoek in Duitsland varieert het responspercentage van gemiddeld 71% voor face-to-face onderzoek tot 54 en 55% voor respectievelijk telefonische interviews en postenqu~tes. Bretschneider en Schumacher wijzen op een interessante trend in de tijd. Tussen 1960 en 1995 zijn het met name de telefonische interviews en in mindere mate de face-to-face interviews die sterk in respons teruglopen, postenqu~tes blijven constant op ruim 55%. Hox en de Leeuw komen tot soortgelijke conclusies voor (para)universitair onderzoek in the VS. Het face-to-face interview levert gemiddeld de hoogste respons (70%), telefonisch interview is een goede tweede met gemiddeld 67% en postenqu&es leverden nog altijd 61% respons. Ook hier weer een duidelijke trend in de tijd: neergaande lijnen voor beide interviewmethoden, maar geen dalende respons bij postenqu&es. Er zijn verschillende verkiaringen mogelijk voor dit verschijnsel, die elkaar niet uitsluiten maar eerder aanvullen. De veranderde sociale structuur (kleinere huishoudens, meer eenpersoonshuishoudens, e.d.) heeft geleid tot een toename van bereikbaarheidsproblemen wat met name van invloed is bij face-to-face en telefonisch onderzoek. Een postenqu~te heeft hier veel minder last van. Daamaast spelen andere maatschappelijke veranderingen een rol die de respons bij interviews negatief kunnen befnvloeden. Zo is er zeker in de grote steden sprake van een toename van gevoelens van onveiligheid, wat de bereidwilligheid om een ‘vreemde’ te woord te staan, laat staan binnen te laten, negatief beYnvloedt. Verder is er in de laatste twintig jaarveel onderzoek gedaan naar methoden om de respons bij postenqu~tes te verhogen, daarin worden beide componenten van nonrespons (bereidwilligheid en bereikbaarheid) aangepakt (zie b.v. Dillman, 1978; De Leeuw en Hox, 1985; Brand en Bijmolt, 1993). In nonrespons-analyse 44
bij face-to-face en telefonisch onderzoek is veel minder energie gestoken. Meer inspanning op dit terrein zal hopelijk deze negatieve trend in co~5peratie bij interviews keren. In de volgende paragrafen richt 1k me daarom speciaal op nonresponsonderzoek en responshevorderende maatregelen bij interviews. Voor meer details over responshevorderende maatregelen bij postenqu&es verwijs ik o.a. naar de publikaties van De Leeuw en Hox en van Brand en Bijmolt in eerdere uitgaven van dit Jaarboek.
3. THEORIE~N OVER DEELNAME AAN ONDERZOEK 3.]. Inleiding Een goed theoretisch begrip van het ‘waarom’ van co~5peratie of weigering bij onderzoek is een goed wapen in de strijd tegen de groeiende nonrespons. Nienwe veidwerkprocedures, gebaseerd op deze kennis, kunnen ingezet worden om de nonrespons tot staan te brengen en medewerking te bevorderen. Ook kunnen theorie~n behulpzaam zijn bij de moeilijke beslissing om de beperkte fmanci~le middelen voor veidwerk zo effectief mogelijk te herverdelen. Daamaast zijn theorie~n over weigeringen ~n over onbereikbaarheid van groot belang bij bet toepassen van wegingsmethoden nadat de data verzameld zija. Op dit moment is er geen allesomvattende theorie over deelname aan onderzoek. Wel is vanuit verschillende theoretische invaishoeken gewerkt aan theoretische modellen. Een goede theorie over deelname aan onderzoek zal een duidelijk onderscheid moeten maken in bereikbaarheid en bereidwilligheid, en er zal uiteindelijk leiden tot verschillende verklarende modellen voor verschillende vormen van nonrespons. De huidige modellen richten zich primair op de bereidwilligheid in interview-onderzoek. Beschikbare modellen zijn gebaseerd op sociaal-psychologische theorie~n over helpen en overreden (Cialdini), op rational choice theorie (Hox) en op interactieprocessen tussen interviewer en respondent (Couper en Groves). 3.2. Sociaal-psychologische theoriei!n De Amerikaanse sociaal-psycholoog Cialdini heeft vanuit een geheel ander vakgebied een belangrijke bijdrage geleverd aan de theorie-vorming over respons en nonrespons. Puttend vanuit een brede theoretische kennis over overredingsstrategieen en bet ingaan op verzoeken heeft hij een model geformuleerd om nonrespons te bestrijden. Voor een uitgebreide beschrijving zie Groves, Cialdini en Couper (1992). Overreden en toegeven zijn in feite twee kanten van dezelfde medaille: actief en passief. De literatuur over overreden (persuasion) houdt zich vooral bezig met de vraag welke factoren van belang zijn om een ander van mening te doen veranderen en richt zich op communicatie en te ondememen acties. De literatuur over bet ingaan op verzoeken (compliance) tracht de sociale en psychologische factoren te beschrijven die de beslissing van individuen beYnvloeden om al dan niet aan een verzoek te voldoen. Hoe aantrekkelijk een bepaalde activiteit is, bepaalt in grote mate of iemand besluit om op een verzoek in te gaan. Of een activiteit aantrekkelijk is hangt bijvoorbeeld af van de mate waarin deze interessant is of van speciaal belang voor de persoon in kwestie is, en van kosten in tijd, inspanning, en dergelijke. Dit zijn alle factoren die moeilijk te beYnvloeden zijn. Daamaast spelen zes beginselen een belangrijke rol in de individuele 45
besluitvorming: reciprociteit, het gedrag van gelijksoortige anderen uit de omgeving, autoriteit, sympathie, en schaarsheid. Deze zelfde beginselen spelen ook een centrale rol in de literatuur van het overhalen en zijn goed toepasbaar bij nonrespons bestrijding. Hieronder worden zij kort besproken. Reciprociteit ofwederkerigheid is een algemene maatschappelijke norm: Dit maakt dat mensen reageren op het gedrag van anderen, door met gelijksoortig gedrag te reageren. Zo zal men op vriendelijkheid, vriendelijk reageren en na een positieve actie (cadeautje, gunst, dienst) weiwillend tot een wederdienst bereid zija. Dit betekent dat men eerder geneigd is op een verzoek in te gaan als dit verzoek voorafgegaan is door een cadeautje of gunst. Het bijsluiten van een beloning bij een vragenlijst in de hoop een respons te krijgen is op dit principe van ~vederkerigheidgebaseerd (zie ook 4). Orngevingsnorffzen: De normen, waarden en het gedrag van anderen worden vaak gebruikt als ijkingspunt om bet eigen gedrag nan afte meten. Men gaat dan ook eerder in op een verzoek als men denkt dat (belangrijke) anderen dit ook doen. Zo bleek dat bij een zeer intensief longitudinnal onderzoek onder boerenbedrijven, de kans op medewerking beduidend groter was als in het verleden aen naburig boerenbedrijf had meegedaan (Dijk, 1996). Autoriteit: Men gaat eerder op een verzoek in wanneer dat gednan wordt door een erkende legitieme autoriteit. Dit wordt geYllustreerd door bevindingen bij postenqu&es dat overheidsonderzoek in bet algemeen een hogere respons oplevert (zie o.a. De leeuw en Hox, 1995). Syinpathie: Men is eerder geneigd in te gaan op een verzoek van iemand die men aardig vindt of een organisatie- waarmen sympathiek tegenover stant. Uit sociaal-psychologisch onderzoek blijkt dat men anderen aardiger vindt naarmate men hetzelfde over zaken denkt, dezelfde nchtergrond heeft, en dezelfde type kieren draagt. Ook vindt men een ander nardig als deze complimenten maakt en er aardig uitziet. Een interviewer zal dus sympathieker overkomen en succesvoller zijn wanneer zij/hij zich nanpast ann de omgeving en de respondent. Schaarsheid: Naarmate iets schaarser is wordt iets ook gezien ats kostbnarder. Men is danrom eerder geneigd iets te doen als men het percipieert als specinal, en de kans erop kiein is, of als men iets nog niet vaak gedaan heeft. Het schanrsheids-principe geeft een goede verkiaring voor de bevindingen van Bronner (1988) dat bij onderzoek halverwege de jaren tachtig de respons van minderheidsgroepen nit Noord-Afrika beduidend hoger was dan die van minderheidsgroepen nit Zuid-Europa; de laatste groep was al beduidend langer in Nederland en was frequenter blootgesteld ann verzoeken om mee te werken. Dit zou hetekenen dat met de toename van minderheidsonderzoek, een interview geen bijzonder evenement meer is en bet responspercentage voor de Noord-Afriknanse groepen over de tijd zal dalen. Naast theorie~n over overreding en bereidheid, zijn modellen ter verkiaring van hulpgedrag een derde inspiratiebron voor Cialdini. In deze modellen ter verkinring van huip-gedrag spelen sociale verantwoordelijkheid en burgerplicht een belangrijke rol. In de huidige wat cynische Nederlandse onderhandelingsmantschappij zijn deze begrippen minder goed toepasbaar dan de eerder genoemde hegrippen ‘wederkerigheid’ en ‘schaarsheid’. 3.3. Rationele-keuze-theorie Hox heeft de idee~n van Cialdini nangevuld en nader gestructureerd. Hierbij wordt 46
gebruik gemaakt van de Rational Choice Theory, en met name van het door Fishbem en Ajzen voorgestelde model van ‘reasoned action’. Voor een beschrijving van dit respons model zie Hox, de Leeuw en Vorst (1995). Centrale begrippen zijn attitudes en normen met betrekking tot responsintentie en uiteindelijke deelname aan onderzoek. De attitude ten opzichte van meewerken nan onderzoek wordt bepaald door overtuigingen over de consequenties van bet gedrag (behavioral beliefs); bijvoorbeeld ingeschatte inspanning, eerdere ervaringen, en nut. De (subjectieve) normen worden bepaald door een inschatting van opvattingen en verwachtingen van relevante anderen ten aanzien van het individuele gedrag (normative beliefs). Dit laatste is vergelijkbaar met Cialdini’s begrip ‘omgevingsnorm/gedrag van gelijksoortigen in de omgeving’. Ook andere door Cialdini gehanteerde begrippen zoals reciprociteit en schaarsheid zijn zonder problemen in dit model onder te brengen. Ter illustratie: wanneer bekend is dat een zorgvuldig geselecteerde groep uitgenodigd wordt om mee te werken aan een onderzoek dat van direct belang is voor de betrokkenen, dan zal dit de behavioral beliefs en zo de attitude en responsbereidheid duidelijk befnvloeden. In de harde praktijk van het onderzoek zal een situatie meestal niet zo ideaal zijn als bier geschetst, maar bij de presentatie van een enqu&e aan de potentieYe respondenten kan door gebruikmaking van bovenstaande principes de potenti~le bereidheid gunstig beYnvloed worden. Dli is een les die we kunnen leren van de succesvolle Dillman-procedures voor postenqu&es, waar ook vanuit een theoretisch kader gestreefd wordt naar een optimale presentatie van het onderzoek. 3.4. Interactie tussen interviewer en respondent Een iets andere irivalshoek is gekozen door Couper en Groves, die zich met name richten op het interactie-proces tussen respondent en interviewer. Hierbij baseren ze zich zowel op empirisch onderzoek naar succesvolle strategieen die interviewers gebruiken om aarzelende respondenten over te halen, als op theoretische analyses van sociale vaardigheden en menselijke interacties. Centrale begrippen bij Couper en Groves zijn ‘tailoring’, het aanpassen van het interviewergedrag nan de sociale situatie en aan de respondent, en ‘bet open bouden van mogelijkheden tot interactie’. Het is altijd beter om, reagerend op de situatie, een stapje terug te doen waarbij de mogelijkheid wordt opengelaten om later terug te komen, dan door te zetten en daarmee een barde weigering te incasseren. De nadruk in bet Couper en Groves model ligt op de face-to-face interactie nan de deur, maar is ook toepasbaar bij telefoniscbe interacties. Principes uit dit model zijn goed toepasbaar bij bet trainen van interviewers. Voor een uitgebreider overzicht van bet model zie Groves en Couper (1995). 3.5. Conclusies De hier beschreven modellen zijn in de praktijk goed toepasbaar. Zo richt de stichting “Uw mening telt” zich momenteel op de beYnvloeding van de attitude van de consument. In bet rationelekeuze-model van Hox is attitude een belangrijke determinant van responsintentie. Verder wijzen zowel bet model van Cialdini als bet model van Hox op bet belang van bet gepercipieerde gedrag en de normen van ‘rolmodellen’ en personen uit de omgeving. Het zou de moeite waard zijn om in een volgende campagne dit expliciet te gebruiken, bijvoorbeeld analoog ann de al zeer oude succesvolle campagne 47
U
‘‘
I
voor condoomgebruik onder de tite gebruikt ze om Meer algemener kunnen de theoretische modellen behulpzaam zijn bij zowel het optimaliseren van veldwerkprocedures om de respons te verhogen en bij het kiezen van adequate wegingstechnieken om de gevolgen van nonrespons op te vangen. Op beide aspecten wordt hieronder ingegnan.
4. OPTIMALISATIE VAN VELDWERKPROCEDURES VOOR INTERVIEWS 4.]. Inleiding Responscijfers blijken te vari~ren per onderzoek en gebruikte veldwerkstrntegie, en door de veldwerkprocedures nan te passen kan de dalende trend tegengegnan worden (cf Mans & de Heer, 1995; Lyberg & Dean, 1992). In het korte bestek van dit hoofdstuk kan niet gedetailleerd op alle aspecten van het veldwerk worden ingegnan, danrom zal ik globani een nantal succesvolle strategieen bespreken voor het verhogen van de respons bij interviews. Hierbij wordt eeri onderscheid gemankt tussen strategieen om een hoger contactpercentage te krijgen en strntegieen om ge~even een bepaald contactpercentage een lager weigerpercentage te krijgen. De nadruk ligt op een hespreking van de basisprincipes zodat men bij individuele onderzoeken deze kan toepassen en gedetailleerd afstemmen op de eisen van het onderhavige onderzoek. -
4.2. Bereiken respondent
-
-
Hieronder worden drie strategieen besproken om een hoger contactpercentage te krijgen, te weten het optimaliseren van de contactpogingen, het gebruik van combinaties van methoden, en het orngann met antwoordapparaten in telefonisch onderzoek. Contactpogingen Bij standnnrd veldwerkprocedures wordt in Nederland bijna 30% van in principe bereidwillige respondenten niet bereiki (Louwen, 1992). Ddor het narita] contactpogingen te vergroten worden niet alleen meer potenti~le respondenten bereikt, mnar de samenstelling van de uiteindelijk verkregen steekproef is dan ook beter (Louwen, 1995; zie ook de bespreking hierboven in 2.2.). Bij deze algemene raadgeving dienen enkele kanttekeningen te worden gemaakt. In de eerste plants is ~hetbelangrijk dat contactpogingen zoveel mogelijk gemnakt worden op tijdstippen dat de kans om iemand thuis te treffen het grootst is. Onderzoek heeft uitgewezen dat wanneer interviewers volledig de vrije keus hebben de tijdstippen verre van optimnal zijn (cf. Swires-Henessy en Drake, 1992). Zorgvuldige instructie van interviewers op dit punt is dan ook wenselijk. Dit wordt bij voorkeur gecombineerd met een controle-mechanisme zoals de analyse van administratieve ‘log’-files met computertijd en datum bij CAPI-interviews. Welke tijden optimnal zijn hangt onder andere af van de doelpopulatie. Sommige mensen zijn overdag beter bereikbaar, andere ‘s avonds, weer andere in het weekend. Voor
1
48
Bijvoorb~etd, “Sonja geeft haar mening om ‘a snorgens weer gezond op te kunnen staan” of “Ook lullo’s geven graag hun mening”.
de Nederlandse situatie bestaan hierover weinig cijfers (zie ook Van der Leest, 1996). Kerssemakers, de Mast en Remmerswaal (1987) presenteren enkele gegevens voor telefonische bereikbaarheid. In het algemeen kan men beter ‘s avonds bellen dan overdag, met uitzondering van donderdagavond. Daamaast is ook de vrijdagmiddag een goede tijd om te bellen. Tevens wordt opgemerkt dat hoewel de hereikbaarheid tussen 17.00-18.00 erg groot is, dit een slechte tijd is om te bellen: het percentage weigeringen is dan onevenredig groot. Tussen 19.00 en 21.00 nur is de bereidwilligheid het grootst. Ook de cijfers van Louwen (1992) geven aan dat ‘s avonds de kans op contact groter is. Zeker bij 6~npersoonshuishoudens en bij huishoudens waar beide partners werken is de avond optimaal om contact te krijgen. Meer onderzoek naar de Nederlandse situatie is zeker gewenst. Hierbij zal niet alleen gekeken moeten worden naar tijdstippen waarop de kans op contact het grootst is, maar vooral naar tijdstippen waarop de kans op contact gevolgd door een succesvol interview of afspraak bet grootst is! Combinatie van dataverzamelingsmethoden Een combinatie van dataverzamelingsmethoden wordt vaak ingezet om een hogere respons te verkrijgen. Hierbij worden de sterke punten van de gebruikte dataverzamelingsmethoden gecombineerd. Zo wordt vaak een face-to-face interview gecombineerd met een telefonisch interview bij moeilijk bereikbaren. Een andere veelgebruikte combinatie is dagboek-onderzoek met motiverende face-to-face interviews. Wanneer men op een nieuwe methode overgaat is het aan te bevelen een speciale nieuwe aankondigingsbrief naar de nonrespondenten toe te sturen (zie ook 4.2). Deze brief is vergelijkbaar met een berhalingsbrief bij een post-enqu~te. In de brief wordt kort aangegeven dat men herhaalde pogingen heeft gedaan en dat binnenkort (telefonisch) contact wordt opgenomen door een interviewer. Door duidelijk te maken dat de onderzoeker veel moeite doet wordt het wederkerigheidsmechanisme geactiveerd, zodat men eerder bereid is om op de hernieuwde contactpoging in te gaan. Daarnaast wordt het belang van bet onderzoek en met name bet belang van deeiname van de aangescbrevene onderstreept. Hierbij kan men bijvoorbeeld een beroep doen op bet schaarsheidsprincipe (zie 3.2.) door aan te geven dat slechts een kiein aantal respondenten is geselecteerd. Antwoordapparaten Bij telefonisch interviewen vormen antwoordapparaten een speciale bedreiging voor de bereikbaarheid. Over de Nederlandse situatie is niet zoveel bekend, maar in de Verenigde Staten heeft men in de afgelopen jaren uitgebreid onderzoek gedaan naar de invloed van antwoordapparaten op de respons bij telefonisch onderzoek. 1k vat de voornaamste conclusies bier samen. Allereerst blijkt dat in de V.S. bet percentage antwoordapparaten in huishoudens nog steeds groeit. Was dit bij onderzoek in 1985 rond 13%, in. 1991 was dat ruim 31% en in 1994 al 50% Wie hebben nu antwoordapparaten? Onderzoek levert het volgende profiel op. Eigenaren van een antwoordapparaat hebben een hoger inkomen en zijn beter opgeleid. Verder wonen ze vaker in grote en middelgrote steden en de omi-ingende buitenwijken en minder vaak in Meine steden en op bet platteland. Tenslotte hebben ze vaker een betaalde baan en zeker als de aanwezige partne:r ook een al dan niet part-time baan heeft is de kans op de aanwezigheid van een antwoordapparaat erg groot (Tuckel en O’Neill, 1995). Het aardige is dat bet bier de resultaten van een face-to-face interview betrof, zodat mogelijke vertekeningen door telefonische onbereikbaarheid veroor49
zaakt door de antwoordapparaten uitgeschakeld werd. Tuckel en O’Neill onderzochten ook de wijze waarop de antwoordapparaten gebruikt werden. Het merendeel van de ondervraagden (87%) bleek bet antwoordapparaat frequent te gebruiken om hoodschappen te kunnen ontvangen wanneer ze niet thuis waren, daarnaast bleek dat ruim een derde (39%) bet apparaat ook gebruikt om berichten te screenen wanneer ze wel thuis waren! Een nantal onderzoekers hebben zich beziggehouden met de vraag hoe tijdens bet veldwerk bet best met telefonische antwoordapparaten om te gaan. Piazza (1993) onderzocbt op welke tijden huishoudens met een antwoordapparaat bet beste te bereiken waren. Tijdens een telefonisch onderzoek werd net zo vaak gebeld tot men een 80% respons had, zelfs als dat betekende dat men in een enkel geval 30 keer moest bellen. Wanneer men een antwoordapparaat aantrof had men gemiddeld 8.9 pogingen nodig om iemand persoonlijk te bereiken; bij huishoudens zonder apparaat in gebruik was bet gemiddelde aantal pogingen 4.1. Wanneer een antwoordapparaat werd aangetroffen werd geen boodscbap ingesproken. Opvallend was dat huishoudens met antwoordapparaten net zo bereidwillig waren om mee te~doen als huishoudens zonder; wanneer men eenmaal bereikt was, was de kans op een succesvol afgerond interview gelijk. Een goede tijd om te bellen was door de week in de avond met uitzondering van de vrijdagavond, die in de VS een gerenommeerde uitgaansavond is. Na acht uur ‘s avonds was de meest produktieve tijd om te bellen (contact + willig). Ook zaterdagochtend was een goede tijd om personen te bereiken dn een interview te voltooien. Wanneer dit vergeleken wordt met de tijden waarop buishoudens zonder apparaat bereikt werden dan valt op dat ook vo.or deze groep avonden gunstig zijn, maar de verschillen met andere tijden zijn veel kleiner en ze zijn in de vroege avond (6-8 uur) ook succesvol te benaderen. Wanneer men huishoudens met antwoordapparaten wil bereiken, dan is de beste strategie om deze opnieuw te bellen na acht uur en deze in de periode 8-10 uur voorrang te geven boven bet opnieuw bellen van buishoudens waar men eerder geen antwoordapparaat aan de lijn kreeg. De laatste groep kan bet beste tussen 6 en 8 gebelld worden. Piazza liet geen boodschap inspreken, maar er zijn sterke aanwijzingen dat bet achterlaten van een korte boodschap positief werkt. In de literatuur over antwoordapparaten wordt vaak onderscheid gemaakt in ‘cocooners~ versus ‘connectors’: de cocooners schermen zich af, de connectors willen juist contact met de buitenwereld onderhouden. De meest recente cijfers (zie boven) suggereren dat de meerderheid van Amerikaanse antwoordapparaatbezitters connectors zijn, juist bij deze groep zal een korte boodscbap goed werken. Een ingesproken boodschap vervult dan dezelfde functie als een aankondigingsbrief en introduceert bet onderzoek en onderstreept de serieuze opzet. Bovendien maakt bet duidelijk dat de onderzoeker moeite doet om de respondent te hereiken, wat de kans vergroot dat de respondent ook bereid is wat moeite terug te doen (wederkerigheid). Empirisch onderzoek (Xu, Bates en Schweitzer, 1993) bevestigt deze theoretische overwegingen. Tijdens drie telefonische onderzoeken werd een experiment met boodschappen uitgevoerd. Nadat een antwoordapparaat bereikt was, werd door een toevalsmechanisme bepaalt of er wel of geen boodschap werd achtergelaten en ook welke van drie verschillende boodschappen werd acbtergelaten. In totaal werden er maximaal die contactpogingen gedaan. Allereerst bleek dat huishoudens met een antwoordapparaat gunstig afsteken tegenover huishoudens waar tijdens de eerste belpoging geen gehoor gekregen werd. De uiteindelijke c-ontact ratio voor huishoudens met antwoordapparaten was 66% tegen 60% voor initiecl geen contact. Niet alleen waren huishoudens met antwoordapparaten uiteindelijk beter bereikbaar dan huisboudens die op de 50
eerste poging ‘geen geboor’ gaven, ze waren ook bereidwiUiger~. 43% voltooide een interview tegenover 34% voor de uiteindelijk bereikte ‘geen gehoor’. Dit ondersteunt de connectors-hypotbese: eigenaren van antwoordapparaten sluiten zich niet af, maar willen juist contact houden met de buitenwereld. Het acbterlaten van een boodschap werkte positief. Wanneer men een boodschap insprak dan verboogde dat de kans op een voltooid interview bij uiteindelijk contact; de respons was 46% voor de groep waarbij een boodschap was achtergelaten op bet apparaat tegenover 33% voor de groep waarbij niets was ingesproken op bet apparaat. Verschillen in tekst van de boodschap hadden geen duidelijk effect. Wat blijft hangen bij de potenti~le respondent is dat er gebeld is over een onderzoek, niet wat de details waren. Een korte boodschap waarin het onderzoek genoemd wordt en waarin meegedeeld wordt dat men bmnnenkort wordt teruggebeld is daarom aan te raden. Concluderend: Hoewel bet belangrijkste onderzoek Amerikaans is en niet geheel is toegesneden op de Nederlandse situatie, lijkt bet tocb aan te raden om een korte boodschap achter te laten bij bet eerste contact met een antwoordapparaat. Het achterlaten van een boodschap verhoogt de kosten temauwemood en lijkt een positief effect te hebben op de respons. Daamaast zou onderzoek van de Nederlandse situatie wenselijk zijn. Zo zou bet interessant zijn om bij een volgende AGB-minicensus een vraag mee te laten lopen naar eigendom van een antwoordapparaat, zodat in navolging van Tuckel en O’Neil een profiel kan worden opgesteld van eigenaren van antwoordapparaten. 4.3. Het overtuigen van de respondent Hieronder worden drie strategieen besproken om bet percentage interviews na contact omboog te krijgen: bet gebruik van aanschrijfbrieven en herbenaderingsbrieven, bet gebruik van incentives, en bet speciaal trainen van interviewers. Aanschrij/brieven en herbenaderingsbrieven Een van de meest consistente bevindingen bij postenquetes is dat bet aarital contacten, of dit nu aankondigingsbrieven of herbalingsbrieven zijn, de respons positief beYnvloedt. Een korte aankondigingsbrief werkt even goed als een latere berhalingsbrief. Aankondigingsbrieven worden ook bij face-to-face interviews en soms bij telefoniscbe interviews ingezet. Welke functies vervult nu een aankondigingsbrief? In de eerste plaats dient zo’n brief Ms introductie; de feitelijke enqu~te of bet interview valt niet zo koud op bet dak, de onderzoeksinstelling kan alvast uitleggen waarover bet onderzoek gaat en wat bet belang is. Men communiceert dat de onderzoeksinstelling tijd en moeite heeft geYnvesteerd in de respondent door een persoonlijke brief te schrijven en men boopt zo via de norm van wederkerigheid een positieve reactie op te roepen. Ten slotte is de aankondigingsbrief een goed middel om de legitimiteit van bet onderzoek te benadrukken en via briefhoofd en telefoonnummer voor eventuele vragen duidelijk te maken dat bet om een echt onderzoek gaat en niet om een verkapte verkooppoging. Dillman bespreekt in zijn 1978 boek al hoe moeiijk de tank voor de briefschrijver is. Men moet steeds balanceren tussen twee extremen: een korte brief die aanspreekt en motiveert, maar weinig informatie geeft en een lange brief die wel alle informatie geeft maar minder aanspreekt. Dillman (1978; p.168 e.v.) en Salant en DilIman (1994, bfd. 8) geven duidelijk aan wat er in brieven moet staan: bet onderwerp en doel van bet onderzoek, waarom juist de ontvanger van de brief belangrijk is voor bet onderzoek, een belofte van vertrouwelijkheid, bet noemen van een heloning als deze gebruikt 51
wordt, en een duidelijk uitgesproken waardcring als men mee wil doen. Deze punten komen overeen met de bevindingen van Luppes (1994), die potentieYe respondenten brieven liet beoordelen en liet aangeven wat zij de belangrijkste punten vonden. Dc brief moet volgens de lezers zo concreet mogelijk zijn en het allerbelangrijkste is te vermelden waar bet onderzoek over gaat. Verder vinden lezers bet belangrijk om te weten wat er precies van bun verwacht wordt en wat er met de gegevens gebeurt, met name een verzekering van vertrouwelijkheid wordt op prijs gesteld. In een korte aankondigingsbrief zullen deze punten dan ook zeker aan bod moeten komen. Een duidelijk briefhoofd en telefoonnummer voor vragen benadrukt de legitimiteit van bet onderzoek. Op bet CBS worden aanschrijfbrieven routinematig bij face-to-face interviews gebruikt en zowel door respondenten als door interviewers zeer gewaardeerd. Bij telefonisch onderzoek is bet vaak lastiger om aanschrijfbrieven te versturen en vaak ontbreken adresgegevens zelfs volledig (RDD-onderzoek): Toch kunnen een aantal functies van de aanscbrijfbrief op een andere wijze binnen telefoniscb onderzoek worden vervuld. Zo kan een korte boodscbap op bet antwoordapparaat waarin bet onderwerp en doel van bet onderzoek genoemd wordt, dienen Ms extra contactpoging bij moeilijk bereikbaren. En een speciaal kosteloos telefoonnummer voor vragen van respondenten kan dienen om de legitimiteit van bet onderzoek te onderstrepen en mogelijke angst bij respondenten voor ‘enge’ telefoontjes weg te nemen. Het openstellen van zo’n telefoonnummer geeft onk interviewers een extra argument om respondenten te overtuigen en bevordert zo ook bet zelfvertrouwen en de motivatie van de interviewers. Het initiatief van de Vereniging yan Marktonderzoekbureaus om een centraal telefoonnurnmer voor respondenten te openen is dan ook zeer toe te juichen. Aangesloten VMO-bureaus kunnen daar bun komende onderzoek aanmelden en wanneer respondenten bellen worden ze gerustgesteld en wordt de legitimiteit van de aangemelde VMO-onderzoeken benadrukt. Dit telefoonnummer geldt trouwens zowel voor telefonisch als face-to-face onderzoek. Bebalve als aankondiging en legitimering van een onderzoek kunnen brieven aan respondenten ook voor andere doelen gebruikt worden. Zo kan bij moeilijk bereikbare respondenten een ‘niet thuis getroffen’-brief achtergelaten worden, en kan men bij herbenaderingspogingen van respondenten een nieuwe brief schrijven (zie ook bet combineren van methoden in 4.2.). Ook kunnen er speciale brieven gestuurd worden om wantrouwen weg te nemen en poortwachters in te lichten. Zo wordt bij gezondheidsonderzoek onder ouderen vaak een aparte brief gestaurd naar boofden van verzorgingsinrichtingen en bestuur en concThrges van verzorgingsflats, waarin bet onderzoek wordt aangekondigd en verzocht wordt de interviewers in bet gebouw toe te laten. Ook worden soms speciale brieven gestuurd naar bet politie wijkteam. Zo’n ‘brief aan autoriteiten’ helpt interviewers op twee manieren, zij kunnen verontruste ouderen verzekeren dat bet onderzoek legitiem is en dat de politie op de hoogte is, ~n bet geeft de interviewers zelfeen groter gevoel van zekerheid wat, vooral in probleembuurten, de effectiviteit van bun optreden zal vergroten. Incentives 7 Uit onderzoek naar postenqu~tes blijkt dat naast bet aantal contacten (aankondigingsbrieven en berinneringsbrieven) heloningen bet sterkst responsverhogend werken (Dillman, 1991> Fjnanci~le beloningen werken in bet algemeen heter dan andere vormen van beloning zoals een cadeautje. Uitzonderingen hierop zijn cadeautjes die toegesneden zijn op de speciale wensen van de doelpopulatie of die te maken bebben met bet 52
onderwerp van onderzoek, zoals een scbijfje met gratis nieuwe software bij een Diskby-Mail klantenonderzoek van een groot computerbedrijf. Beloningen die vooruit betaald worden, dat wil zeggen met de vragenlijst mee gestuurd worden, werken beter dan beloofde beloningen die achteraf worden toegestuurd na bet invullen van de vragenlijst. Tenslotte blijkt dat als het bedrag te groot is, de beloning juist een negatief effect heeft op de respons. Zo ontdekten James & Bolstein (1992) dat een beloning van $1 al een significant hogere respons gaf bij een korte vragenlijst onder aannemers, en dat een beloning van $ 5 een duidelijk bogere respons gaf dan $1. Een $10 beloning deed bet niet beter dan $5; $20 gaf weer enige verbetering en $40 gaf zelfs een verslechtering ten opzichte van de $5 en de $20 dollar beloning. Relatief kleine beloningen verhogen de respons in feite disproportioneel, terwijl grote beloningen de respons op zijn best marginaal vergroten. Bovengenoemde resultaten zijn goed te verklaren vanuit sociaal-psychologiscbe en sociaal-economische theorie~n. Volgens de sociale mu Eheorie (zie Dillman, 1978) zal men responderen als de (psycbologiscbe) kosten en baten met elkaar in evenwicht zijn. Een beloning van $40 voor een zeer korte vragenlijst kan door de respondent als buitenproportioneel gezien worden en wantrouwen oproepen. Ook de sociale norm van wederkerigheid (zie 3.2) werkt alleen wanneer de ontvangen gift of gunst Ms oprecht gezien wordt; wanneer deze opgevat kan worden als poging om druk uit te oefenen, een schuldgevoel op te wekken of als omkoperij, dan werkt de gift juist negatief. Wanneer men beloningen toepast binnen interview-onderzoek dient men zich bier goed rekenschap van te geven en de interviewers hierop uitdrukkelijk te wijzen. De beloning dient gepresenteerd te worden als aardigbeidje en Ms dank voor de te nemen moeite, en iedere illusie van omkoperij of zware druk uitoefenen dient vermeden te worden. Het aanbieden van een kleine beloning heeft niet alleen een gunstige uitwerking op de respondent, maar ook op de interviewer. Dezelfde norm van wederkerigheid werkt ook de andere kant op. Interviewers, die weten dat ze iets leuks terug kunnen doen, zijn ook zelfverzekerder en overtuigender in bun presentatie. In bet algemeen voelen ze zich dan ook plezieriger wat een gunstige invloed heeft op bun overredingskracbt. In telefonische interviews worden beloningen tot nu toe weinig gebruikt, hoewel de toezegging van een financieel heloning bij langere interviews of een toezegging van een samenvatting of boekje wel zijn toegepast. Experimenteel onderzoek naar de effectiviteit ontbreekt bier ecbter. Bij face-to-face interviews, zeker wanneer deze de respondent zwaar belasten, worden beloningen vaker toegepast. Voorbeelden zijn een ‘bloemenbon’ bij een twee uur durend interview van ouderen en een beloning in geld bij een gezondheidsonderzoek waarvoor men naar een mediscbe instelling moest komen en waar naast bet beantwoorden van vragen ook enkele medische tests werden gedaan. In dit laatste geval werden ook reiskosten en extra kosten zoals een baby-sit betaald. Bij offici~le statistiscbe- en censusbureaus in binnen en buitenland is bet internationaal de regel dat een beloning alleen dan wordt gegeven wanneer bet onderzoek van de respondent beduidend meer inspanning vergt dan normaal. Voorbeelden zijn bet bijhouden van dagboekjes en panelonderzoek. Nu is bet gebruik van beloningen niet geheel onomstreden. Men is bezorgd over de sterk stijgende onderzoekskosten die bet routinematig gebruik van beloningen met zich meebrengt. Ook is men bang voor een verslechtering van bet onderzoeksklimaat in de toekomst. Men vreest dat de nonrespons sterk zal stijgen, met name voor onderzoek waar geen geld voor beloningen beschikbaar is. Daar staat tegenover dat beloningen vaak goed werken om een voorgeschreven of beloofd extra hoog responspercentage te 53
verkrijgen of om speciale moeilijke groepen over te halen. In de Verenigde Staten is daarom op aandringen van de federale overheden in 1993 een specinal symposium gehouden over bet gebruik van beloningen in overheidsonderzoek (Nilsson, 1994). Dit heeft geleid tot de volgende regels voor federani onderzoek: Beloningen worden niet gebruikt bij standaard onderzoek, dat wil zeggen eenmalig steekproefodderzoek, waarbij bet doel van het onderzoek in bet algemeen belang is, de respondent niet boeft te reizen, en er geen indringende vragen gesteld worden of vragen over controversi~le onderwerpen. In een nantal omstandigheden kan een verzoek van de onderzoeksinstelling om beloningen te geven worden overwogen. Het betreft bier onderzoek dat zwaardere eisen stelt aan de respondent (b.v. indringende vragen, veel tijd, niizen), onderzoek bij moeilijke groepen die weigeren, onderzoek waarbij de respondent voor langere tijd gevolgd wordt, de groep vaak onderzocht is of om een ahdere reden_moeilijk is en de standaardmaatregelen weinig kans van succes bebben, dn als andere onderzoeksorganisaties voor dit type onderzoek regelmatig beloningen geven. Samenvattend: ook bij intervieWs kunnen beloningen goed werken. Voor een effectief gebruik moet men goed oppassen dat de sociale normen van wederkerigheid niet geschonden worden. Gezien bet weinige ~ernpirischemateriaal dat beschikbaar is over de effectiviteit van beloningen bij telefonische en face-to-face interviews, is bet ann te bevelen een klein experiment in te bouwen in ieder onderzoek dat beloningen gebruikt (bijvoorbeeld een kleine controlegroep die geen beloning krijgt). Motiveren en trainen van interviewers Interviewers staan in direct contact met een potentieYe respondent en hebben daarmee ook de meeste mogelijkheden om een twijfelachtige respondent over te halen. Uit onderzoek blijkt dat interviewers sterk kunnen verschillen in bun succespercentages. Het enige interviewkenmerk dat consistent lijkt samen te bangen met interviewersucces is ervaring: meer ervaren interviewers halen hogere responscijfers (voor een overzicht zie Cooper en Groves, 1992). Dit 7fenomeen kan gedeeltelijk verklaard worden uit (zelDselectie, alleen de meer succesvolle interviewers blijven over, en voor een dee] uit leer-effecten, men leert proefondervindelijk wat werkt in bepaalde moeilijke situaties en wat niet. Uit focusgroepen met interviewers komt nnar voren dat interviewers die al langer vo-or een bureau werken er van overtuigd zijn dat bun repertoire nan sociale vaardigheden door bet werk en de opgedane ervaring aanzienlijk is uitgebreid. Interviewers leren in de dagelijkse praktijkveel. Het is de grote verdienste van MortonWilliams (1993) dat zij als een van de eersten geluidsbanden van ‘voordeur’ interacties bij face-to-face interviews analyseerde om succesvolle int&rviewerstrategie~n te identificeren. De interviewers die bet meest succesvol waren in bet overbalen van respondenten gebruikten een zeer korte introductie wanrin ze zowel de eigen naam als de naam van bet bureau noemen en kort nangeven wnar bet onderzoek over gaat. Daamaast waren ze zeer flexibel in hun opstelling en pasten ze bun introductie en argumenten ann de respondent en de situatie nan. Het belang van bet aanpassen van de introductie nan de persoon en de situatie, bet zogenaamde ‘tailoring’ wordt ook benadirukt in bet werk van Groves, Cialdini en Couper (1992). Uitgangspunt is dat bet goede stnndaardscript niet bestant; er zijn vaste elementen maar welke elementen gebruikt worden, in welke bewoording, en in welke volgorde bangt of van de situatie en de reactie van de respondent. Houtkoop-Steenstra en Van den Bergb (1994) bouwen voort op Morton-Williams en komen tot soortgelijke conclusies voor bet telefoniscbe interview. In vergelijking tot 54
een volledige standaardintroductie voldoet een meer conversationele introductie in de eigen woorden van de interviewer heter. Een individuele op de respondent gericbte introductie levert een bogere respons op, mnar natuurlijk alleen als deze vriendelijk en overtuigend gebracht wordt. Een flexibele introductie betekent zeker niet dat er zo mnar iets gednan kan worden, mnar wel dat de interviewer de vrijheid beeft om binnen zekere grenzen die benadering te kiezen die bet meest veelbelovend lijkt. Dit vereist goed getrainde en goed geYnformeerde interviewers met plezier in bet werk en een goede voorbereiding hij de start van bet veidwerk. Belangrijk in een training is dat er ook enige achtergrondinformatie wordt overgedragen, die als een kapstok dient voor de elementen in de training. Zo zal een interviewer die enigszins op de hoogte is van de in 3.2. besproken principes, niet alleen beter ontbouden dat een nardige opmerkingen over tuin of kat vaak helpt, maar ook dat een complimentje de potenti~le respondent in een betere stemming brengt en dat men eerder geneigd is op een verzoek in te gaan als men goedgebumeurd is of de ander nardig vindt. Wanneer er geen kat of tuin is, kan uit bet repertoire sociale vaardigbeden een andere benadering gekozen worden, die een soortgelijke reactie teweeg brengt. Andere belangrijke elementen in een goede training zijn: oefeningen in positieve zelfpresentntie en sociale vaardigbeden, en oefeningen in observatie en sociale perceptie. Naast bekendbeid met traditionele overtuigingsstrategie~n (cf. 3.2. en Groves, Cialdini, & Couper, 1992) is ook enige kennis over onderzoeksmetboden en bet betreffende onderzoek belangrijk. Wanneer potenti~le respondenten een ~‘raag stellen, dan is dit een teken van interesse en willen ze goede informatie. Een vraag betekent niet dat de respondent wil weigeren. In tegendeel, de grote meerderbeid van de vraagstellers doet mee. Zo bleek dat 61% van diegenen die vroegen waar bet onderzoek overging en 92% van diegenenen die vroegen hoe lang bet onderzoek zou duren, uiteindelijk door de interviewer overgebaald konden worden om mee te doen (Morton-Williams, 1993). 4.4. Conclusie In de afgelopen jaren is de boeveelbeid onderzoek en danrinee de belasting van respondenten zeker toegenomen. Een interview is niets bijzonders meer en komt misschien niet gelegen. Het schaarsheidsprincipe werkt dan ook niet meer in bet voordeel van de onderzoeker. Toch betekent dit niet dat onderzoekers bet hoofd in de scboot moeten leggen. Door veranderingen in de veldwerkprocedures kunnen responscijfers danig verbeterd worden. Intensivering van contactpogingen en optimalisatie van bel- en bezoekstrntegie~n kunnen de onbereikbaarheid terugdringen. Daamaast zijn aanscbrijfbrieven, beloningen en goed gerrainde en gemotiveerde interviewers belangrijke wapens in de strijd tegen de weigeringen.
5. STATISTISCIJE CORRECTIE Veldwerkprocedures kunnen met succes ingezet worden om de nonrespons terug te dringen, maar dit zal nooit geheel lukken. Statistische correctie achteraf (wegen) is dan ook standaardgebruik bij censusonderzoek en marktonderzoek. Wanneer de nonrespons niet toevallig is, is bet resultant dat bepaalde groepen in de steekproef over- of ondervertegenwoordigd zijn, wat weer tot vertekeningen in de uitkomsten van bet onderzoek kan leiden. Om dit te ondervangen wordt weging gebruikt, waarbij nan de onderverte55
genwoordigde groepen een groter gewicht wordt toegekend dan ann de_oververtegenwoordigde groepen. Het principe van wegen is eenvoudig. Wanneer we van een nantal variabelen weten wat de verdeling is in de populatie, en we kennen de verdeling van die variabelen in de gerealiseerde steekproef, dan kunnen we die variabelen als wegingsvariabelen gebruiken. Stel dat we een steekproef trekken, en in die steekproef blijkt bet percentage mannen 60% te zijn. Als ook bekend is dat in de Nederlandse populatie bet percentage mannen 50% is, dan wordt de weegfactor voor de groep mannen (populatie proportie)/(steekproef proportie), ofwel 0,5/0,6=0,833, en voor de groep vrouwen 0,5/0,4=1,25. Wanneer we voor de gewogen steekproef nu bet percentage mannen en vrouwen berekenen, dan wordt dit 0,8337K60%=50% en 1 ,25x40%=50%. Met behuip van de weegfactor hebben we de steekproef wat betreft sekse nu representatief gemaakt voor de populatie. De verwachting bierbij_is, dat de steekproef nu ook meer representatief is wat betreft andere voor bet onderzoek belangrijke variabelen. Wanneer we voor meerdere variabelen tegelijk willen wegen ontstann er techniscbe problemen. Wanneer we bijvoorbeeld willen wegen voor sekse en opleiding, de laatste gemeten in vijf categorie~n, dan bebben we 2x5=10 groepen. Wanneer we van elk van die groepen weten wat de betreffende populatie proportie is, kunnen we voor elk van de 10 groepen een weegfactor berekenen. Deze techniek beet post-stratificatie. Het probleem is dat we dikwijls wel zullen weten wat de populatie proporties zijn voor sekse en opleiding afzonderlijk, maar niet wat per afzonderlijke opleidingscategorie de proportie mannen en vrouwen is. In dat geval worden meer ingewikkelde technieken gebruikt, zoals linenir of multiplicatief wegen (zie ook Bethlehem en Kersten, 1987). Multiplicatief wegen is de bekendste technlek, bet stant ook bekend als ‘raking’ of ‘iteratief proportioneel wegen’. Uit vergelijkend onderzoek (Rizzo, Kalton en Brick, 1996) hlijkt dat de precieze metbode van wegen niet veel invloed beeft op bet resultaat.Belangrijker voor bet eindresultant zijn de variabelen die gebruikt worden om de gewicbten te schatten. In bet ideale geval dienen de onderzoeksvariabelen weinig te vari~ren binnen de categorie~n van de wegingsvariabelen, en is de nonresponse binnen de categorie~n aselect. Er moet uiteraard wel variatie tussen de categorie~n van de wegingsvariabelen zijn, anders beeft weging op die variabele weinig zin. Een probleem is dat doorgaans weinig variabelen beschikbaar zijn als potenti~le wegingsvariabele. Meestal gaat bet om demografiscbe gegevens, zoals Ieeftijd en sekse, mnar met enige moeite zijn er meer hruikbare variabelen te ncbterhalen. De Lecuw (1992) gebruikt als weegfactor de via de postcode bepaalde welstand (GeoMarkt-profiel). Bethlehem en Kersten (1987) stellen voor om te proberen weigeracbtige respondenten te verzoeken om ~n centrale vrang te heantwoorden. In bun opzet is de centrale vraag de vraag waar bet onderzoek feitelijk om gnat. Het is natuurlijk ook mogelijk via de centrale vraag wegingsvariabelen te verkrijgen. Groves et a]. (1995) gebruiken bij een bezoekinterview een interviewervragThlijst om wegingsvariabelen te verzamelen. Via de interviewers kan immers ook over de weigernars enige informatie verkregen worden, zoals bijvoorbeeld sekse en soort wonirig. Deze variahelen kunnen gebruikt worden in nanvulling op de beschikbare demografiscbe weegvariahelen.
56
6. DISCUS¶E Nonrespons is er en zal er altijd zijn. Dit is iets dat we onder ogen moeten zien. Wat daarbij belangrijk is, is dat we ons realiseren dat nonrespons niet alleen verscbilt per onderzoek, maar ook per land en veldwerkorganisatie. Recent onderzoek heeft duidelijk gemaakt dat nonrespons geen vast, gefixeerd iets is. In bet eerder genoemde onderzoek van Hox et al. (1995) beeft men onder andere de score op vele persoonlijkheidstest gecorreleerd met de uiteindelijke beslissing om te responderen. Er werden geen verbanden gevonden, er is niet zoiets ontdekt als een responderende persoonlijbeid. De beslissing om al dan niet mee te doen ann onderzoek bangt af van vele al dan niet toevallige factoren: heeft men tijd, spreekt bet onderzoek ann, is bet leuk, is de interviewer nardig, beeft men net een prettige ervaring gehad met onderzoek, etc. De toename van onderzoek en de grotere belasting van de respondent worden yank genoemd Ms belangrijkste reden voor de recente toename van nonrespons. Dat de respondent meer belast wordt dan twintig, dertig jaar geleden valt niet te ontkennen, maar dit is nog geen reden om de toegenomen nonrespons fatalistisch te accepteren. Internationale cijfers geven nan dat er verschillen zijn tussen landen, maar ook dat deze verscbillen voor een deel verkinard kunnen worden door verschillen in datnverzamelingsprocedures. Verbeteringen in veldwerkprocedures kunnen belpen de nonrespons terug te dringen. Bereikbaarbeid en bereidwilligheid zijn belangrijke concepten bij bet verbeteren van veldwerkprocedures, maar bet is de combinatie van deze twee die leidt tot succesvol onderzoek. In verder onderzoek zal niet alleen naar de kans op contact gekeken moeten worden, maar ook naar de kans op een succesvol voltooid interview of een afspraak, gegeven een bepanide contncttijd. Dnarnnnst is respondentvriendelijkheid een begrip dat meer aandacht dient te krijgen. Een respondent die met een prettig gevoel achterblijft, zal eerder bereid zijn een tweede keer mee te werken. Onderzoekers moeten zich bier meer rekenscbap van geven. Daarnaast zal meer tijd en energie gestoken moeten worden in bet ontwikkelen van respondentvriendelijke vrngenlijsten en metboden om informatie ook uit andere bronnen te krijgen. In de strijd tegen de nonrespons is de interviewer een belangrijk wapen. Zij is de ambassadeur van de onderzoeker, en een professionele interviewer is yank bet enige middel dat een onderzoeker in kan zetten. Opleiding en certificering van interviewers, samen met meer onderzoek naar interviewereffectiviteit, blijven belangrijke punten voor de toekomst. In dit hoofdstuk is ook kort bet interviewklimnat genoerud en bet belang van rolmodellen en attitude ten opzicbte van onderzoek. Initiatieven, zoals de radiospotjes van de sticbting ‘uw mening telt’ zullen bier een positieve bijdrage nan leveren. Tot slot: een gratis lunch bestant niet. De uiteindelijk bereikte respons is een belangrijk kwaliteitscriterium, daamnast zijn er andere kwaliteitseisen die ann onderzoek gesteld kunnen worden (vgl Lyberg et al, ter perse). Het terugdringen van nonrespons zal gepaard gaan met een stijging van de kosten van bet veldwerk. Zowel onderzoekers als opdracbtgevers en gebruikers van onderzoek dienen zich dit te realiseren. Afbankelijk van bet doel van bet onderzoek kan men eisen stellen ann respons en dntakwaliteit, daarna dient men te beslissen of dit ook de extra investering waard is.
57
LITERATUUR Betlehem, J.G. en H.M.P. Kersten, 1987. Non-respons in de praktijk. In: A.E. Bronner, P.S.H. Leefling, C.P. Middendorp, A.J. Olivier, W.F. van Raaij en B. Wierenga (red.). Joarboek van de Nederlandse Vereniging van Marktonderzoekcrs 1987-88. Haarlem: De Vrieseborch, 139-160.
Brand, M.J. en Bijmolt, T.H.A., 1993. Responshepatende factoren bij schriftelijk~e enqu~tes; Een literatuuroverzicht. In: A.E. Bronner, P. Ester, P.S.H. Leefling, A.J. Olivier, W.F. van Raaij en B. Wierenga (red.). Joarboek van de Nederlandse Vereniging van ~Marktonderzoekers 1993-94. Haartem: De Vrieseborcb, 301-326. Bronner, A.E., 1988. Surveying ethnic minorities. In: W.E. Saris en I.N. Gatlbofer (red.). Soclometric Research, Volume 1. Londen: MacMillan, 36-47. Bretscbneider, M. en I. Schumacher, 1996. DEMOS -Eine Datenbank zum Nachweis Kommunaler Umfragen anfdem Weg zum Analyseinstrument. ZA-Information, 38, 59-8 1. Couper, M.P. en R.M. Groves, 1992. Householders and intervtew~rs: The anatomy of preintervie~s’ interactions, University of Michigan: Survey Methodology Program, working papers #11. Couper, M.P. enR.M. Groves, 1993. HousehoTd level effects on siirvey partictjYdtion. Bath 1993 workshop on householdsurvey nonresponse. Dillman, D.A., 1978. Mail and telephone surveys; the Total Design Method. New York: Wiley. Dillman, D.A., 1991. The design and administration of mail surveys. Annual Review of Sociology, 17, 225-249. Dijk, J. 1996. Nonresponse in the Dutch farm account data network, presentatie op de 4th inter-
national conference on social science methodology, Essex, juli 1996. Groves, R.M., 1989. Survey errors and survey costs. New York: Wiley. Groves, R.M., R.B. Cialdini en M.P. Couper 1992. Understanding the decision to participate in a survey. Public Opinion Quarterly, 56, 475-495. Groves, R.M., T.E. Raghunatan & M.P. Couper, 1995. Evaluating~statistical adjustmentsfor unit nonresponse in a survey of the elderly. Paper presented at the 6th International Workshop on Household Survey Nonresponse, Helsinki, october 1995. Groves, R.M. en M.P. Couper, 1995. Theoretical motivation for post-survey nonresponse adjustment in household surveys. Journalof Official Statistics, II, 93-106. Goyder, 1., 1987. The silent minority. Cambridge: Blackwelt. Heer, W. de, 1996. International response trends: Development and results of an international survey. Paper presented at the 4th International Social Science methodology Conference. Essex,
UK. Houckoop-Steenstra, H., en H. van den Bergb, 1994. Responsverboging in telefonische interviews. In: A.E. Bronner, P. Ester, P.5.11. Leefling, A.J. Olivier, W.F. van Raaij en B. Wierenga (red.). Jaarboek van de Nederlandse Vereniging s’an Marktonderzoekrs 1994-95. I{aarlem: Dc Vrieseborch. Hox, J., E. de Leeuw en H. Vorst, 1995. Survey participation as reasoned action: A behavioral paradigm for survey nonresponse?, Bulletin de Mdthodologie Sodologique, 48, 52-67. James, J.M. en R. Bolstein, 1992. Response rates with large monetary incentives. Pnblic Opinion Qaarterb’, 56, 442-453. Kalfs, N. en E. Kool, 1994. Ervaringen met non-respons. Amsterdam: NIMMO. Leest, J. van der 1996. Nonrespons in het telefonisch consumentenonderzoek. Stageverslag Into-
mail. Leeuw, E.D. de, 1992. Data quality in mail, telephone and face-i~o-face surveys. Amsterdam: ‘PTPublikaties. Leeuw, E.D. de, en J.J. Hox, 1985. Recente ontwikkelingen bif scbriftelijk onderzoek per post. In: A.E. Bronner, P.S.H. Leefling, C.P. Middendorp, A.J. Olivier, W.F. van Raaij en B. Wierenga (red.). Jaarboek van de Nederlandse Vereniging van Marktonderzoekcrs 1985. Haarlem: De Vrieseborch, 11-26. Louwen, F., 1992. Bereidwillig maar niet bereikbaar of bereikbaar manr niet bereidwillig. Onderzoek, juni 1992, 5-9. 58
Louwen, F., 1995. Presentatie ‘non-respons’, t.b.v. belangengroep kwantitatief, mei 1995. Luppes, M.J. G., 1994. Interpretatie en waardering van aanschrijfbrieven. Onderzoek, december 1994, 9-12. Lyberg, L.E. en P. Dean, 1992. Methodsfor reducing nonresponse rates: A review. Paper gepresenteerd op het congres van de American Association of Public Opinion Research, St. Petersburg: mei 1992. Mans, C. en W. de Heer, 1995. Response developments and fieldwork strategy. BMS, 48, 36-51.
Morton-Wiltiams, J., Intervie ‘er approaches. Adershot: Dartmouth Pub. Nillson, P., 1994. investigation of the use of incentives in surveys. Paper gepresenteerd op de vijfde internationale workshop over household survey nonresponse, Ottawa, september 1994. Piazza, T., 1993. Meeting the challange of answering machines. Public Opinion Quarterly, 57, 219-231. Rizzo, L., G. Kalton, en J.M. Brick, 1996. A comparison of some weighting adjustment methods for panel nonresponse, Survey Methodology, 22,43-53. Salant. P. en D.A. Dillman, 1994. How to conduct your own survey. New York: Wiley. Steeb, C., 1981. Trends in nonresponse rates. Public Opinion Quarterly, 45, 40-57. Sweres-Henessy, E. en M. Drake, 1992. The optimum time at which to conduct survey interviews. Journal ofthe Market Research Society, 34, 61-72.
Tuckel P.S. en H.W. O’Neill, 1995. A profile of answering machine owners and screeners: Results from a nationwide survey of face-to-face interviews. Paper gepresenteerd op het congres van de American Association of Public Opinion Research, Fort Lauderdale: mei 1995. Xu, M., B.J. Bates en J.C. Schweitzer, 1993. The impact of messages on survey participation in answering machine households. Public Opinion Quarterly, 57, 232-237.
59
