· .,
'rW!
"
!,
r
' I
t
r l ' r
r
l
'
I I
r I 1111711' _ _
._=.tI '-,.-, _ .. ItJ
N O ' t . _ jM'W.,"tNIHtHM'i:
ENQUÊTEREN OP HET OTB Een systeembeschrijving
Bibliotheek TU Delft
""I """I
c
31213821212
2394 657
o
"'M"
'11'" I'.
'I
• • Hf.· • . ,
OTBOUWSTENEN
Onderzoeksinstituut OTB Technische Universiteit Delft Thijsseweg 11,2629 JA Delft Tel. (015) 278 3005 Fax (015) 278 44 22 E-mail mailbox@otb .tudelft.nl http ://www.otb .tudelft .nl
_&
45
" ENQUETEREN OP HET OTB Een systeembeschrijving
G.L.M. Hilkhuysen
Delft University Press, 1999
De serie OTBouwstenen wordt uitgegeven door: Delft University Press Postbus 98 2600 MG Delft Tel. (015) 278 32 54 Fax (015) 278 16 61
CJP-GEGEVENS KONINKLIJKE BIBLIOTHEEK, DEN HAAG Hilkhuysen, G.L.M. Enquêteren op het OTB. Een systeembeschrijving / G.L.M. Hilkhuysen - Delft: Delft University Press - (OTBouwstenen / Onderzoeksinstituut OTB, ISSN 1384-1173 ; 45) Met lit. opg. ISBN 90-407-1918-7 NUGI 655 Trefw.: Enquête, vragenlijstonderzoek, veldwerk © Copyright 1999 by Onderzoeksinstituut OTB
No part of this book may be reproduced in any form by print, photoprint, microfilm or any other means, without written permis sion from the publisher: Delft University Press, P.O. Box 98, 2600 MG Delft, The Netherlands.
INHOUD
VOORWOORD 1 INLEIDING ... .. .. .. .. ... . ..... .. ... . ... .. .................. .. ... . ..... . ..... . .. ............. ... 1 2 KEUZE ENQUÊTEVORM EN OFFREREN . ....... . .... . .. .. . .. . .. . .. ... . ... ... .. .... 3 2.1 Keuze enquêtevorm ........... .. .. .... .. .... ..... .... ... .. .... ... .. ... ....... ..... ..... 3 2.1.1 Schriftelijk enquêteren ......... .. ..... ... ...... ....... ........... ... ........ ... ..... .. 3 2.1.2 Telefonisch enquêteren .............. ............. .. .. ... ... ..... .... .... .... ... ....... 4 2.1.3 Mondeling enquêteren .... .......... ... .... ... .. ...... ............ .. ... ...... .... ... ... 5 2.2 Planning ... .. ........... ... ... ...... .. ... ....... ... .. ... ................. ...... ...... ... . 6 3 SCHRIFTELIJK ENQUÊTEREN .. ............ ......... .. ..... ... ... .. . ..... ... . .... . .... 7
3.1 3.2 3.2.1 3.2.2 3.2.3 3.2.4 3.2.5 3.2.6 3.3 3.4 3.4 .1 3.4 .2 3.4 .3 3.4.4 3.5
Inleiding ... ... ... ... ......... ..... .. ..... .... .. ...... ..... ... ............. ....... .. ...... 7 Ontwerp ... .... ..... ........ ...... ..... ....... .. .. ...... ..... .. ... .. ....... .. .... ... ..... 7 Ontwikkeling van de vragenlijst ................ ... .. ........ ..... .. .. ..... ...... .... 7 Informatie aan mogelijke respondenten .. .. .. .. .. .... ... ................. ... ..... .. 8 Druk .... . ... . ... .. .. . .. .. ........ ... .. ... ... ... ... .. .. . .... . .. . .. . .. .. .. ........ . ... ... ... 9 Selectie van mogelijke respondenten .... ...... ... ........ .. ....... .... ... ...... .... 9 Verzending .... .. ... ........ ... ... ... .... .. .. ... .. ....... ... ...... .... ... ...... ...... .. 10 Invoerprogramma ... .. .. .... ...... .. ..... ... .... .... ........ ...... .... .. ............. 10 Afname .... .... .. .... ..... .. .... ....... ..... .. ... ... ... ..... ........ ... ..... .... .. ..... 10 Verwerking ...... .... .. ... .. .. ... ..... .... ... ... .. .... .... ... ................. .... ..... 11 Binnenkomst registratie ........ .... ... ... ... ..... ......... .... ... .... .... .... .. .. ... 11 Corrigeren van papieren vragenlijsten ............ ................ .. .. .. .. ....... 11 Invoer van gegevens ..... .. .... ................. .. .... .... ...... .. ...... ...... ... .... 12 Opleveren van gegevens .... .. .. .. .... .... ...... ...... .. .................... .. ...... 12 Uitleiding ..... ... .... ..... .. .. .. ... ............... .. .. ..... ....... ... ... ....... ..... .. . 12
4 TELEFONISCH ENQUÊTEREN ..... .... .. ... .. ... .. ...... . .. . .. . .. . .. . .. .... .. . .. .. ... 4. 1 Inleiding ... .... .... ...... ............. .......... ... .. ..... ... .... .. .... ... .... .... .. ... 4.2 Ontwerp ..... .. .... ...... .. ... ... ... .. ................... ..... ... ... .... .... .. .... ..... 4.2.1 Ontwikkeling van de vragenlijst.. .. .. .. .. .. .. .. .. .. .. .. .... .. .... .. .... .. ........ .
15 15 15 15
4.2.2 4.2.3 4.2.4 4.2.5 4.3 4.3 . 1 4.3.2 4.3.3 4.4 4.5
Informatie aan mogelijke respondenten .... ............ .......... ..... ... ........ Invoerprogramma ......... ........................ ................................... Selectie van mogelijke respondenten ..... ........ ................................ Werving en instructie van de enquêteurs .. .. ........................ .... .. ...... Afname ............ ... ................................................................. Telefonisch interviewen... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Supervisie ... ....... .... ............ ........... .. ...... ............ ........... .. ....... Quota beheer en capaciteitsmanagement .. .. .. ... ... ... .. ........ ....... .. ....... Verwerking ...... ... ................ ........ .. ... .. ........... ..... ... .......... ... .... Uitleiding ... .. ... ...... ......... ............ ... ........................................
16 17 17 18 19 19 20 20 22 22
5 MONDELING ENQUÊTEREN ..................... ............ .. ....................... 25 5. 1 Ontwerp ..... ............. .... ...... .. ......... ......... ... ... ... ............... .... .. . 25 5.2 Afname ............. ......... .. ... ...... .......... ... ...... ... ... ... ... ........... ..... 25 5.3 Verwerking ........... .. .... ........ .... ... ............. ... ....... ............... ...... 26 6 TAKEN BINNEN HET VELDWERK ... ...... .......... ... ... .. ..... .................. 27 6.1 Human resource manager ............................ ..... ....... ... ................ 27 6.2 BLAISE programmeur ........................................ ... ... .... .. ......... . 27 6.3 Databeheerder ....... .. ... .. .. .. ... ....... ................ ... .. .... ................... 27 6.4 Ontwikkelaar vragenlijsten ... ........ .. ............. ... ....... ...... .............. . 28 6.5 Coördinator veldwerk .. .. .. .. .................. ... .. ... ... ..................... ..... 28 6.6 Supervisor ... .. .... ...... ........ .............. .... ... ................... ..... ......... 28 6.6.1 Gebouw ..... ....... .... .... ... ... .......... ........... ..... ... ... ...... ................ 29 6.6.2 Hulpmiddelen .. ..... ... ............. .. .. ............... .. ....... .. ............ .... .... 29 6.6.3 Begeleiding enquêteurs ..................................... ... .... .. ................ 29 6.7 Enquêteurs ............. .. .................................... ...... ................... 30 6.7.1 Werving ...... ....... ... ............ ... .. .... ................. ...... ... ..... ......... .. 30 6.7.2 Training ............ .. .... .. .. ..... ..... ... .... ... .. .. ..... ... .... .... ... .. ........ ..... 30 6.7.3 Afname .... .... ................. .. .... .. ....... ................ ... ...... ........... .... 31 7 OPBOUW VAN GEGEVENS ..... ................. ..... ........ ..... ......... ... ... ... ... 7.1 Steekproef ... ..... ........................... ...... .. ......... ..... .............. ...... 7.1.1 Grootte van de steekproef ..... .... ... .... .............................. ... ... ...... 7.1.2 Stratificatie van de steekproef .. ........ ... .. .. .. ....... .. ... ........ ....... ....... 7.2 NAW-gegevens ....... ..................... ............. .... ...... .. ... .. ............. 7.2.1 NAW-verrijking ........................................... ... ... .... .... .... ......... 7.3 Analyse van respons.. . . . .. . . . . . . .. .. . . .. .. .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . .. . . . . . . . . .. 7.4 Wegen van een bestand ................. .. ..................... ......... .... .. ...... 7.5 Gebruik van gewogen gegevens ........ . .............................. . ...........
33 33 33 35 36 37 37 39 40
8 OPBOUW VAN EEN VRAGENLIJST ....... .. ........................................ 8.1 Van concept naar enquêtevraag .......................................... .......... 8.2 De vorm van de vraag ............ ........... ... ..................................... 8.3 De inhoud van de vraag ........................ ............................... ...... 8.4 De tekst van de vraag ............ ... ................................................
43 43 47 49 50
9 ENQUÊTEREN MET COMPUTERS .... .. .... ...... .... .... ... ... ... .... ... ...... .... 55 9. 1 Inleiding ....... ..... .... .. ............ ...... .. ...... .. .. .. .. ... ................ .... .... 55 9.2 Programmeren van een vragenlijst.. ............ .... .... ..... ... ...... .... ... .. ... 55 9.2.1 Definitie van de vragen ........ ..... .. .. .... ....... ... .. ..... .... .... ..... .... .... .. 56 9.2.2 Volgorde van vragen ........... ... ...... ..... .. ..... .... .... ... ......... .... ........ 57 9.2.3 Controle van antwoorden ... .......... .......... ....... ..... .... .... ..... .. ..... .... 58 9.3 CA TI beheer en opties ...... .......... .. ......... ... ..... .. .... ... .... ... ...... .... . 58 9.4 Gebruik van het invoerprogramma ..... .... .. ......... ... .. ... .. .... ... ... .... .... 59 9.5 Conversie naar SPSS .......... .... .... ........ ........ ... ..... ........ .. .. .... ...... 59 LITERATUUR .. ...... .. .... .... .. .... .. ..... ... .... ....... .... .... ... .... ...... ....... ......... . 61 BIJLAGE 1 OPMAAK VAN SCHRIFTELIJKE ENQUÊTES ... ... .... .... ........ ...... .. .. .. .. ... 63 BIJLAGE 2 HANDLEIDING COMPUTERGEBRUIK TELEFONISCH ENQUÊTEREN ... . 67 B2.1 Gebruik van computer en netwerk .. .... .... ............... ........ .... ....... .... 67 B2.1.1 Inloggen op het netwerk ... .. .. .. ... .. .... ... ...... ....... ... ... ... ... .... ... ... .... 67 B2.1.2 Paswoord veranderen .. .... .. ..... ... .... .. .... ... .. .... ...... ... ... .. ......... .. .. .. 68 B2.2 Elektronische post .. ... .... .. .... ...... ... ... ....... ... ....... .... ...... .... ... .. .... 69 B2 .2.1 Opstarten en afsluiten Pegasus mail ... .. ....... ... ........... ....... .... ...... .. . 69 B2 .2.2 Elektronische prikbord .... .... ......... ....... ...... ... ....... ..... ....... ... .. ... .. 69 B2.2.3 Lezen van elektronische post .. ... ... .... .. .. ...... ....... ... .. .... ...... .... ... .. . 71 B2.2.4 Het versturen van berichten ...... ... .. .... .. ... .. .... .. ... ... ... ...... ....... .. .... 71 B2.3 Het gebruik van BLAISE programma's .... .. .... ... ...... ... .. .... ........ .... .. 72 B2.3 .1 Opstarten en afsluiten van het BLAISE programma ....... ...... .. ... .... .. .. . 72 B2.3 .2 Het dialoogvenster 'Opbellen' ...... ...... ....... ...... ......... .... .. ... .... .. ... . 73 B2 .3.3 Het afnemen van de vragenlijst. .... ........... .. .... ... .. ... ... .. ... ...... ...... .. 75 B2.3.4 Afspraken maken ... .. ... ... .. .. .. .. ... .... ... .. ... ... ...... ... ......... .. ... ... .. .. .. 79
dM . . . ht Ir!
!
!!
I
ij.
!
IJ
IL
IJ
I
I
J I
"U'''''''' 1 • •
T'
[----""'11
.",
Owllived at The Chestnuts, an old-world residence of great charm, which was grander than anybody else's, or seemed so to Bear, because it had both a knocker and a bell-pull. Underneath the knocker there was a notice which said: PLES RING IF AN RNSER IS REQIRD. Underneath the bell-pull there was a notice which said: PLEZ CNOKE IF AN RNSR IS NOT REQID Winnie-the-Pooh read the two notices very carefully, first from left to right, and afterwards, in case he missed some of it, from right to left. Then, to make quite sure, he knocked and pulled the knocker, and pulled and knocked the bell-rope, and he called out in a very loud voice, "Owl! I require an answer! It's bear speaking." (Milne, 1991)
VOORWOORD
Dit boekje is de neerslag van acht jaar "Enquêteren op het OTB " . Die periode begon in 1991 met het vervaardigen van programma's voor het invoeren van gegevens. Ongestoord door enige kennis kon ik me nauwelijks bedwingen om de vragenlijsten van commentaar te voorzien. Uit reacties op mijn kritieken bleek dat de meeste onderzoekers aan hetzelfde gebrek leden, maar zichzelf niet de tijd gunden om het moeras van vragenlijstonderzoek te betreden, bang voor het spreekwoordelijke kluitje en het riet. Gelukkig durfde een oud studiegenoot, drs . Frank Guldenmund, het wel aan. Eens per week bespraken we de door hem vergaarde literatuur . Ik kijk met veel genoegen terug op onze openhartige discussies. Veel wat in hoofdstuk 8 staat, is in die tijd aan de orde gekomen. Het gevolg van mijn bemoeizucht was dat onderzoekers de hele organisatie van hun enquête aan mij overdroegen. Toen deze werkzaamheden mij boven het hoofd dreigden te groeien, nam Caroline van Eijk het programmeren over. Zij presteerde het om zaken te implementeren, die ik voor onmogelijk had gehouden. Hoofdstuk 9 en bijlage 2 getuigen hiervan. Ik heb veel bewondering voor de wijze waarop zij in vaak stressvoIle omstandigheden de nukken van BLAISE wist te apaiseren . Daarom durfden we onze eerste telefonische enquête aan. Het succes van deze vorm bewees zich door een verdere toename van het aantal enquêtes en hun omvang. Drs. Adriënne Rietbergen nam de functie van databeheerder op zich, een taak die ze met veel toewijding bekleedt. Weer later nam drs . Henny Coolen het begroten en plannen van de werkzaamheden over. Uit dit alles mag blijken dat "Enquêteren op het OTB" niet het werk van één persoon betreft. Hetzelfde geldt voor het vervaardigen van dit stuk. Alle eerder genoemde collega's voorzagen het van hun commentaar, wat de kwaliteit ongetwijfeld heeft verbeterd . In het bijzonder wil ik Adriënne bedanken voor een grondige controle op taalspel- en tikfouten. Prof. dr. J. van der Zouwen en dr. Edith de Leeuw becommentarieerden het manuscript eveneens . Hun vakkennis brachten het boekje en mij een stap verder. Opvallend was hun kritiek over wegen ter correctie van nomespons, een veel gebruikte techniek in de wereld van het Onderzoeksinstituut OTB. Beiden vonden mijn uitleg iets te voortvarend, terwijl de meeste collega's mij als antagonist van deze techniek zullen kennen. Ook hier geldt blijkbaar: waar je mee omgaat. .. . Ik hoop dat talloze onder-
zoekers het werkje veelvuldig zullen gebruiken. Rest me nog een opmerking uit mijn e-mail te kopiëren: standard disclaimers apply. juni 1999 Gaston Hilkhuysen
1 INLEIDING
Enquêteren is één van de vele onderzoeksvormen, die een sociale wetenschapper tot zijn beschikking heeft. Het is een meetinstrument om op grote schaal gestructureerde gegevens te verzamelen. Zoals ieder meetinstrument heeft enquêteren een aantal eigenschappen dat het voor bepaalde onderzoeksvragen geschikt maakt, maar minder voor andere. Dit laat zich eenvoudig illustreren aan de hand van een ander, bekender meetinstrument: de thermometer. Een thermometer is een meetinstrument om temperaturen te bepalen. Wil men de temperatuur van water meten, dan steekt men de thermometer in het water, wacht even, en leest de temperatuur af. Een thermometer heeft echter een aantal eigenschappen, dat hem in sommige omstandigheden ongeschikt maakt voor het meten van temperatuur. Zo hebben thermometers de eigenschap om zelf warmte te bevatten. Met het meten van de temperatuur, verandert de temperatuur. Als de hoeveelheid water maar groot genoeg is, zal men deze verandering in het algemeen voor lief nemen. Echter, voor het meten van de temperatuur van een druppel water, is een thermometer ongeschikt, omdat de thermometer de druppel opwarmt. Analoog aan de druppel water en de thermometer, komt het meetinstrument enquêteren onder meer in de problemen als men er op kleine schaal gegevens mee verzamelt. Deze problemen hebben een andere oorzaak en vormen onder andere het onderwerp van dit schrijven. Overigens geldt dat met enige slimheid een thermometer wel de temperatuur van een druppel water kan meten en dat ook het gebruik van enquêteren bij een kleine onderzoeksgroep in sommige situaties te rechtvaardigen is. Maar veelal zijn er voor zo'n situatie betere meetinstrumenten voor handen. "Enquêteren" vormt overigens maar een deel van de titel van dit schrijven en de tekst heeft dan ook maar ten dele tot doel om de eigenschappen van dit meetinstrument aan te geven. Daarnaast heeft "Enquêteren op het OTB" als doel betrokkenen te informeren over de procesgang van enquêtes, die het OTB uitvoert. Het boekje verduidelijkt de verantwoordelijkheden van de betrokkenen, het verheldert hun communicatie en komt de gehele procesgang en daarmee de kosten en de kwaliteit ten goede. Tegelijkertijd brengt een dergelijke beschrijving licht in de black-box die de afdeling veldwerk voor sommigen blijkt te zijn en is het een verantwoording van de werkzaamheden en de kosten die met enquêteren zijn gemoeid . "Enquêteren op het OTB" kent de volgende opbouw: In de eerste vijf hoofdstukken staat het volledige proces van een enquête centraal. Dat begint met de keuze van de
enquêtevorm en offreren, gevolgd door drie afzonderlijke hoofdstukken die ieder een vorm van enquêteren belichten: schriftelijke, telefonische en mondelinge enquêtes . In elk van de drie hoofdstukken komen de verschillende werkzaamheden van het desbetreffende proces aan bod. Het vijfde hoofdstuk geeft een overzicht van de verschillende taken, die binnen enquêteren zijn te onderscheiden. Hierin komen dezelfde werkzaamheden als in de eerste vier hoofdstukken aan de orde, nu vanuit de optiek van de verschillende taken. Daarmee verschaffen de eerste vijf hoofdstukken inzicht in de wijze waarop enquêteren binnen het OTB is geïmplementeerd. De daarop volgende drie hoofdstukken zijn universeler. In 'Opbouw van gegevens' staat de achterliggende gedachte van de steekproef centraal. Het hoofdstuk verduidelijkt hoe beslissingen in de opzet consequenties voor latere uitspraken hebben en welke problemen zich bij adresgegevens voordoen . 'Opbouw van een vragenlijst' geeft aan op welke manier men tot een gestructureerde vragenlijst en daarmee tot gestructureerde gegevens komt. Het laatste hoofdstuk, 'Enquêteren met computers', geeft inzicht in de mogelijkheden en de restricties in het gebruik van computers bij het enquêteren. Het doel van deze drie hoofdstukken is om algemene informatie over enquêteren te verschaffen.
2
2 KEUZE ENQUÊTEVORM EN OFFREREN
Voordat er ook maar sprake kan zijn van een enquête, zal men eerst moeten beslissen of enquêteren het meest geëigende meetinstrument is om de onderzoeksvraag te beantwoorden. Bij een positief antwoord zal men een keuze moeten maken uit één van de drie vormen van enquêteren: schriftelijk, telefonisch of mondeling. Daarna kan de afdeling veldwerk een schatting van de kosten maken . Dit hoofdstuk geeft eerst aan welke factoren een rol spelen bij de keuze van de enquêtevorm. Tot slot komt het aanvragen van de offerte aan bod.
2.1
Keuze enquêtevorm
Bij schriftelijk enquêteren ontvangen de respondenten een papieren vragenlijst. Ze beantwoorden de vragen zelfstandig en retourneren hun ingevulde vragenlijsten via de post. Voor telefonisch enquêteren belt een interviewer de respondent op en stelt de vragen via de telefoon. De term mondelinge enquête is verwarrend, omdat ook bij een telefonische enquête de vragen mondeling gesteld worden . Het jargon kent de naam face-ta-fa ce, een Engelse term die zich echter moeilijk laat vertalen. Bij een mondelinge enquête bezoekt de enquêteur de respondent en nemen zij gezamenlijk de vragenlijst door. Elke vorm heeft zijn eigen voor- en nadelen. De Leeuw (1992) geeft inzicht in de effecten op de kwaliteit van de data als gevolg van de enquêtevorm.
2.1.1 Schriftelijk enquêteren Schriftelijk enquêteren is de goedkoopste vorm. Een groot deel van de kosten zijn materiële kosten, zoals druk- en portokosten, welke goed zijn in te schatten. Het aantal mensen dat aan een schriftelijke enquête werkt, is kleiner dan aan een telefonische. Dit betekent dat de risico 's voor een omvangrijke overschrijding van het budget bij een schriftelijke enquête het laagst zijn. Schriftelijk enquêteren is met name geschikt om in een korte tijd van veel respondenten antwoorden op middelgrote vragenlijsten te verwerven. Omdat de respondenten zonder hulp van een enquêteur de vragen beantwoorden, is de doorlooptijd voor het afnemen van de vragenlijsten niet afhankelijk van het aantal inzetbare enquêteurs . Bij een schriftelijke enquête onder huishoudens reageren praktisch alle respondenten bin3
iW
nen vier à vijf weken. Organisaties hebben meer tijd nodig, bij hen moet men met zes tot acht weken rekening houden. Wanneer men meer dan tweeduizend ingevulde vragenlijsten nodig heeft, gaat schriftelijk enquêteren op het OTB sneller dan telefonisch enquêteren. Dit aantal is afhankelijk van het aantal werkplekken, de werktijden en de tijd die gemoeid is met het afnemen van één telefonische enquête. De afwezigheid van een enquêteur heeft voor- en nadelen. Een schriftelijke enquête kent de grootste anonimiteit. Wanneer de papieren vragenlijsten geen volgnummer dragen, is nooit te achterhalen wie welke antwoorden heeft gegeven. Dit kan in sommige situaties een reden vormen om voor een schriftelijke enquête te kiezen. Tegelijkertijd betekent de afwezigheid van de enquêteur dat de respondent nauwelijks hulp bij het invullen kan vragen. De vorm van de vraag en de tekst dienen in een schriftelijke enquête dan ook eenvoudig te zijn. Voor sommige respondenten is lezen zelfs te complex, wat schriftelijke enquêtes minder geschikt maakt voor ouderen, mensen met een lage opleiding enzovoorts. Ook is schriftelijke enquêteren minder flexibel. Nadat de vragenlijsten zijn verstuurd, zijn fouten niet meer te corrigeren. Bij een tegenvallende respons zal men opnieuw een aantal enquêtes moeten versturen om vier tot acht weken later het gewenste aantal gerealiseerde vragenlijsten te behalen. In het algemeen zijn mensen meer bereid om aan een telefonische enquête mee te werken; de respons bij schriftelijk enquêteren is in het algemeen een paar procent lager. Er zijn gevallen waarin de bereikbaarheid een reden vormt om schriftelijk enquêteren boven telefonisch te prefereren. Recent verhuisden, of mensen met een geheim telefoonnummer (hoofdzakelijk welgestelden en onvermogend en) zijn niet telefonisch maar wel met een schriftelijke enquête te benaderen. Soms gebruikt men enquêtes om grote hoeveelheden feitelijke, vaak numerieke informatie te achterhalen. Het aangiftebiljet voor belastingen is daar een aardig voorbeeld van. Het is de vraag of een enquête het meest geëigende middel voor het achterhalen van deze gegevens is, maar mocht men deze vraag positief beantwoorden, dan zal men altijd voor een schriftelijke enquête kiezen. Deze vorm geeft de respondent de tijd om, desnoods verspreid over verschillende dagen, de informatie bij elkaar te zoeken en te controleren.
2.1.2 Telefonisch enquêteren Veelal zijn de kosten van een telefonische enquête hoger dan van een vergelijkbare schriftelijke. Daar staat tegenover dat bij een enquête van een kleine omvang de totale benodigde tijd voor een telefonische enquête een stuk korter is . Deze doorlooptijd is op het OTB zeker korter als het aantal te realiseren enquêtes tweeduizend of minder bedraagt. Telefonisch enquêteren is flexibeler dan schriftelijke enquêtes . Meestal stopt men de afname op het ogenblik dat het aantal gewenste enquêtes is bereikt. Aan een dergelijke quota-steekproef kleven overigens wel methodologische bezwaren. Feit is dat zolang er adressen en telefoonnummers beschikbaar zijn, men vragenlijsten kan afnemen . Telefonische vragenlijsten worden op het OTB met behulp van een computer afgenomen. Dit computerondersteund enquêteren heeft voordelen, die in hoofdstuk 9 aan bod komen . Samengevat kan men met behulp van een computer veel complexere vragen-
4
lijsten ontwerpen en de vragenlijst meer op de respondent afstemmen. Omdat op het OTB alleen telefonische vragenlijsten computer ondersteund worden afgenomen, zijn sommige vragenlijsten vanwege hun complexe structuur slechts telefonisch uit te voeren. Dit geldt zeker voor vragenlijsten, die in latere vragen de antwoorden op eerdere vragen gebruiken. Telefonisch enquêteren kent een aantal voordelen boven schriftelijk enquêteren. De ervaring leert dat het aandeel respondenten dat meewerkt bij telefonisch enquêteren groter is. En aangezien een enquêteur de vragen stelt, hebben de respondenten iemand aan wie zij uitleg kunnen vragen. De enquêteur kan de vraag toelichten op het ogenblik dat uit een reactie blijkt dat de respondent de vraag niet begrijpt. Tot slot kan een enquêteur aan de respondent direct opheldering vragen over (schijnbaar) tegenstrijdige antwoorden . Het aantal vragen dat men in een telefonische enquête kan stellen, is veel hoger dan in een schriftelijke enquête. Dat effect vervalt gedeeltelijk, omdat men met één schriftelijke vraag meer informatie kan achterhalen dan met één telefonische vraag . Daarmee komen de nadelen van telefonisch enquêteren aan de beurt. Zoals al opgemerkt is, kan men in één telefonische vraag minder vragen dan in één schriftelijke vraag . De oorzaak ligt in het feit dat bij een telefonische enquête de respondenten de vraag horen. Eenmaal uitgesproken zal de respondent de vraag en de mogelijke antwoorden moeten onthouden, wat mensen maar in beperkte mate kunnen. Bij een schriftelijke vraag kunnen respondenten de vraag herlezen, bij een telefonische enquête zullen ze de interviewer om herhaling moeten vragen, wat respondenten zelden doen . Eén en ander betekent dat voor één schriftelijke vraag vaak verschillende vragen in een telefonische enquête nodig zijn. Omdat alleen mensen met een telefoon en een openbaar nummer geënquêteerd worden, beperkt men de onderzoeksgroep. Dit kan voor sommige groepen selectieve respons opleveren: zo is het bekend dat met name mensen met lage en hoge inkomens niet in de telefoongids zijn opgenomen. Problemen met de bereikbaarheid gaan verder: alleenstaande en tweeverdieners zonder kinderen zijn veelal niet thuis. Voor deze groepen is in de regel een schriftelijke enquête geschikter. Tot slot vereist een telefonische enquête meer organisatietalent. Een telefonische enquête stelt hoge eisen aan de vragenlijst en het invoerprogramma. Bij de uitvoer zijn meer mensen betrokken, wat hogere personele kosten en grotere financiële risico's met zich meebrengt. Daar de organisatie complex en de capaciteit voor telefonische enquêtes gering is, kiest men bij een moeilijk te plannen onderzoek eerder voor een schriftelijke enquête. Daarvan is de planning eenvoudiger aan te passen en zal het uiteindelijke uitloop kleiner zijn.
2.1.3 Mondeling enquêteren Gezien de hoge kosten voert het OTB slechts mondjesmaat mondelinge enquêtes uit. Een moeilijk te bereiken onderzoeksgroep en een uitgebreide vragenlijst met complexe vragen kunnen aanleiding zijn om mondeling te enquêteren. De kosten zijn veelal hoog en mondelinge enquêtes kennen een lange doorlooptijd.
5
2.2
Planning
Bij toekenning of afwijzing van een opdracht waar enquêtes mee gemoeid zijn, brengt de projectleider zo spoedig mogelijk de afdeling veldwerk op de hoogte. Op die manier kan de afdeling de planningen bijstellen en blijft duidelijk wanneer er capaciteit beschikbaar is. Als het onderzoek is toegekend, vindt er een overleg plaats tussen de onderzoeker en de afdeling veldwerk, waarbij er een meer gedetailleerde planning wordt gemaakt. Deze planning beschrijft de taken binnen het veldwerk en het tijdstip waarop een taak dient te zijn voltooid. Ook als het te verrichten veldwerk nog ver in de toekomst ligt, wordt er direct na toekenning een planning gemaakt. Mocht het project gaandeweg versnellen of vertragen dan is de startdatum zo mogelijk te verzetten. Daarbij kan een beperkte vertraging in het onderzoek grote gevolgen voor het veldwerk hebben. Als twee enquêtes elkaar direct opvolgen en de eerste loopt vertraging op, dan zal deze tot na de tweede moeten wachten. Een vertraging van een week in een onderdeel van een enquête kan zo resulteren in uitstel van meer dan een maand.
6
3
SCHRIFTELIJK ENQUÊTEREN
3.1
Inleiding
Bij iedere vorm van enquêteren, dus ook bij de schriftelijke, is het hele proces in drie fasen op te splitsen, te weten: het ontwerp, de afname en de verwerking. De overgang van ontwerp naar afname is eenduidig . Er valt één ogenblik in de tijd aan te wijzen waar het ontwerp stopt en de afname begint, namelijk het moment van verzending . De afname is voltooid op het moment dat men alle ingevulde vragenlijsten retour heeft ontvangen. De verwerking kan dan al zijn begonnen met het nakijken van de binnengekomen vragenlijsten. Hieronder volgt een opsomming van de verschillende onderdelen, de werkzaamheden en de betrokken medewerkers . Het hoofdstuk sluit af met een overzicht van de verschillende werkzaamheden en hun verhouding tot elkaar.
3.2
Ontwerp
Voordat een vragenlijst bij mogelijke respondenten op de deurmat ligt, moet de vragenlijst geschreven en getest zijn, moet bekend zijn welke personen er benaderd moeten worden en kan men een aantal maatregelen treffen om de respons te verhogen. Daarnaast vinden er voorbereidingen voor de werkzaamheden van de afname plaats.
3.2.1 Ontwikkeling van de vragenlijst Over de ontwikkeling van vragenlijsten is veel literatuur verschenen (bijvoorbeeld: Payne, 1957; Dillman, 1978; Fowler, 1993, 1995; Mangione, 1995, Salant & Dillman 1994). Het ligt niet in de bedoeling die hier te herhalen of samen te vatten. Een opmerking over de onderschatting van dit werk volstaat. Hoofdstuk 8 is in zijn geheel aan de opbouw van vragenlijsten gewijd. Gedurende de ontwikkeling stuurt de onderzoeker de afdeling veldwerk aan. In de eerste ontmoeting tussen de onderzoeker en de ontwikkelaar komt het conceptuele model van het onderzoek aan bod , wat leidt tot een opzet van de vragenlijst. In principe bevat deze opzet nog geen enkele vraag: de opzet is een inventarisatie van concepten die naar aanleiding van de onderzoeksvraag gemeten moeten worden. Abstracte concepten zullen in meer concrete moeten worden opgesplitst om ze als vragen te 7
kunnen opnemen. Tegelijkertijd wordt duidelijk welke interpretaties van de onderzoeksvraag wel en welke niet worden uitgewerkt en beantwoord. Daarmee ligt de hoofdstructuur van de vragenlijst vast. Ontwikkelaar en onderzoeker bekijken of deze hoofdstructuur voldoende mogelijkheden biedt om de respons te analyseren en breiden zo nodig de vragenlijst uit. Onderzoeker en ontwikkelaar presenteren de hoofdstructuur aan de begeleidingscommissie. Daarbij beargumenteren ze hun keuzen in het concretiseren van de onderzoeksvraag. Aansluitend verwerken ze eventuele kritiek. Indien in het verleden voor bepaalde onderdelen al pasklare vragen zijn ontwikkeld, kunnen die uit eerdere enquêtes worden overgenomen. Voor de overige vragen formuleert de ontwikkelaar een tekst. Dit concept gaat terug naar de onderzoeker, wordt besproken en aangepast. Deze laatste stap wordt net zo vaak herhaald tot er een goede vragenlijst op tafel ligt. De definitieve lijst gaat ter kennisname naar de begeleidingscommissie. Tot slot bezoekt de ontwikkelaar enkele respondenten en vraagt hun in zijn aanwezigheid de lijst in te vullen. Per item vraagt de ontwikkelaar naar onduidelijkheden en kijkt door middel van aanvullende vragen of de respondent de vraag begrijpt. Het aantal proefenquêtes is afhankelijk van de verscheidenheid in de opmerkingen. Maken de opeenvolgende respondenten dezelfde opmerkingen dan kan men met zes proefenquêtes volstaan, indien iedere respondent nieuwe problemen met de vragenlijst heeft, kan het aantal tot twaalf of vijftien oplopen. De proefenquête levert de laatste wijzigingen voor de definitieve opmaak van de vragenlijst, welke in bijlage 1 is geïllustreerd. De ontwikkelaar verzorgt de opmaak van de vragenlijst, waartoe hij over een speciale macro binnen Word' beschikt. Daarnaast behoeven schriftelijke enquêtes een illustratie op de voorpagina, omdat die bijdraagt aan een hoge respons (Dillman & Dillman, 1995). De afdeling veldwerk meldt een schriftelijke enquête bij de afdeling voorlichting. Vervolgens zorgt voorlichting voor een bijpassende illustratie.
3.2.2 Informatie aan mogelijke respondenten Gelijktijdig met de ontwikkeling van de vragenlijst schrijft de ontwikkelaar twee brieven en een herinneringskaart voor de mogelijke respondenten. In het geval van een schriftelijke enquête begeleidt een brief de vragenlijst. Deze brief is het visitekaartje van de enquête naar de respondenten en kan de respons positief of negatief beïnvloeden. Enquêtes van het OTB gebruiken het formaat van Dillman (1978), die een brief met vijf alinea's voorstelt. De eerste alinea maakt het belang van het onderzoek duidelijk. Dit belang heeft een algemeen sociaal karakter. Dat de respondent belangrijk voor het slagen van het onderzoek is, komt in de tweede alinea aan bod. Zonder respons van de respondent is het onderzoek onmogelijk. Als er twijfel bestaat over wie de enquête moet invullen, verduidelijkt de tweede alinea dat eveneens. De derde alinea waarborgt de anonimiteit en verklaart eventueel het gebruik van een identificatienummer op de vragenlijst. De vierde alinea van de brief verheldert wat er met de resultaten van het onderzoek gebeurt en geeft aan hoe respondenten de resultaten kunnen vernemen.
8
Mochten respondenten nog vragen hebben, dan geeft de laatste alinea aan waar zij meer informatie kunnen krijgen, namelijk bij het secretariaat van het OTB . Dat vangt telefonische reacties op, beantwoordt de gemakkelijke vragen en verbindt door naar de ontwikkelaar als het een vraag onbeantwoord moet laten. De afdeling veldwerk licht het secretariaat in over het onderzoek, zodat het de vragen van mogelijke respondenten kan beantwoorden. Alle brieven verschijnen op zwart-wit briefpapier voorzien van TU en OTB-Iogo . De ontwikkelaar van de vragenlijst regelt de druk bij het beeld en grafisch centrum. De herinneringskaart is een gekleurd kaartje op A5 formaat dat de geënquêteerden een week na verzending van de vragenlijst ontvangen. Dit kaartje roept ze op om vooral de vragenlijst in te vullen en te retourneren. Een daaropvolgende brief is een tweede herinnering. Die wordt twee weken na verzending van de vragenlijst verstuurd en vormt een derde, ditmaal meer stringent verzoek om de vragenlijst ingevuld te retourneren. Het gebruik van herinneringen kan de respons met tien tot twintig procent verhogen. De media vormen een ander middel om de respons te verhogen. Met name lokale huis-aan-huiskranten zitten regelmatig om kopij verlegen en publiceren graag iets over een onderzoek in hun verspreidingsgebied. In overleg met de onderzoeker benadert de afdeling veldwerk de afdeling voorlichting met het verzoek om een persbericht op te stellen en uit te zetten. Daartoe beschikt de afdeling voorlichting over contactadressen bij verschillende media.
3.2.3 Druk Voordat de vragenlijst naar de drukker gaat, nemen de afdeling veldwerk en de onderzoeker voor de laatste maal de opgemaakte vragenlijst door en controleren hem op omissies. Met name de routing en de opmaak bevatten in dit stadium nog fouten. De afdeling veldwerk vraagt bij de financiële administratie minimaal twee werkdagen voor de druk een zogenaamde opdrachtbon aan. Deze bon vermeldt de oplage, het aantal pagina's, de titel van de enquête en de projectcode. De begeleidende en herinnerende brieven verlangen een aparte opdrachtbon. De afdeling veldwerk verzorgt tevens de contacten met het beeld en grafisch centrum en geeft het geplande reproductiewerk minstens een week voor de druk aan het centrum door. Het beeld en grafisch centrum geeft een schatting van de benodigde tijd . Bij een goed geplande enquête nemen opmaak en druk gezamenlijk ongeveer een week in beslag . 3.2.4 Selectie van mogelijke respondenten In de ontwerpfase bespreken onderzoeker en databeheerder de steekproef. Afhankelijk van de inrichting van de steekproef is het mogelijk met behulp van de enquête uitspraken over de onderzoekspopulatie en eventuele subpopulaties te doen. De inrichting van de steekproef komt dan ook aan de orde in een vergadering van de begeleidingscommissie . In deze vergadering lichten onderzoeker en databeheerder de keuze van de steekproef toe en passen de steekproef bij eventueel commentaar aan. Tevens komen in deze vergadering de benodigde adresgegevens aan de orde.
9
De databeheerder regelt de aanlevering van adressen: digitaal in dBase III, IV formaat of als ASCII bestand met een vaste veldgrootte. Bij kleine aantallen kan het secretariaat, mits tijdig bekend, adressen invoeren. Maar in het algemeen zorgt de opdrachtgever voor een bestand met de adressen van alle objecten in de onderzoekspopulatie. De databeheerder heeft direct contact met de leverancier van de adressen. De afdeling veldwerk trekt uit het bestand een aselecte steekproef, wel of niet gestratificeerd. Van de geselecteerde adressen heeft de databeheerder stickers nodig voor de verzending van het materiaal.
3.2.5 Verzending Voor het inpakken van een schriftelijke enquête zijn de volgende ingrediënten nodig: één enveloppe voor het verzenden, één voor het retourneren, een vragenlijst en een begeleidende brief. De laatste twee levert het beeld en grafisch centrum, de enveloppen laat de afdeling voorlichting bij Nivo drukken. De afdeling veldwerk vraagt de enveloppen, bij monde van de databeheerder zo'n drie weken voor de datum van verzending bij de sectie beheer aan. Ook de verzending ligt in handen van de databeheerder , die de stickers ten behoeve van de adressering verzorgt en het secretariaat aanstuurt. Het secretariaat pakt de enquêtes in en plakt de stickers. Zo nodig geeft het secretariaat iedere enquête een identificatienummer, zodat achterhaald kan worden welke respondenten een enquête hebben geretourneerd en wie nog niet reageerde en dus een herinnering krijgt toegestuurd. De identificatie maakt het tevens mogelijk om de gegevens uit vragen in de vragenlijst aan andere gegevens van de respondent koppelen en de data naar hogere niveaus te aggregeren, zonder dat daar extra vragen in de vragenlijst voor nodig zijn. Afhankelijk van de grootte van het onderzoek betekent het inpakken van een schriftelijke enquête een zware belasting voor het secretariaat, in het bijzonder als de vragenlijsten een identificatienummer dragen . Het secretariaat kan alleen op tijd opleveren, als het werk vooraf bekend is en het in de planning van het secretariaat is opgenomen, een taak van de veldwerkcoördinator. 3.2.6 Invoerprogramma Wanneer de vragenlijst gedrukt wordt, begint de afdeling veldwerk met het ontwikkelen van een invoerprogramma. Dit gebeurt in een speciaal voor enquêtes ontworpen taal, BLAISE. In overleg met de ontwikkelaar en de onderzoeker kent de programmeur grenzen aan de mogelijke antwoorden toe om foutieve invoer te beperken. Afhankelijk van de gegeven antwoorden slaat het invoerprogramma bepaalde vragen over, conform de route in de vragenlijst.
3.3
Afname
De feitelijke afname van een schriftelijke enquête is relatief eenvoudig. Nadat het secretariaat de vragenlijsten heeft ingepakt en verzonden, wacht men geduldig af wat de respondenten retourneren. Daarnaast kan men enige telefoontjes verwachten van mogelijke respondenten die vragen over het onderzoek of de vragenlijst hebben.
10
a:
Direct na de verzending voorziet het secretariaat de herinneringskaarten van adresstickers. Deze kaarten worden een week later verzonden. Twee weken nadat de enquêtes zijn verzonden, ontvangen de mogelijke respondenten een tweede herinnering, bestaande uit een brief die ze tot invullen en terugsturen van de vragenlijst aanspoort. Indien de verstuurde vragenlijsten van een volgnummer zijn voorzien, ontvangen slechts zij die nog geen vragenlijst retourneerden de tweede herinnering. De afdeling veldwerk stuurt bij monde van de databeheerder het secretariaat aan, dat de verzending verzorgt.
3.4
Verwerking
3.4.1 Binnenkomst registratie De afdeling veldwerk noteert de datum van verzending en de oplage, de databeheerder registreert iedere dag het aantal binnengekomen vragenlijsten. Naast ingevulde vragenlijsten ontvangt men de eerste dagen na verzending oningevulde vragenlijsten onbestelbaar retour. Het aantal onbestelbaar geretourneerde vragenlijsten verschaft inzicht in de kwaliteit van het gebruikte adresbestand. De databeheerder registreert daarom ook dit aantal. De databeheerder pakt geretourneerde vragenlijsten uit en voorziet die van een datumstempel. Als de vragenlijsten volgnummers bevatten, dan voert men deze in een bestand in. In het geval van een volledig anonieme enquête geeft men ieder formulier een doorlopend nummer. De geregistreerde vragenlijsten gaan terug naar de ontwikkelaar, die de binnengekomen vragenlijsten voor invoer corrigeert. 3.4.2 Corrigeren van papieren vragenlijsten De in ordners verzamelde vragenlijsten gaan naar de ontwikkelaar. Deze kijkt de vragenlijsten na en corrigeert ze waar nodig . Dit nakijken heeft tot doel ambigue antwoorden te verhelderen, overgeslagen en overbodig beantwoorde vragen te markeren en open vragen te postcoderen. Het gebruik van een andere kleur pen dan waarmee de lijst is ingevuld, voorkomt dat de antwoorden van respondent en ontwikkelaar onherkenbaar worden . Allereerst controleert de ontwikkelaar de lijst op partiële overrespons of nonrespons . Heeft de respondent de juiste vragen ingevuld en overgeslagen, oftewel de juiste routing gevolgd? Ten onrechte ingevulde vragen kruist de ontwikkelaar door , zodat de datatypist ziet dat deze antwoorden genegeerd kunnen worden. De vragen die ten onrechte zijn overgeslagen worden als 'weet niet' gecodeerd. Het invoerprogramma kent buiten de marges van de aangedragen alternatieven altijd de mogelijkheid tot 'weigering' of ' weet niet' . Beide gevallen krijgen een andere code toegewezen. Als de datatypist een ' weigering' moet registreren, geeft de ontwikkelaar dit aan. Van iedere ingevulde vraag beoordeelt de ontwikkelaar het antwoord . Als bijvoorbeeld de respondent geacht werd maar één antwoord te geven, maar twee hokjes heeft ingevuld, dan besluit de ontwikkelaar wat er met dit antwoord gebeurt.
11
Tot slot codeert de ontwikkelaar de antwoorden op open vragen. Dit is arbeidsintensief werk. Het is tevens één van de vele redenen om open vragen waar mogelijk te vermijden. Bij het coderen achteraf tracht men de verschillende antwoorden op open vragen te reduceren tot een beperkt aantal verschillende categorieën. Iedere categorie krijgt een aparte code en dit is de code die de datatypist als antwoord op de open vraag invoert. Bij een volledig open vraag is de corrector vrij in het hanteren van de codes ter aanduiding van de categorieën, zolang de toegekende getallen voor verschillende categorieën maar uitsluitend en opeenvolgend zijn.
3.4.3 Invoer van gegevens De afdeling veldwerk, in het bijzonder de human resource manager, draagt zorg voor de invoer van de nagekeken enquêtes. Dit gebeurt door middel van een zogenaamd invoerprogramma, dat de afdeling veldwerk voor iedere schriftelijke enquête schrijft. In het algemeen zal het secretariaat de vragenlijsten invoeren, bij gebrek aan capaciteit schakelt de human resource manager uitzendkrachten in. 3.4.4 Opleveren van gegevens Wanneer alle vragenlijsten zijn ingevoerd, bundelt de databeheerder alle gegevens in één databestand. Naast de gegevens van de verschillende vragenlijsten zijn er vaak nog andere achtergrondgegevens van de respondenten, die niet door middel van de vragenlijst zijn achterhaald, maar die de leverancier van de adressen heeft geleverd. Door zo mogelijk deze gegevens aan het uiteindelijke bestand te plakken beschikt de onderzoeker over alle informatie. De afdeling veldwerk converteert de BLAISE bestanden naar SPSS en verzorgt een codeboek met rechte tellingen. Tevens voert de databeheerder een responsanalyse uit en bepaalt zij bij een gestratificeerde steekproef de gewichten. De onderzoeker ontvangt het codeboek, de rechte tellingen, het databestand plus de programmatuur voor het maken van rechte tellingen in SPSS. Met het opleveren van de data eindigen de inspanningen van de afdeling veldwerk, al geeft zij graag advies over de verdere verwerking van de gegevens.
3.5
Uitleiding
De verschillende werkzaamheden van een schriftelijke enquête grijpen in elkaar. Sommige werkzaamheden dienen eerst voltooid te zijn, voordat een volgende taak kan aanvangen. Vertraging leidt dan tevens tot vertraging van de volgende stap. Afbeelding 3.1 geeft een overzicht van de verschillende werkzaamheden, de manier waarop ze in elkaar grijpen en de fase waartoe ze behoren. In de fase van het ontwerp kunnen de ontwikkeling van de vragenlijst, de informatie aan de mogelijke respondenten en de selectie van mogelijke respondenten simultaan plaatsvinden. De BLAISE programmeur kan het invoerprogramma pas ontwikkelen als de onderzoeker en de ontwikkelaar de vragenlijst af hebben. Iets soortgelijks geldt voor de druk van het materiaal, daarvoor dient eerst de ontwikkeling van de vragenlijst en de informatie voor de respondenten gereed te zijn.
12
Afbeelding 3.1
ontw. van de vragenlijst
Proces van een schriftelijke enquête
r---
inf. aan mogelijke I------' respondenten
ontw. invoerprogramma
druk
-
-----,
verzending
-
corrigeren van de vragenlijst
r-
invoer van gegevens
selectie van mogelijke resp.
ontwerp
binnenkomst registratie
I afname I
r---
opleveren van gegevens
verwerking
Het beëindigen van de druk en de selectie van mogelijke respondenten zijn noodzakelijk voordat men aan verzending kan beginnen. Met de verzending eindigt de fase van ontwerp. Werkzaamheden in de afname blijven beperkt tot het verzenden van herinneringen en de registratie van de geretourneerde vragenlijsten. De verwerking begint met het corrigeren van de vragenlijsten. De ontwikkelaar kan daar al beginnen, terwijl er nog dagelijks vragenlijsten worden teruggestuurd. Dit maakt de overgang van afname naar de verwerking bij een schriftelijke enquête vaag: de werkzaamheden van de ene fase lopen door in de volgende fase . Ook de invoer van gegevens kan gelijktijdig met het corrigeren van de vragenlijsten en de registratie van binnenkomst gebeuren. Voorafgaand dient wel het invoerprogramma te zijn ontwikkeld. Nadat alle gegevens zijn ingevoerd kan de databeheerder de gegevens opleveren.
13
4 TELEFONISCH ENQUÊTEREN
4.1
Inleiding
Evenals bij schriftelijk enquêteren zijn de werkzaamheden voor telefonisch enquêteren in een fase van ontwerp, afname en verwerking onder te brengen. Bij een telefonische enquête zijn de fasen scherper af te bakenen dan bij een schriftelijke enquête. In de volgende paragrafen komen de werkzaamheden van een telefonische enquête per fase aan bod.
4.2
Ontwerp
4.2.1 Ontwikkeling van de vragenlijst De ontwikkeling van een telefonische vragenlijst is arbeidsintensiever dan het schrijven van een schriftelijke. Bij een schriftelijke enquête zien de respondenten alle keuzen voor zich en kunnen zij de alternatieven desgewenst opnieuw doorlezen alvorens een keuze te maken. Bij een telefonische enquête krijgt de respondent de antwoorden te horen . Eenmaal uitgesproken zullen respondenten de antwoorden moeten onthouden , wat mensen maar in beperkte mate kunnen. Daarom zijn bij een telefonische versie voor het achterhalen van dezelfde gegevens vaak meer vragen nodig dan bij een schriftelijke variant. Daarnaast biedt een door de computer gestuurde afname de mogelijkheid om complexe structuren te bouwen, waarbij de formuleringen van de vragen afhankelijk zijn van eerdere antwoorden. Veel meer dan in een schriftelijke enquête, ontwerpt men de vragen voor verschillende respondenten op maat. Dit betekent dat er zwaardere accenten op het ontwerp en het invoerprogramma komen te liggen. Uit het conceptuele model volgt de hoofdstructuur met daarna de vragenblokken en de individuele vragen. In overleg met de onderzoeker ontwikkelt de afdeling veldwerk de vragenlijst op papier. Aanvankelijk staat alleen de structuur centraal. Is die uitgekristalliseerd dan volgt de volgorde van de vragen, welke voor een groot gedeelte logischerwijs uit de structuur volgt. Pas aan het einde komt de formulering aan bod. Vanwege de complexe structuur van een telefonische enquête verdient het aanbeveling om iedere vraag en ieder blok vanaf het eerste begin met een korte naam aan te duiden. Een dergelijke aanduiding vereenvoudigt het structureren. Een stroomdiagram, 15
r
if
I
i.
H
t I'
Tabel4.1 Wat de respondent mogelijk over het onderzoek wil weten I
Wat is het doel van het onderzoek?
2
Wie is de opdrachtgever van het onderzoek?
3
Wie voert het onderzoek uit ?
4
Waarom vraagt u uitgerekend mij om mee te doen?
5
Hoe bent u aan mijn naam gekomen?
6
Wat gaat u met mijn antwoorden doen?
7
Hebben mijn antwoorden wel enige invloed op de uitkomsten van het onderzoek?
8
Wat voor soort vragen worden er gesteld?
9
Is de enquête anoniem?
10
Hoe lang duurt het interview? Mocht de respondent een vraag stellen waarop de interviewer het antwoord schuldig moet blijven, dan kan de respondent tijdens kantooruren contact opnemen met de verantwoordelijke onderzoeker, te weten .. met telefoonnummer ..
dat de korte namen hanteert, geeft vervolgens aan onder welke condities een vraag of blok gesteld moet worden. Zo'n opzet vereenvoudigt het schrijven van het invoerprogramma aanmerkelijk en ondersteunt de communicatie tussen ontwikkelaar en programmeur. In dit stadium is er dan ook regelmatig overleg tussen ontwikkelaar en programmeur. Nadat de vragen zijn geformuleerd neemt de afdeling veldwerk enige proefenquêtes telefonisch af. Dit gebeurt met de klassieke pen-en-papiermethode en vereist naast gedegen inzicht in de vragenlijst enig kunst en vliegwerk. Dit proefenquêteren stopt op het ogenblik dat nieuwe respondenten geen nieuwe problemen aandragen.
4.2.2 Informatie aan mogelijke respondenten De ontwikkelaar stelt in overleg met de onderzoeker een brief op, waarin het contact van de enquêteurs met de respondenten wordt aangekondigd. De inhoud van de brief is vastgelegd in Dillman (1978) en bevat dezelfde onderdelen als de begeleidende brief voor een schriftelijke enquête. De afdeling veldwerk zorgt voor de opmaak op zwartwit briefpapier voorzien van TU- en OTB-Iogo, en verzorgt de aanvraag van een opdrachtbon, alsook de druk bij het beeld en grafisch centrum. De drukkerij levert de brieven in enveloppen gestoken af. Onder coördinatie van de databeheerder voorziet het secretariaat de brieven van stickers met adressen en verzorgt de verzending, twee dagen voordat het telefonisch enquêteren start. De afdeling veldwerk plant en coördineert de verschillende werkzaamheden. Evenals bij een schriftelijke enquête kan de ontwikkelaar plaatselijke media inschakelen teneinde de respons te verhogen. Het schrijven van een persbericht alsook de verspreiding is een taak van de afdeling voorlichting. Daarnaast stelt de ontwikkelaar een kaart op, die veel gestelde vragen van respondenten en te geven antwoorden opsomt. Deze lijst met zogenaamde faU-back statements gebruiken de enquêteurs bij de telefonische benadering van de respondenten. Tabel
16
i
ti
, ...
i '"fIt TT ;PI, MM tiI , fi W." i Ir
Rij
..
..
._
'Me,
Il U
4.1 geeft een opsomming van de vragen. Mocht een respondent een aangegeven vraag stellen, dan kan de enquêteur terugvallen op het vooraf geformuleerde antwoord . De ontwikkelaar is tevens verantwoordelijk voor de opmaak en vermenigvuldiging van deze kaarten .
4.2.3 Invoerprogramma Bij telefonische enquêtes schrijft de BLAISE programmeur van de afdeling veldwerk een invoerprogramma. Hiermee kunnen de enquêteurs de vragenlijst afnemen en de antwoorden invoeren, daarbij worden ze door een computer ondersteund (d.i . computer aided telephone interviewing, ook wel CA TI genoemd). Dit gebeurt in BLAISE, een speciaal voor dit doel ontwikkelde programmeertaal. BLAISE biedt onder andere de mogelijkheden om: de respondent op een later tijdstip terug te bellen, door middel van verschillende soorten afspraken; afhankelijk van eerder gegeven antwoorden latere vragen over te slaan, het zogenaamde 'routen' van een vragenlijst; genoodzaakt door de omstandigheden de tekst van een vraag te wijzigen; restricties aan antwoorden op te leggen; te controleren of de respondent consistente antwoorden geeft. Na de laatste wijzigingen als gevolg van de proefenquête ontwikkelt de afdeling veldwerk een invoerprogramma. De onderzoeker verschaft informatie over de marges waarbinnen de antwoorden dienen te liggen , verheldert naar aanleiding van het stroomschema de route en geeft aanwijzingen voor de consistentiecontrole in de antwoorden . Voordat de enquêteurs aan de slag gaan, testen de afdeling veldwerk en de onderzoeker het programma. Ze bekijken of het programma zich onder alle denkbare omstandigheden correct gedraagt. De tweede test van het programma leveren de enquêteurs gedurende de introductie, wanneer zij de vragenlijst bij elkaar afnemen. Bij telefonische enquêtes is bepaalde informatie regelmatig over verschillende vragen verspreid . Stel bijvoorbeeld dat voor een deel van de respondenten uit het antwoord op een eerdere vraag is op te maken, dat zij een partner hebben. In het interview zal de directe vraag naar de partner worden overgeslagen, terwijl deze aan de respondenten, die de eerdere vraag niet beantwoorden, wel wordt gevuld. In een analyse zijn half ingevulde vragen lastig te hanteren . Voor het opleveren van de data zal de databeheerder de vraag naar de partner invullen , maar welke vragen ingevuld moeten worden, blijkt tijdens het schrijven van het invoerprogramma. Daarom levert de BLAISE programmeur naast het invoerprogramma een document waaruit blijkt welke variabelen de databeheerder voor levering van de data moet invullen.
4.2.4 Selectie van mogelijke respondenten Ook voor een telefonische enquête is er een bestand nodig bestaande uit de adressen van alle mogelijke respondenten. De afdeling veldwerk bij monde van de databeheerder en de onderzoeker richten de steekproef in en bespreken de steekproef met de begeleidingscommissie . In deze bespreking komen ook de gegevens van de onderzoeksgroep aan de orde . Veelal levert de opdrachtgever de naam, het adres , woonplaats en telefoonnummer , de zogenaamde NA WT-gegevens, soms koopt de afdeling veldwerk
17
N'W '.tW-_W!P'!1jl
.Ii
I_
I.'
84!!
MI'
_ _ _i
!.
• • Ia.
,It.
'Ir"
de gegevens aan. De databeheerder is verantwoordelijk voor de werving van NA WTgegevens. De databeheerder trekt de steekproef en drukt de geselecteerde adressen af op stickers ten behoeve van de aankondigende brief. De databeheerder coördineert tevens het adresseren van de enveloppen door het secretariaat. Voor zover er geen telefoonnummers beschikbaar zijn, kan het secretariaat die bij kleine aantallen opzoeken. Dit gebeurt allereerst in het telefoonboek, digitaal op Internet of op cd-rom. Adressen die geen nummer opleveren, vraagt men na bij de PTTnummerservice of PTT-inlichtingen: sommige aansluitingen staan niet in het telefoonboek, maar zijn wel op te vragen. Bij grotere aantallen maakt de afdeling veldwerk gebruik van de DM-shop, een onderdeel van PTT-Post. Zij kunnen aan de hand van huisnummer en postcode een bestand van telefoonnummers voorzien. Adressen met toevoegingen vormen daarbij een probleem: de DM-shop verschaft de telefoonnummers zonder aanzicht van de toevoeging. Wanneer er voor een combinatie van postcode en huisnummer verschillende toevoegingen met verschillende telefoonaansluitingen bestaan, dan levert men de namen en telefoonnummers van al deze aansluitingen. Het is vervolgens de taak van de databeheerder om adressen en telefoonnummers samen te voegen. Indien de afdeling veldwerk de namen van mogelijke respondenten aan de DM-shop kan leveren, doet dit probleem zich niet voor en verstrekt de DM-shop slechts het telefoonnummer waarvan de aansluiting op de desbetreffende naam geregistreerd staat. Naast minder bewerkelijk is deze verrijking goedkoper. Het is daarom aan te bevelen om in het basisbestand de namen van de mogelijke respondenten op te nemen. De databeheerder verstrekt een bestand van de geselecteerde adressen aan de BLAISE programmeur. Dit bestand bevat de NA WT-gegevens alsook een aanduiding van de verschillende strata in de steekproef. Daarnaast geeft de databeheerder de omvang van de strata aan de BLAISE programmeur door. Deze definieert de strata en hun omvang in de CA TI-definitie van het invoerprogramma. BLAISE zal vervolgens stoppen met het benaderen van respondenten binnen een stratum als er voldoende vragenlijsten van dat stratum zijn afgenomen.
4.2.5 Werving en instructie van de enquêteurs De werving van de enquêteurs is een taak van Randstad Uitzendbureau BV. Zo spoedig mogelijk, maar minimaal twee weken voor de aanvang van de afname brengt de human resource manager de intercedent van Randstad op de hoogte van het toekomstige veldwerk. Daarbij geeft de human resource manager aan op welke dag de introductie van de vragenlijst plaatsvindt, op welke dagen enquêteurs de vragenlijsten gaan afnemen en hoeveel werkplekken er voor het onderzoek beschikbaar zijn. Om misverstanden te voorkomen ontvangt Randstad de aanvraag zowel per telefoon als per fax. Randstad benadert vervolgens de enquêteurs . De afdeling veldwerk en Randstad Uitzendbureau beschikken over een bestand van zo'n vijfenveertig enquêteurs, waarvan het leeuwendeel aan de Technische Universiteit studeert. Alle enquêteurs hebben van de afdeling veldwerk een tweedaagse training gehad en zij hebben vaker voor het OTB geënquêteerd. Randstad vraagt de enquêteurs of ze aan een onderzoek willen meewerken en spreekt met hen de werkdagen
18
_,
af. Daarbij geldt dat, als enquêteurs aan een onderzoek willen meewerken, zij gedurende de afname minimaal tien uur per week beschikbaar moeten zijn. Eenmaal ingeplande dagen kunnen de enquêteurs niet meer wijzigen. Randstad geeft aan de afdeling veldwerk de namen en werkdagen van de enquêteurs door. De enquêteurs ontvangen van Randstad een schriftelijk overzicht van hun geplande werkdagen en een uitnodiging voor een instructie over de enquête, de zogenaamde introductie. Deze vindt bij voorkeur op een donderdag plaats, waarna de afname op de daaropvolgende maandag begint. De tussenliggende dagen corrigeren de onderzoeker en de afdeling veldwerk de laatste hiaten in de vragenlijst. De introductie kent drie vaste onderdelen: uitleg over het onderzoekskader, de vragenlijst en het oefenen in het gebruik van het invoerprogramma. In het eerste onderdeel geeft de onderzoeker algemene informatie over het doel van het onderzoek en schetst de plaats van de enquête binnen het onderzoek. Men kan daarbij gebruik maken van de brief die mogelijke respondenten als aankondiging ontvangen, de faU-back statements en voor zover geschreven: de persberichten. Met behulp van deze informatie kunnen enquêteurs eventuele vragen van mogelijke respondenten adequaat beantwoorden. In het daarop volgende tweede deel presenteert de ontwikkelaar de vragenlijst. Bij een complexe structuur verdient het aanbeveling om deze structuur eerst op hoofdlijnen voor te leggen en daarna de vragen stuk voor stuk door te nemen. Bij de bespreking per vraag laat de ontwikkelaar weten wat de vraag probeert te meten, wijst op mogelijke onduidelijkheden en geeft aan hoe de enquêteur dient te reageren. De ontwikkelaar besteedt extra aandacht aan onvermijdelijk jargon binnen de vragenlijst. Het derde en laatste gedeelte van de introductiemiddag staat onder de regie van de BLAISE progranuneur, human resource manager en de ontwikkelaar. De ene helft van de enquêteurs belt de andere helft op en neemt de vragenlijst af. Nadat een enquêteur de vragenlijst heeft afgenomen, wisselen enquêteur en respondent van plaats en werken ze de vragenlijst nogmaals door . Tijdens dit oefenen maken de enquêteurs nader kennis met de eigenaardigheden van de vragenlijst en het invoerprogranuna. Onduidelijkheden kan de afdeling veldwerk direct verhelderen, zonder een respondent te irriteren. Tegelijkertijd controleren enquêteurs de vragenlijst op inconsistenties en gebreken. Naar aanleiding van die opmerkingen, wijzigen de onderzoeker, ontwikkelaar en progranuneur het invoerprogramma een laatste maal.
4.3
Afname
4.3.1 Telefonisch interviewen Bij een telefonische enquête is de personele inspanning gedurende de afname een stuk groter dan bij een schriftelijke enquête: de enquêteurs benaderen alle mogelijke respondenten telefonisch. Het tijdstip van deze benaderingen is afhankelijk van de doelgroep. Voor enquêteren onder bedrijven en instellingen gelden werktijden van 9:00 tot 12:00 uur en van 13:00 tot 16:00 uur op werkdagen. Bij enquêtes onder huishoudens vindt de afname plaats op werkdagen van 16:00 tot 21:00 uur en op zaterdagen van
19
----------------~~~----L-~'L-~--~-l--------------------~--~----~------------- ~l
11:00 tot 16:00 uur. Op werkdagen heeft Randstad een halfuur voor aanvang van het interviewen telefonisch contact met de human resource manager om absenties en eventuele vervanging door te geven. De enquêteurs werken niet fulltime, maar hebben voor aanvang van de afname aangegeven op welke dagen ze komen werken. Op die manier werken ze wanneer het ze schikt. Het aantal in te zetten werkplaatsen, maximaal tien, is afhankelijk van de omvang van de steekproef. Bij een kleine steekproef zet de human resource manager dagelijks weinig werkplekken in, zodat er voldoende doorlooptijd voor het maken van afspraken overblijft. Dit voorkomt dat aan het einde van de afname een grote groep enquêteurs wel afspraken heeft, maar geen andere respondenten meer kan benaderen en dus werkeloos op het tijdstip van hun afspraak zit te wachten. Nadat alle enquêteurs voor een onderzoek zijn geworven, geeft de human resource manager hun namen aan de netwerkbeheerder en de BLAISE programmeur door, die hen toegang tot het netwerk en het invoerprogramma verschaffen. De netwerkbeheerder verzorgt ook een domein voor de enquête op het elektronische prikbord. De enquêteurs kunnen hierop de laatste wijzigingen en eventuele mededelingen aangaande de enquête lezen. Via elektronische post kunnen ze met de human resource manager communiceren. De enquêteurs nemen de vragenlijsten geheel computergestuurd af. Het te kiezen telefoonnummer verschijnt op het beeldscherm. Afhankelijk van het resultaat van een benadering nemen ze de vragenlijst af, maken ze een afspraak, bellen ze op een later tijdstip terug of beschouwen ze een respondent als niet te benaderen. Het computersysteem wijst mogelijke respondenten aan de verschillende enquêteurs toe en zorgt ervoor dat afspraken worden nagekomen. Bij de uiteindelijke afname van de vragenlijst krijgt de enquêteur de ter zake doende vragen op het beeldscherm gepresenteerd. De enquêteur leest de vragen voor, verduidelijkt waar nodig de vragen en toetst de antwoorden van de respondenten in. Een aparte handleiding verduidelijkt het gebruik van de software; deze is als bijlage 2 toegevoegd.
4.3.2 Supervisie Iedere werkdag is één persoon met de supervisie belast. Veelal zijn dit ervaren enquêteurs die in het enquêteren zijn ingewijd. De werkzaamheden van de supervisor zijn per onderzoek in een takenlijst omschreven. Naast aanspreekpunt voor de enquêteurs, is de supervisor verantwoordelijk voor het tussentijds archiveren van de verworven data, en het afsluiten van het gebouw. In geval van calamiteiten beslist de supervisor over de te nemen acties. Dagelijks rapporteert de supervisor bijzonderheden via een elektronisch prikbord aan de afdeling veldwerk.
4.3.3 Quota beheer en capaciteitsmanagement Aan het einde van een dag enquêteren inventariseert de databeheerder het aantal afgenomen enquêtes, het aantal benaderingen en de resterende adressen. De ervaring leert dat de benodigde tijd voor het afnemen van een enquête de eerste dagen iets hoger ligt, maar zich daarna snel stabiliseert. Er is na enige dagen dan ook een betrouwbaar
20
zicht op de doorlooptijd en de kosten van de afname. De databeheerder volgt het verloop van de afname . Mocht uit voorspellingen blijken dat het aantal af te nemen enquêtes niet binnen de geplande periode is te realiseren, dan rapporteert de databeheerder dit aan de coördinator van het veldwerk. Gebaseerd op het resterende budget beslist de coördinator met de onderzoeker om de afname al dan niet te verlengen. Bij verlenging vraagt de coördinator aan de human resource manager extra capaciteit. BLAISE biedt de mogelijkheid om vooraf aan te geven hoeveel geslaagde enquêtes er van een bepaalde soort gerealiseerd moeten worden. Wanneer er binnen zo'n stratum voldoende vragenlijsten zijn afgenomen, zorgt BLAISE ervoor dat enquêteurs geen vragenlijsten meer afnemen bij respondenten van dat stratum, alleen respondenten waarmee afspraken zijn gemaakt, worden nog gebeld. Als het totaal aantal gewenste enquêtes is bereikt, stoppen de enquêteurs met het telefonisch interviewen. Mogelijke respondenten, waarmee een afspraak is gemaakt om ze op een later moment terug te bellen, ontvangen van de databeheerder een brief die aangeeft dat de afspraak vervalt. Bij sommige enquêtes valt de medewerking van respondenten tegen of blijken veel telefoonnummers onjuist. Dit kan tot de situatie leiden waarin het gewenste aantal af te nemen vragenlijsten nog niet is bereikt, terwijl er geen telefoonnummers beschikbaar zijn. Om dit te voorkomen controleert de databeheerder iedere dag voor aanvang van de afname of er voldoende telefoonnummers beschikbaar zijn. Dit gebeurt door middel van het activeren van telefoonnummers, die op een dag gebeld kunnen worden, het aanmaken van een zogenaamde dagportie . Wanneer op tijd blijkt dat de omvang van de eerste steekproef niet toereikend is, kunnen de onderzoeker, databeheerder en coördinator veldwerk besluiten om een tweede steekproef te trekken om uiteindelijk toch de gewenste aantallen afgenomen vragenlijsten te behalen. Echter, naast methodologische bezwaren kent het trekken van zo'n tweede steekproef een ander bezwaar: het betekent in bijna alle gevallen haastwerk . De databeheerder dient niet alleen een tweede steekproef te trekken, maar ook stickers met nieuwe adressen te vervaardigen. Daarnaast moet er voor de nieuwe mogelijke respondenten een brief gedrukt en geadresseerd worden en de programmeur moet de BLAISE bestanden met de nieuwe adressen uitbreiden. Voorziet men de problemen al op het moment dat men de eerste steekproef trekt, dan kan men besluiten om de eerste steekproef uit te breiden met passieve mogelijke respondenten. Voor deze passieve mogelijke respondenten vervaardigt de databeheerder de stickers met adressen tegelijk met die van de gangbare mogelijke respondenten, ze zijn ook in de BLAISE bestanden aanwezig en men drukt ook alvast de aankondigende brieven . Het verschil tussen de passieve en gangbare mogelijke respondenten is het feit dat de passieve pas benaderd worden op het moment dat er een te kort aan gangbare respondenten blijkt. De databeheerder heeft als het ware een aantal respondenten achter de hand, die zij direct kan inzetten op het moment dat ze nodig blijken te zijn . Op dat moment hoeft men slechts de brieven te adresseren en te versturen en de programmeur dient de respondenten in de BLAISE bestanden te activeren. Het feit dat de
21
databeheerder geen tweede steekproef hoeft te trekken, noch nieuwe stickers hoeft te vervaardigen levert een stevige tijdwinst op .
4.4
Verwerking
Als het aantal gewenste vragenlijsten is afgenomen, levert de databeheerder de gegevens aan de onderzoeker. Het BLAISE bestand wordt naar SPSS geconverteerd en indien nodig aan het volledige adresbestand gekoppeld . In het geval van een gestratificeerde steekproef berekent de databeheerder de benodigde gewichten en analyseert de respons. Voor zover dezelfde gegevens over verschillende variabelen verspreid in het bestand zijn weergeven, bundelt de databeheerder de gegevens in één variabele. Dit gebeurt aan de hand van het document dat de BLAISE programmeur bij het invoerprogramma leverde. De ontwikkelaar ontvangt een bestand in SPSS-formaat, een uitdraai van het codeboek en vuile rechte tellingen, zoals bij een schriftelijke enquête. Extra is een bestand met opmerkingen van de enquêteurs . Indien het programma een bepaalde invoer niet toe staat, maken enquêteurs een opmerking. Deze opmerkingen zijn voorzien van het nummer van de respondent en de naam van de desbetreffende vraag in een aanvullend bestand terug te vinden. De ontwikkelaar verwerkt het commentaar van de enquêteurs in het databestand. Vervolgens kan de onderzoeker met het bestand aan de slag. De onderzoeker zal het allereerst controleren op foutieve invoer en inconsistenties . Pas daarna kan men met het geschoonde bestand aan de werkelijke analyse van de gegevens beginnen.
4.5
Uitleiding
Figuur 4.1 geeft aan hoe de verschillende werkzaamheden in elkaar grijpen. Het ontwerp begint met de ontwikkeling van de vragenlijst, wat de basis vormt voor de ontwikkeling van het invoerprogramma. Gelijktijdig aan de ontwikkeling van de vragenlijst, kan men de informatie aan mogelijke respondenten formuleren, gevolgd door druk en verzending van het materiaal. Uiteraard vindt de verzending vlak voor de afname plaats . De selectie van mogelijke respondenten kan van het begin tot het einde van het ontwerp plaatsvinden. Hetzelfde geldt voor de werving van de enquêteurs, maar men zal daar in de regel pas twee weken voor het begin van de afname mee beginnen. De afname bestaat uit het telefonisch interviewen, hetgeen supervisie verlangt. Op hetzelfde ogenblik zal de databeheerder de quota beheren. Uiteindelijk eindigt een telefonische enquête met het opleveren van de gegevens, het enige werk van de verwerking .
22
TM
I
MI iIWi ,,. IW.'.L]'
W1~_
• • . . uw
Afbeelding 4.1
ontw . van de vragenlijst
Proces van telefonische enquête
-
ontw. invoerprogramma
informatie aan mogelijke respondenten
selectie van mogelijke respondenten
I---
telefonisch enquêteren
-
verwerking
i~
Ij
werving en instructie enqueteurs
ontwerp
afname
I verwerking
23
"e !
11
\'
1
!
1 ,
......... t _ _
.p._., -,
r. !• • . ,
_
., .
.. ,
5
MONDELING ENQUÊTEREN
Ofschoon velen mondeling enquêteren als het summum beschouwen, maakt het OTB slechts bij hoge uitzondering gebruik van deze methode van dataverwerving. De hoge kosten zijn veelal de reden om op een andere manier de data te verwerven. Dit betekent tegelijkertijd dat de procedures voor mondeling enquêteren minder zijn gekristalliseerd en er meer sprake is van maatwerk. De onderstaande beschrijving is dan ook niet meer dan een blauwdruk.
5.1
Ontwerp
De inrichting van de steekproef komt overeen met die van een schriftelijke enquête, maar naast adresstickers maakt de afdeling veldwerk nu ook adreslijsten . De begeleiding bij het ontwerpen van de vragenlijst en een aankondigende brief is overeenkomstig die van een telefonische en schriftelijke enquête. Enquêteurs nemen een mondelinge enquête op papier af. Omdat deze vorm zo weinig voorkomt, is de aanschaf van draagbare computers niet rendabel. Opmaak en druk van het enquêtemateriaal vallen dan ook onder de verantwoordelijkheid van de ontwikkelaar. Voor het werven van de enquêteurs en de introductie van de vragenlijst onder de enquêteurs geldt hetzelfde als voor telefonisch enquêteren. De BLAISE programmeur ontwikkelt een invoerprogramma, zoals ook bij schriftelijk enquêteren gebruikelijk is .
5.2
Afname
Bij een mondelinge enquête is het contact van de human resource manager met de enquêteurs een stuk minder intensief dan bij een telefonische enquête. Op de introductie ontvangen de enquêteurs het benodigde enquêtemateriaal. Dit bestaat uit een legitimatiebewijs, voorzien van pasfoto, een kopie van de brief die naar de respondenten is verzonden, adreslijsten, enquêtes, eventuele antwoordkaarten en een plattegrond van het gebied waar men enquêteert. Omdat een mondelinge enquête de meest arbeidsintensieve en daarmee ook de duurste vorm van enquêteren is, geven de enquêteurs hun opbrengst na iedere werkdag telefonisch door . Het secretariaat beschikt daartoe over een ordner met kopieën van de
25
adreslijsten, die de enquêteurs in hun bezit hebben. De enquêteur meldt zich en geeft de nummers van de respondenten door waarbij de enquête is afgenomen of met wie de enquêteur een afspraak voor afname heeft gemaakt. De enquêteurs kunnen in hetzelfde telefoongesprek nieuwe adreslijsten of aanvullend materiaal aanvragen. Deze meldingen geven de databeheerder zicht op de activiteiten van de verschillende enquêteurs en bieden zicht op de meest actuele stand van het aantal afgenomen enquêtes . Op het ogenblik dat het gewenste aantal is bereikt, licht de databeheerder de human resource manager in. Deze geeft aan alle enquêteurs de opdracht om hun opgegeven afspraken na te komen, maar geen nieuwe respondenten meer te benaderen.
5.3
Verwerking
De enquêteurs retourneren de ingevulde vragenlijsten naar het antwoordnummer van het OTB. De databeheerder controleert de zendingen en geeft de vragenlijsten ter correctie aan de ontwikkelaar. De human resource manager verzorgt de invoer van de nagekeken vragenlijsten. Meestal voert het secretariaat de gegevens in, bij gebrek aan capaciteit zet de human resource manager uitzendkrachten in. Wanneer alle enquêtes zijn afgenomen bundelt de databeheerder alle informatie in één databestand. Naast de gegevens die de enquêteurs door middel van de vragenlijst achterhaalden, komt aanvullende informatie die de leverancier van de adressen heeft verstrekt. Ook deze gegevens worden aan het uiteindelijke bestand geplakt, zodat de onderzoeker alle informatie ter beschikking heeft. Vervolgens converteert de databeheerder de BLAISE bestanden naar SPSS en verzorgt een codeboek met rechte tellingen. Bij een gestratificeerde steekproef bepaalt de databeheerder de gewichten. De onderzoeker ontvangt het codeboek, de rechte tellingen en gegevens plus de programmatuur voor het maken van rechte tellingen.
26
6
TAKEN BINNEN HET VELDWERK
6.1
Human resource manager
De human resource manager is verantwoordelijk voor de werkzaamheden van de enquêteurs. Hij of zij onderhoudt de contacten met de enquêteurs. Op het ogenblik dat er een tekort aan enquêteurs dreigt te ontstaan, organiseert de human resource manager een training . Naar aanleiding van de prestaties in de training besluit de human resource manager om een kandidaat wel of niet in te zetten. Op het ogenblik dat er enquêteurs voor veldwerk nodig zijn, benadert de human resource manager het uitzendbureau. Tevens omvat de functie het organiseren van de introductie, die aan de afname voorafgaat. Gedurende de afname heeft de functionaris regelmatig de supervisie, om een goed contact met de enquêteurs te houden. Daarnaast organiseert de human resource manager vervolgtrainingen en begeleidt hij of zij de enquêteurs die overigens niet langer dan een jaar onafgebroken worden ingezet.
6.2
BLAISE programmeur
De BLAISE programmeur ontvangt de ontwikkelde vragenlijst van de ontwikkelaar en maakt een invoerprogramma. Hij of zij bespreekt de vragenlijst met de onderzoeker en de ontwikkelaar. Nadat het invoerprogramma is gemaakt, zorgt de programmeur er voor dat het aan de gebruikers beschikbaar komt en licht aan hen het gebruik van het programma toe. Daarnaast levert de programmeur een document , waaruit blijkt welke variabelen na afloop van de interviews gevuld moeten worden. Mochten er binnen BLAISE koppelingen met andere bestanden nodig zijn, dan ontvangt de programmeur deze bestanden van de databeheerder en voegt ze aan het programma toe . Tot slot is de programmeur verantwoordelijk voor de instellingen van het CA TI-beheer.
6.3
Databeheerder
De databeheerder is belast met het achterhalen, controleren en verrijken van de NA W(T) gegevens. De databeheerder adviseert de onderzoeker omtrent het ontwerp
27
van de steekproef en het trekken van de steekproef. Nadat de steekproef is getrokken maakt zij de adres stickers en draagt zij zorg voor de verzending. Gedurende de afname volgt de beheerder de voortgang en rapporteert gesignaleerde moeilijkheden aan de coördinator veldwerk. Na afloop van de afname vult de databeheerder de samengestelde variabelen, zoals aangegeven door de BLAISE programmeur, zij analyseert de respons en berekent eventuele gewichten. Tot slot levert de databeheerder het vuile bestand, voorzien van codeboek en rechte tellingen aan de onderzoeker.
6.4
Ontwikkelaar vragenlijsten
De ontwikkelaar van de vragenlijsten begeleidt de onderzoeker in het ontwerp van de vragenlijst, rekening houdend met de onderzoeksvraag, de respondenten en de analyse van de respons . Ook de ontwikkeling van begeleidende of aankondigende brieven vallen onder zijn of haar beheer, alsook de opzet van de faU back statements . Nadat het ontwerp is afgerond, is de ontwikkelaar tevens verantwoordelijk voor de vermenigvuldiging van alle materialen. De ontwikkelaar levert de BLAISE programmeur alle informatie ten behoeve van het invoerprogramma. Ook helpt hij de BLAISE programmeur met het opsporen van fouten in het programma. Bij de verwerking kijkt de ontwikkelaar de vragenlijsten na en verwerkt het commentaar.
6.5
Coördinator veldwerk
De coördinator veldwerk adviseert de onderzoeker bij de keuze van het type survey en de inrichting van de steekproef. Naar aanleiding van de grootte stelt de coördinator een offerte op. Daarnaast is de coördinator veldwerk verantwoordelijk voor de planning van het veldwerk, op het niveau van de verschillende enquêtes naast elkaar, alsook ten aanzien van de verschillende werkzaamheden binnen een enquête. Daartoe controleert de coördinator of termijnen gehaald worden en stuurt indien noodzakelijk de werkzaamheden bij.
6.6
Supervisor
De supervisor is verantwoordelijk voor een correcte afname bij een telefonische enquête. Deze verantwoordelijkheid beslaat het gebouw, de hulpmiddelen bij het enquêteren en de enquêteurs . In de meeste gevallen dient de supervisor zelfstandig een oplossing voor eventuele problemen te bedenken. Problemen rapporteert hij in het logboek: een elektronisch prikbord dat van iedere enquête de bijzonderheden vermeldt. Bij ernstig onheil zoekt hij direct telefonisch contact met één van de medewerkers van de afdeling veldwerk. Voor zover de werkzaamheden als supervisor dat toelaten, neemt de supervisor ook zelf interviews af.
28
6.6.1 Gebouw De meeste telefonische enquêtes richten zich tot huishoudens. De afname vindt dan ook hoofdzakelijk in het weekeinde en gedurende de avonduren plaats, dat wil zeggen buiten de reguliere openingstijden van het gebouw. De supervisor beheert de toegang tot het gebouwen beschikt dus over een sleutel. Hij ziet erop toe dat enquêteurs in het boek voor overwerkers staan ingeschreven en dat zij zich bij vertrek uittekenen. Hij zorgt er tevens voor dat de koffiehoek is opgeruimd en huishoudelijke apparaten zijn uitgeschakeld. Voor vertrek controleert hij of de ramen van alle gebruikte ruimten zijn gesloten en de lichten zijn gedoofd. Wanneer hij als laatste het gebouw verlaat, dooft hij tevens het licht in alle gangen. Mochten er zich problemen voordoen, dan meldt hij die aan de veiligheidsdienst. 6.6.2 Hulpmiddelen Voor het enquêteren is een telefoon, personal computer en software nodig. Alle drie moeten naar behoren functioneren. Naast de kennis die enquêteurs over deze zaken hebben, dient de supervisor over extra kennis te beschikken om mogelijke problemen met de hulpmiddelen te kunnen oplossen. Tegen problemen met telefoontoestellen beschikt de afdeling veldwerk over een zestal reservetoestellen voorzien van head-sets. Bij calamiteiten kan de supervisor het toestel vervangen. Problemen bij de telefooncentrale zijn minder eenvoudig te verhelpen. Indien deze zich voordoen noteert de supervisor het tijdstip, het toestelnummer waarop het probleem zich voordoet en het nummer dat men wilde benaderen in het logboek. In het geval van problemen met de personal computer probeert de supervisor de enquêteur op een lege werkplek in te zetten. Is die niet voorhanden dan stuurt hij de enquêteur naar huis. De programmatuur waarmee interviewers telefonische enquêtes afnemen is in BLAISE geschreven. Deze software draait onder Windows 95· en de personal computers staan door middel van een NovelI· netwerk met elkaar in verbinding . Ofschoon de supervisor nooit programmeer- of beheers werkzaamheden zal of mag vervullen, beschikt hij toch over vaardigheden om met BLAISE, Windows 95· en Novello om te gaan. Zo maakt de supervisor in het weekeinde voor aanvang van het interviewen een zogenaamde dagportie aan en verzorgt hij aan het einde van iedere werkdag de backup van de verworven gegevens . Mocht een enquêteur zijn paswoord zijn vergeten, dan beschikt de supervisor over reserve gebruikersnamen, zodat de enquêteur toegang tot het systeem kan krijgen. Andere problemen met de software zijn divers en daarom moeilijk te voorzien. Kennis, ervaring, het logboek en improvisatie zijn de enige hulpmiddelen die de supervisor tot zijn beschikking heeft om eventuele problemen op te lossen. 6.6.3 Begeleiding enquêteurs De supervisor is bij absentie van andere medewerkers van de afdeling veldwerk het aanspreekpunt voor de enquêteurs. Hij dient dan ook adequaat op vragen van de enquêteurs te reageren. Daarnaast is de supervisor verantwoordelijk voor de correcte afname van de interviews. Voorzover interviewers afwijken van de wijze die ze bij de training is aangereikt, is het de taak van de supervisor hen over de juiste procedures te
29
_liI • • _ u r I
I i 11.1 ] 'I l
reil 111 (.It1 LWiiIiiW.
informeren. Dergelijke gevallen meldt de supervisor altijd aan de human resource manager. Tot slot ziet de supervisor erop toe dat enquêteurs op tijd beginnen en eindigen en zich aan de pauzes houden. Hij zorgt ervoor dat er in de pauzes koffie en thee klaar staan. Eventuele incidenten meldt hij aan de human resource manager.
6.7
Enquêteurs
6.7.1 Werving Het uitzendbureau Randstad werft de enquêteurs. Jongeren met een leeftijd rond de 25 jaar, die een hogere opleiding volgen, vormen de doelgroep van deze werving. Carton (1995) vond dat hoger opgeleiden als enquêteurs een iets hogere kwaliteit leverden. Later onderzoek (Carton en Loosveldt, 1997) levert minder eenduidige resultaten op. Een ander voordeel van deze doelgroep is dat zij over voldoende vaardigheden in het gebruik van computers beschikken. De ervaring leert dat mensen met een oudere leeftijd of lagere opleiding deze vaardigheden veelal missen. Voor de werving maakt Randstad gebruik van mensen die zich voor uitzendwerk hebben ingeschreven. Voordat enquêteurs op een onderzoek worden ingezet, ontvangen ze eerst een training . Afhankelijk van de resultaten van deze training wordt een enquêteur wel of niet opgenomen in de pool van actieve enquêteurs. 6.7.2 Training Wanneer Randstad signaleert dat het aantal inzetbare enquêteurs te klein wordt, informeert het uitzendbureau de human resource manager. De laatste organiseert vervolgens een training voor enquêteurs. Randstad werft tussen de tien en twintig kandidaten, welk aantal afhankelijk is van het aantal plaatsen in de training. De training beslaat twee avonden. De eerste avond heeft een theoretisch karakter. In een drietal presentaties komen de omgang met respondenten, het gebruik van hard- en software, en specifieke woningmarkttermen aan bod. Op de tweede trainingsavond gaan de kandidaten zelf aan de slag. Ze beginnen met een oefening in het gebruik van het telefoontoestel en de personal computer, zoals het opstarten van de software, het maken van afspraken en het registreren van de antwoorden. In de tweede oefening komt het interviewen aan bod. Het draait daarbij om de vraag of de enquêteur in staat is het gesprek te leiden en de juiste spreektechniek heeft. Een oefening aangaande het benaderen van respondenten belicht voor de laatste keer een deelaspect van enquêteren. In de laatste twee oefeningen komt het enquêteren als geheel aan bod. De kandidaten nemen twee maal een volledig interview af: de eerste keer bij een trainer, de tweede maal bij een echte respondent. Gedurende de tweede trainingsavond is er een één op één verhouding tussen trainer en kandidaat. Per oefening wisselen de trainers van kandidaat. Aan het einde van de avond beoordelen de trainers de verschillende kandidaten. Afhankelijk van deze evaluatie besluit de human resource manager om kandidaten wel of niet voor onderzoek in te zetten.
30
fiN·····.
, !l
'+' .... IV D .... ) ""'Wa r a4
- _"P' ,Ww IH
De training kent een eigen draaiboek. Dit draaiboek bevat de sheets en hand-outs van alle presentaties, alsook al het materiaal voor de tweede trainingsavond.
6.7.3 Afname De enquêteurs plannen hun werkzaamheden bij Randstad in. Dit gebeurt voor het begin van de afname. Enquêteurs kunnen slechts aan een onderzoek meewerken als ze naast de introductie ook minimaal twee dagdelen per week beschikbaar zijn. Randstad bevestigt de opgegeven werkdagen op de opdrachtbevestiging, die de enquêteurs toegestuurd krijgen. De human resource manager ontvangt deze bevestigingen in afschrift. Mocht gedurende de afname blijken dat er onvoldoende capaciteit is, dan benadert Randstad de enquêteurs opnieuw om de werkzaamheden in de verlenging te plannen. Bij ziekte meldt een enquêteur zich bij Randstad af. Het uitzendbureau probeert voor vervanging te zorgen en geeft mutaties aan het begin van iedere werkdag aan de human resource manager door. Ongeoorloofde afwezigheid resulteert de eerste keer in een waarschuwing, bij herhaling beëindigt het OTB de relatie. Aan het begin van iedere werkdag leest een enquêteur eventuele nieuwe mededelingen aangaande het onderzoek op het bulletinbord. Daarnaast kan men elektronische berichten naar de human resource manager sturen. Uitwisseling van berichten tussen enquêteurs onderling wordt niet getolereerd. Problemen meldt de enquêteur aan de supervisor of de human resource manager. Bij een enquête onder bedrijven vindt de afname op werkdagen tussen 16:00 tot 21:00 uur plaats en op zaterdagen van 11 :00 tot 16:00 uur. De enquêteurs hebben een pauze van een kwartier om 17:45 en om 19:45 uur. Betreft het een enquête onder bedrijven dan vinden de interviews plaats tussen 9:00 tot 12:00 uur en van 12:30 tot 15:30 uur op werkdagen. De pauzes van een kwartier zijn dan om 10:30 en 14:00 uur.
31
1. '
,. I
7 OPBOUW V AN GEGEVENS
7.1
Steekproef
7.1.1 Grootte van de steekproef Onderzoek dat enquêtes aanwendt om een onderzoeksvraag te beantwoorden, doet veelvuldig uitspraken over een grote groep mensen: de inwoners van een stad, een provincie; huishoudens met een bepaald inkomen. Voor deze uitspraken is het niet noodzakelijk om alle leden van de groep te ondervragen. Met behulp van statistiek kan men met een bepaalde zekerheid uitspraken over de hele populatie te doen, terwijl in het onderzoek slechts een beperkt aantal respondenten de vragen beantwoordt. Het aantal mensen dat uiteindelijk de vragen beantwoordt, het aantal observaties, bepaalt de zekerheid van de uitspraken. Voor de aanvang van een enquête dienen de onderzoeker en de databeheerder eerst vast te stellen over welke populatie het onderzoek uitspraken gaat doen. Deze volgt uit de onderzoeksvraag. Vervolgens beslissen ze met welke zekerheid men uitspraken wil doen. Veelvuldig doen onderzoekers uitspraken in termen van percentages . Bijvoorbeeld 13 % van alle Nederlandse huishoudens bestaat uit een ouder met één of meer inwonende kinderen. De zekerheid van deze uitspraak is afhankelijk van het totale aantal huishoudens, waarvan het onderzoek het soort huishouden heeft achterhaald, het aantal observaties. Het exacte landelijke percentage is slechts te bepalen door van alle Nederlandse huishoudens de opbouw vast te stellen. Maar met behulp van een beperkt aantal observaties is wel een schatting te geven, bijvoorbeeld 13% . Vervolgens dient men ook aan te geven wat deze schatting waard is : is de schatting zo betrouwbaar dat de waarde in de populatie naar alle waarschijnlijkheid niet meer dan 1 % van de gevonden waarde zal afwijken, of moet men met een marge van 10 % of meer rekening houden? De boven- en ondermarges waarbinnen het werkelijke percentage met een bepaalde waarschijnlijkheid varieert, noemt men het betrouwbaarheidsinterval. Deze interval is afhankelijk van het aantal observaties en het gevonden percentage. Afbeelding 7.1 geeft aan hoe de betrouwbaarheid van een gevonden percentage varieert. Het percentage dat men in het aantal observaties heeft gevonden staat op de horizontale as weergegeven. De verticale as geeft de betrouwbaarheidsinterval van het gevonden percentage aan. De positieve waarden op deze as geven de bovenste marge en de negatieve waarden geven de onderste marge van het interval aan .
33
Afbeelding 7.1 95% betrouwbaarheidsintervallen bij verschillende aantallen observaties 40 % _ - - -_ _ n=10
Marges 30%
20 %
10 %
0%
~-==== ~
-10%
-20 %
n =240 n =120 n = 80 n = 40
________ - - - - - n=20
r
: ::
+J~'~~' ~I~~'~I~' ~~" I~'~'~I~'~~'~ ~~~~~~~-~-~':I_--~'~~-'~-+1~,~~,nl = 10 0%
10%
20%
30%
40 %
50%
60 %
70 %
80 %
90%
100%
Percentage in steekproef
Onder en boven de horizontale as staat een aantal curven. Deze curven geven de betrouwbaarheid van het gevonden percentage weer. Aangezien de betrouwbaarheid met het aantal observaties varieert, zijn er voor verschillenden aantallen observaties curven getrokken . Iedere curve geeft het betrouwbaarheidsinterval voor een bepaalde hoeveelheid observaties . Het getal bij een curve geeft aan voor welk aantal observaties de curve geschikt is . Een voorbeeld: van een willekeurige groep huishoudens in een gemeente tracht men het type te bepalen. Dit lukt bij 120 huishoudens. 54 huishoudens in de totale groep betreffen partners zonder kinderen. De schatting voor het aandeel huishoudens bestaande uit partners zonder kinderen in de gemeente bedraagt 54/120 oftewel 45%. Maar dit is niets meer dan een schatting. Uit afbeelding 7.1 is de betrouwbaarheid van deze schatting af te leiden. Bij een waarde van 45 % op de horizontale as hebben de curven voor 120 observaties een waarde van -9% en 10% op de verticale as. Het werkelijke aandeel huishoudens bestaande uit twee partners zonder kinderen in de ge-
34
IM
1 3: !L@CllJi bi N ! nW1kWZ1 i . awiL
tW
i
Mf
»
•
meente ligt naar alle waarschijnlijkheid ergens tussen de 45 - 9 is 36 % en 45 + 10 is 55 %. De waarden 36 en 55 % steken schril af bij de schijnbare exactheid van de schatting van 45. Naarmate een curve verder van de horizontale as ligt, geldt dat het gevonden percentage minder betrouwbaar is. Aangezien de curven met grote getallen dichter bij de horizontale as liggen, valt uit afbeelding 7.1 af te leiden dat meer observaties tot een grotere betrouwbaarheid van het gevonden percentage leiden. Daarnaast valt op dat de curven aan de uiteinden, dat wil zeggen in de buurt van de 0 en 100 % dichter bij de horizontale as liggen, dan bij 50 %. Dit betekent dat de betrouwbaarheid van een percentage toeneemt als het in de buurt van de 0 en 100% ligt, maar het minst betrouwbaar is bij een waarde van 50 %. In afbeelding 7. 1 variëren de getallen bij de curven tussen de 10 en 240, en deze zogenaamde nomogram is dus geschikt om de zekerheid van uitspraken te bepalen die op 10 tot 240 observaties zijn gebaseerd. Er bestaan ook nomogrammen voor meer of minder observaties. Voor observaties van tussenliggende aantallen kan men met behulp van afbeelding 7.1 de betrouwbaarheid schatten door de curve met het meest nabij gelegen aantal te gebruiken of de gevonden marges van de twee meest nabijgelegen curven te middelen. Voordat men aan een enquête begint, zal men moeten vaststellen met welke zekerheid men uitspraken wil doen. Hieruit volgt het aantal benodigde observaties. Aangezien niet alle benaderde respondenten uiteindelijk aan het onderzoek zullen meewerken, dient men meer mensen te benaderen dan men aan observaties nodig heeft. Een gedeelte is onbereikbaar, een ander gedeelte wil niet meewerken. De omvang van deze non-respons is afhankelijk van de enquête, het onderwerp en de populatie. De onderzoeker zal dit percentage in overleg met de afdeling veldwerk vooraf moeten schatten. Uit de te verwachten respons en het aantal benodigde observaties, volgt hoeveel mensen er in de populatie benaderd moeten worden. Dit is de grootte van de steekproef. Opnieuw een voorbeeld: wil men met een betrouwbaarheid van ± 7 % uitspraken doen, dan heeft men 240 observaties nodig . Verwacht men een respons van 50%, dan dient de steekproef 480 mogelijke respondenten te bevatten. Bij het trekken van de steekproef kiest men dit aantal mensen willekeurig uit de populatie.
7.1.2 Stratificatie van de steekproef Vaak wil een onderzoek niet alleen uitspraken doen over de hele populatie, maar ook over verschillende deelgroepen, zogenaamde subpopulaties . Zo komt het voor dat een onderzoek de gehele stad in kaart brengt, maar ook uitspraken over verschillende wijken wil doen. Ook voor de uitspraken over zo'n subpopulatie geldt dat de zekerheid van de uitspraak afhankelijk is van het aantal observaties uit de subpopulatie, waarover men de uitspraak doet. Omdat dit aantal in een subpopulatie altijd minder is dan van de gehele populatie, zijn uitspraken over subpopulaties altijd minder betrouwbaar. Als de subpopulaties in grootte verschillen en men trekt een willekeurige steekproef uit de populatie, dan zullen er slechts weinig observaties binnen de kleinste subpopu-
35
laties vallen en veel in de grootste. Dit heeft tot gevolg dat de betrouwbaarheid van de uitspraken over de kleine subpopulaties veel kleiner is in vergelijking tot grote subpopulaties . Dit probleem is op te lossen door uit iedere subpopulatie een steekproef van gelijke grootte te trekken, een zogenaamde gestratificeerde steekproef. Vervolgens is de betrouwbaarheid van de uitspraken voor iedere subpopulatie gelijk. Gevolg is echter dat de uitkomsten van de populatie zijn vertekend: van kleine subpopulaties zijn er in verhouding tot de grote subpopulaties te veel observaties. Wil men bij een gestratificeerde steekproef uitspraken over de populatie doen, dan zal men de invloed van de kleine subpopulatie in de schattingen voor de hele populatie moeten reduceren. Dit doet men door te wegen. Uit het voorafgaande mag duidelijk zijn dat de wijze waarop de steekproef voor het onderzoek is ingericht allerlei consequenties voor de verwerking van de resultaten heeft. De onderzoeker geeft aan welke uitspraken er uiteindelijk met de verworven gegevens gedaan moeten worden. Daaruit bepaalt de afdeling veldwerk bij monde van de databeheerder in overleg met de onderzoeker op welke wijze de steekproef wordt ingericht. Aangezien praktisch iedere enquête op een steekproef is gebaseerd, heeft de afdeling behoorlijk wat expertise en ervaring. Vervolgens geven de onderzoeker en de databeheerder aan de begeleidingscommissie een toelichting over de wijze waarop de steekproef is ingericht. Meestal levert de opdrachtgever de adressen van de hele populatie aan en de beschikbare aanvullende gegevens . De databeheerder trekt hier de steekproef uit. In uitzonderlijke gevallen levert de opdrachtgever niet de populatie, maar een steekproef aan.
7.2
NAW-gegevens
De respondenten worden telefonisch, schriftelijk of mondeling benaderd. Het lijkt een open deur, maar voor zo'n benadering is een bestand met naam, adres en woonplaats (NA W) gegevens van mogelijke respondenten nodig . Voor een telefonische enquête, en soms ook voor een mondelinge enquête zijn daarnaast telefoonnummers noodzakelijk, wat de behoefte aan NA W-gegevens niet wegneemt: bij telefonisch of mondeling enquêteren ontvangen mogelijke respondenten een brief, die het contact met de enquêteur aankondigt. De respondenten en de enquêteurs stellen een dergelijke aankondiging zeer op prijs en het verhoogt de respons. Vaak zijn de adressen via de opdrachtgever te achterhalen. In enkele gevallen huurt het OTB bestanden. Voor de aanlevering van de NA W-gegevens heeft de databeheerder direct contact met de opdrachtgever en de leverancier van de gegevens. Wanneer behalve de NA W-gegevens meer informatie over de mogelijke respondenten voorhanden is, is het handig om ook die gegevens op te vragen. Het koppelen van de afgenomen enquêtes aan deze gegevens biedt de mogelijkheid om de vragenlijst te beperken. Gegevens die al bekend zijn, hoeven niet opnieuw aan de respondenten gevraagd te worden. Daarnaast bieden extra gegevens de mogelijkheid om de uiteindelijke respons te analyseren.
36
,------------------------------------------------------------------------.-----
In sommige gevallen is er geen bestand op het juiste aggregatieniveau beschikbaar. In een onderzoek moeten bijvoorbeeld huishoudens benaderd worden, terwijl er slechts een bestand van inwoners voorradig is. Soms kan in zo'n geval de afdeling veldwerk de gegevens naar het gewenste niveau aggregeren . Dit betekent wel een uitbreiding van de werkzaamheden die met het trekken van de steekproef zijn gemoeid, hetgeen extra tijd en geld vergt. AI bij het begroten dient men dan ook rekening met deze werkzaamheden te houden . Maar niet alleen ten behoeve van de planning en de begroting dient aggregeren vooraf met de afdeling veldwerk te worden besproken: voor het aggregeren zijn meestal extra gegevens nodig die met het bestand geleverd dienen te worden.
7.2.1 NAW-verrijking Nadat de afdeling veldwerk de NA W-gegevens heeft ontvangen, controleert de databeheerder voor zover mogelijk de gegevens. Ervaring leert dat er veelvuldig zaken mis lopen in de aanlevering van NAW-gegevens. Het is weliswaar vervelend voor de afname te moeten constateren dat de NA W-gegevens fout zijn, het is echter nog onaangenamer om dit tijdens of na de afname te moeten constateren. Vaak bevatten de aangeleverde bestanden naast NA W ook andere gegevens over de mogelijke respondenten. Met behulp van deze gegevens kan de afdeling veldwerk soms controleren of de juiste gegevens verstrekt zijn. De afdeling veldwerk beschikt over programmatuur die adressen controleert. Dit programma onderzoekt of postcode en straatnaam danwel postcode en huisnummer overeenkomen. Foutieve combinaties worden opgespoord en waar mogelijk gecorrigeerd . Daarnaast kan zij een adressenlijst van postcodes voorzien . Mochten aan een bestand telefoonnummers ontbreken, dan kan de afdeling veldwerk er voor zorgen dat deze aan de NA W worden toegevoegd . Men dient dan wel over de namen van de mogelijke respondenten te beschikken. Voor aantallen tot 250 stuks schakelt de afdeling het secretariaat of uitzendkrachten in. Is het aantal hoger, dan besteedt de afdeling deze taak uit aan de DM-shop van PTT-Post in Rijswijk . Voor zowel zelf opzoeken als uitbesteden geldt dat dit een dure en tijdrovende zaak is.
7.3
Analyse van respons
Een gedeelte van de adressen zal tijdens het enquêteren onbruikbaar blijken. Dit kan twee oorzaken hebben. Ten eerste kan een respondent op het opgegeven adres of telefoonnummer onbereikbaar zijn. Bij een schriftelijke enquête kan het adres onjuist blijken: de woning is leeg , bestaat niet of de respondent is vertrokken. De desbetreffende vragenlijsten komen voor een gedeelte retour bij de afzender, een ander deel raakt zoek bij de verzending . Bij telefonische enquêtes kan er ook van alles mis gaan in de benadering: het adres heeft geen telefoonaansluiting of een geheim nummer, het telefoonnummer klopt niet, er wordt nooit opgenomen, het is steeds in gesprek, de enquêteur krijgt voortdurend een antwoordapparaat. Ook bij mondelinge enquêtes kan een respondent onbereikbaar blijken. Evenals bij een schriftelijke enquête kan het
37
--
adres niet bestaan, de woning leeg staan of de respondent zijn vertrokken. Op sommige adressen wordt nooit opengedaan. De tweede oorzaak waardoor een adres onbruikbaar blijkt, is weigering tot meewerking aan het onderzoek. Bij een schriftelijke enquête stuurt men de vragenlijst niet terug, bij een mondelinge of telefonische enquête zegt men tegen de enquêteur dat men niet wenst mee te doen. Beide vormen van non-respons kunnen de uitkomsten van het onderzoek vertekenen. Een juist onderzoek geeft daarom de omvang van de non-respons aan. De respons laat zich op twee manieren uitdrukken, waarbij men van bruto- en nettorespons spreekt. De brutorespons is het aantal afgenomen vragenlijsten gedeeld door het aantal adressen dat men heeft benaderd. Dit percentage geeft een algemeen beeld van de kwaliteit van de respons . De nettorespons is het aantal afgenomen enquêtes gedeeld door de som van dit aantal plus het aantal weigeringen. Dit getal zegt iets over de bereidwilligheid van respondenten om aan het onderzoek mee te werken. Kortom: een lage respons kan twee oorzaken hebben, de respondenten zijn onbereikbaar of weigeren hun medewerking. Met behulp van de bruto- en nettorespons is het mogelijk om de respons te onderzoeken en de oorzaken van een tegenvallende respons op te sporen. Een lage respons hoeft geen problemen voor de betrouwbaarheid van de uitspraken op te leveren, zolang het wel of niet afnemen van de vragenlijst maar een volledig willekeurig patroon vertoont. Soms is te bepalen of er sprake is van willekeurige of selectieve respons . Dit gebeurt door de kenmerken van de mensen in de populatie te vergelijken met de kenmerken van de mensen die aan de enquête hebben meegewerkt. Zijn de verschillen tussen de respondenten en de populatie statistisch significant, dan is er sprake van selectieve respons. Een dergelijke responsanalyse is alleen mogelijk als er informatie over een bepaald kenmerk van de gehele populatie en alle respondenten bekend is. Een voorbeeld verduidelijkt de analyse van de respons wellicht beter. Van een wijk is bekend dat 24% van de huishoudens uit één persoon bestaat, 5% is een gezin met één ouder, op 40 % van de adressen woont een tweepersoonshuishouden en de resterende 31 % wordt door traditionele gezinnen bewoont. Van de 300 ingevulde enquêtes is 10%, 3%, 48% en 39% door de respectievelijke huishoudens ingevuld. Een chikwadraat-toets toont voor deze waarden een significant verschil (X: =37.9, d.f. = 3, P < .05) en het is dan ook niet vol te houden dat de respondenten een willekeurige steekproef uit de populatie zijn. Bij een selectieve respons zullen de uitspraken over de populatie zijn vertekend. Weet men hoe de steekproef van de populatie verschilt, dan is het mogelijk om door de resultaten te wegen deze vervorming te corrigeren. Het kan helaas ook voorkomen dat er een selectieve respons heeft plaatsgevonden, maar dat de verschillen tussen steekproef en populatie niet zijn te achterhalen. Dit is bijvoorbeeld het geval als men wil weten hoeveel mensen er in een gemeente willen verhuizen, en er voornamelijk inwoners die willen verhuizen aan het onderzoek meedoen. Een hoge respons bij een kleine benaderde groep is dan ook te verkiezen boven een lage respons bij een grote groep,
38
zelfs als de eerste minder observaties oplevert en dus tot statistisch minder betrouwbare uitspraken leidt. In dat laatste geval is deze betrouwbaarheid tenminste aan te geven, in het eerste geval blijft de waarde van de uitspraken onduidelijk. Om een responsanalyse uit te voeren zijn gegevens over de populatie nodig, het liefst op hetzelfde observatieniveau als de enquêtegegevens. Dit is zeker van belang als men de respons ten aanzien van verschillende kenmerken wil analyseren en corrigeren. Zo zijn de gegevens dat 80 % van de adressen in een bepaalde populatie eengezinswoningen zijn en er 73 % koopwoningen staan, bruikbaar om de respons te analyseren. Het is nog interessanter om te weten hoe de verhouding meergezinskoopwoningen, meergezinshuurwoningen, eengezinskoopwoningen en eengezinshuurwoningen ligt. Een bestand met NA W-gegevens van de gehele populatie, dat ook nog eigendomsverhouding, woningtype of andere kenmerken van ieder adres geeft, biedt de meeste mogelijkheden. De databeheerder kan in de meeste gevallen extra gegevens bij de opdrachtgever achterhalen, hetzij op populatie-, subpopulatie- of adresniveau. In overleg met de onderzoeker voert de databeheerder een responsanalyse uit.
7.4
Wegen van een bestand
De gegevens die met behulp van een enquête zijn verzameld , kunnen het beeld van de populatie vertekenen. Deze misvorming van de werkelijkheid kent twee oorzaken. Allereerst kan de misvorming het gevolg zijn van de manier waarop de steekproef is getrokken. Een gestratificeerde steekproef biedt de mogelijkheid om met dezelfde betrouwbaarheid uitspraken over verschillende subpopulaties te doen, maar zonder wegen is het beeld dat van de populatie ontstaat vervormd, want de verschillende subpopulaties zijn onjuist binnen de populatie verdeeld . De tweede oorzaak van de misvorming van de werkelijkheid ontstaat in het geval van selectieve respons. Sommige groepen binnen de populatie werkten beter aan de enquête mee , zodat ze ten opzichte van de populatie in de enquête te veel voorkomen. Hun antwoorden komen dan meer in de resultaten tot uitdrukking, dan juist is . Voor beide oorzaken van misvorming van de gegevens bestaat één oplossing: het wegen van de gegevens. Dit betekent dat voor het bepalen van een verdeling in de populatie de verschillende observaties een ander gewicht krijgen toebedeeld . Observaties die te sterk in de gegevens zijn vertegenwoordigd dragen minder aan de bepaling van de verdeling bij, dan observaties waarvan het niet gewogen aandeel te laag ligt. Iedere observatie weegt in het eindresultaat zoveel mee, dat de verschillende subpopulaties op een juiste manier in de totale populatie gerepresenteerd zijn. Een correct uitgevoerd onderzoek bepaalt de gewichten in twee stappen. In de eerste stap herstelt men de vervorming die is ontstaan als gevolg van de wijze waarop de steekproef is getrokken. Dit levert gewichten op die voor de stratificatie corrigeren. Vervolgens voert men op dit gewogen bestand een responsanalyse uit en besluit men voor bepaalde kenmerken wel of niet te corrigeren. Deze correctie levert de uiteindelijke gewichten op.
39
De afdeling veldwerk, in het bijzonder de databeheerder bepaalt de gewichten als gevolg van de stratificatie, analyseert de respons en stelt naar aanleiding van de resultaten in overleg met de onderzoeker vast voor welke kenmerken men corrigeert. De kenmerken waartegen men de respons wil analyseren kunnen het beste zo vroeg mogelijk in het onderzoek worden vastgesteld. Soms is het mogelijk deze kenmerken aan de NA W-gegevens gekoppeld mee te leveren. Maar ook als het om gegevens op populatie- of subpopulatieniveau gaat, komt een vroege verwerving van deze gegevens de doorlooptijd van de responsanalyse ten goede. De databeheerder is verantwoordelijk voor de aanlevering van de kenmerken ten behoeve van de responsanalyse en beslist samen met de onderzoeker voor welke kenmerken er uiteindelijk wordt gecorrigeerd.
7.5
Gebruik van gewogen gegevens
Ofschoon het doel van wegen eenduidig is, namelijk het corrigeren van vervorming in de gegevens zodat de respondenten een willekeurige groep uit de populatie zijn, is het gebruik vaak minder eenduidig. Indien er sprake is van een gestratificeerde steekproef, is er binnen een bestand meestal sprake van verschillende gewichten. Welke van deze gewichten de onderzoeker bij de analyse moet gebruiken, is afhankelijk van de populatie of subpopulatie waarover men uitspraken doet. De naam en de beschrijving die de databeheerder aan het gewicht geeft, geeft aan voor welke populatie of subpopulatie het gewicht gebruikt moet worden. Wanneer een bestand gedurende de analyse wordt gewogen, wijken de aantallen observaties, zoals die in de analyse naar voren komen, af van de werkelijke hoeveelheid observaties . Het is mogelijk een bestand zo te wegen dat de analyses het totale aantal huishoudens in een gemeente laten zien, terwijl het bestand in werkelijkheid slechts een deel van die huishoudens, namelijk de geënquêteerde huishoudens beslaat. Men spreekt dan van een bestand dat naar aantallen van de populatie is opgehoogd. Voordeel van deze methode is dat men in één oogopslag een indruk krijgt van de omvang van de groep waarover men een uitspraak wil doen. Nadeel is dat het niet meer dan een schatting van deze omvang is, een schatting waarvan de betrouwbaarheid atbankelijk is van het werkelijke aantal observaties waarop de schatting is gebaseerd. Ter verduidelijking het volgende voorbeeld: uit een enquête onder 500 huishoudens moet blijken welk aandeel eenoudergezinnen er in een onderzoeksgemeente van een minimuminkomen of minder moeten rondkomen. Het opgehoogde bestand leert dat er onder de 14.243 huishouden in de gemeente zich 712 eenoudergezinnen bevinden. Van deze 712 eenoudergezinnen hebben 635, zijnde 89%, een minimuminkomen of minder. In werkelijkheid bevat het bestand 500 enquêtes, waarvan slechts 10 enquêtes door een eenoudergezin zijn ingevuld. De uitspraak dat 89% van de eenoudergezinnen een minimuminkomen of minder heeft, is dan ook een schatting van het werkelijke percentage in de gemeente, die slechts op 10 observaties is gebaseerd. Uit afbeelding 7.1 volgt, dat wanneer men bij 10 observaties een percentage van 89 % treft, men een percentage in de populatie tussen 63% en 99% kan verwachten. Het werkelijke aandeel huishoudens met een minimuminkomen of minder onder de eenoudergezinnen in
40
de gemeente zal tussen de 63 % en 99 % liggen. Deze brede marges steken schril af tegen het exact ogende aandeel van 89% gebaseerd op 712 observaties, welke men in het opgehoogde bestand vindt. Dit voorbeeld toont aan dat het ophogen tot aantallen in de populatie eenvoudig tot schattingen leidt, maar schijnbaar exacte cijfers oplevert, waarvan de betrouwbaarheid te wensen overlaat.
41
_ii_ --'"
l iJ
I I 111 I " I /til til [ 11181_
••
8 OPBOUW V AN EEN VRAGENLIJST
8.1
Van concept naar enquêtevraag
Uit de onderzoeksvraag volgt de vragenlijst. Toch volgt het één niet logisch uit het andere, omdat beide zich op verschillende niveaus van abstractie afspelen: de onderzoeksvraag is zeer abstract, een goede vragenlijst bevat slechts concrete vragen. De vragenlijst is een operationalisatie van de hele onderzoeksvraag of een deel daarvan. Het operationaliseren van de onderzoeksvraag is een belangrijke stap: als gevolg van het verschil in abstractie bestaat er geen een-op-een-relatie tussen onderzoeksvraag en vragenlijst. Als de onderzoeker besluit om de respondenten de onderzoeksvraag voor te leggen, is er altijd discussie mogelijk of de antwoorden op de vragenlijst wel tot de beantwoording van de onderzoeksvraag leiden. Het is daarom aan te bevelen om de onderzoeksvraag in stappen tot een vragenlijst te concretiseren. Dit houdt de relatie tussen onderzoeksvraag en vragenlijst helder en leidt tot een gestructureerde lijst. Slechts een gestructureerde lijst biedt de mogelijkheid om aan iedere respondent de juiste vragen voor te leggen. Voorts helpt een gestructureerde vragenlijst bij het ordenen van het antwoord op de onderzoeksvraag . Aangezien het bovenstaande abstract en voor sommigen wellicht cryptisch aandoet, volgt een beschouwing van het ontwerp van een algemeen bekend meetinstrument: een examen voor de middelbare school. Uiteraard zijn er veel verschillen tussen een eindexamen en een vragenlijst, maar de overeenkomsten kunnen het ontwerp van een vragenlijst verder verduidelijken. Evenals de ontwikkelaar van een vragenlijst proberen de ontwikkelaars van een examen iets te meten. In het geval van een eindexamen is dat meestal een ontwikkelingsniveau van de leerling. Toch geven de antwoorden van de kandidaten op een specifieke vraag maar heel beperkte informatie over hun ontwikkelingsniveau. Zal een kandidaat die de vraag 410g 19/ 310g 19 juist beantwoordt ook de volgende vragen juist beantwoorden: Hoe hoog staat een satelliet met een geostationaire baan? Wat is het Leitmotiv in Goethe's oeuvre? Hoe kan een minister een conceptwet, die door de senaat is weggestemd toch kracht van wet geven? Welke factoren beïnvloeden osmose? Wie was de auteur van het eerste Nederlandse sonnet? Eigenlijk willen ontwikkelaars van een eindexamen in het geheel niet weten of kandidaten in staat zijn de specifieke vragen juist te beantwoorden. Als dat het doel van het 43
examen was, dan kon het curriculum zich beperken tot de antwoorden op die specifieke vragen. Men is geïnteresseerd in een abstract concept, in dit geval het ontwikkelingsniveau. Het goed of fout beantwoorden van specifieke vragen kan daar een aardige indicator voor zijn, maar een antwoord kan ook het gevolg zijn van vaardigheid in spieken, slechte ogen met bijbehorende leesproblemen, geluk met gokken, faalangst en vele andere factoren. Deze factoren probeert men op verschillende manieren te bedwingen: surveillance gedurende de afname, medische controle, verschillende vragen in verschillende vormen, verscheidene schoolonderzoeken in plaats van één eindexamen enzovoorts. Ook bij het ontwikkelen van een vragenlijst is men nooit geïnteresseerd in de antwoorden op de vragen op zich. De antwoorden zijn 'slechts' indicatoren van achterliggende concepten, analoog aan het concept ontwikkelingsniveau bij een eindexamen. Er zijn verschillende factoren die het antwoord op een vraag kunnen beïnvloeden, zoals de formulering van de vraag, het doel van het onderzoek, de vraagvorm, de sociale wenselijkheid, de volgorde van de vragen, het geheugen van de respondent en de toegang tot de gevraagde informatie. De ontwikkelaar en de onderzoeker zullen zich rekenschap moeten geven van de vele factoren die de uiteindelijke antwoorden kunnen beïnvloeden. Slechts één daarvan is het concept dat men wil meten. Extra moeilijkheid bij het gebruik van vragenlijsten is het feit dat uit het antwoord op een vraag niet direct te zien is of de vraag correct beantwoord is in tegenstelling tot de vraag in een eindexamen. De vergelijking van een eindexamen met een vragenlijst is ook te gebruiken om het proces van de ontwikkeling van een vragenlijst te verduidelijken. De ontwikkelaars van examens willen het concept ontwikkelingsniveau bij kandidaten meten, gelijk een onderzoeker ter beantwoording van zijn onderzoeksvraag een ander abstract concept wil meten. De weg van ontwikkelingsniveau naar uiteindelijke examenvraag is lang en kan niet in één stap worden afgelegd. Een mogelijke weg is in tabel 8.1 uitgewerkt. Bovenaan staat de onderzoeksvraag: Wat is het ontwikkelingsniveau van de kandidaat? Omdat het concept ontwikkelingsniveau te abstract is, besluit men het op te splitsen in een drietal deelontwikkelingen: taalontwikkeling, getalsbesef en feitenkennis. Of deze opsplitsing correct en zinvol is, staat open voor debat: wat is de betekenis van deze nieuwe, concretere concepten, waar liggen de scheidslijnen en waarom zijn bepaalde vormen van ontwikkeling, zoals lichamelijke en emotionele ontwikkeling niet meegenomen? Waarom de introductie van het concept feitenkennis? Wat bedoelt men eigenlijk met getalsontwikkeling? De vaagheid van deze concepten is verder te verduidelijken en toe te spitsen in een volgende stap. Tabel 8.1 onderscheidt voor taalontwikkeling de talen Nederlands, Frans, Duits, Engels, Latijn en Spaans. Getalsbesef wordt onderverdeeld in scheikunde, wiskunde natuurkunde en biologie . Geschiedenis en aardrijkskunde komen in de tabel naar voren als vormen van feitenkennis . Ook over deze stap, zoals bij elke stap op weg naar een concreet meetbaar ontwikkelingsniveau is discussie mogelijk. Uiteindelijk zijn twee wegen naar een concrete vraag voor een eindexamen uitgewerkt. Iedere stap in de richting van de uiteindelijke vraag is een beslissing en staat
44
Tabel 8.1
Operationalisatie van ontwikkelingsniveau
Ontwikkelingsniveau a. taalontwikkeling nederlands frans duits engels latijn spaans b. getalsbesef scheikunde wiskunde natuurkunde astrofysica elektrostatica mechanica krachten momenten aantrekkingskracht gravitatieconstante Hoe hoog staat een satelliet in een geostationaire baan? De zwaartekracht op de maan bedraagt één zesde van de aardse zwaartekracht. Wat is de afstand tussen de aarde en de maan? thermodynamica biologie c. feitenkennis geschiedenis aardrij kskunde
open voor discussie. Ontwikkelingsniveau, getalsbesef, natuurkunde, mechanica, aantrekkingskracht, de gravitatieconstante leidt uiteindelijk tot twee mogelijke vragen die begrip van dit concept meten, te weten: "Hoe hoog staat een satelliet met een geostationaire baan?" en "De zwaartekracht op de maan bedraagt één zesde van de aardse zwaartekracht. Wat is de afstand tussen de aarde en de maan?" Het zal duidelijk zijn dat de uiteindelijke vragen slechts twee van de vele mogelijke vragen zijn . In die context spreekt men wel van een universum van vragen. Evenals de respondenten een steekproef zijn uit de populatie, zijn de gebruikte vragen een steekproef uit het universum van mogelijke vragen. In tabel 8.2 is de onderzoeksvraag verandert in "Hoe ziet de woningmarkt van gemeente X eruit?". Bij deze onderzoeksopzet is gekozen om de vraag voor het verleden, heden en de toekomst te beantwoorden. Vervolgens is het begrip woningmarkt
45
opgesplitst in woningvoorraad en inwoners, die samen de woningmarkt bepalen. Deze uitwerking beschrijft het concept woningvoorraad vervolgens in termen van eigendomsverhouding, woningtype, woninggrootte en bouwjaar. In de tabel is het concept eigendomsverhouding verder getypeerd in termen van woonlasten, een concept dat voor koopwoningen uiteenvalt in hypotheekvorm, rentepercentage en servicekosten. Uiteindelijk komt men via rentepercentage en belastingaftrek tot de vraag: "Krijgt u de belastingaftrek van betaalde hypotheekrente maandelijks via een zogenaamde voorheffing uitbetaald of ontvangt u eenmaal per jaar een bedrag van de belastingdienst ?". Of deze vraag voor het beantwoorden van de onderzoeksvraag relevant is, blijft te bezien, de manier waarop men tot de vraag is gekomen mag duidelijk zijn. Evenals bij een vraag binnen het eindexamen is het antwoord op deze specifieke vraag nauwelijks interessant. De vraag is slechts één van alle mogelijke vragen, die men in het kader van een woningmarktonderzoek zou kunnen stellen. Had men de vraag anders geformuleerd dan waren de antwoorden ook anders geweest. Daarnaast zou men het bovenliggende concept ook met een heel andere vraag kunnen meten, wat ongetwijfeld tot andere antwoorden zou leiden. Pas binnen de context en de structuur van de vragenlijst heeft de afzonderlijke vraag een functie en verwijst het naar zijn bovenliggende concepten en daarmee uiteindelijk naar de onderzoeksvraag. Het is dan ook niet voor te stellen dat men één vraag zomaar van de ene vragenlijst naar de andere kopieert: de vraag verliest iedere referentie. Dit geldt minder voor de concepten, die hoger in de hiërarchie van het model in tabel 8.2 staan. Door hun hogere abstractie zijn ze universeler. Wil men binnen een ander onderzoek woninggrootte meten, dan kan men deze tak met alle onderliggende concepten en vragen overnemen, waarbij men zich wel moet afvragen of de eerder gekozen onderliggende concepten en de vragen die daaruit volgen wel relevantie voor het nieuwe onderzoek hebben. Natuurlijk is dit in eerste instantie waar voor het hoogste concept, de onderzoeksvraag en kan men de onderzoeksvraag en zijn uitwerking in een ander onderzoek met een gelijkluidende onderzoeksvraag opnieuw gebruiken. Maar altijd zal het model enige wijziging behoeven. Hoe hoger een wijziging in de hierarchie van het model zit, des te ingrijpender de uiteindelijke wijziging is. Veelvuldig gebruik van dezelfde concepten met onderliggende vragen, biedt de mogelijkheid tot verdere ontwikkeling van het concept en de relaties met de vragen. De vragen hebben tot doel het bovengelegen concept te meten, maar de gegeven antwoorden zijn het gevolg van verschillende factoren, waarvan het bovengelegen concept er hopelijk één is. In hoeverre dit werkelijk het geval is, blijkt wanneer men de validiteit van de vragen onderzoekt. Onderzoek naar de validiteit van vragen wordt bij regelmatig gebruik van dezelfde concepten prangend. Ontwikkeling van een vragenlijst op de beschreven manier leidt als vanzelf tot een gestructureerde vragenlijst, die voor het enquêteren bruikbaar is. Daarbij heeft een gestructureerde lijst twee andere voordelen. Allereerst helpt de structuur om op een heldere manier over de onderzoeksvraag na te denken. De hiërarchische structuur geeft aan welke interpretaties van de onderzoeksvraag zijn opgenomen en welke niet, zodat vanaf het begin helder is op welke wijze men de onderzoeksvraag tracht te beantwoorden. Dit bevordert een inhoudelijke discussie die men beter bij de ontwikkeling van de
46
Tabel 8.2
Operationalisatie van de woningmarkt
Hoe ziet de woningmarkt van gemeente X eruit? a. verleden woningvoorraad eigendomsverhouding woonlasten hypotheekvorm rentepercentage belastingvoordeel Kreeg u de belastingaftrek van betaalde hypotheekrente maandelijks via een zogenaamde voorheffing uitbetaald of ontving u eenmaal per jaar een bedrag van de belastingdienst? servicekosten woningtype woninggrootte kaveloppervlakte inhoud leefoppervlakte aantal kamers bouwjaar inwoners huishoudens b. heden c. toekomst
vragenlijst in het beginstadium van het onderzoek kan voeren dan op het ogenblik van de data-analyse of rapportage. De hiërarchische structuur maakt ook direct duidelijk wat het gevolg van eventuele wijzigingen is . Ten tweede biedt een dergelijke structuur de mogelijkheid om voor de vragenlijst een invoerprogramma te schrijven. Met name bij telefonische enquêtes geldt dat het aantal condities waaronder een bepaalde respondent een bepaalde vraag krijgt voorgelegd oploopt. Veelvuldig moet de programmeur daarbij informatie uit eerdere vragen combineren. Een ongestructureerde vragenlijst levert een ongestructureerd programma op, hetgeen de kans op fouten vergroot en de mogelijkheid voor revisie verkleint. Een gestructureerde vragenlijst leidt daarmee tot een betere vragenlijst, die fatsoenlijk is af te nemen en die uiteindelijk gegevens van een betere kwaliteit oplevert.
8.2
De vorm van de vraag
Grofweg bestaan er twee vraagvormen, open en gesloten vragen, elk met eigen merites en hiaten. Hierna volgt een aantal overwegingen die een rol spelen bij de keuze voor een bepaalde vraagvorm. Het wetenschappelijke debat over het gebruik van open
47
en gesloten vragen is een stuk genuanceerder dan de onderstaande tekst wellicht doet geloven. Een gesloten vraag reikt de respondent een aantal mogelijke antwoorden aan. Dit maakt de gesloten vraagvorm suggestief: een gesloten vraag dwingt de respondent tot een keuze uit de aangeboden antwoorden, de alternatieven. Tegelijkertijd lijken de antwoorden op gesloten vragen eenduidiger: het is voor respondenten duidelijk wat voor soort antwoord de onderzoeker verwacht. Daarmee zijn de antwoorden, die verschillende respondenten op één vraag geven, eenvoudig met elkaar te vergelijken en gemakkelijk te verwerken. Aangezien respondenten slechts hun keuze kenbaar hoeven te maken, betekent het beantwoorden van gesloten vragen voor hen een geringe mentale belasting. Gesloten vragen zijn voor de respondent prettig te beantwoorden. Tegelijkertijd beperken de alternatieven de mogelijke antwoorden en hebben ze een effect op de gegeven antwoorden: alternatieven die men aanbiedt, worden gekozen, wat men niet aanbiedt niet. De enige manier waarop de respondent op een gesloten vraag een afwijkend antwoord kan geven is door de vraag niet te beantwoorden. Vragen die respondenten veelvuldig open laten of met 'weet niet' beantwoorden moet men dan ook wantrouwen. De ervaring leert dat respondenten gesloten vragen zelden voorzien van zelf geformuleerde antwoorden. Tevens is het is voor respondenten erg makkelijk een acceptabel antwoord te geven, ook wanneer zij het antwoord eigenlijk schuldig moeten blijven. Dit zogenaamde mental coin flipping geeft gesloten vragen een lagere validiteit. De genoemde problemen van gesloten vragen zijn gedeeltelijk in te perken door de alternatieven uitputtend en uitsluitend te maken. Slechts wanneer de alternatieven uitputtend zijn kunnen alle respondenten hun antwoorden kwijt. Alleen elkaar uitsluitende alternatieven leiden tot eenduidige antwoorden. Overlap in de alternatieven brengen respondenten in twijfel over het te geven antwoord. Open vragen verlangen van de respondenten dat ze zelf hun antwoorden formuleren. Dit betekent een hoge mentale belasting, resulterend in een groot aandeel onbeantwoorde vragen. De antwoorden hebben een grotere validiteit dan antwoorden op gesloten vragen. Tegelijkertijd zijn de antwoorden op open vragen vaak niet eenduidig, geven respondenten antwoord op verschillende niveaus van abstractie en is het moeilijk de antwoorden van verschillende respondenten samen te voegen. De verwerking van open vragen verloopt moeizaam en is tijdrovend. Omdat het antwoord op een open vraag zelden is te voorzien (anders zou men voor de gesloten vorm kunnen kiezen), bemoeilijken open vragen het structureren van een vragenlijst (Converse en Presser, 1986). Het voorgaande betekent niet dat open vragen voor enquêtes onbruikbaar zijn. Ze hebben wel degelijk een functie, namelijk als kwaliteitsmeter van de vragenlijst. Het is een goede gewoonte om na een blokje van gesloten vragen over een bepaald onderwerp, één open vraag op te nemen. Deze biedt respondenten de mogelijkheid om de eigen situatie te verduidelijken. Zo kunnen respondenten aangeven waarin hun situatie verschilt van de situatie die de voorafgaande gesloten vragen veronderstellen. Uit de antwoorden op de open vragen blijkt of respondenten zich in de gesloten vragen kunnen vinden, wat iets over de kwaliteit van de gesloten vragen zegt.
48
,..
- - - -- --
_ ._
~ -
-----
~.
- - - - - --
Er is al besproken hoe bij een gesloten vraag de aangeboden antwoorden het gegeven antwoord beïnvloeden. Antwoorden, die men niet aanbiedt maar wel impliciet mogelijk acht, zullen respondenten minder vaak noemen, dan wanneer het antwoord als mogelijk alternatief wordt aangedragen. Uiteraard geldt voor iedere vraag dat het antwoord 'weet niet' een mogelijk antwoord is. Opname van dit antwoord in de lijst van mogelijke alternatieven betekent dat het aandeel respondenten dat voor dit antwoord kiest met zo'n 8% toeneemt. Men kan dit effect verder uitbreiden door voorafgaand aan de werkelijke vraag, de respondenten eerst te vragen of zij een vraag over dit onderwerp kunnen beantwoorden en vervolgens pas de vraag te stellen. Het aandeel respondenten dat dan met ' weet niet' antwoordt, ligt dan rond de 22 % hoger dan bij de vraag die dit antwoord volledig impliciet houdt. Uit dit alles blijkt dat de vorm van de vraag het antwoord beïnvloedt. De vraag welke situatie men voor welke oplossing dient te kiezen, is niet eenduidig te beantwoorden, omdat de oorzaken van de geschetste effecten niet duidelijk zijn. Uiteraard hebben de effecten gevolgen voor de gevonden resultaten, die men door middel van een enquête vindt en dus voor de validiteit waarmee de vraag het concept meet. Daarmee is nogmaals aangegeven dat het gebruik van één vraag als enige operationalisatie van een concept sterk is af te raden.
8.3
De inhoud van de vraag
De inhoud van een vraag kan op vele manieren het antwoord beïnvloeden. Ondanks de talloze voorbeelden van dit fenomeen, ontbreekt een verklarende theorie. Van der Pligt en De Vries (1995) geven een aardige inleiding over een aantal pogingen voor zo'n verklaring. Het navolgende is niet meer dan een beperkte opsomming van factoren die een rol spelen. Aan bod komen : het geheugen, cognitieve dissonantie en suggestieve vragen. Een vraag kan proberen een feit te achterhalen of kan naar de mening van een respondent vragen. Daarmee zijn vragen te classificeren naar feiten en meningen. De inhoud heeft invloed op de validiteit van de antwoorden en legt restricties op aan datgene wat een vraag kan achterhalen. Ten aanzien van vragen over feiten het volgende. Het geheugen is de bron waarmee respondenten de meeste vragen beantwoorden. Gebruik van andere bronnen, zoals documenten, is tijdrovender en leidt tot een hogere belasting van de respondent. Bij een mondelinge enquête kan de enquêteur de respondent aansporen de antwoorden van vragen op te zoeken. Een schriftelijke enquête kan aan de respondent hetzelfde vragen, maar deze behoudt natuurlijk de vrijheid om dit verzoek te negeren, zonder dat de onderzoeker daar iets van merkt. Neemt de enquêteur de vragen telefonisch af, dan neemt het opzoeken meestal te veel tijd in beslag . Men zal in een telefonische enquête genoegen moeten nemen met de vertekende informatie uit het geheugen van de respondent.
49
- - - - - - - - - --
--- - - - - -
-----~~~- -
-~
-
-
-I
Een opvallend verschijnsel van het geheugen is het telescopisch effect: een ingrijpend voorval ervaren mensen als meer recent dan minder belangrijke gebeurtenissen (Sikkel, 1987; Van der Vaart, 1996). De vragen: 'Hoe vaak bent u in de laatste tien jaar verhuisd?' en 'Hoe vaak heeft u in de laatste tien jaar uw woonkamer geverfd?' gaan formeel gesproken wel over dezelfde periode van tien jaar, maar bij het beantwoorden van de eerste vraag zullen respondenten een groter tijdvak evalueren dan bij de tweede vraag, omdat voor hen een verhuizing een meer ingrijpende gebeurtenis is dan het verven van de woonkamer. Voor veel respondenten is een verhuizing daarom meer recent dan een nieuw geverfde woonkamer. Het geheugen heeft problemen met het reproduceren van feiten. De problemen zijn nog groter wanneer respondenten zich een oude mening uit het verleden moeten herinneren. In het algemeen zullen zij hun oude mening zo verdraaien dat deze in overeenstemming is met hun huidige mening. Met andere woorden: als men respondenten naar hun vroegere mening vraagt, geven zij hun huidige mening. Vragenlijsten kunnen dan ook alleen de mening achterhalen zoals die op het moment van afname is. Het feit dat respondenten tegenstrijdigheden in hun mening, zogenaamde cognitieve dissonantie, proberen op te lossen, betekent soms dat de volgorde van de vragen hun antwoorden beïnvloedt. Zo kregen Schuman en Presser (1981) verschillende antwoorden op de vragen:
Do you think the United States should let Communist newspaper reporters from other countries come in here and send back to the papers the news as they see it? Do you think a communist country like Russia should let American newspaper reporters come in and send back to America the news as they see it? Op het ogenblik dat respondenten de eerste vraag negatief beantwoorden, zijn ze ook meer geneigd om de tweede vraag ontkennend te beantwoorden. Stelt men eerst de tweede vraag en daarna de eerste aan Amerikaanse respondenten dan blijkt een veel grotere groep voorstander van persvrijheid te zijn. Eenmaal geconfronteerd met de resultaten zullen veel onderzoekers dit voorbeeld zeer vanzelfsprekend vinden, een andere vorm van cognitieve dissonantie. De verschillen in de antwoorden zijn enorm: 36% meer persvrijheid voor communistische reporters in Amerika als men de volgorde van de hiervoor geformuleerde vragen omdraait. Maar dergelijke problemen doen zich ook op kleinere schaal bij minder evidente vragen voor. Bij het ontwerp van een vragenlijst moet men zich altijd afvragen hoe de inhoud en de antwoorden op eerdere vragen, de antwoorden op latere vragen kunnen beïnvloeden.
8.4
De tekst van de vraag
Een vraag is opgebouwd uit woorden, die geen een-op-een-relatie met de werkelijkheid hebben. Men zal bij de formulering van een vraag dan ook de woorden zo moe-
50
ten kiezen dat de betekenis van de vraag duidelijk is. Daarbij bestaat de neiging om jargon te gebruiken. Jargon heeft namelijk een veel nauwkeuriger betekenis dan alledaagse woorden, die vaak een veelheid van betekenissen kennen. Vaktaal heeft echter als nadeel dat het slechts voor ingewijden begrijpelijk is . De beginnende ontwikkelaar van vragenlijsten ziet zich vaak gesteld voor de afweging tussen een exacte ontoegankelijke vraag en een begrijpelijke ambigue vraag. De 'kunst' bij het schrijven van vragenlijsten bestaat er uit om met behulp van eenvoudige woorden nauwkeurige vragen te formuleren. De woorden waaruit een vraag is opgebouwd zijn afhankelijk van het type enquête. Er is al eerder gewezen op verschillen in mentale belasting van de respondent bij een mondelinge, telefonische en schriftelijke enquête. Bij een telefonische enquête krijgen de respondenten de vraag te horen. Betreft het een gesloten vraag dan omvat de vraag de mogelijke antwoorden, waaruit de respondenten moeten kiezen. Om deze keuze te kunnen maken zullen zij zich de aangeboden antwoorden moeten herinneren, wat ze slechts in beperkte mate kunnen. Psychologisch onderzoek heeft uitgewezen dat mensen slechts vijf tot negen antwoorden voor korte tijd kunnen onthouden, welk aantal per respondent verschilt. Om er zeker van te zijn dat iedere respondent uit dezelfde antwoorden kiest, zal men in een gesloten vraag van een telefonische enquête dan ook nooit meer dan vijf antwoorden formuleren . Deze beperking van het kortetermijngeheugen wordt vaak gezien als oorzaak voor de verschillen in antwoorden die ontstaan als men de antwoorden in een andere volgorde aan de respondenten aanbiedt. Omdat de respondenten zich met name de laatst genoemde antwoorden herinneren, zullen ze geneigd zijn om die antwoorden te kiezen, met als gevolg dat wanneer de volgorde van de antwoorden verandert, ook de antwoorden van de respondenten veranderen. Ook de eerste antwoorden uit een lijst zullen respondenten zich beter herinneren dan antwoorden die in het midden van de lijst staan. Ofschoon dit effect kleiner is dan voor de laatste antwoorden, hebben deze antwoorden ook een grotere kans om door de respondenten genoemd te worden . Bij een schriftelijke enquête spelen deze problemen minder. Respondenten kunnen de antwoorden nogmaals tot zich nemen . Dit leidt ertoe dat schriftelijke vragen meer informatie kunnen bevatten dan telefonische vragen: voor één schriftelijke vraag heeft men vaak verschillende vragen in een telefonische enquête nodig. Om te bevorderen dat respondenten de aan te kruisen antwoorden lezen, neemt men ze niet in de formulering van de vraag op. Afbeelding 8.1 en 8.2 illustreren dit verschil. Waar in een schriftelijke enquête één vraag voldoende is om de samenstelling van het huishouden te bepalen, zijn daar in een telefonische enquête vijf verschillende vragen voor nodig en krijgen respondenten afhankelijk van hun situatie tot maximaal drie vragen voorgelegd. Dit voorbeeld maakt eveneens duidelijk dat bij een telefonische enquête de tekst meer per situatie zal verschillen. Wonen er twee personen in de woning, dan luidt de vervolgvraag: "Is de ander uw partner?" , terwijl bij meer dan twee personen de vraag volgt: "Is één van deze personen uw partner?". Al is een dergelijke constructie ook bij schriftelijke enquêtes mogelijk, hier zal men er eerder van afzien: veel respondenten hebben moeite met de
51
lI benodigde verwijzingen en een toename van het aantal vragen leidt tot een omvangrijkere vragenlijst en daarmee tot een lagere respons.
Afbeelding 8.1
I.
Samenstelling van het huishouden, schriftelijke variant
Wat is de samenstelling van uw huishouden?
0 ALLEENSTAANDE ZONDER KINDEREN 0 ALLEENSTAANDE MET ÉÉN OF MEER INWONENDE KINDEREN
0 TWEE OF MEER VOLWASSENEN ZONDER KINDEREN 0 TWEE OF MEER VOLWASSE NEN MET ÉÉN OF MEER KINDEREN
52
Afbeelding 8.2 Samenstelling van het huishouden, telefonische variant
Hoeveel personen wonen er in uw woning?
nee
nee
uw partner?
Hoeveel bewoners jonger dan 18 jaar?
zijn
nee
ia klaar
53
9
ENQUÊTEREN MET COMPUTERS
9.1
Inleiding
Sinds de jaren tachtig neemt het gebruik van computers als hulpmiddel bij enquêteren toe. De postmoderne personal computer biedt meer mogelijkheden dan het traditionele papier, zodat steeds meer vormen van enquêteren gebruik maken van computers. Aanvankelijk wordt de PC alleen gebruikt om op papier verzamelde gegevens te verwerken. Daartoe moeten de gegevens eerst worden gedigitaliseerd, wat met behulp van een speciaal programma een stuk eenvoudiger is dan met een standaard 'tekstverwerker'. Daarmee is Computer Assisted Data Entry, kortweg CADE geboren. Deze programma's zijn zo krachtig, dat het niet meer noodzakelijk is om bij een telefonische enquête de vragen eerst op papier te beantwoorden. Enquêteurs voeren de gegevens direct in, de computer toont de opeenvolgende vragen. Deze vorm krijgt de term Computer Assisted Telephone lnterviewing (CA TI). Nieuwere computers worden kleiner en compacter, draagbaar, zodat ook het papier bij mondeling enquêteren plaats maakt voor Computer Assisted Personallnterviewing (CAPI) . Op het ogenblik gaat de automatisering verder door en worden ook al schriftelijke enquêtes direct op een PC afgenomen. Omdat de PC nog niet voor iedereen even vertrouwd is als de pen en het papier, is deze vorm met de naam Computer Assisted Selfadminlstered lnterviewing (CASI) slechts bij specifieke doelgroepen mogelijk en staat de ontwikkeling ervan nog in de kinderschoenen. Het OTB gebruikt CA TI en voor schriftelijke en mondelinge enquêtes CADE. Ontegenzeglijk biedt de PC veel meer mogelijkheden dan pen-en-papiermethoden (Pen And Paper Interviewing, afgekort PAPI) (Sar is 1991). Tegelijkertijd zijn de eisen die een computerversie aan een vragenlijst stelt dwingender dan bij PAPI. Het navolgende heeft als doel de mogelijkheden en eisen op een rij te zetten.
9.2
Programmeren van een vragenlijst
Een gestructureerde vragenlijst is meer dan een aantal vragen achter elkaar. Dit zal de programmeur met name ervaren op het ogenblik dat hij of zij van een vragenlijst een invoerprogramma maakt. Enquêtes op het OTB gebruiken software, die speciaal voor het enquêteren is ontwikkeld: BLAISE, een product van het Centraal Bureau voor de
55
Statistiek. Deze progranuneertaal verwacht een bepaalde structuur van een vragenlijst, legt deze structuur haast dwingend op, met als gevolg dat minder gestructureerde vragenlijsten niet in BLAISE zijn te implementeren. Dat is januner voor deze vragenlijsten, tegelijkertijd levert een gestructureerde vragenlijst kwalitatief betere data. Een BLAISE progranuna kent de volgende hoofdstructuur: definitie van de vragen, volgorde van de vragen en controle van de antwoorden. De BLAISE progranuneur formaliseert deze aspecten in het invoerprogramma.
9.2.1 Definitie van de vragen leder invoerprogranuna begint met de definitie van de vragen. Deze definitie omvat de vraagtekst en een definitie van de mogelijke antwoorden. De vraagtekst verschijnt op het beeldscherm op het ogenblik dat de vraag wordt gesteld. In het algemeen ligt de tekst vast. BLAISE biedt echter de mogelijkheid om de vraagtekst afhankelijk van de context te wijzigen. Een voorbeeld: De vraag "Wilt u in een twee-onder-één-kapwoning, een vrijstaand huis of huis in een rij wonen?" gaat vooraf aan de vraag "Hoeveel kamers wilt u in uw < gekozen woning> hebben?". Afhankelijk van het antwoord op de eerste vraag kan het programma op de plaats van
het antwoord uit de eerste vraag, dat wil zeggen 'twee-onderéén-kapwoning', 'vrijstaand huis' of 'huis in een rij' invullen. Theoretisch kan men voor alle vragen die door combinaties ontstaan, vooraf vragen formuleren . In het geval van het voorbeeld zouden er drie vragen ontstaan, één voor de twee-onder-één-kapwoning, één voor het vrijstaande huis en één voor 'huis in een rij'. In de praktijk blijkt het veel eenvoudiger om de tekst van de vraag te wijzigen. Het stukje tekst dat naar aanleiding van de vraag automatisch wordt ingevuld hoeft niet een antwoord op een voorafgaande vraag te zijn. Laat men de respondent bijvoorbeeld uit de lijst: twee-onder-één-kapwoning, flat, vrijstaand huis, bovenwoning, benedenwoning of huis in een rij kiezen, dan zou een vervolgvraag kunnen zijn "Hoeveel kamers wilt u in uw < gekozen woningtype > hebben?", waarbij op de plaats < gekozen woningtype > de tekst eengezinswoning of meergezinswoning verschijnt, afhankelijk van het gekozen type. Het mag duidelijk zijn dat dit voorbeeld hypothetisch is, omdat aan de gebruikte woorden bezwaren kleven . Naast de vraag dient men ook de mogelijke antwoorden op een vraag aan te geven. BLAISE staat daarbij grofweg drie soorten antwoorden toe: open, numeriek gesloten en categorisch. Het antwoord op een open vraag kan uit alle letters en cijfers bestaan en kan dus een stukje tekst zijn. De programmeur dient wel vooraf aan te geven hoeveel karakters er maximaal ingevoerd mogen worden. Op een numeriek gesloten vraag kan men alleen met cijfers antwoorden. BLAISE wil vooraf weten binnen welke grenzen antwoorden mogelijk zijn. Zo kan men bij een vraag naar de leeftijd aangeven dat het antwoord tussen 18 en 95 moet liggen. Bij iedere andere invoer meldt het programma een foute invoer, wat de hoeveelheid tikfouten inperkt. In de meeste gevallen zijn de antwoorden op een vraag categorisch: de vraag biedt de respondent een aantal alternatieven aan, waaruit die er één of meer moet kiezen.
56
BLAISE duidt de verschillende categorieën met cijfers aan en verwacht als antwoord een cijfer. Het programma biedt tevens de mogelijkheid om verschillende antwoorden te geven, zoals bijvoorbeeld in de vraag "In welke van de volgende woningen wilt u wonen: een twee-onder-één kapwoning, een vrijstaand huis, een huis in een rij?". Bij een dergelijke meerkeuzevraag verwacht BLAISE wel dat de programmeur vooraf het maximaal aantal antwoorden specificeert. Standaard kan men alle vragen beantwoorden met "weigert" of "weet niet". Deze antwoorden zijn op iedere vraag toegestaan, tenzij de programmeur ze nadrukkelijk verbiedt. Daarnaast kan men bij iedere vraag een opmerking plaatsen. Het aantal mogelijkheden met deze genoemde definities voor vragen is enorm en voor veel vragenlijsten toereikend. Dit neemt niet weg dat er beperkingen zijn, die de programmeur wel op de één of ander manier kan ondervangen, maar die meer inspanning vergen. Zo bestaan sommige vragen uit een mengvorm, die onder de aangedragen categorieën één open categorie kent: 'namelijk, anders ..... ', waarbij de respondent op de puntjes het antwoord invult. Zo'n vraag is in het programma slechts als twee vragen te implementeren. Lastig te programmeren zijn bovendien in te vullen tabellen die veranderen in waslijsten van vragen en als respondenten alternatieven in een rangorde moeten plaatsen. Ook het veranderen van de volgorde van de alternatieven, een veel gebruikte methode om effecten op de antwoorden als gevolg van de volgorde van de alternatieven te onderzoeken en te bestrijden, heeft behoorlijk wat voeten in aarde .
9.2.2 Volgorde van vragen Nadat de vragen zijn gedefinieerd, geeft de programmeur aan in welke volgorde de vragen gesteld moeten worden. Dit klinkt eenvoudiger dan het in werkelijkheid is. Afhankelijk van antwoorden op voorafgaande vragen, zullen verschillende vragen voor een bepaalde respondent irrelevant zijn. De programmeur maakt gebruik van condities, die de voorwaarden weergeven waaronder een vraag gesteld dient te worden. Dit leidt snel tot lastige logische expressies. Als voorbeeld de vraag "Kiest u dan het liefst voor een woning op een kavel of wilt u een woning uit een bouwproject?". Voordat respondenten deze vraag gesteld krijgen, hebben zij al vragen gehad over het feit of ze een koop- of huurwoning; een nieuwbouw of een bestaande woning; een galerijflat, appartement, bovenwoning, tweeonder-één kapwoning, huis in een rij, of vrijstaande woning willen. Alleen wanneer een respondent een nieuwbouwkoopwoning van het type twee-onder-één kap of vrijstaand kiest, mag de respondent de vraag over de kavel krijgen. In alle andere situaties wordt de vraag onzinnig. Met zoveel condities is het vervaardigen van een correct programma alleen mogelijk als er sprake is van een gestructureerd ontworpen vragenlijst. Is dit niet het geval, dan is de kans erg groot dat de respondenten uiteindelijk vragen krijgen voorgeschoteld die zij eigenlijk al hebben beantwoord of die voor hen niet van toepassing zijn. De irritatie die daaruit volgt, verslechtert de betrouwbaarheid en validiteit van de gegevens.
57
9.2.3 Controle van antwoorden Tot slot beschikt het programma over de mogelijkheid om tegenstrijdige antwoorden op te sporen. De programmeur kan een aantal condities inbouwen waaraan de antwoorden op verschillende vragen moeten voldoen, voordat de volgende vragen gesteld worden. Deze condities verschillen met de definities van de antwoorden. Bij die laatste definities geeft men aan binnen welke grenzen het antwoord op een bepaalde vraag moet liggen. Bij de controle van antwoorden zoals hier is bedoeld, gaat het om antwoorden op verschillende vragen die met elkaar in conflict zijn. Het gebruik van deze optie kan de kans op invalide of onbetrouwbare gegevens nog verder verkleinen. Het ontlast daarmee het werk van de onderzoeker, die voordat hij aan de data-analyse begint, eerst de gegevens dient te controleren. Alle controles van de gegevens achteraf zijn ook vooraf in het programma op te nemen. Bij telefonisch enquêteren kan de interviewer de respondent direct om verheldering vragen, foutieve antwoorden herstellen en zodoende de kwaliteit van de gegevens verbeteren. Hier kleeft wel het bezwaar aan dat men bij controles bepaalde combinaties van antwoorden uitsluit, omdat men ze onmogelijk acht, terwijl ze in werkelijkheid wel voorkomen. Ter illustratie volgt het volgende fictieve voorbeeld. Na de vraag: "Wat is uw leeftijd?" volgt de vraag "Hoeveel kinderen heeft u?". Bij een eerste aanblik kan men denken dat iemand van achttien jaar slechts één of twee kinderen kan hebben. BLAISE biedt de mogelijkheid om dit te controleren. Voldoet het antwoord op de twee vragen niet aan de aangegeven conditie, dan meldt het programma dit aan de enquêteur, die vervolgens één van de twee vragen moet wijzigen voordat men het interview kan voortzetten. Maar ofschoon achttien jaar en meer dan twee kinderen op het eerste gezicht onmogelijk lijkt, blijkt dat in werkelijkheid door adoptie-, stief- of pleegkinderen hogere aantallen voorkomen. Wanneer men eenzelfde vragenlijst of delen daarvan veelvuldig gebruikt, is het makkelijker om antwoorden te controleren. Bij het opschonen van gegevens die al eerder met dezelfde vragen zijn verworven blijkt waar inconsistente antwoorden zijn gegeven. Men kan het blok vragen vervolgens verbeteren door de antwoorden op deze vragen in het programma te controleren.
9.3
CATI beheer en opties
Nadat het programma op de genoemde wijze is ontwikkeld, kunnen bij een schriftelijke enquête de vragenlijsten direct worden ingevoerd (CADE) . BLAISE programma's voor telefonische enquêtes kennen een aantal extensies ten opzichte van CADE, er is immers sprake van CATI. Bij een telefonische enquête wijst BLAISE de respondenten aan de verschillende enquêteurs toe en kunnen de enquêteurs door middel van het programma afspraken met de respondenten maken. Hieraan gaat wel een aantal handelingen van de BLAISE programmen vooraf. Wanneer een enquêteur met een respondent afspreekt, probeert BLAISE op het moment van de afspraak allereerst de respondent opnieuw aan deze enquêteur toe te wijzen. Is deze na bepaalde tijd niet beschikbaar, dan krijgt een andere enquêteur de respondent toegewezen. Deze tijd is één van de zaken die de BLAISE programmeur voor
58
i
i if
ti
i
1
\
aanvang van de afname dient te specificeren. Daarnaast geeft de programmeur aan in welke periode en op welke tijden er wordt geënquêteerd. Enquêteurs kunnen vervolgens slechts op deze tijden enquêteren en afspraken maken. Ook specificeert de programmeur zaken als hoe vaak een aansluiting op een dag wordt benaderd, na hoeveel tijd aansluitingen met geen gehoor of bezet opnieuw benaderd worden, enzovoort. Voor de telefonische benadering heeft de enquêteur een telefoonnummer nodig. Aangezien BLAISE de mogelijke respondenten aan de enquêteurs toewijst, dienen de telefoonnummers binnen BLAISE bekend te zijn. Dit betekent dat het programma over de NAWT gegevens moet beschikken. Wanneer er binnen een stratum voldoende enquêtes zijn afgenomen, zorgt de BLAISE ervoor dat de afname van vragenlijsten bij respondenten binnen dit stratum stopt. Als blijkt dat er te weinig telefoonnummers binnen een stratum beschikbaar zijn, kan men de passieve mogelijke respondenten binnen dat stratum activeren, voor zover deze bij het trekken van de steekproef zijn aangemaakt.
9.4
Gebruik van het invoerprogramma
Voor het gebruik van BLAISE programma 's op het OTB bestaat een aparte handleiding, die als bijlage 2 is toegevoegd. Nadat het programma is opgestart, kan men de antwoorden invoeren. Daarbij verschijnt in de bovenste helft van het beeldscherm de tekst van de vraag en mogelijke antwoorden . De onderste helft geeft de ingevulde en in te vullen vragen weer. Afhankelijk van de gegeven antwoorden zal het programma bepaalde vragen overslaan. Het programma accepteert alleen tekst of getallen als invoer, zoals in de subparagraaf 'definitie van vragen' is aangegeven. Bij een telefonische enquête beschikken enquêteurs over de mogelijkheid om afspraken met hun respondenten te maken. Bellen enquêteurs op een ongelegen moment, dan maken ze een afspraak voor op een later tijdstip . Dit latere tijdstip kan globaal zijn, zich beperken tot bepaalde weekdagen en/of tussen bepaalde tijden, binnen een bepaalde periode of op een heel specifiek tijdstip. Door middel van een computernetwerk zijn de programma's voor CADE of CA TI voor iedereen toegankelijk. Zo kan men de gegevens op verschillende computers tegelijk invoeren, maar in één database opslaan. Zonder netwerk zou iedere computer over een eigen database moeten beschikken.
9.5
Conversie naar SPSS
Voordat ingevoerde gegevens geschikt zijn voor statistische verwerking met behulp van SPSS, dienen ze eerst geconverteerd te worden. De database staat in een formaat dat alleen door BLAISE gelezen kan worden . BLAISE biedt echter de mogelijkheid om een ASCII bestand met een vaste veldlengte te genereren. Om dit bestand vervolgens in SPSS in te lezen, is een zogenaamde stuurfile nodig: een SPSS-bestand dat de plaats van de variabelen in het ASCII bestand specificeert, de variabelen en waarden van labels voorziet en zogenaamde missing values definieert. BLAISE biedt de mogelijkheid om een dergelijke stuurfile naar aanleiding van het invoerprogramma aan te
59
maken, de optie werkt helaas zelden feilloos . Maar na enige aanpassingen volgen uit de stuurfile en het ASCII bestand een SPSS-systemfile, die indien nodig gekoppeld kan worden aan andere gegevens over de respondenten. Voor zover aangemaakt, levert de conversie van BLAISE naar ASCII een apart bestand op met de opmerkingen die men heeft gemaakt. Bij de opmerking is het volgnummer van de respondent en de naam van de vraag weergegeven. Door dit bestand op naam van de vraag te sorteren, krijgt men snel een overzicht van de vragen die problemen opleveren.
60
LITERATUUR
Carton, A., 1995, Towards an effective evaluation of interviewers: working within the context of a permanent network of interviewer, Proceedings of the international conference on survey measurement and process quality, 145-150, America Statistical Association Alexandria, VA. Carton, A. en G. Loosveldt, 1997, Selectie van interviewers en datakwaliteit in survey onderzoek, Methodologen dag van de Nederlandse Organisatie voor SociaalWetenschappelijk Methodologisch Onderzoek, Amsterdam, november. Converse, J.M. en S. Presser, 1986, Survey Questions. Quantitative Applications in the Sodal Sdences, Vol. 63, Newbury Park CA: Sage. Dillman, D.A., 1978, Mail and Telephone Surveys, the Total Design Method, New York: John Wiley. Dillman, J.J. en D.A. Dillman, 1995, The Influence of Questionaire Cover Design on Respons to Mail Surveys, Proceedings of the International Conference on Survey Measurement and Process Quality, Bristol UK. Fowler, FJ. Jr. , 1993, Survey Research Methods 2nd ed ., Applied Sodal Research Methods series, Vol. 1, Newbury Park CA : Sage. Fowler, F.J. Jr. , 1995, Improving Survey Questions : Design and Evaluation, Applied Sodal Research Methods series Vol. 38, Newbury Park CA : Sage. Leeuw, E.D. de, 1992, Data Quality in Mail, Telephone and Face to Face surveys, Amsterdam: TT -Publicaties. Mangione, T.W., 1995, Mail Surveys : Improving the Quality, Applied Sodal Research Methods series, Vol. 40, Newbury Park CA: Sage.
61
Milne, A.A., 1991, The complete Winnie-the Pooh, London UK: Dean. Payne, S.L., 1957, The Art of Asking Questions, Princeton, NJ: Princeton University Press. Pligt, J. van der, N.K. de Vries, 1995, Opinies en attitudes: meting, modellen en theorie, Amsterdam: Boom. Salant, P. en D.A. Dillman, 1994, How to Conduct Your Own Survey, New Vork: John Wiley. Saris, W., 1991, Computer-Assisted Interviewing, Quantitative Applications in the Sodal Sdences, Vol. 80, Newbury Park CA: Sage. Sikkel, D., 1987, Quality Aspects of Statistical Data Collection, Amsterdam: Sociometric Research Foundation. Schuman, H., S. Presser, 1981, Questions and Answers in Attitude Surveys, Orlando FL: Academie Press Inc. Vaart, W. van der, 1996, Inquiring into the past: data quality of responses to retrospective questions, Dissertatie Amsterdam.
62
BIJLAGE 1 OPMAAK V AN SCHRIFTELIJKE ENQUÊTES
De opmaak van een vragenlijst beïnvloedt het gemak waarmee een respondent de vragenlijst kan invullen. Daarmee heeft de opmaak een effect op de kwaliteit van de verkregen data. Een geschikte opmaak helpt de respondent bij het beantwoorden van de vragen; de opmaak verheldert voor de respondenten welke reactie van hen wordt verwacht. Men kan een vragenlijst als een object opvatten. Dit object heeft bepaalde kenmerken en is opgebouwd uit (deel) objecten. Ook deze objecten bestaan uit kenmerken en zijn eventueel opnieuw uit verschillende objecten opgebouwd. Hiermee ontstaat een hiërarchische structuur. Door voor ieder object de opmaak te definiëren, ontstaat een model dat de opmaak van een vragenlijst vastlegt. Een dergelijke structuur laat zich eenvoudig in een computer programmeren. Voor enquêtes op het OTB is de structuur in een macro van Word* gedefinieerd. Resultaat is een vragenlijst waarin de opmaak van een object de functie van dat object weergeeft: objecten met een verschillende functie zien er anders uit, gelijke objecten hebben een gelijke opmaak. Dit idee is in tabel Bl.l uitgewerkt . Het navolgende bespreekt de verschillende objecten en hun opmaak. Afbeelding B 1.1 is een illustratie van de opmaak die naar aanleiding van deze definitie ontstaat. Niveau 1: vragenlijst De vragenlijst is opgebouwd uit een voorpagina en handleiding. Daarop volgen de vragen, die zo nodig afgewisseld worden met commentaar. Niveau 2.1: voorpagina Bovenaan de voorpagina staat 'enquête' met daaronder de titel van de enquête. Onderaan de pagina staan de logo's van de TU Delft en het Onderzoeksinstituut OTB. De ruimte tussen de titel en de logo's wordt opgevuld door een illustratie. Niveau 2.2: handleiding Nog voordat respondenten met het antwoorden beginnen, krijgen ze een stukje tekst voorgelegd dat hun enige aanwijzingen geeft. Deze zijn: Wilt u bij iedere vraag slechts één antwoord aankruisen, tenzij anders vermeld is.
63
lil la. ]
III iEWWiiiWllil _ _ _ •
l"M t i
.... " - - - - - - -
---------~-----------
~
-
-
Afhankelijk van uw antwoorden, kunt u sommige vragen overslaan. Achter het antwoord staat dan het nummer van de vraag waar u verder kunt gaan (bijvoorbeeld' naar 5') . De gegevens uit deze vragenlijst worden vertrouwelijk behandeld en alleen gebruikt voor een statistische samenvatting. Men kan deze aanwijzingen desgewenst aanvullen. De tekst staat in een zwart omlijnd kader. Afhankelijk van het aantal lege pagina's staan de aanwijzingen op de achterzijde van de voorpagina. In dat geval staan op de linkerpagina de aanwijzingen en beginnen de vragen op de rechterpagina. Als er voldoende witte pagina's zijn dan staan de aanwijzingen op de eerste rechterpagina en beginnen de vragen op de tweede rechterpagina. Niveau 2.3 : commentaar Commentaar dat een toelichting op één of meer vragen geeft, staat boven de vragen waarop zij betrekking heeft. Ook zijn de stukjes commentaar in de linkerkantlijn genummerd, zodat men in de vragenlijst naar het commentaar kan verwijzen. Nummer en tekst zijn cursief. De tekst loopt over de volle breedte van de pagina en is door middel van een horizontale lijn tussen de kantlijnen van de vragen gescheiden. Niveau 2.4: vragen Op de eerstvolgende rechterpagina beginnen de vragen. Iedere vraag heeft een nummer, dat in de linkerkantlijn staat vermeld. De pagina's van de vragenlijst zijn ongenummerd om verwarring met het verwijzen naar vragen te voorkomen. De vragen zijn door middel van strepen tussen de kantlijnen van elkaar gescheiden. Een vraag is opgebouwd uit een vraagtekst, eventueel aangevuld met één of meer alternatieven.
Tabel B.1.1 Objecten van een vragenlijst Niveau
2
3
4
vragenlijst voorpagina handleiding commentaar vraag vraagtekst vraagcommentaar alternatief open halfgesloten gesloten
64
r
I ia
la
]
I i lIim_
Niveau 2.4.1: vraagtekst De vraagtekst staat in de linkerkolom in een standaard lettertype. Niveau 2.4 .2: vraagcommentaar Voor zover het te geven antwoord afwijkt van de methode die de handleiding noemt, volgt op de vraagtekst een commentaar dat het te geven antwoord verduidelijkt (bijvoorbeeld: meer antwoorden mogelijk of aantal invullen). Dit commentaar staat cursief en tussen haakjes Niveau 2.4.3: alternatief Alternatieven staan in de rechterkolom en beginnen een regel lager dan de bijbehorende vraagtekst in de linkerkolom. Er zijn drie soorten alternatieven: open, halfgesloten en gesloten. Voor zover een alternatief van tekst gebruik maakt, staat die in kleinkapitaal. Niveau 2.4 .3.1: open alternatief Soms geeft de vraag in het geheel geen restricties aan het te geven antwoord . Respondenten worden geacht zelf een antwoord te formuleren. Het alternatief bestaat dan uit verschillende regels met puntjes, waarop respondenten hun antwoord dienen te schrijven. Niveau 2.4 .3.2: halfgesloten alternatief In sommige gevallen verwacht men van respondenten een numeriek antwoord . Het alternatief bestaat dan uit puntjes gevolgd door de eenheid, waarin de respondent het antwoord dient te geven, zoals ... per woning. Deze tekst staat in kleinkapitaal. Niveau 2.4.3.3: gesloten alternatief De meeste vragen kennen een aantal vooraf geformuleerde alternatieven. Een gesloten alternatief begint met een antwoordhokje, gevolgd door de tekst van het alternatief. Deze tekst mag verschillende regels beslaan. Eventueel volgt op de tekst een verwijzing naar de volgende vraag. De verwijzing bestaat uit een streep die begint waar de tekst van het alternatief stopt, en eindigt tegen de rechterkantlijn. Boven de streep tegen dezelfde kantlijn staat 'naar' en het nummer van de vraag waar de respondent dient te vervolgen. 'Naar' en het nummer staan in een vette letter van normale grootte.
65
Afbeelding BI.l Onderdelen en opmaak van schriftelijke vragenlijst 1. Hoe vaak heeft u geklaagd?
o
Ivraagtekst I
NOOIT ZELDEN
lalternatief I
EN TOE
2. W lke klachten heeft u het fgelopen· r geconstateerd? (meer antwo rde ogelijk)
o
VOORTDUREND
0 0 0 0
VERSTOPPING LEKKAGE SCHIMMELVORMING
HOUTROT 0 TOCHT 0 KAPOTTE RUITEN 0 SCHEUREN IN MUREN
0 KAPOTTE VENTILATIE 0 KAPOTTE CENTRALE VERWARMING
o
halfopen alternatief
KAPOTTE BOILER OF
GEISER o KAPOTTE VERLICHTING IN HET PORTIEK
o
AFBROKKELEND
BUITENMETSELWERK
o o
SMERIGE BUITENGEVEL SCHILDERWERK AAN TRAPPEN EN HEKKEN BLADDERT AF
o 3. Hoeveel kamers heeft uw wo (aantal invullen)
? KAMERS
4. Niet alleen uw woning is belangrijk, maar ook
5. Waarom be naar uw huidige buurt ~isd ? (antwoo schrijven)
------Ivraag I
66
ANDERS NL:
l'c-omm--e-n-t-aa-r""l
buurt waarin u woont.
BIJLAGE 2 HANDLEIDING COMPUTERGEBRUIK
TELEFONISCH ENQUÊTEREN (door Gaston L.M Hilkhuysen en C. van Eijk)
Dit is een handleiding in het gebruik van de computer bij het telefonisch enquêteren. Aan bod komen: gebruik van computer en netwerk voor enquêtes, het gebruik van de elektronische post en het gebruik van BLAISE programma's, dit is software voor computer assisted telephone interviewing (CA TI). De handleiding is niet geschreven voor het invoeren van gegevens uit papieren vragenlijsten (computer assisted data entry, ook wel CA DE genoemd) , maar deze activiteit zal na het doorlezen van dit stuk geen probleem vormen. De handleiding gaat uit van het gebruik van Microsoft Windows 95, Novell Client 32 voor Windows 95, versie 3.1 en BLAISE voor Windows, versie 4.1.
B2.1 Gebruik van computer en netwerk De computers voor het 'enquêteren op het OTB' staan in een netwerk. Computers hebben Windows 95 als beturingssysteem en staan in een Novell netwerk. Niet alle functies van Windows '95 zijn beschikbaar. B2.1.1 Inloggen op het netwerk Voordat men met een computer aan de slag kan zal men de computer eerst moeten opstarten. Zet de computer aan met de knop aan de voorkant. Na verloop van tijd verschijnt het volgende dialoogvenster:
Dubbelklik met de linker muisknop op tekst achter !J:sername: en vul hier je eigen login naam in. Meestal is dit je achternaam.
67
Klik vervolgens in de witte ruimte achter rassword: en type hier je paswoord. Dit zal niet op het beeldscherm verschijnen, maar als sterretjes worden weergegeven. Klik op OK. Als je voor de eerste keer inlogt of voor een te lange periode hetzelfde paswoord hebt, vraagt de computer nu om je paswoord te wijzigen. Type daartoe tweemaal een nieuw paswoord in. Vervolgens kopieert het systeem een aantal bestanden voor de virusscanner. Dit gebeurt in een DOS-scherm. Zodra in de titelbalk van dit scherm de tekst 'Beëindigd' verschijnt, sluit je het DOS-scherm: Klik op de knop X rechts boven aan de titelbalk van het DOS-scherm. Onder het DOS-scherm bevindt zich een scherm met de naam 'Results' . Hierin staat als laatste mededeling Strike any key when ready .... Klik op de knop Continue van het scherm 'Results' . Er verschijnt opnieuw een DOS-scherm met een lijst van eventueel binnengekomen elektronische post. Sluit ook dit scherm af: Klik op de knop X rechts boven aan de titelbalk van het DOS-Scherm. Na enige tijd verschijnt de taakbalk onder in het beeldscherm en kun je verschillende programma's starten. B2.1.2 Paswoord veranderen De computer vraagt zelf om een nieuw paswoord op het moment dat dit te lang ongewijzigd is . Op ieder moment kan je zelf het paswoord wijzigen op de volgende wijze: -
68
Klik op de knop 'Start ' in de taakbalk Beweeg in het geopende menu de muis naar Programma's. Beweeg de muis naar Enqueteurs. Beweeg de muis naar Setpass en klik hierop.
Er wordt opnieuw een DOS-scherm geopend. Type je oude paswoord, gevolgd door een tik op de < enter> toets. Type je nieuwe paswoord, gevolgd door < enter> . Type nogmaals het nieuwe paswoord, gevolgd door < enter> . De computer geeft aan dat het paswoord is veranderd. Sluit het DOS-scherm 'Setpass ' af door op de X rechts in de titelbalk van het scherm te klikken .
B2.2 Elektronische post Controleer aan het begin van iedere werkdag of er nieuwe mededelingen op het prikbord staan en kijk of er elektronische post is. Ook kan je zelf post versturen. Het programma Pegasus mail biedt deze mogelijkheden. B2.2.1 Opstarten en afsluiten Pegasus mail Pegagus mail start je op de volgende wijze op: Klik op de knop Start op de taakbalk. Wijs achtereenvolgens naar Programma's, Enquêteurs, Pegasus Mail for Win32. Klik op Pegasus Mail for Win32. Pegasus mail is gestart. Afsluiten van Pegasus mail gaat als volgt: Klik op de X uiterst rechts op de titelbalk van Pegasus Mail. B2.2.2 Elektronische prikbord Op het elektronische prikbord staan de laatste mededelingen over een enquête. Lees voor aanvang van het werk eerst deze mededelingen. Op de volgende wijze krijg je toegang tot het prikbord. Onder de titelbalk en de menubalk bevindt zich de knoppen-
69
balk. Rechts naast een knop met twee personen, bevindt zich een knop met een groene punaise. Als je op de knop wijst, verschijnt er de volgende tekst naast: Open or Brow-
se Noticeboards. Klik op de knop Open or Browse Noticeboards. Er verschijnt een scherm met de hoofdstructuur van het prikbord. Dubbelklik in dit scherm op de regel enquêteurs . Het scherm verandert en laat nu een lijst van verschillende projecten zien. Dubbelklik op de projectcode van het project waarvoor je enquêteert. Het scherm verandert opnieuw en laat een lijst met berichten zien. De eerste kolom toont de afzender, de tweede kolom het onderwerp en de derde, laatste kolom de datum waarop het bericht op het prikbord is gezet. Om een bericht te lezen: Dubbelklik op het bericht. Het bericht wordt in een nieuw venster weergegeven. Na lezing kun je het scherm op de gebruikelijke manier afsluiten:
70
•
ai
•
Y
Klik op de X in de rechterbovenhoek van het venster, dat het bericht weergeeft. In het venster met de lijst van berichten op het prikbord verschijnt een vinkje voor het bericht, als teken dat het bericht is gelezen. Het venster van het prikbord is op de gebruikelijke manier te sluiten. Zie bijvoorbeeld 'sluiten van een venster voor berichten' .
B2.2.3 Lezen van elektronische post Het lezen van elektronische post gaat op eenzelfde wijze als het lezen van berichten op het prikbord. De map met binnengekomen berichten is met een andere knop in de knoppenbalk te openen. In deze balk bevindt zich een knop met een geopende enveloppe als icoon. Wijs je met de muis op deze knop dan verschijnt de tekst Open or rescan your new mail folder. Om de map met nieuwe berichten te openen: Klik op de knop met de geopende enveloppe in de knoppenbalk. Er verschijnt een lijst van berichten, die aan jou persoonlijk zijn verzonden. De lijst komt overeen met de lijst van berichten op het prikbord. Dubbelklik op een bericht om het in een eigen venster te openen. Het venster met het bericht kun je op de gebruikelijke manier sluiten. Ook het venster met de lijst van nieuwe berichten is op deze manier af te sluiten.
B2.2.4 Het versturen van berichten In de knoppenbalk bevindt zich een icoon van en vel papier met een balpen. Wijs je met de muis op deze knop dan verschijnt de tekst: Start a new mail message. Het schrijven van een bericht begint met: Klik op het icoon dat een balpen en een vel papier representeert. Er verschijnt een nieuw venster met de titel Message 1. Iedere keer dat je een bericht verstuurt, zal het nummer in de titel oplopen.
71
.
,
Klik met de muis in de witte ruimte achter de tekst To. Type de naam van de human resource manager. Klik met de muis in de witte ruimte achter de tekst S!!bj. Type een duidelijke omschrijving van de inhoud van je bericht in drie à vier woorden . Klik in het grote witte vlak in het venster. Type je bericht. Klik op de knop Send rechtsboven in het venster. Het bericht is verzonden. Het versturen van post naar andere enquêteurs stoort ze in hun werkzaamheden en is daarom niet toegestaan. Vragen over een enquête of enquêteren in het algemeen kun je naar de human resource manager sturen. B2.3 Het gebruik van BLAISE programma's Ten behoeve van het telefonisch enquêteren, schrijft de BLAISE programmeur een programma. Dit programma geeft de te stellen vragen op het scherm weer en biedt de mogelijkheid om de antwoorden te registreren. Ook geeft het de te bellen telefoonnummers en biedt het de mogelijkheid om afspraken te maken. B2.3.1 Opstarten en afsluiten van het BLAISE programma Ieder project kent een eigen BLAISE programma. Normaliter heeft het programma de naam van het project. Opstarten van het programma gaat als volgt: Klik op de knop Start in de taakbalk. Beweeg de muis achtereenvolgens naar Programma's, Enquêteurs , <projectnaam> . 72
Klik op de projectnaam. Er verschijnt een venster op het scherm met de titel Blaise Data Entry. In dit scherm staat direct het eerste te benaderen adres weergegeven in een apart dialoogvenster met de titel Opbellen. mOlalSo Data Enhy· c \tesllWOW
1!ll1!ilE!
Afsluiten van het BLAISE programma is pas mogelijk nadat het dialoogvenster 'Opbellen' is gesloten en men niet met de afname van een vragenlijst bezig is. Sluit het dialoopvenster 'Opbellen' als volgt: Klik op de knop Annuleren in het dialoogvenster 'Opbellen'. Om het BLAISE programma af te sluiten: Klik op de X uiterst rechts op de titelbalk met titel Blaise Data Entry. B2.3.2 Het dialoogvenster 'Opbellen' Dit dialoogvenster bestaat uit drie delen, elk met een eigen functie. Linksboven staat het Belpogingmenu, linksonder staan de vragenlijstgegevens en rechts staan de knoppen.
De vragenlijstgegevens geven informatie over de respondent. Noteer voordat je het nummer kiest, het telefoonnummer en het respondentnummer . Mochten er zich pro-
73
blemen met de computer of de telefonische verbinding voordoen, dan kun je altijd de desbetreffende respondent terugbellen. Bij het rapporteren van ongeregeldheden verlangt de human resource manager het respondentnummer van de persoon waarbij de problemen zich voordeden. Sommige vragenlijstgegevens kun je wijzigen: Dubbelklik op het witte vlak van het veld dat je wilt wijzigen. Als de BLAISE programmeur het wijzigen van dat veld voor enquêteurs heeft toegestaan dan verschijnt er een nieuw dialoogvenster, waarin je het gegeven kan veranderen .
In het belpogingmenu geef je het resultaat van een benadering aan. Als de respondent bijvoorbeeld niet opneemt, klik je op de tekst ~eemt-niet-op. Tabel B2.! geeft uitleg van de verschillende mogelijkheden. Tabel B2.1
Mogelijkheden in belpogingmenu
resultaat benadering
Selecteer in Belpogingmenu
De respondent verleent medewerking en wil nu de vragen krijgen
Vragenlijst NOIl!espons
De respondent weigert medewerking
~eemt-niet-op
Het toestel wordt niet opgenomen U krijgt een antwoordapparaat of voicemail
Ant~oordapparaat
Het toestel is bezet
!n gesprek
Het nummer bestaat niet (meer)
Afges!oten
De respondent wil later worden teruggebeld Alle andere reacties
1 fspraak Ander
Klik op het resultaat van de benadering. Het gekozen alternatief wordt omlijnd en er verschijnt een zwarte punt in het witte vlakje voor het alternatief. De knoppen in het dialoogvenster 'Opbellen' hebben de volgende functies:
74
Tabel B2.2
Mogelijkheden knoppen in dialoogvenster Opbellen
Knop
Actie
OK
onderneem de actie, volgend uit de gekozen optie in het Belpogingmenu.
Annuleren
stop met het benaderen van respondenten. Na de keuze van deze optie kun je het BLAISE programma afsluiten.
Help
biedt hulp (niet geïmplementeerd)
Zoom
geeft gedetailleerde en aanvullende informatie over de te benaderen persoon.
Draai
draait het telefoonnummer van de te benaderen persoon (niet geïmplementeerd).
Bewerken
biedt de mogelijkheid om het geselecteerde, dus blauwe veld van de Vrageniijstgegevens te wijzigen.
Om de in het belpogingmenu geselecteerde actie te ondernemen: Klik op de knop OK Er verschijnt een tweede dialoogscherm met de vraag 'Weet u dat zeker?'. Klik op de knop JA Bij de keuze Nonrespons verschijnt er een veld waarin de reden voor de weigering kan worden ingevuld. In dat geval: Type de reden en geef < enter> Het programma geeft aan dat de inhoud van het formulier is gewijzigd en vraagt of de gegevens moeten worden opgeslagen. Klik op OK
B2.3.3 Het afnemen van de vragenlijst Als je in het dialoogscherm voor de optie 'Vragenlijst' hebt gekozen en op de knop OK hebt geklikt, kun je met het afnemen van de vragenlijst beginnen. Het Blaise Data Entry scherm heeft de volgende opbouw: Onder de tite\-, menu- en knoppenbalk bevindt zich het vraaggedeelte. Hierin staat de vraagtekst, die letterlijk moet worden opgelezen. Eventuele aanwijzingen staan tussen haakjes en in een andere kleur . Onder het vraaggedeelte staat de formaatbalk. Hierin staan de voorwaarden van het te geven antwoord.
75
J
•
i i
j .
I.
"iiUU'UnilP.i _ _ _
*.
ll9 BIaISo Data Entrv - c Itest lWDW fOOrule. êntwoord D~
I!!I~
El
.tIaYigéfon Qptié.~ li~ ,
lit'J Q x ..,
GJ I!i
~ "'~
'We begi'lnen met enkele vragen over de 'HOning, waarin u woonde voordat U naar IJ.H hlicic;e woning verhuisde. (geel enter)
IVoef een tekst n van ma)(Înaaj 1 tekens AeipNo Naam
~
R_ TelNr.
WnpIt.
1523 ' ','
jWoUert [5245JA 1073-6420057 ' IROSMALEN
[1
n
fT
De grijze onderste helft is opgebouwd uit het antwoordgedeelte en de statusbalk. In het antwoordgedeelte staan de namen van de verschillende vragen, met daarachter de antwoorden. Alleen witte velden kunnen gewijzigd worden . Staat er achter een vraagnaam geen antwoordveld, dan wordt deze vraag niet gesteld. Het BLAISE programma zal de vraag dan overslaan. De statusbalk geeft de toestand van de onderhavige vragenlijst aan. Mededelingen als Oud, lIIS, Gewijzigd, vuil en navigeren, geven aanvullende informatie, die voor de enquêteur nauwelijks interessant zijn. Beantwoorden van vragen In het vraaggedeelte staat voor ieder mogelijk antwoord een cijfer. Het antwoord van de respondent wordt geregistreerd door het nummer voor het desbetreffende antwoord in te typen. BLAISE biedt de mogelijkheid om de vragen met behulp van de muis te beantwoorden, maar dit leidt tot vertraging van het interview. Antwoorden gaat als volgt . Toets het cijfer van het antwoord in. Geef < enter> . BLAISE gaat verder naar de volgende vraag . Weigert een respondent om antwoord te geven, reageer dan met: <ertl> r <enter> .
76
In het veld van de vraag verschijnt een rood verbodsbord met een uitroepteken. Als een respondent het antwoord niet weet, dan registreer je dat op de volgende manier:
< ctrl > k < enter> . Het veld van de vraag wordt met een vraagteken gevuld. BLAISE biedt ook de mogelijkheid om een opmerking bij een vraag te plaatsen. Gebruik deze mogelijkheid als het antwoord niet met behulp van de aangegeven alternatieven is weer te geven. Een opmerking bij een vraag plaats je als volgt:
< ctrl > m < enter> . Het dialoogvenster 'Opmerking' verschijnt op het scherm. Type de opmerking. Klik op de knop opslaan. Links naast het veld verschijnt een paperclip als aanduiding dat er een opmerking bij de vraag is gemaakt . Met de cursor en de < page up> < page down> toetsen kun je terug naar vorige of vooruit naar volgende vragen . Je kunt nooit verder dan de laatstgestelde vraag . De toetst < home> brengt je naar de eerste vraag van het interview, < end> brengt je bij de laatst beantwoorde vraag . Foutmeldingen BLAISE legt restricties op aan de mogelijke antwoorden van vragen. Probeer je een antwoord te geven dat volgens BLAISE niet voldoet, dan resulteert dat in een foutmelding. Soms betreft het een foutmelding in een vraag, soms zijn er meer vragen bij een foutmelding betrokken.
De melding 'Ongeldige invoer, getal niet binnen het bereik .... ' geeft aan dat het antwoordt niet tussen de verwachte grenzen ligt. Klik op OK. Corrigeer de fout in het veld van de desbetreffende vraag.
77
~
---
w_
It
Is het antwoord wel juist maar zijn de restricties van BLAISE te scherp, vul dan de hoogstmogelijke waarde in en plaats bij de vraag een opmerking (zie Beantwoorden van vragen) . Komt het regelmatig voor dat je bij een bepaalde vraag een opmerking moet plaatsen, geef dit dan door aan de human resource manager. Soms is het antwoord op een vraag niet in overeenstemming met een eerder gegeven antwoord. Het BLAISE programma geeft dan een foutmelding met het dialoogvenster 'Harde fout'. Hierin staat een omschrijving van het probleem, de vragen waarop de foutmelding betrekking heeft plus hun huidige antwoorden. Klik op de vraag waarvan je het antwoord wil wijzigen. Klik op de knop Qa naar. Type het goede antwoord in. Druk op de < end> toets om naar de laatste vraag te gaan . Ga verder met de volgende vraag. ::Irj ....
F(.. ,1
_ _ _ _ _ _ _ _ _ _ _ _ _ __
Beëindigen van het interviewen opslaan van de vragen Nadat je de laatste vraag in het interview hebt gesteld, geeft BLAISE aan dat het formulier is gewijzigd en vraagt of je de gegevens wilt opslaan. Als je de gegevens wilt opslaan en verder wilt gaan met de volgende benadering: Klik op OK. De gegevens worden opgeslagen en je keert terug naar het dialoogscherm 'opbellen'. Soms wil je het antwoord op sommige vragen na afloop van het interview nog wijzigen. In dat geval: Klik op Annuleren. Je kunt nu terug naar de vorige vragen. Als je klaar bent met het corrigeren van de antwoorden, wil je de vragenlijst alsnog opslaan en verder met de volgende benadering:
78
~~~~i_.~ih
___ ___ _________ _______________ ~~
i_~_~
~
~
~_~~~_~_.~t
__
\
~Jj
Druk op de < end> toets . Druk op de < enter> toets. Beantwoord de vraag of de gegevens moeten worden opgeslagen alsnog met OK. Mocht er gedurende een interview iets mis gaan met het BLAISE programma, dan bestaat er een kans dat je de antwoorden op alle gestelde vragen verliest. Dit probleem voorkom je door gedurende het interview af en toe de gegevens tussentijd op te slaan. Klik op de knop Opslaan formulier in de knoppenbalk. Soms wil een respondent het interview tussentijds afbreken. Je kunt dan een afspraak maken om het interview op een later tijdstip voort te zetten. Mocht de respondent verdere medewerking weigeren dan kun je alsnog voor weigeren kiezen. Voor het tussentijds afbreken van een interview: Klik in de menubalk op Navigeren. Klik op Qeelformulieren. Klik in het dialoogvenster 'Deelformulieren' op Maak afspraak of weigering. Klik op OK. In het geval van een weigering, kun je de reden van de weigering in een commentaarveld invullen en verder gaan met een nieuwe benadering. Zie daarvoor weigering in het dialoogvenster 'Opbellen'. Bij een afspraak kom je in het dialoogvenster 'Maak afspraak' . Dit dialoogvenster wordt in de volgende paragraaf besproken. B2.3.4 Afspraken maken In BLAISE kun je met mogelijke respondenten afspraken maken om op een later tijdstip terug te bellen. Ook als gedurende het interview de respondent plotsklaps geen tijd meer heeft, kan de enquêteur afspreken om de resterende vragen op een later tijdstip te stellen. Op het tijdstip van de gemaakte afspraak zal BLAISE het telefoonnummer aan een enquêteur aanbieden, in eerste instantie aan degene die de afspraak heeft gemaakt, bij afwezigheid aan een andere enquêteur.
79
Via het dialoogvenster Opbellen of met de keuzen in de menubalk voor navigeren, deel formulieren , afspraak maken komt men bij het dialoogvenster 'Maak Afspraak' . Dit bestaat uit vier onderdelen: links het datumgedeelte, in het midden het tijdgedeelte met daaronder het overzichtgedeelte en rechts de knoppen. Datum gedeelte BLAISE kent vier verschillende soorten afspraken: een exacte datum, een periode, een weekdag of geen datum.
Exacte datum Bij een exacte datum wordt de mogelijke respondent op de geselecteerde dag teruggebeld. Om een dergelijke afspraak te maken: Klik op het rolmenu type in het datumgedeelte. Beweeg de muis in het menu naar de exacte datum. Klik op de keuze exacte datum. Onder het rolmenu komt een kalender te staan. Linksboven staat een ander rolmenu, waarin men voor een bepaalde maand kan kiezen, eventueel kan men met het rolmenu rechtsboven het jaartal wijzigen. In een wit vlak worden de dagen weergegeven. De huidige dag is onderstreept; dagen waarop de enquête wordt afgenomen, zijn blauw weergegeven. Alleen op deze dagen kan een afspraak worden gemaakt en wel op de volgende wijze: Dubbelklik op de dag' . De dag licht groen op. Vervolgens zal men voor een tijdstip willen kiezen.
80
I;
Periode Bij een afspraak in een periode wordt de mogelijke respondent in een bepaalde periode opnieuw benaderd . Het maken van een afspraak in een periode verloopt op de volgende manier:
Klik op het rolmenu type in het datumgedeelte. Beweeg de muis naar Periode . Klik op Periode. Evenals bij een exacte afspraak verschijnt er een kalender in het dialoogvenster. Er kunnen nu echter meer dagen worden geselecteerd en wel op de volgende manier: Dubbelklik op de eerste dag van de periode waarop de respondent kan worden teruggebeld. Dubbelklik op de laatste dag van de periode waarop de respondent kan worden teruggebeld . De geselecteerde periode licht groen op. Weekdag Is de afspraak van het type weekdag dan geldt de afspraak voor bepaalde dagen van de week: bijvoorbeeld u kunt mij op woensdagen en vrijdagen terugbellen.
-
Kies in het rolmenu type voor weekdag.
In het datumgedeelte verschijnt een diagram met de dagen van de week. De dagen waarop er vragenlijsten worden afgenomen zijn met een blauwe staaf weergegeven. Op de volgende manier geef je aan dat een respondent op de bepaalde weekdag wil worden teruggebeld: Dubbelklik met de muis op de staaf van de desbetreffende dag De blauwe staaf wordt groen, als teken dat de mogelijke respondent op die dag kan worden teruggebeld. Het is mogelijk verschillende dagen te selecteren door verschillende dagen aan te klikken. Door opnieuw dubbelop een eerder aangeklikte groene staaf te klikken, verandert de kleur terug in blauwen is de dag gedeselecteerd. Geen datum Deze keuze leidt ertoe dat de respondent op een willekeurig later tijdstip wordt teruggebeld. Dit is de standaardkeuze, die men gepresenteerd krijgt op het moment dat men een afspraak wil maken. Het datumgedeelte blijft bij deze optie leeg.
Naast een datum kan men bij een afspraak voor een bepaalde tijd kiezen. Dit gebeurt in het tijdgedeelte van het dialoogvenster Maak afspraak. Ten aanzien van het tijdstip zijn er in totaal drie mogelijkheden: geen tijd, exacte tijd en dagdeel.
81
Geen tijd Deze optie is alleen beschikbaar wanneer de afspraak van het type periode, weekdag of geen data is. In dit geval wordt de mogelijke respondent op een willekeurig tijdstip teruggebeld. Bij deze keuze blijft het daggedeelte grijs.
Exacte tijd In het geval van een exacte tijd, zal de respondent precies op het genoemde tijdstip worden teruggebeld. Deze keuze is alleen mogelijk als in het datumgedeelte voor het type exacte datum is gekozen. Het maken van een afspraak op een exacte tijd loopt als volgt: Klik bij het tijdgedeelte in het rolmenu type. Klik in het rolmenu op exacte tijd. Onder het rolmenu komt een tijdveld te staan met het tijdstip waarop de respondent zal worden teruggebeld. Dit tijdstip is op de volgende wijze te veranderen: Klik op de uren in het tijdveld. Klik op het pijltje omhoog rechts van het tijdveld om op een later uur terug te laten bellen. Klik op het pijltje ornlaag rechts van het tijdveld om op een vroeger uur terug te laten bellen. In plaats van de uren kan men ook de minuten wijzigen door op de minuten te klikken. Afspraken kunnen met de precisie van een kwartier worden gemaakt. Er kunnen alleen afspraken worden gemaakt op tijdstippen dat er daadwerkelijk wordt geënquêteerd .
Dagdeel Kiest men voor een afspraak in een dagdeel dan wordt de respondent in een bepaalde periode teruggebeld. Deze optie blijft altijd beschikbaar . Na de keuze verschijnen er twee tijdvelden in het tijdgedeelte voor de aanvang en het einde van de periode waarin de mogelijke respondent kan worden teruggebeld. Deze zijn op dezelfde manier en onder dezelfde restrictie te wijzigen als aangegeven bij de optie exacte tijd . In het overzichtgedeelte van het dialoogvenster wordt de ingestelde afspraak weergegeven. De betekenis van de knoppen is weergegeven in de tabel B2. 3 .
82
Tabel B2.3
Betekenis van de knoppen bij het maken van afspraken
Knop
resultaat
OK
registreer afspraak, zoals vermeld in het overzichtgedeelte
Annuleren Wis
annuleer de afspraak en begin met de afname van het interview verwijder de geselecteerde datum of periode in de kalender (alleen beschikbaar voor een afspraak van het type exacte datum of periode)
Begin
registreer de geselecteerde datum in de kalender als de begin (alleen beschikbaar voor een afspraak van het type periode) geeft hulp bij het dialoogscherm Maak afspraak.
Help
Als de juiste afspraak in het dialoogvenster is ingevoerd, voor de afspraak in op de volgende manier: Klik op knop OK. Je kunt vervolgens de afspraak van commentaar voorzien, bijvoorbeeld vermelden met welke persoon binnen het huishouden de afspraak is gemaakt. Type het commentaar gevolgd door een tik op de < enter> toets. Er verschijnt een nieuw dialoogvenster, dat om een bevestiging van de gemaakte afspraak vraagt. Bevestig de afspraak op. Klik op de OK knop. Je hebt nu een afspraak gemaakt en je krijgt het dialoogvenster 'Opbellen' gepresenteerd .
83
•
VERSCHENEN IN DE SERIE OTBOUWSTENEN
1.
F. van der Zon, Kengetallen en succescriteria voor woningcorporaties 1995/70 blz.lISBN 90-407-1200-X/I 25,-
2.
T . Hoenderdos en A. Metselaar, Probleemcomplexen en leefbaarheid: over de prestaties van woningcorporaties inzake de bevordering van leefbaarheid 1996/57 blz.lISBN 90-407-1360-X/I 15,-
3.
B. van Rosmalen en F. Wassenberg, Volkshuisvestingsplan 1996-2000 Gemeente Vemay 1996/110 blz.lISBN 90-407-1368-5// 29,50
4.
H . Kruythoff en H. Heeger, Ogen, oren en mond van Haaglanden. Burgers over wonen 1996/47 blz.lISBN 90-407-1401-0//15,-
5.
H. Priemus, B. van Rosmalen, F. Wassenberg, Regionaal volkshuisvestingsplan Haaglanden. Balans tussen herstructurering en behoud kernvoorraad 1996/224 blz.lISBN 90-407-1400-2// 60,-
6.
J. Kullberg, Aanbodmodellen geïnventariseerd. Een landelijke verkenning van vormen van marktgerichte woomuimteverdeling en impressies van de verdelers 1997/76 blz.lISBN 90-407-1412-6// 25,-
7.
B. van Rosmalen, De omslag. Woningmarktanalyse Monster 1997/69 blz.lISBN 90-407-1486-X/I 21,50
8.
P.1. Boelhouwer, Woningmarktonderzoek Venlo en Tegelen: naar een woningbouwprogrammering. Een samenvatting 1997/ 101 blz.lISBN 90-407-1487-8/1 30,-
~ L'N__'_"
wa,
j
fi!t
~
ww _ _ ilEWiLUJU,lIlI
J
9.
M. Elsinga, De Weerter woningmarkt in beeld. Conclusies woningmarktonderzoek 1997/49 blz ./ISBN 90-407-1522-2/115,-
10.
B. van Rosmalen en F. Wassenberg, Regionaal Volkshuisvestingsperspectief Gooi en Vechtstreek 1997/108 blz./ISBN 90-407-1525-4// 30,-
11.
F. van der Zon, Naar prestatie-afspraken tussen FEW, corporaties en gemeente in Enschede 1997/40 blz./ISBN 90-407-1555-6//15 ,-
12.
T .A.L. Leliveld, Woningmarktanalyse Hoogvliet/Pemis 1997/142 blz./ISBN 90-407-1559-9//40,-
13 .
P.J . Boelhouwer en R. ter Bogt, Woningbehoefte- en migratieonderzoek Woerden en regio West-Utrecht 1997/119 blz./ISBN 90-407-1560-2/1 35,-
14.
P.J. Boelhouwer en R. ter Bogt, Woningmarktonderzoek Woerden 1997/69 blz./ISBN 90-407-1610-2/120,-
15 .
H.M. Kruythoff, H.C.C.H . Coolen en G.L.M . Hilkhuysen, Doorstromingseffecten van VINEX-locaties in Haarlemmermeer 1997/265 blz./ISBN 90-407-1598-0/1 75,-
16.
B. van Rosmalen, Evaluatie aanbodmodel Amstel-Meerlanden. Beleving en slaagkansen van woonboninstuurders 1997/57 blz./ISBN 90-407-1605-6/1 20,-
17.
B. van Rosmalen, Evaluatie aanbodmodel Zaanstad. Beleving, zoekgedrag en slaagkansen van woonboninstuurders 1997/73 blz./ISBN 90-407-1606-4//20,-
18.
M. Elsinga, H. Boumeester, T .A.L. Leliveld en H. Priemus, Haken en ogen aan huren en kopen. Aanzet tot gezamenlijk beleid in Den Haag 1997/101 blz./ISBN 90-407-1629-3/1 30 ,-
19.
B. van Rosmalen en J. Kullberg, Evaluatie aanbodmodel Amsterdam. Woningzoekenden en hun zoekstrategieën, slaagkansen, begrip en waardering voor het nieuwe model 19971108 blz./ISBN 90-407-1613-7/1 30,-
20.
J.B.S. Conijn, Het huurbeleid en het aan- en verkoopbeleid van institutionele beleggers 1997/29 blz./ISBN 90-407-1612-9//15,-
21.
F. Wassenberg en E. Kalle, Toekomstscenario's woningmarkt Leeuwarden 1997/62 blz./ISBN 90-407-1630-7//20,-
22 .
H. Boumeester en P.J. Boelhouwer, Woonuitgavenonderzoek bovenminimaleinkomensgroepen in de huursector 1997/93 blz./ISBN 90-407-1634-X/I 20 ,-
23.
B. van Rosmalen en R. Raat, Woningbehoefteonderzoek en verhuisanalyse gemeente Rijswijk 1997/130 blz./ISBN 90-407-1633-1 /137,50
24 .
H. Priemus, H. Boumeester en R. ter Bogt, Scan van mogelijke woningmarktontwikkelingen in Nederland 199812003/202012030 1997/106 blz./ISBN 90-407-1642-0/1 30,-
25.
R. Raat en F. Wassenberg, De herstructureringsbehoefte in de regio's van ZuidHolland 1998/70 blz./ISBN 90-407-1648-X/I 20,-
26 .
F. Wassenberg en L. Kuyers, Marktpositie hoogbouw Zoetermeer 1998/74 blz./ISBN 90-407-1657-9/1 22,50
27.
1. Kessels en J. Kullberg, Evaluatie woonruimteverdeling ' Kiezen en verdelen' in Roosendaal 1998/57 blz./ISBN 90-407-1665-X/I 20,-
28 .
P.J. Boelhouwer, Toekomstverkenning De Rodes 1998/91 blz./ISBN 90-407-1663-3/1 27,50
29.
H. Heeger, J. Kullberg en L. van Die, Evaluatie "Stoeprand": laatste-kansbeleid in Rotterdam 1998/94 blz ./ISBN 90-407-1670-6// 30,-
30.
B. van Rosmalen, Woningmarktscan gemeente Rijswijk 1998/44 blz./ISBN 90-407-1667-6/1 20,-
31.
B. van Rosmalen en R. Raat, Samen werken aan waardevol wonen: Volkshuisvestingsplan gemeenten Rijswijk 1998/100 blz./ISBN 90-407-1674-9//30,-
32.
J. Kullberg en 1. Kessels , Huisvesting van veroorzakers van extreme overlast 1998/110 blz./ISBN 90-407-1691-9// 33,-
33.
J.S.CM. Hoekstra, P.J. Boelhouwer en M.e. Gunsing, Woningbehoefteonderzoek en verhuisanalyse gemeente en regio 's-Hertogenbosch 1998/164 blz./ISBN 90-407-1726-5// 50 ,-
34 .
P.J. Boelhouwer, M.e . Gunsing, HJ.F.M. Boumeester, Woningmarktanalyse verkoop Vleugelflat gemeente Venlo 1998/49 blz./ISBN 9O-407-1729-X/I 20 ,-
35 .
J.B.S. Conijn, P. de Vries, T .J. Stauttener, Prijsvorming nieuwbouw en bestaande koopwoningen 1998/89 blz./ISBN 90-407-1739-7/127,50
36 .
H. van Rooijen en R.Raat, Stedelijke vernieuwing in kleine gemeenten in Overijssel 1998/66 blz./ISBN 90-407-1742-7/1 22,50
37.
P.J . Boelhouwer en J.S.e .M. Hoekstra, Lastenstijging, armoede en leefbaarheid in de deelgemeente Feijenoord 1998/159 blz./ISBN 90-407-1797-4// 45,-
38 .
H. Boumeester, Woningmarktanalyse Westland. Bouwen en beheren voor de toekomstige vraag van de Westlandse bevolking 1998/152 blz./ISBN 90-407-1812-11/ 43,-
39 .
F . van der Zon, Woonlasten van studenten. Een onderzoek in Delft, Eindhoven en Leiden 1998/34 blz./ISBN 90-407-1782-6// 20,-
40.
M. van Veghel en F. Wassenberg, Ruimte rondom hoogbouw. Mogelijkheden om het beheer van de openbare ruimte in een hoogbouwwijk te privatiseren 1999/59 blz./ISBN 90-407-1819-9
41.
R. Raat, Wonen in de gemeente Heusden. Volkshuisvestingsplan gemeente Heusden 1999/73 blz./ISBN 90-407-1828-8
42 .
J. Kullberg en I. van Aalst, Evaluatie woonruimteverdeling NoordKennemerland 1999/67 blz./ISBN 90-407-1839-3//33,-
ISBN 90-407-1918-7
9 789040 719189
