Survey-onderzoek middels het Internet. Een exploratie van het terrein. Dirk Heerwegh Afdeling Dataverzameling en Analyse Departement Sociologie Faculteit Sociale Wetenschappen E. Van Evenstraat 2B B-3000 Leuven
[email protected] Paper verschenen als Onderzoeksverslag van het Departement Sociologie, Afdeling Dataverzameling en Analyse DA/2001-26
Inleiding Het gebruik van de computer is in de Westerse samenleving een evidentie geworden voor een grote groep mensen. Cijfers uit de Verenigde Staten (Current Population Survey) geven aan dat in 1997 zo’n 36,6% van alle Amerikaanse gezinnen een computer had. In 1993 was dat nog 22,8% en in 1989 amper 8,2% (Newburger, 1999: 1). Het gebruik van het Internet stijgt nog sterker dan het bezitten en gebruiken van computers (1). Uit Nederlandse gegevens (Schmeets, 2000: 26) blijkt dat het gebruik van het Internet in de periode van 1998-1999 steeg van 15% naar 34%. Het computerbezit steeg in diezelfde periode minder sterk, namelijk van 60 naar 66% (2). In België steeg het aantal privé-aansluitingen op het Internet van 151.168 in november 1998 tot 2.191.501 in november 2000 (Nationaal Instituut voor de Statistiek, 2000). Het gebruik van de computer en vooral het gebruik van het Internet is in de laatste paar jaar dus enorm toegenomen, en dat is ook de onderzoekergemeenschap niet ontgaan. Ook voor sociologen is de hierboven beschreven evolutie interessant, daar het Internet bijvoorbeeld toelaat zogenaamde on-line gemeenschappen te creëren. Dit zijn groepen individuen die zich via het Internet met elkaar verbinden en op diverse manieren met elkaar communiceren via de aan het Internet aangesloten computer. Het gaat hier dus om een vorm van sociaal handelen dat verloopt langs de computer. “Computer-mediated communications” kunnen dan ook een onderwerp van studie zijn voor sociologen, maar het netwerk tussen de computers kan ook gebruikt worden als 1
medium voor het voeren van een survey-onderzoek (Witmer, Colman & Katzman, 1999: 146). Het Internet kan dus dienst doen als kanaal waarlangs men subjecten ondervraagt. Het Internet kan op verschillende manieren aangewend worden om aan deze doelstelling tegemoet te komen. In deze paper zullen enkele van deze werkwijzen worden belicht, waarbij de voor- en nadelen zullen worden geëxploreerd. Daarna wordt de focus vernauwd tot één specifieke vorm van het voeren van een survey via het Internet, met name het webpagina-gebaseerde survey (of korter, websurvey). Van dit soort surveys wordt een grondiger doorlichting ondernomen.
1. Het Internet als kanaal waarlangs men subjecten wil bevragen: een eerste verkenning Met de term “Internet” wordt in deze paper verwezen naar computers die op de ene of de andere manier met elkaar in verbinding staan (zie noot 1). Vandaar dat men dataverzameling via het Internet kan aanduiden als “Computer Assisted Data Collection” (CADAC). Van dit type dataverzameling zijn er al een groot aantal in gebruik. De Leeuw en Nicholls II (1996) maken onderscheid tussen drie vormen van CADAC: CATI (Computer Assisted Telephone Interviewing), CAPI (Computer Assisted Personal Interviewing) en CASI (Computer Assisted Self Interviewing). Het voeren van een survey via het Internet – waarbij de respondent de vragen zelf leest en beantwoordt – behoort dan ook tot dit laatste type (CASI). Bij CASI wordt de papieren vragenlijst uit de post-enquête vervangen door een electronische vragenlijst, die op de computer van de respondent kan worden geopend. Een eerste type dataverzameling dat gebruik maakt van electronische vragenlijsten, is het het Disk By Mail systeem (DBM). Hierbij wordt een diskette met daarop de vragenlijst in de vorm van een programma naar de respondent gestuurd. Deze laat dit programma uitvoeren op diens computer, waardoor de vragen verschijnen. De antwoorden worden bewaard op de diskette, die na afloop wordt teruggezonden naar de onderzoeker. Dit systeem kon worden toegepast nog voordat het Internet zijn intrede maakte. Met het Internet werd het mogelijk nieuwe varianten van computer ondersteunde post-enquêtes te ontwikkelen. Het “disk by e-mail” systeem (Batagelj & Vehovar, 1998: 210-211), wat een specifiek type is van Electronic Mail Surveys (EMS) in de typologie van De Leeuw en Nicholls II (1996), sluit zeer dicht aan bij DBM. Het principe van het DBM systeem blijft onaangetast, het enige verschilpunt is de wijze van verzenden. Waar DBM gebruik diende te maken van de 2
traditionele postdiensten, zijn deze bij disk by e-mail vervangen door e-mail. Bij het disk by email systeem wordt het programma dat de vragenlijst bevat als bijvoegsel vastgehecht (attached) aan het e-mail bericht. De respondent kan dit bijvoegsel of attachment dan openen op de eigen computer en hetzelfde scenario als bij DBM kan zich afspelen. Na afloop van het interview wordt het bestand bewaard, en kan de respondent het opnieuw via e-mail terugsturen naar de onderzoeker. Een ander type Electronic Mail Survey is het “e-mail only” survey (Batagelj & Vehovar, 1998: 210-211). Bij e-mail only based interviewing wordt de vragenlijst als e-mail bericht verzonden (in de bodytext, dus niet als bijvoegsel zoals by disk by e-mail), en wordt er van de respondent verwacht dat hij of zij deze e-mail beantwoordt en de antwoorden tussen de vragen invult. Maar niet enkel Electronic Mail Surveys (EMS) zijn tot de mogelijkheden gaan behoren, ook websurveys zijn met de komst van het Internet mogelijk geworden. In dit systeem wordt een electronische vragenlijst op een server geplaatst en worden subjecten uitgenodigd om deze vragenlijst in te vullen. De vragenlijst wordt meestal in HTML (HyperText Markup Language) geschreven. Deze programmeertaal laat toe formulieren (vragenlijsten) aan te maken. Deze formulieren kunnen informatie verzamelen en het systeem voorziet in de mogelijkheid deze informatie te bewaren. Interessant is op te merken dat Saris reeds in 1989 (eigenlijk heel wat jaren voor het Internet aan zijn succesverhaal begon (3)) vermelding maakt van een type dataverzameling dat sterke overeenkomsten vertoont met websurveys. Het gaat om het project “Tele-interview” dat in April 1986 succesvol werd geïmplementeerd door NIPO (Saris, 1989: 339). Het opzet van het “Teleinterview” was als volgt: een toevalssteekproef van 1000 huishoudens (2400 personen) uit de Nederlandse populatie werd voorzien van een personal computer en een modem. In ruil voor deze uitrusting diende elk lid van elk van de huishoudens op wekelijkse basis een kort survey in te vullen. Op geregelde tijdstippen maakte de modem van de personal computer (zonder tussenkomst van de respondent) een verbinding met de server en werd er nagegaan of er een nieuwe vragenlijst was. Indien dit het geval was, werd deze automatisch gedownload naar de personal computer. Nadat de geselecteerde leden van het huishouden de vragenlijst hadden ingevuld, werden de data teruggezonden naar de server (zie De Leeuw & Nicholls II, 1996: 3). Het Internet is dus niet nieuw, en werd ook vroeger al gebruikt om data te verzamelen. Wel nieuw is de schaal waarop dit kan gebeuren. Dankzij de snelle expansie van het Internet zijn veel 3
meer mensen dan voorheen te bereiken via het Internet – en dit zonder dat de onderzoekers materiaal (computers en modems) ter beschikking moeten stellen van hun respondenten. Bijgevolg is het verzamelen van gegevens over relatief brede lagen van de bevolking via het Internet meer praktisch realiseerbaar geworden, en hoeft men zich niet meer te beperken tot panel-onderzoek. Dat was in het Tele-interview wel noodzakelijk daar het aan de respondenten ter beschikking stellen (eigenlijk het geven) van personal computers en andere uitrusting een grote investering vergt. Zulk een project is natuurlijk niet (financieel) haalbaar wanneer men deze respondenten slechts één enkele keer zou bevragen. Met de intrede – en vooral de expansie – van het Internet heeft de post-enquête er dus enkele nieuwe (computer ondersteunde) varianten bij gekregen. Disk by e-mail, E-mail only en websurveys zijn drie mogelijke manieren om via het Internet respondenten te bevragen. In deze paragraaf werden deze werkwijzen kort geïntroduceerd en gesitueerd. In de volgende paragraaf zullen twee van deze systemen nader geëvalueerd worden, met name e-mail only surveys en websurveys. De reden waarom disk by e-mail surveys niet worden besproken is de sterke overeenkomst met het reeds lang bekende DBM systeem. De werkwijzen waarbij de (relatief) nieuwe technologie van het Internet in grotere mate wordt aangewend dragen hier de primaire aandacht weg. Wegens het niet verder behandelen van disk by e-mail, kan in het verdere verloop van deze tekst naar het “e-mail only survey” verwezen worden met de meer leesbare aanduiding “e-mail survey”.
2. E-mail surveys en websurveys: een verdere exploratie
2.1. Enkele voordelen van e-mail surveys en websurveys 2.1.1. Hoge snelheid Een eerste in het oog springende voordeel van e-mail surveys en websurveys is de snelheid waarmee men respons krijgt op de studie. Swoboda, Mühlberger, Weitkunat en Schneeweiβ (1997: 249) bijvoorbeeld, rapporteren dat 43,3% van alle antwoorden binnen de 24 uur na de lancering van de e-mail studie werden ontvangen. Negentig procent van alle antwoorden bereikten de onderzoekers binnen de vier dagen. Ook Schaefer en Dillman (1998: 389-390) merkten de snelle responstijd van e-mail surveys op. In hun studie werd een e-mail survey 4
vergeleken met een traditionele post-enquête. De gemiddelde duur nodig om de ingevulde vragenlijsten terug te krijgen bedroeg 9,16 dagen voor het e-mail survey en 14,39 dagen voor de papieren versie. Een tweezijdige t-test onthulde dat dit verschil significant was. E-mail surveys laten dus een kortere veldwerkperiode toe dan traditionele post-surveys. Volgens Schaefer en Dillman (1998: 379) zijn e-mail surveys zelfs sneller dan (grootschalige) telefonische surveys, waar het aantal telefoontoestellen en interviewers het aantal afgewerkte interviews per dag beperkt. 2.1.2. Lage kosten E-mail surveys en websurveys zijn niet alleen snel, ze zijn vaak ook goedkoper dan de meeste andere manieren van surveying, omdat er geen drukkosten zijn, de verzendingskosten afwezig of laag zijn en er geen interviewerkosten zijn (Schaefer & Dillman, 1998: 379). Eens de vragenlijst is opgesteld, is de kost van elke additionele opname van een steekproefelement verwaarloosbaar klein (Dillman & Bowker, 2000: 3-4).
2.2. Enkele tekortkomingen van e-mail surveys en websurveys E-mail surveys en websurveys hebben ook tekortkomingen. Deze tekortkomingen kunnen middels het bekende perspectief van Groves (1989) worden benaderd (Dillman e.a., 2000: 2). In dat perspectief zijn er vier foutenbronnen die de kwaliteit van de data kunnen aantasten, namelijk coverage error, sampling error, measurement error en nonresponse error. 2.2.1. Dekkingsfouten Coverage errors, of dekkingsfouten, resulteren uit het niet aan iedereen toekennen van een gekende niet-nul kans om te worden opgenomen in een survey (Dillman & Bowker, 2000: 4). Anders gesteld dekt het steekproefkader (het frame) niet de volledige populatie die men wenst te bestuderen (Groves, 1989: S159). Dit is een punt dat speciale aandacht verdient binnen Internet surveys, daar de individuen die op het Internet teruggevonden worden niet helemaal representatief zijn voor de totale populatie. Vooreerst blijkt uit Amerikaanse gegevens dat in de groep computerbezitters jonge blanke gezinnen met een hogere opleiding en een hoger inkomen oververtegenwoordigd zijn 5
(Newburger, 1999: 1-3). Ook uit Nederlands cijfermateriaal (Michiels, 2001) blijkt dat computerbezit niet egaal verdeeld is over de bevolking. Gezinnen met schoolgaande (of studerende) kinderen beschikken vaker over een PC dan gezinnen zonder schoolgaande kinderen. Het verband is zelfs lineair: hoe meer schoolgaande kinderen, hoe groter de kans wordt dat men thuis een computer heeft. De ongelijke verdeling van Internet-gebruik over de bevolking is al evenzeer treffend. Cijfers van het Centraal Bureau voor de Statistiek (2000: 8-9) tonen aan dat vooral werkende jonge mensen met een hogere opleiding op het Internet te vinden zijn. Computergebruikers, en a fortiori Internetgebruikers, zijn dus niet representatief voor de totale populatie (zie ook bvb. Best, Krueger, Hubbard en Smith (2001)). Wanneer zulke situatie bestaat, dan wordt coverage error een niet verwaarloosbaar probleem. Dillman en Bowker (2000: 5) stellen dan ook dat het – zeker in de nabije toekomst –onmogelijk zal blijven studies te voeren over de algemene bevolking via e-mail surveys of websurveys. Via het Internet kan men immers niet alle leden van de populatie bereiken. En zelfs binnen de groep Internet gebruikers zijn er individuen die men niet zal kunnen bereiken. Dat is het gevolg van het ontbreken aan (goede) lijsten van e-mail adressen en de situatie van niet-gestandaardiseerde e-mail adressen. Dit laatste houdt in dat een procedure als Random Digit Dialing zoals bij telefonische enquêtes, onmogelijk wordt. Men kan geen e-mail adressen aanmaken op basis van het toeval wegens het ontbreken van elke standaardisatie (zie ook Tuten, 1997: 7). Het probleem van coverage hoeft niet onoverkomelijk te zijn (Dillman e.a., 2000: 5). Bepaalde deelpopulaties zijn immers in zeer grote mate aanwezig op het Internet, bijvoorbeeld (universiteits-)studenten of werknemers van bepaalde bedrijven. Van deze groepen bestaan ook vaak volledige adressenlijsten. Aan vele Vlaamse Universiteiten is het bijvoorbeeld de gewoonte geworden dat elke ingeschreven student (gratis) een e-mail adres krijgt van de Universiteit. Aan de K.U. Leuven krijgt elke student een e-mail adres dat eindigt met “student.kuleuven.ac.be”. Email surveys of websurveys onder zulke populaties voeren kan dan ook zonder veel coverageproblemen. 2.2.2. Steekproeffouten Steekproeffouten of sampling errors vormen op zichzelf geen grotere bedreiging ten aanzien van e-mail of websurveys dan voor andere vormen van surveys. Surveys via het Internet zijn in dezelfde mate onderhevig aan steekproeffouten als andere types van survey-onderzoek waar 6
steekproeven worden getrokken. Steekproeffouten worden echter makkelijker onderschat bij email surveys en websurveys dan bij andere surveys. De reden van dat onderschatten is een resultante van het kostenaspect van Internet surveys. Aangezien de kosten zo laag zijn, en dus elke additionele eenheid die opgenomen wordt in de steekproef de kosten slechts minimaal (of zelfs niet) doet stijgen, is men al snel geneigd zeer grote steekproeven te nemen bij e-mail of websurveys. Traditioneel staan grote steekproeven voor accurate steekproeven, en hoe groter een steekproef wordt, hoe accurater de schattingen worden (Billiet, 1995: 128-129). Bij e-mail en websurveys is deze rechtlijnige redenering niet veroorloofd, net wegens de grote problemen met dekkingsfouten (zie sectie 2.2.1.). Hoe groot de steekproef ook wordt, indien deze niet representatief is kan er niet van gesteld worden dat hij accuraat is (Dillman e.a., 2000: 3-4). De nauwkeurigheid van de Internet-steekproef – uitgedrukt in termen van steekproeffout – kan dan ook niet blindelings afgeleid worden uit het aantal respondenten en moet in relatie gezien worden tot de dekkingsfout. Men neemt dan ook best enkele maatregelen om de nauwkeurigheid of representativiteit te kunnen bepalen. De volgende paar alinea’s richten zich op een studie waar zulke maatregelen werden getroffen. Survey2000, een grootschalig websurvey, werd gedurende twee maanden in 1998 gevoerd op de website van de National Geographic Society (Witte, Amoroso en Howard, 2000). Maar liefst 80.015 individuen begonnen aan het survey, waarvan er 54.937 (zowat 69%) de vragenlijst volledig invulden (Witte e.a., 2000: 186). In dit survey werden speciale maatregelen getroffen om de representativiteit van de steekproef te evalueren. Dit werd bereikt door items in de electronische vragenlijst op te nemen die via “traditionele” surveys reeds waren bevraagd. Deze items zouden later als vergelijkingspunten dienen. De vraag kon dan worden geformuleerd of een weging van het websurvey nodig is om tot representatieve bevindingen te komen (zie infra). Vooraleer in te gaan op de resultaten van deze inspanningen, kan een treffend voorbeeld worden gegeven waarin duidelijk wordt hoe weinig belang nog wordt gehecht aan bijkomende steekproefeenheden in Internet surveys (wellicht vanwege de lage kosten). De auteurs schrijven: “More than 80,000 surveys were initiated, and a bit more than 50,000 were completed” (Witte e.a., 2000: 185). Uit de tabel op pagina 186 van diezelfde publicatie staat het precieze cijfer voltooide interviews: 54.937. Een “beetje meer” staat dus voor een additionele 4.937 individuen. Bijna vijfduizend mensen meer of minder doet er blijkbaar niet zo heel veel meer toe. In de marge van dit soort vaststellingen kan de vraag worden gesteld of de resulterende data-sets van 7
Internet surveys door hun grote omvang minder op de traditionele manier zullen worden benaderd, maar meer vanuit een perspectief van data-mining (zie bvb. Hand, 2000). De afhankelijkheid van vele toetsstatistieken van de grootte van de steekproef betekent immers dat zelfs de meest triviale associaties of verschillen significant worden bevonden indien er grote steekproeven worden gebruikt (zie bvb. Daniel, 1998: 25-26). Vergelijking van demografische kenmerken tussen Survey2000 en andere surveys (waaronder metingen van het Census Bureau) toont duidelijk dat er scheeftrekkingen zijn (Witte e.a., 2000: 185-188) (4). Vooreerst worden er iets jongere mensen aangetrokken op het websurvey (gemiddelde leeftijd van 38 jaar tegenover 40-44 jaar in de andere surveys). Ook blanken zijn oververtegenwoordigd in het websurvey. Waar ze volgens de andere surveys van 80,9 tot 84% uitmaken van de bevolking, is dat in het websurvey 94,5% geworden. Een minderheidsgroep (Afro-Americans) maakt 1,4% uit in het websurvey, terwijl zij volgens andere surveys van 11,2 tot 13,9% van de bevolking uitmaken. Naar scholingsgraad wordt opgemerkt dat hoger geschoolden oververtegenwoordigd zijn (bvb. Bachelor’s degree: 34,1% in het websurvey, rond de 16% in de andere surveys). Lager geschoolden zijn dan weer vrijwel afwezig in het websurvey (0,9% tegenover 15,2 tot 18,1% in de andere surveys). De auteurs besluiten op basis van deze gegevens dat er nood is aan weging om tot een representatieve steekproef te komen (Witte e.a., 2000: 188). In het kader van de bespreking van steekproeffouten is het punt van Dillman en Bowker (2000) met dit voorbeeld van Survey2000 goed geïllustreerd: zelfs een zeer grote steekproef is niet zonder meer accuraat te noemen. 2.2.3. Non-respons Non-respons vormt een (steeds groter wordende) bedreiging voor alle types van surveyonderzoek, maar in het kader van Internet surveys kan non-respons nog belangrijkere proporties aannemen. De verhoogde kans op (unit) nonrespons is voornamelijk te wijten aan de technische kant van surveys via het Internet, namelijk de computer. Sommigen zijn nog niet zo lang actief op het Internet, en kennen nog niet alle handelingen die nodig zijn om bepaalde resultaten te bereiken. Gebrekkige computerkennis kan dan ook leiden tot een weigering, wegens de frustratie die voortvloeit uit het niet weten hoe men moet antwoorden op de vragen (Dillman en Bowker, 2000: 6) (5). Soms is niet de gebrekkige 8
computerkennis van de respondent de oorzaak van frustratie (en dus non-respons), maar is de vragenlijst slecht opgesteld. Onoverzichtelijke vragenlijsten die veel inspanning vergen van de respondent om ze in te vullen vergroten de kans op non-respons tijdens het invullen van de vragenlijst (Dillman en Bowker, 2000: 6). Een ander voorbeeld van vragenlijstconstructie die wel eens wrevel kan oproepen is de resultante van de mogelijkheid om in websurveys antwoorden “af te dwingen”. Dit wordt bereikt door de respondent niet toe te laten naar de volgende vraag te gaan zonder eerst te hebben geantwoord op de huidige vraag. Wanneer de respondent de vraag echter echt niet wil beantwoorden, dan bereikt de onderzoeker in plaats van één ontbrekende waarde (item non-respons) een volledige weigering (unit non-respons). Met zulke zaken moet dan ook rekening worden gehouden bij het opstellen van de vragenlijst (zie sectie 3.2.7.). Naast gebrekkige computerkennis van de respondent en slechte vragenlijstdesign kunnen er zich ook problemen voordoen met soft- en/of hardware (Dillman & Bowker, 2000: 8). Dit is een overweging die vooral bij websurveys van belang is. Naast HTML, de standaardtaal van het Internet en ook de taal waarin web-vragenlijsten kunnen worden opgesteld, is er nog een groot aantal andere programmeertalen die webdesigners kunnen gebruiken ter aanvuling (bvb. JavaScript) of ter vervanging van HTML (bvb. Java). Al deze toevoegingen kunnen websites attractiever maken, in de zin van mooier, functioneler en interactiever. Het probleem is echter dat de gebruiker steeds de nodige software nodig heeft op de eigen computer om van deze toevoegingen te kunnen genieten (6). Het gebruik van JavaScript, Java, ActiveX, enzomeer kan dan ook sommige respondenten voor serieuze compatibiliteitsproblemen stellen (Batagelj & Bowker, 1998: 213). Naast compatibiliteitsproblemen is het ook zo dat alle extra’s zoals JavaScript en dergelijke, maar zeker ook grafische bestanden (die het websurvey attractiever moeten maken), het bestand dat de vragenlijst bevat vrij groot maken. Dit betekent dan vaak een langere transmissietijd. Dit is de tijd die nodig is om de vragenlijst te downloaden en deze te zien te krijgen op het scherm. Langere wachttijden vergroten echter de kans dat de respondent de transmissie onderbreekt en er dus unit non-respons optreed (zie bvb. Dillman, Tortora, Conradt en Bowker (1998)).
9
2.2.4. Meetfouten E-mail surveys en websurveys worden beiden geconfronteerd met de moeilijkheid stimuli op dezelfde manier aan alle respondenten toe te dienen. Deze moeilijkheid vloeit voort uit de problematiek van soft- en hardwarecompatibiliteit. Verschillende browsers (Internet Explorer / Netscape) en operating systems (PC / Mac) tonen webpagina’s, en dus ook webvragenlijsten, op een iets andere manier. Deze inconsistentie kan vooral gevolgen hebben voor meetfouten. De meeste e-mail programma’s en browsers hebben bijvoorbeeld de gewoonte de lengte van zinnen aan te passen aan de breedte van het scherm. Daardoor worden zinnen bij de ontvanger soms korter of langer dan bij de zender. Voor reguliere e-mails of websites heeft dit niet altijd veel belang, maar wel voor surveys. Wanneer vragen zich op een verschillende manier presenteren naargelang de instellingen van de computer van de gebruiker, dan kan men nog maar moeilijk spreken van gelijke stimuli. Niet enkel kunnen vragen korter of langer worden afgebeeld op het beeldscherm van de respondent dan voorzien door de onderzoeker, er bestaan nog andere gevaren. Eén daarvan is dat verschillende browsers de punten op een antwoordschaal verder of dichter bij mekaar afbeelden, waardoor de afstand tussen de verschillende punten ongelijk wordt. Het verschil tussen hoe de onderzoeker de vragenlijst zag toen deze hem construeerde en hoe de respondent de vragenlijst te zien krijgt, is dus een niet te verwaarlozen probleem aan e-mail en websurveys. Inzicht in hoe verschillende e-mail programma’s en browsers omgaan met de vragenlijst en hoe aan deze problemen tegemoet kan worden gekomen, is dan ook nastrevenswaardig.
2.3. Verschilpunten tussen e-mail surveys en websurveys In de vorige paragrafen werden enkele gemeeschappelijke voor- en nadelen van e-mail surveys en websurveys aangekaart. Toch zijn er ook verschilpunten tussen beide methodes. In deze paragraaf zal getracht worden enkele van die verschillen aan te stippen. Om enige systematiek in deze vergelijking aan te brengen, zal getracht worden een chronologische lijn aan te houden. Deze lijn loopt dan van het opstellen van de vragenlijst tot het teruggezonden krijgen van de antwoordgegevens.
10
2.3.1. Het opstellen van de vragenlijst Een e-mail vragenlijst is relatief eenvoudig op te stellen in vergelijking met een websurvey, omdat men voor dit laatste enige kennis van HTML moet hebben. De grotere complexiteit van HTML houdt echter een grotere controle in over de manier waarop de vragenlijst zal worden afgebeeld. Het gebruik van bvb. kolommen onder HTML kan een overzichtelijke lay-out van de vragenlijst bewerkstelligen (Dillman, 2000: 353-354; zie ook sectie 3.2.5.). Websurveys zien er niet alleen vaak beter uit dan e-mail surveys, ze zijn soms ook functioneler. Wanneer er veel en complexe “skip patterns” in de vragenlijst zitten, dan halen websurveys het vaak van e-mail surveys op gebied van overzichtelijkheid en gebruiksvriendelijkheid (Dillman, 2000: 354). Dit berust op het feit dat men het springen naar bepaalde vragen kan laten afhangen van de “hyperlinks”. Deze kunnen dan voor elke subgroep van respondenten – die een andere route doorheen de vragenlijst moeten volgen – verwijzen naar een andere volgende vraag. Op deze manier vergt het volgen van een bepaalde route doorheen de vragenlijst minder moeite van de respondent dan het geval is bij e-mail surveys, waar de respondent vaak zelf moet scrollen om de volgende relevante vraag te vinden. Websurveys laten nog meer geavanceerde mogelijkheden toe, zoals het gebruik van “drop-down boxes”. Dit is een vakje van één lijn hoog waarin men één antwoord uit zeer vele kan selecteren. Dillman (2000: 354) geeft het voorbeeld van de – in de V.S. relevante – vraag: “In welke staat woont u?”. In een traditionele post-enquête zou een lijst van vijftig staten moeten worden opgesteld, wat veel ruimte in beslag neemt. Een “drop-down box” daarentegen kan deze vijftig staten bevatten in een vakje van slechts één lijn hoog. De respondent klikt dan met de muis op dit vakje, waardoor de keuzemogelijkheden zichtbaar worden. Uit die lijst klikt de respondent de passende keuze aan, waardoor de lijst van keuzemogelijkheden weer verdwijnt en de aangklikte keuze in het vakje komt te staan. Dit is dan ook een oplossing die veel plaats bespaart. Er wordt echter ook vaak op gewezen (Dillman, 2000: 354; Dillman, Tortora, Conradt & Bowker, 1998; Dillman & Bowker, 2000: 8) dat niet moet worden toegegeven aan de verleiding om al te complexe websurveys te construeren. Het Internet is sterk in beweging en vele programmeurs volgen dan ook steeds de laatste nieuwe trends (“cutting-edge technology”) hetgeen de complexiteit van webpagina’s sterk kan vergroten (Dillman & Bowker, 2000: 8). Dit kan contra-productief werken wanneer de respondent niet in het bezit is van de nodige 11
programmatuur om deze extra’s te laten functioneren. Ook wordt een “overgeprogrammeerd” websurvey al gauw zeer groot in volume waardoor de nodige tijd om de vragenlijst te downloaden zo groot kan worden dat de respondent afhaakt waardoor unit non-respons optreedt (zie ook sectie 2.2.3). Bij het opstellen van websurveys moet men er dus op letten de vragenlijsten niet te complex te maken, zodat verwacht kan worden dat alle geselecteerde respondenten over de nodige hard- en software zullen beschikken om de vragenlijst te kunnen opvragen en in te vullen. Respondenten met een iets tragere Internet verbinding en iets minder verfijnde software mogen niet benadeeld worden door de programmering van de vragenlijst. 2.3.2. Het contacteren van respondenten Een e-mail survey is beperkter in het aantal mogelijke manieren waarop respondenten kunnen worden gecontacteerd en uitgenodigd tot het invullen van de vragenlijst. Men kan de uitnodiging om aan een e-mail survey mee te werken immers het beste ook doen via e-mail. Schaefer en Dillman (1998: 386-388) komen immers tot het besluit dat respondenten die per brief werden uitgenodigd om aan een e-mail survey mee te werken, significant minder ingingen op dit verzoek dan de respondenten die via e-mail werden uitgenodigd om aan ditzelfde onderzoek de medewerking te verlenen (48,2% ten opzichte van 58%). Bij websurveys kan men meerdere kanalen aanspreken. Men kan de uitnodigingen per e-mail versturen op voorwaarde dat men beschikt over een lijst met e-mail adressen. Men kan ook gebruik maken van “on-line uitnodigingen”. Deze kunnen onder een tweetal vormen voorkomen. Vooreerst kan men hyperlinks aanbrengen op drukbezochte websites. Geïnteresseerden kunnen op deze link klikken en de vragenlijst invullen. Het nadeel aan deze methode is duidelijk. De zelfselectie van de respondenten maakt dat de verzamelde data allicht geen goede steekproef zullen vormen. Een tweede probleem is natuurlijk dat men niet in staat is een exacte responsgraad te berekenen. Men kent vaak niet het precieze aantal (unieke) bezoekers van een website, waardoor men maar moeilijk kan achterhalen hoe groot het responspercentage bedraagt. Het reeds besproken Survey2000 survey maakte gebruik van deze methode. Een link naar de vragenlijst werd geplaatst op de website van de National Geographic Society (dat ongeveer anderhalf miljoen bezoeken krijgt per maand), en een referentie naar het survey werd gepubliceerd in de tijdschriften uitgaande van deze Society (Witte e.a., 2000: 184).
12
Een tweede manier om mensen on-line uit te nodigen tot deelname aan een survey is gebruik te maken van zogenaamde “pop-up windows” (zie Enander en Sajti (2000)). Dit soort schermen bevat een korte uitnodiging om deel te nemen aan de vragenlijst (met een link daarheen), of toont onmiddellijk de vragenlijst. Het verschil tussen deze pop-ups en de reeds besproken “blote links” is dat het aanbieden van pop-ups gestuurd kan worden door een programma. Typisch programmeert men dat met een klein stukje JavaScript. Daardoor wordt het mogelijk toevalsgetallen te trekken en bezoekers dus op toevalsbasis uit te nodigen. Men kan hier variaties op maken (bvb. elke tiende bezoeker van de website wordt uitgenodigd). Niet elke bezoeker wordt dus uitgenodigd om deel te nemen aan het survey. Om daarenboven te vermijden dat men bij herhaalde bezoeken toch nog wordt uitgenodigd, of dat men twee keer of meer wordt uitgenodigd terwijl men reeds deelnam aan het onderzoek, kunnen zogenaamde “cookies” worden aangesproken. Een cookie is een klein (tekst)bestandje dat huist op de harde schijf van de bezoeker (en daar blijft staan na de Internet-sessie). Dit bestandje kan worden gemanipuleerd door bvb. JavaScript. Op die manier kan men via de inhoud van dit bestand weten of iemand de website al heeft bezocht, en dus al in aanmerking is gekomen voor een uitnodiging. Men kan ook bijhouden of de bezoeker – indien deze een uitnodiging heeft gekregen – op deze uitnodiging is ingegaan of niet. Op die manier kunnen responsgraden worden berekend. Het systeem van popup windows heeft dus een aantal voordelen boven het gebruik van “blote links”. Toch blijven er ernstige nadelen verbonden aan dit soort selectieprocedures. Vooreerst kan een goede dekking nog steeds niet gegarandeerd worden, daar de mensen die in aanmerking komen voor een uitnodiging per definitie behoren tot een subgroep die een bepaalde website bezoekt. Het feit dat een website druk bezocht wordt, is op zich geen garantie voor een goede dekkingsgraad ten aanzien van de totale bevolking (zie ook de bespreking van Survey2000 (Witte e.a., 2000)). Ten tweede zijn de toepassingsmogelijkheden van pop-up windows beperkt door de technologie die de bezoeker bezit. Sommige browsers herkennen nog geen JavaScript, waardoor pop-up windows niet mogelijk zijn. Nog problematischer is het gebruik van cookies, aangezien sommige websurfers zichzelf beschermen tegen zulke constructies en het gebruik ervan dan ook niet toelaten. Cookies worden inderdaad nogal eens gebruikt om het reilen en zeilen van bezoekers te traceren, waardoor sommigen dit als een schending van hun privacy beschouwen (Cho & LaRose, 1999: 421-422). De meest verantwoorde manier om individuen uit te nodigen blijft dus het sturen van een uitnodigings e-mail. Gegeven dat men vertrekt van een goed steekproefkader, is men met deze 13
werkwijze beter verzekerd van het goede verloop van de studie (een gekende responsgraad, de mogelijkheid herinneringen naar nonrespondenten te sturen,...). Toch is ook het uitnodigen per email niet steeds zonder problemen. Cho en LaRose (1999) bespreken het recent opgedoken fenomeen van “spam”. Dit zijn ongevraagde e-mails, vaak verstuurd met een commerciële intentie. Zulke “mass mailings” worden niet altijd in dank aanvaard (Cho en LaRose, 1999: 422; Tuten, 1997: 7). Schaefer en Dillman (1998: 380-381) stellen dan ook dat uitnodigingen per email niet moeten worden verstuurd naar grote aantallen mensen tegelijk, maar dat dit gepersonaliseerd moet gebeuren. Vroeger onderzoek had al een positief effect uitgewezen van personalisering bij post-enquêtes (Dillman, 2000). Het opsommen van grote aantallen ontvangers in de “To:”-hoofding van het e-mail bericht is dus niet aangewezen, zeker niet omdat dit de privacy schendt (alle ontvangers kunnen dan zien naar wie het bericht werd verzonden). Ook het gebruik van de Blind-carbon-copy functie is niet aangewezen daar dit tot gevolg heeft dat elke ontvanger “To: Undisclosed Recipients” te lezen krijgt (Schaefer en Dillman, 1998: 385). In het experiment van Schaefer en Dillman (1998) wordt dan ook voor elke respondent een aparte email aangemaakt en verstuurd. Dankzij de “copy-paste” of “knip-en-plak” functie in de moderne computer applicaties is deze taak minder omslachtig dan men zou aannemen. Toch is een automatisering van dit proces niet ongewenst, en technisch perfect realiseerbaar. Bij wijze van afsluitende opmerking is de definitie van non-respons enigszins aan verduidelijking toe wanneer men deze verschillende soorten van mogelijke contactnames beschouwt. Wanneer men een hyperlink krijgt aangeboden op een website die naar een websurvey leidt, maar daar niet op ingaat, kan men dan van eenzelfde soort non-respons spreken als wanneer men niet ingaat op een verzoek via een e-mail bericht (op naam) waarin expliciet de vraag wordt gesteld of men wil meewerken aan een survey? Zonder hier verder op in te gaan lijkt het onderscheid tussen een expliciete uitnodiging en een uitnodiging “en passant” toch van enig belang te zijn om de invulling van het begrip “non-respons” scherp te stellen. 2.3.3. Het invullen van de vragenlijst Specifieke problemen van deze fase werden eerder reeds besproken onder de sectie omtrent meetfouten (zie sectie 2.2.4.). Bij e-mail surveys kunnen zich nog enkele bijkomende problemen stellen ten aanzien van dit aspect. Bij een e-mail vragenlijst dient de respondent de antwoorden immers tussen de vragen te schrijven, wat betekent dat men toegang krijgt tot het bronbestand 14
waarin de vragen staan. Dat betekent dat men de vragen zelf ook kan manipuleren. Tuten (1997: 7) rapporteert over het voorkomen van respondenten die vragen herformuleren, vragen wegvegen en schalen uitbreiden! Bij websurveys stelt dit probleem zich niet, en zijn er zelfs enkele voordelen te bemerken ten aanzien van het traditionele post-survey. Zo is het bijvoorbeeld niet mogelijk om meer dan één antwoordmogelijkheid van een antwoordschaal te selecteren wanneer men radio-buttons toepast. Dat zijn formulier-elementen die standaard bestaan binnen HTML. Een ander mogelijk voordeel bestaat eruit respondenten te kunnen dwingen een antwoord te geven. Dit gebeurt door het onmogelijk te maken naar een volgende vraag te gaan zolang men geen antwoord heeft gegeven op de huidige vraag. In sectie 2.2.3. werd reeds vermeld dat dit frustratie bij de respondent kan aanwakkeren waardoor men unit non-respons kan bereiken. Een voordeel van e-mail surveys dat wel eens wordt vermeld (Tuten, 1997: 5, Schaefer en Dillman, 1998: 385) is dat e-mail surveys door de respondent kunnen worden afgedrukt op papier. Hierdoor kunnen de respondenten die het survey liever niet op de computer invullen er zelf een traditionele post-enquête van maken. Ze kunnen de ingevulde vragenlijst dan via de traditionele post terugzenden. Dit veronderstelt dan wel dat er een adres vermeld is in het e-mail bericht waar de respondenten de vragenlijst naartoe kunnen sturen. Hetzelfde kan gebeuren bij websurveys, ook weer in de veronderstelling dat ergens een adres vermeld is waar de respondenten de vragenlijst heen kunnen sturen. Een punt dat van belang is voor websurveys, is het publieke karakter van dit soort vragenlijsten. Vaak wordt het survey geplaatst op een server, onder een bepaald web-adres. Wanneer het niet de bedoeling is dat vrijwilligers deze vragenlijst invullen, dan moet de vragenlijst op de één of andere manier worden afgeschermd tegen ongenode gasten. Dillman en Bowker (2000) stellen dan ook voor om bijvoorbeeld PIN-nummers te gebruiken. Dit zijn unieke cijfercombinaties (vergelijkbaar met het geheime nummer van bankkaarten), die de respondent via de uitnodigings e-mail toegestuurd krijgt. De respondent dient deze code dan in te geven op een inlog-pagina vooraleer de toegang tot de eigenlijke vragenlijst wordt verleend. Elders (Survey Sampling Inc. (2001)) wordt echter gesteld dat men beter een uniek webadres toekent aan elke uitgenodigde respondent, omdat het erop lijkt dat alles wat een individu moet opschrijven of onthouden, de responsgraad doet dalen. Met een uniek webadres kan de vragenlijst dus worden afgeschermd zonder respondenten te moeten verliezen. 15
2.3.4. Het ontvangen van de data Wanneer de respondent de vragenlijst heeft ingevuld, en deze met de antwoorden terugstuurt, dan treedt er een belangrijk verschil op tussen e-mail surveys en websurveys. Bij e-mail surveys moeten de nuttige data (de antwoorden dus) nog gescheiden worden van de vragenlijst, wat neerkomt op coderen. Zoals eerder opgemerkt kunnen respondenten immers wijzigingen aan de vragenlijst aanbrengen, zodat een volledige automatisering van het codeerproces niet altijd even evident is. Daarmee gaat één van de traditionele voordelen van CADAC verloren. Bij websurveys wordt dit voordeel behouden. De respondent kan immers géén wijzigingen aan het bronbestand (de vragenlijst) aanbrengen. Wanneer de respondent dus een vragenlijst heeft ingevuld, en de antwoorden terugstuurt, dan worden de ingevulde antwoorden van de vragenlijst gescheiden en kunnen deze automatisch in een databestand worden bijgeschreven. 2.3.5. E-mail surveys en websurveys: een balans. E-mail surveys en websurveys delen een aantal voor- en nadelen, maar verschillen ook van elkaar op enkele punten. In het voorgaande werden een paar van deze verschilpunten aangekaart. Uit de vergelijking blijkt dat websurveys moeilijker te maken zijn dan e-mail surveys, maar dat ze meer flexibel zijn. Men heeft zodoende meer controle over hoe de vragenlijst er precies zal uitzien, wat niet onbelangrijk is in het licht van mogelijke meetfouten. Websurveys zijn ook functioneler dan e-mail surveys wanneer er bvb. veel en complexe skip patterns in de vragenlijst zitten. Wel dient men ervoor op te passen geen al te complexe vragenlijsten te construeren waardoor men aan respondenten zou kunnen verliezen. Bij websurveys heeft men meer manieren om respondenten te contacteren dan bij e-mail surveys, maar eigenlijk zijn deze niet echt waardevol omdat ze te zeer gebaseerd zijn op zelf-selectie. Dit is dan ook geen echt voordeel van websurveys. Voor beide types survey geldt dus dat men best over een lijst met e-mail adressen beschikt waaruit men dan een steekproef trekt. Deze personen kunnen best via e-mail worden gecontacteerd op een gepersonaliseerde basis. Bij e-mail surveys kunnen zich meer problemen voordoen bij het invullen van de vragenlijst dan bij websurveys, daar de respondent in het eerstgenoemde type survey de vragen zelf kan aanpassen. Dat is niet zo in websurveys, waar zelfs enkele voordelen genoteerd kunnen worden ten aanzien van het traditionele post-survey (bvb. slechts één antwoord kunnen geven wanneer 16
men één categorie dient te kiezen). Beide vormen van survey kunnen worden afgedrukt op papier zodat de respondent die liever op de traditionele manier werkt, daartoe de mogelijkheid heeft. Het is dan wel nodig een adres te vermelden waar de respondent de ingevulde papieren vragenlijst heen kan sturen. Websurveys worden geconfronteerd met het probleem van vrije toegankelijkheid. Wanneer men werkt op basis van uitgenodigde respondenten, dan is het niet de bedoeling dat elke surfer de vragenlijst kan vinden en invullen. Dit is een technisch probleem, dat vrij makkelijk kan worden opgelost. E-mail surveys hebben het belangrijke nadeel dat ze de stap van manuele codering niet volledig kunnen elimineren. Wanneer men een e-mail teruggezonden krijgt met daarin de antwoorden, dan dient men deze nog te scheiden van de vragen. Men kan dit deels op een geautomatiseerde basis laten verlopen, maar het “open” karakter van de vragenlijst (d.w.z. dat de respondent toegang heeft tot het bronbestand en er wijzigingen in aan kan brengen) brengt toch vaak een stap van manuele codering (of toch minstens een ‘cleaning’) met zich mee. Dat is niet nodig bij websurveys, die toelaten de data volledig automatisch bij te schrijven in een dataset. Websurveys lijken dus toch iets meer voordelen te bieden dan e-mail surveys. Waarschijnlijk is dat de reden waarom over websurveys vaker wordt gerapporteerd in de literatuur. In de volgende paragraaf van deze paper wordt de aandacht dan ook geheel op websurveys gericht. Het zal de bedoeling zijn deze survey-methodologie wat grondiger te exploreren.
3. Websurveys Gegeven het recente karakter van deze survey-methodologie is er nog niet veel onderzoek gedaan naar hoe men het beste websurveys ontwerpt en implementeert (Dillman, 2000: 356; Batagelj & Vehovar, 1998: 209). Dankzij de sterke overeenkomsten tussen websurveys en de traditionele post-enquête is het ook weer niet zo dat er van nul moet worden begonnen. Vele principes die gelden voor post-enquêtes kunnen zonder veel moeilijkheden getransplanteerd worden naar de Internet versie van de post-enquête. Andere principes dienen dan weer aangepast te worden aan het eigen karakter van Internet surveying (Dillman, 2000: 376; Dillman, Tortora & Bowker, 1998: 5).
17
In de verdere bespreking van websurveys zal de klemtoon liggen op de voorstelling en bespreking van deze principes. Deze paper zal geleid worden door de bevindingen van Dillman, waar mogelijk aangevuld met onderzoek van anderen. Dat Dillman de referentie is in deze bespreking zal niet verbazen, gegeven diens expertise op het gebied van post-enquêtes (die hij nu uitbreidt naar Internet-surveys). De verdere bespreking van websurveys zal niet ingaan op louter technische aspecten van het websurvey, zoals het programmeren zelf.
3.1. Een drietal algemene criteria waaraan een websurvey moet voldoen Vooraleer in te gaan op de principes zelf, kunnen een drietal meer algemene criteria worden aangekaart. Deze vloeien voort uit het uitgangspunt dat men moet innemen bij het construeren van een websurvey, met name de gebruiksvriendelijkheid. Het uitgangspunt is dat men fouten kan vermijden door de respondent te motiveren mee te werken en door de interactie tussen respondent en computer vlot te laten verlopen (Dillman, Tortora en Bowker, 1998: 2). Er zijn immers aanwijzingen dat er spanningen kunnen optreden tussen de logica van het invullen van vragenlijsten en de logica van het computergebruik (Dillman, 2000: 376). “When conducting my first e-mail survey, the research team was momentarily puzzled by a phone call from a recipient who explained that he would like to respond but that the questionnaire would not take his answers. Several questions later the problem became evident. He had not clicked the reply-button.” (Dillman, 2000: 358). “... while watching a respondent come to an instruction in a Web survey that read “If you are a homeowner skip these questions”, which appeared in blue type with underlining (a hyperlink). He noted with much frustration that the instruction did not tell him to where he should skip, and stopped responding. When it was pointed out to him that because it was highlighted all he needed to do was click for the next questions to appear, he reacted with embarrassment, realizing that if he had seen such a message in another context, for example, searching for something on a Web page, he would have known that it was necessary to click in order to skip to the correct location” (Dillman, 2000: 359).
De taak van het invullen van een websurvey houdt in dat de respondent zowel nadenkt over hoe een vragenlijst dient te worden ingevuld als over hoe met een computer moet worden omgegaan (Dillman, Tortora & Bowker, 1998: 5). Uit de citaten blijkt dat respondenten soms wel eens één aspect van hun taak vergeten terwijl ze zich concentreren op het andere. Dit soort conflicten dient vermeden te worden om de kwaliteit van de data veilig te stellen.
18
Volgens Couper (2000: 385) moet en kan de gebruiksvriendelijkheid ook meetbaar worden gemaakt. Hij maakt dan ook een onderscheid tussen user-friendliness – wat verwijst naar subjectieve ervaringen van de gebruikers – en usability – wat verwijst naar objectieve vaststellingen
zoals
tijdsduur,
aantal
en
ernst
van
de
gemaakte
fouten,...
.
De
gebruiksvriendelijkheid van het survey instrument kan op verschillende wijzen worden gekwantificeerd, maar een belangrijke bron van gegevens zijn de zogenaamde “para”-data (Couper, 2000: 393). Dit zijn data die meegestuurd worden met websurveys, maar die de respondent niet zelf verstrekt heeft. Het gaat dan bvb. om tijdsindicaties of aanwijzingen omtrent het invulgedrag van de respondent (bvb. aantal keer dat een antwoord gewijzigd wordt, het al dan niet gevolgd hebben van verkeerde verwijzingen,...) die door het instrument op de achtergrond (dus ongemerkt voor de respondent) werden verzameld. Het eerste criterium van gebruiksvriendelijkheid is dat men bij het opstellen van een vragenlijst rekening moet houden met hoe respondenten verwachten dat een vragenlijst werkt, en hoe de computer functioneert. Er dient voor gezorgd te worden dat de vragenlijst zodanig is ontworpen dat de logica van het invullen van een vragenlijst en de logica van het werken met een computer op elkaar inpassen (Dillman, Tortora & Bowker, 1998: 5). In secties 2.2.3. en 2.3.1. werd reeds gewezen op het gevaar van overgeprogrammeerde websurveys. Het Internet is een zeer dynamische omgeving, waar steeds nieuwe technologieën opduiken. Deze maken van het Internet een onderhoudende en interactieve plaats, maar enkel voor de gebruikers die op hun computer beschikken over de nodige software om al deze extra’s tot hun recht te laten komen. Indien men met een websurvey zoveel mogelijk respondenten wil bereiken, dan zal het duidelijk zijn dat er moet gewerkt worden met een design dat als “grootste gemene deler” kan worden omschreven. Een vragenlijst dus die iedereen met minimale uitrusting (soft- en hardware) kan ontvangen en invullen. Zulke “magere” vragenlijsten zijn ook kleiner in bestandsgrootte, waardoor de transmissie- of downloadtijd verkort. De vragenlijst verschijnt dan sneller op het scherm van de respondent. Dit voorkomt dat respondenten met een trage Internetaansluiting vroegtijdig afhaken. Een experiment toonde aan dat een eenvoudige web-vragenlijst op verschillende aspecten beter presteert dan een te sterk uitgebreide vragenlijst (Dillman, Tortora, Conradt & Bowker, 1998). De gemiddelde transmissietijd van de gewone vragenlijst bedroeg minstens 225 seconden tegenover 682 seconden voor de uitgebreide vragenlijst (met een 14.4K Modem). De 19
responsgraad van de gewone versie bedroeg 41,1%, die van de uitgebreide versie 36,29%. De gewone versie werd ook meer volledig ingevuld, en er werd meer informatie gegeven op open vragen in de gewone versie dan in de uitgebreide versie van de vragenlijst. De respondenten konden de gewone vragenlijst ook significant sneller afwerken dan de uitgebreide vragenlijst (Dillman, Tortora, Conradt & Bowker, 1998: 4). Ook Batagelj en Vehovar (1998: 213) wijzen op de nadelen van meer vooruitstrevende technologieën om vragenlijsten te construeren. De lange transmissietijd stippen ze aan als belangrijkste nadeel. Het gebruik van een vragenlijst met weinig “toeters en bellen” is dus niet alleen eenvoudiger te ontwerpen, het werkt ook beter in de praktijk. Daarom stelt het tweede criterium dat een gebruiksvriendelijke web-vragenlijst door elke respondent moet kunnen worden ontvangen en ingevuld. Daarmee wordt van de ontwerper van het websurvey uitdrukkelijk verwacht dat hij of zij rekening houdt met beperkingen van door de respondent gebruikte apparatuur, browser en Internetaansluiting. Zoals eerder opgemerkt (zie sectie 2.2.1.) heeft niet iedereen toegang tot het Internet. Daardoor treden er dekkingsfouten op. Daarom is het onwaarschijnlijk dat Internet surveying in de nabije toekomst een “stand-alone” survey modus zou kunnen worden. Het is meer waarschijnlijk dat een soort mengeling zal worden nagestreeft tussen twee of meer survey methodes. Wie bereikbaar is via het Internet krijgt dan een websurvey, wie niet bereikbaar is via het Internet wordt bvb. via een traditionele post-enquête of telefonisch bevraagd. Deze samenstelling (mix) van verschillende survey types betekent wel dat inspanningen moeten worden gedaan om vergelijkbare resultaten te bekomen met de verschillende survey modi. Speciale aandacht moet dan ook gaan naar de constructie van de vragen in de verschillende bevragingstypes, zodat sprake kan zijn van vergelijkbare stimuli over de verschillende modi heen. Daarom dient men bij het opstellen van een web-vragenlijst ook rekening te houden met hoe de vraag kan of zal gesteld worden in een andere survey modus. Deze gebruiksvriendelijkheid is dus eerder van belang voor de onderzoeker dan voor de respondent. Het derde criterium van een gebruiksvriendelijk websurvey is dus dat rekening moet worden gehouden met de mogelijkheid dat ze gebruikt kan worden in een soort van mixed-mode survey situatie (Dillman, Tortora & Bowker, 1998: 6).
20
3.2. De principes voor het ontwerpen van een websurvey Dillman, Tortora en Bowker (1998: 7-14) stellen elf principes voor. Deze principes zijn deels afgeleid uit onderzoeksresultaten op basis van papieren vragenlijsten, deels gebaseerd op een aantal websurveys. Deze principes zijn dan ook niet finaal, maar kunnen beschouwd worden als hypothesen die in toekomstig onderzoek aan toetsing kunnen worden onderworpen (Dillman, Tortora en Bowker, 1998: 7). In deze paper zullen voornamelijk de principes die door Dillman, Tortora en Bowker (1998) worden voorgesteld worden besproken, maar ook andere principes zullen worden gepresenteerd. Deze kunnen worden afgeleid uit bevindingen van ander onderzoek. Om enige systematiek in de uiteenzetting te leggen, zal wederom de chronologische volgorde van de verschillende stappen gevolgd worden. 3.2.1. Het uitnodigen van de respondenten Hoewel niet echt een aspect van het ontwerp van een websurvey in strikte zin, is dit toch een belangrijke stap in het onderzoeksproces. De kenmerken van het e-mail bericht waarin de respondent wordt uitgenodigd kunnen immers een belangrijk effect hebben op de responsgraad. Zoals reeds aangestipt (Schaefer en Dillman, 1998 – zie sectie 2.3.2.) doet men er goed aan de email berichten te personaliseren. Dit komt erop neer dat elke respondent het eigen e-mail adres ziet verschijnen in de “To”-hoofding. Dit kan met “knippen-en-plakken” (Copy-Paste) worden bereikt, maar een automatisering van dit proces is realiseerbaar. Survey Sampling Inc. (2001) geven nog enkele andere tips. De uitnodiging wordt best zo kort mogelijk gehouden, en is liefst geschreven in “normale taal”, niet in “techno-taal”. Verder kan opgemerkt worden dat sommige mensen op links klikken zonder de omringende tekst te lezen, waardoor het aangewezen is de link naar de websurvey zo hoog mogelijk in het e-mail bericht te plaatsen. Men zorgt er ook best voor dat de respondent niet naar beneden moet scrollen in de tekst van het e-mail bericht om de link naar het websurvey te vinden. Indien men een PINnummer gebruikt om het survey af te schermen van ongenode gasten, dan dient men de gebruikte terminologie consistent te houden. Wanneer men in de uitnodiging (e-mail) spreekt over een “uniek identificatienummer”, dan kan men het op de toegangs- of inlogpagina van het websurvey niet plots hebben over een “paswoord”. Dit soort veranderingen in terminologie kan verwarrend 21
zijn. Toch is het – aldus Survey Sampling Inc. – nog beter om een unieke URL (web-adres) te geven aan elke respondent in plaats van een PIN-nummer. Alles wat het de respondent moeilijker maakt om aan het websurvey te raken kan immers remmend werken ten aanzien van de responsgraad. Wat dit laatste betreft, is het technisch perfect mogelijk om het inloggen van respondenten te automatiseren. Wat men in een inlog-pagina dient in te vullen (namelijk het PIN-nummer), kan automatisch gebeuren door het PIN-nummer aan het web-adres te koppelen middels een vraagteken. In plaats van de koppeling te leggen naar de vragenlijst middels een link als “http://www.kuleuven.ac.be/survey/inlog.htm”, waarna de respondent het PIN-nummer “1234”
moet
invullen
en
inloggen,
kan
men
deze
link
gebruiken:
“http://www.kuleuven.ac.be/survey/inlog.htm?pin=1234”. De respondent hoeft dan enkel te klikken op deze link die in het e-mail bericht staat, en hij of zij wordt automatisch ingelogd met PIN-code “1234”. Dit zou bij verwachting een hogere responsgraad moeten geven. In een studie van Crawford, Couper en Lamias (2001: 154-155) werd zulke verwachting met empirisch materiaal van ondersteuning voorzien. 3.2.2. De introductie Wanneer de respondent aankomt op het websurvey, dan moet het onmiddellijk duidelijk zijn dat dit inderdaad de plaats is waar de respondent terecht moest komen. Daarom moet de introductie duidelijk maken dat dit het websurvey is waarover de respondent een uitnodiging heeft gekregen. In de introductie moet, zoals in de uitnodiging, iets staan over de redenen van de bevraging en een aanmoediging om deel te nemen aan het onderzoek. Gegeven de beperkte ruimte is het aanbevelenswaardig de introductie kort te houden. Ook moet duidelijk worden vermeld hoe er aan de vragenlijst zelf kan worden begonnen. Dit is vooral nodig omdat er respondenten zullen zijn die maar een beperkte ervaring hebben met het invullen van vragenlijsten op het Internet. Deze richtlijnen dienen kort te zijn, de introductie is niet de plaats voor lange lijsten instructies (Dillman, Tortora & Bowker, 1998: 7). 3.2.3. De eerste vraag De eerste vraag is belangrijk vanuit het oogpunt respondenten aan te moedigen verder te gaan met het afwerken van de vragenlijst. Net zoals in andere types survey, zoals post-enquêtes, dient de eerste vraag van toepassing te zijn voor alle respondenten. Het moet ook een makkelijk te 22
begrijpen vraag zijn, die iedereen snel en zonder moeite kan beantwoorden. De eerste vraag moet ook interesse opwekken, en moet duidelijk gerelateerd zijn aan het onderwerp van de studie. Daarom is beginnen met demografische vragen (geslacht, leeftijd,...) nooit aangewezen (Dillman, 2000: 92-94). Van speciaal belang voor websurveys is de manier waarop van de respondent verwacht wordt dat deze een antwoord geeft. Wanneer in de eerste vraag gebruik wordt gemaakt van een minder ferquent voorkomende manier om te antwoorden, zoals bvb. drop-down boxes, dan is de kans groot dat de respondent gefrustreerd raakt en het survey verlaat. Een eerste vraag moet makkelijk te beantwoorden zijn, ook voor respondenten met beperkte Internet-ervaring. De eerste vraag dient ook volledig (dus antwoordmogelijkheden inclusief) te kunnen worden gelezen zonder dat de respondent moet scrollen (Dillman, Tortora & Bowker, 1998: 8). Elk kenmerk dat de moeilijkheidsgraad van het antwoorden verhoogt moet, zeker in de eerste vraag, vermeden worden. 3.2.4. Meer algemene richtlijnen voor de lay-out van de vragenlijst Algemeen kan gesteld worden dat men vragenlijsten op het web best zo gelijkend mogelijk maakt op vragenlijsten op papier. Vragen dienen zoals in gewone post-enquêtes genummerd te zijn. Ook het gebruik van vette letters en het gebruiken van witruimte om een goede lay-out te bekomen zijn evenzeer van toepassing in websurveys als in post-enquêtes. De vakjes of cirkeltjes die dienen te worden aangeklikt om een antwoordmogelijkheid van gesloten vragen te selecteren staan best links van de antwoordmogelijkheden zelf. In een experiment (Bowker & Dillman, 2000) werd nagegaan of respondenten links uitgelijnde dan wel rechts uitgelijnde vragen en antwoordmogelijkheden prefereerden. Twee vragenlijsten werden geconstrueerd. Deze verschilden in de algemene lay-out van de tekst (links versus rechts) en de plaats van de antwoordcategorieën (links versus rechts). De hypothese was dat de rechts uitgelijnde variant beter in de smaak zou vallen van de (op gebied van computergebruik meer ervaren) respondenten dan de links uitgelijnde vragenlijst. De reden daartoe was dat de afstand tussen het selecteren van een invulvakje en de scroll-bar (die rechts staat) kleiner is in de rechts uitgelijnde vragenlijst. Daardoor wordt het gebruiksgemak verhoogd. De resultaten geven echter aan dat de hypothese niet bevestigd wordt. De links uitgelijnde variant blijft de voorkeur van de meeste respondenten wegdragen, ook die van de meer computer-ervaren respondenten. De 23
verschillen zijn steeds minimaal, maar wel vrij consistent (Bowker & Dillman, 2000: 9-15). Naast de gerapporteerde appreciatie door de respondenten werd ook gekeken naar item nonrespons en benodigde tijd om een vragenlijst af te werken. Uit de resultaten bleek dat het aantal ontbrekende waarden (item non-respons) significant groter was bij de rechts uitgelijnde vragenlijst. Het duurde gemiddeld ook wat langer om de rechts uitgelijnde vragenlijst in te vullen. Uit dit experiment blijkt dus dat een traditionele linkse uitlijning tegen de verwachtingen in het beste werkt. 3.2.5. Lijnlengte van de vraag Uit onderzoek over post-enquêtes was reeds gebleken dat men best zo weinig mogelijk woorden gebruikt om een vraag te stellen (Dillman, 2000: 53). Individuen lezen zinnen immers niet altijd in hun geheel, maar slaan soms woorden over. Wanneer zinnen kort gehouden worden, is de kans dat men belangrijke woorden overslaat kleiner. Kortere zinnen verzekeren dus beter dat elke respondent eenzelfde stimulus krijgt (Dillman, Tortora & Bowker, 1998: 9). Voor wat betreft websurveys is de lengte van de zinnen iets wat nog voor een andere reden aandacht dient te krijgen. Men kan immers vaststellen dat in sommige gevallen browsers zinnen niet trunceren, maar ze laten doorlopen op dezelfde lijn. Dit heeft dan tot gevolg dat de zinnen zeer lang worden en buiten beeld lopen. De respondent moet dan naar rechts scrollen om de tekst verder te kunnen lezen, wat belastend kan zijn. Daarom verdient het de voorkeur de lay-out te sturen middels tabellen. De breedte van deze tabellen dienen zo gekozen te worden dat de zinnen op elke schermresolutie volledig te zien zullen zijn. De tabellen kunnen opgemaakt worden met een onzichtbare rand, zodat de vragenlijst geen vreemd ogende tabel-structuur krijgt. Tabellen vereenvoudigen en verbeteren de lay-out dus aanzienlijk en vereisen daarenboven heel weinig bijkomend geheugen. Het gebruik van tabellen is dus een interessante werkwijze om tot een goede lay-out te komen bij webvragenlijsten (Dillman, Tortora & Bowker, 1998: 9). 3.2.6. Instructies Net zoals in papieren vragenlijsten moeten er soms instructies worden gegeven over hoe de respondent de vraag dient te beantwoorden. Uit bevindingen ten aanzien van post-enquêtes werd reeds duidelijk dat men deze instructies het beste plaatst waar ze nodig zijn in de vragenlijst. Een niet aan te bevelen werkwijze is alle instructies aan het begin van de vragenlijst te vermelden in 24
de introductie of ze in een aparte referentie te plaatsen (Dillman, 2000: 98). Deze aanbeveling geldt evenzeer ten aanzien van websurveys (Dillman, Tortora & Bowker, 1998: 10). Bij websurveys dient men daarenboven soms instructies te geven omtrent het gebruik van de computer. Zoals reeds eerder werd gesteld, is niet elke respondent even bedreven in het gebruiken van de computer (zie sectie 2.2.3.). Ook dit soort instructies plaatst men best waar ze nodig zijn in de vragenlijst, en niet aan het begin van de vragenlijst in een algemene introductie (Dillman, Tortora & Bowker, 1998: 9). 3.2.7. Gedwongen antwoorden Zoals al even aangestipt, is het technisch mogelijk om respondenten te dwingen een antwoord te geven op een bepaalde vraag (zie secties 2.2.3. en 2.3.3.). Toch is deze werkwijze niet aan te bevelen (Dillman, Tortora & Bowker, 1998: 11). Mensen kunnen legitieme redenen hebben om op een bepaalde vraag geen antwoord te verstrekken, of kunnen in de onmogelijkheid zijn dit te doen. Het toch proberen af te dwingen van een antwoord kan dan frustratie opwekken waardoor de respondent de vragenlijst verlaat en er dus een gedeeltelijke (partial) unit nonrespons optreedt. 3.2.8. Oriëntatie in de vragenlijst Een belangrijk voordeel van websurveys is dat men vragen kan overslaan zonder dat de respondent er iets van in de gaten heeft. Wanneer men één vraag per scherm aanbiedt, dan weet de respondent in feite niet of er vragen worden overgeslagen, of dat ze allemaal worden aangeboden. Dit kan voor sommige respondenten wel een verlies aan oriëntatie betekenen: men weet niet goed meer waar men in de vragenlijst zit. Met papieren vragenlijsten kan men wat door- of terugbladeren, maar in vele websurveys kan dit vaak niet. Daarom verdient het de aanbeveling de respondent op de één of andere manier te helpen de oriëntatie te behouden. Dit kan door dynamisch toegevoegde tekst die aangeeft welke antwoorden men heeft gegeven op voorgaande vragen, maar ook door de mogelijkheid te bieden terug te keren in de vragenlijst met “Terug”-knoppen of hyperlinks (Dillman, Tortora & Bowker, 1998: 12). Een ander belangrijke factor betreffende de oriëntatie is te weten hoeveel vragen er nog zullen komen. Met andere woorden, hoe ver men verwijderd is van het einde. In een papieren 25
vragenlijst kan men dit snel te weten komen door even de resterende pagina’s te tellen of er wat door te bladeren. In websurveys komt het einde vaak abrupt, maar sommigen halen dat einde niet omdat het te lang uitblijft. Voor de onderzoeker is het frustrerend te moeten vaststellen dat vele respondenten de vragenlijst verlaten terwijl er nog maar enkele vragen overblijven. Om zulke voorvallen helpen te vermijden, is het aangewezen de respondent duidelijk te maken hoever hij of zij reeds gevorderd is in de vragenlijst. Men kan deze functie laten vervullen door de scrollbar, rechts van het window. Hoe meer die naar beneden gaat, hoe dichter men bij het einde komt. Maar men kan ook grafische voorstellingen geven van het vorderingsproces, of dit doen middels een stukje tekst (bvb. iets als “75% compleet”). Men kan zulke progressie-aanwijzingen ook programmeren, maar dit maakt een websurvey algauw vrij “zwaar” in de zin dat het een groot bestand wordt (Dillman, Tortora & Bowker, 1998: 12-13). Dat grote voorzichtigheid geboden is met aanwijzingen omtrent de vorderingen doorheen de vragenlijst, wordt geïllustreerd door het onderzoek van Crawford e.a. (2001). Daar vond men dat de vorderingsindicatie een significant negatief effect had op de retentie van respondenten. In de conditie waar er een vorderingsindicatie voorhanden was, vielen dus significant meer respondenten af tijdens het invullen van de vragenlijst dan in de conditie waar geen progressieindicatie was. Deze onverwachte bevinding wordt door de auteurs als volgt geïnterpreteerd. De vorderingsindicatie (in de vorm van een taartdiagram waar gekleurde delen aangaven hoe ver men reeds gevorderd was in de vragenlijst) werd berekend door het aantal reeds ingevulde vragen te delen door het totale aantal vragen. Deze proportie betekende echter een onderschatting van de geïnvesteerde tijd. Meer concreet betekent dit dat wanneer de vorderingsindicator 10% aanwees, de eigenlijk verlopen tijd meer was dan 10% van de tijd nodig om de vragenlijst in te vullen. Men was – in tijd uitgedrukt – dus al verder opgeschoten in de vragenlijst dan de vorderingsindicator liet vermoeden. De meeste respondenten denken echter eerder in termen van tijd dan in termen van aantal vragen. De vorderingsindicator deed hen dus vermoeden dat het invullen van de vragenlijst langer zou duren dan eigenlijk het geval was, waardoor ze de medewerking staakten. Vandaar ook het belang om middels proefinterviews in een betere bepaling van de progressie-indicator te kunnen voorzien.
26
3.2.9. Iets over antwoordmogelijkheden De bevindingen betreffende post-enquêtes kunnen ook hier richtinggevend zijn. Vooreerst is het niet wenselijk antwoordmogelijkheden in kolommen naast elkaar te plaatsen. Het beste plaatst men ze gewoon allemaal onder mekaar. Wanneer men daarvoor te weinig plaats heeft (vooral van belang voor websurveys daar de schermgrootte vaak beperkt is), dan kan men ze toch naast elkaar
opsommen
(in
twee
of
meer
kolommen)
op
voorwaarde
dat
men
alle
antwoordmogelijkheden op de ene of de andere manier visueel groepeert. Dit kan bijvoorbeeld gebeuren door ze in een kader te plaatsen (Dillman, Tortora & Bowker, 1998: 12). Op die manier wordt vermeden dat een respondent enkel rekening houdt met de meest linkse kolom antwoordmogelijkheden. Net zoals in papieren surveys is het van belang op te letten met vraagstructuren die meetproblemen opleveren, zoals open vragen en “duid alles wat van toepassing is aan” vragen. De laatste soort vragen kampt met primacy-effecten: de eerst geplaatste items hebben een grotere kans om aangeduid te worden dan later in de lijst voorkomende items. Een bijkomend probleem met dit soort vragen is dat satisficing kan optreden. Dit is het fenomeen waarbij respondenten na verloop van tijd vinden dat ze een voldoende antwoord hebben verstrekt en overwegen dan ook de volgende items niet meer (Dillman, 2000: 63-64). Dit soort vragen wordt ook in websurveys best vermeden (Dillman, Tortora & Bowker, 1998: 13-14). Ook open vragen worden best vermeden volgens Dillman, Tortora en Bowker (1998: 14). De reden is dat er (in post-enquêtes) meestal zeer weinig informatie mee wordt gewonnen daar er geen interviewer is die kan doorvragen (probing). Toch worden voorbeelden gevonden waarbij respondenten meer informatie geven op open vragen in websurveus dan in traditionele post-enquêtes (bvb. Schaefer & Dillman, 1998: 389).
Besluit De snelle opgang van het Internet opent voor onderzoekers nieuwe wegen om aan onderzoek te doen. Het Internet kan bijvoorbeeld gebruikt worden als kanaal waarlangs men surveyonderzoek voert. De vragenlijsten worden dan verstuurd via het Internet en de data stromen ook weer binnen via het Internet. In deze paper werd de aandacht gericht op e-mail surveys en websurveys. Het disk by e-mail survey werd daarmee buiten beschouwing gelaten. 27
De hoge snelheid en de lage kosten van survey-onderzoek via het Internet springen als grote voordelen in het oog. Maar er zijn ook enkele minder positieve kanten aan het doen van onderzoek via het Internet. Deze werden besproken en konden worden gecatalogeerd onder de vier traditionele foutenbronnen: dekkingsfouten, steekproeffouten, non-respons en meetfouten. Alle vormen van Internet surveying krijgen te maken met deze bedreigingen van de datakwaliteit. Tussen verschillende vormen van survey-onderzoek via het Internet bestaan naast overeenkomsten ook verschillen in voor- en nadelen. Deze werden uitvoerig besproken, waarna een balans werd opgesteld. Daaruit kwam het websurvey naar voren als zijnde de vorm van Internet surveying die het meeste voordelen biedt in vergelijking met e-mail surveys. Op deze vorm van surveying werd dan ook dieper ingegaan. Zowel enkele algemene criteria alsook enkele meer practisch gerichte principes die sturing kunnen geven aan het ontwerpen van de webvragenlijst werden aangekaart. Deze aangestipte principes kunnen beschouwd worden als hypotheses waar volgend onderzoek zich kan op richten Surveying via het Internet staat dus nog in de kinderschoenen, maar het is duidelijk dat er grote inspanningen worden gedaan om deze nieuwe vorm van survey-onderzoek te exploreren en te optimaliseren. De grote snelheid waarmee men via het Internet aan onderzoek kan doen zal allicht ook betekenen dat de mogelijkheden en tekortkomingen van het Internet ten aanzien van survey-onderzoek vrij snel zullen worden geëxploreerd en besproken. Waar het bij een traditioneel post-survey al gauw enkele maanden duurde vooraleer men wist wat het effect was van een experiment, kan deze tijd nu wellicht gereduceerd worden tot enkele weken. Ook het feit dat er vertrokken kan worden uit de bevindingen van de traditionele post-enquête, maakt een gezwinde constructie van een Internet methodologie er iets makkelijker op.
28
Referenties Batagelj, Z. & Vehovar, V. (1998). WWW Surveys. Advances in Methodology, Data Analysis, and Statistics, 14: 209-224. Beebe, T.J., Mika, T., Harrison, P.A., Anderson, R.E. & Fulkerson, J.A. (1997). Computerized School Surveys. Design and Development Issues. Social Science Computer Review, 15(2), pp. 159-169. Best, S. J., Krueger, B., Hubbard, C. & Smith, A. (2001). An Assessment of the Generalizability of Internet Surveys. Social Science Computer Review, 19(2), pp. 131-145. Billiet, J. (1995). Methoden van Sociaal-Wetenschappelijk Onderzoek: Ontwerp en Dataverzameling. Leuven: Acco. Bowker, D. & Dillman, D.A. (2000). An Experimental Evaluation of Left and Right Oriented Screens for Web Suestionnaires. Draft of paper to Annual Meeting of the American Association for Public Opinion Research, Portland, Oregon, May 2000. Ook beschikbaar on-line: URL http://survey.sesrc.wsu.edu/dillman/papers/AAPORpaper00.pdf. Centraal Bureau voor de Statistiek (27.07.2000). Statistisch Bulletin [WWW]. Centraal Bureau voor de Statistiek: URL http://www.cbs.nl/nl/producten/artikelen/algemeen/a-1/2000/a-100-30.pdf [21.02.2001]. Cho, H. & LaRose, R. (1999). Privacy Issues in Internet Surveys. Social Science Computer Review, 17(4), pp. 421-434. Couper, M.P. (2000). Usability Evaluation of Computer-Assisted Survey Instruments. Social Science Computer Review, 18(4), pp. 384-396. Crawford, S.D., Couper, M.P. & Lamias, M.J. (2001). Web Surveys. Perceptions of Burden. Social Science Computer Review, 19(2), pp. 146-162. Daniel, L. G. (1998). Statistical Significance Testing: A Historical Overview of Misuse and Misinterpretation with Implications for the Editorial Policies of Educational Journals. Research in the Schools, 5(2), 23-32. 29
De Leeuw, E. & Nicholls II, W. (23.12.1996). Technological Innovations in Data Collection: Acceptance, Data Quality and Costs [WWW]. Sociological Research Online, vol. 1, no. 4: URL http://www.socresonline.org.uk/1/4/leeuw.html [12.02.2001]. Dillman, D. A. (2000). Mail and Internet Surveys. The Tailored Design Method. Second Edition. New York: Wiley. Dillman, D. A. & Bowker, D. K. (2000) The Web Questionnaire Challenge to Survey Methodologists [WWW]. Don A. Dillman: URL http://survey.sesrc.wsu.edu/dillman/ zuma_paper_dillman_bowker.pdf [21.02.2001]. Dillman, D.A., Tortora, R. D. & Bowker, D. (1998). Principles for Constructing Web Surveys. (Technical Report No. 98-50) Pullman, WA Washington State University Social and Economic
Sciences
Research
Center.
Ook
beschikbaar
on-line:
http://survey.sesrc.wsu.edu/dillman/papers/websurveyppr.pdf Dillman, D. A., Tortora, R. D., Conradt, J. & Bowker, D. (1998) Influence of plain versus fancy design on response rates for Web surveys. Unpublished paper presented at Annual Meeting of the American Statistical Association, Dallas, TX. Ook beschikbaar on-line: URL http://survey.sesrc.wsu.edu/dillman/papers/asa98ppr.pdf Enander, J. & Sajti, A. (2000). Pop-up Surveys. What works, what doesn’t work and what will work in the future. Paper presented at the ESOMAR Net Effects Internet Conference in Dublin in April 2000. Ook beschikbaar on-line: URL http://www.virtualsurveys.com/ papers/popup_paper.htm [23.02.2001]. Groves, R. M. (1987). Research on Survey Data Quality. Public Opinion Quarterly, 51(4), pp. S156-S172. Hand, D.J. (2000) Data Mining. New Challenges for Statisticians. Social Science Computer Review, 18(4), 442-449. Jeavons, A. (z.d.). Trends in Interviewing [WWW]. Surveycraft System Ltd. USA: URL http://www.surveycraft.com/AJTrends.html [12.02.2001].
30
Michiels, J. (12.02.2001). Webmagazine [WWW]. Centraal Bureau voor de Statistiek: URL http://www.cbs.nl/nl/nieuws/artikelen/2001/0711k.htm [21.02.2001]. Nationaal Instituut voor de Statistiek (November, 2000). Nationaal Instituut voor de Statistiek. Communicatiemedia en audiovisuele media [WWW]. Nationaal instituut voor de Statistiek: URL http://www.statbel.fgov.be/figures/d75_nl.htm#3 [21.02.2001]. Newburger, E. C. (September, 1999). U.S. Census Bureau [WWW]. United States Department of Commerce: URL http://www.census.gov/prod/99pubs/p20-522.pdf [21.02.2001]. Saris, W. E. (1989). A technological revolution in data collection. Quality & Quantity, 23(3-4), pp. 333-349. Schaefer, D. R. & Dillman, D. A. (1998). Development of a Standard E-Mail Methodology. Results of an Experiment. Public Opinion Quarterly, 62(3), pp. 378-397. Schmeets, H. (Augustus, 2000). INDEX, feiten en cijfers over onze samenleving [WWW]. Centraal Bureau voor de Statistiek: URL http://www.cbs.nl/nl/producten/artikelen/ algemeen/a-152/2000/07/internettrein_dendert_voort.pdf [21.02.2001]. Survey Sampling Inc. (Februari, 2001). Increase Response Rates of Online Sampling [WWW]. The
Frame:
URL
http://www.worldopinion.com/the_frame/2001/Feb_4.html
[22.02.2001]. Swoboda, W. J., Mühlberger, N., Weitkunat, R. & Schneeweiβ, S. (1997). Internet Surveys by Direct Mailing. An Innovative Way of Collecting Data. Social Science Computer Review, 15(3), pp. 242-255. Tuten, T.L. (1997). Electronic Methods of Collecting Survey Data: a Review of ‘E-Research’ [WWW]. Zentrum für Umfragen, Methoden und Analysen, Zuma Arbeitsbericht: URL ftp://ftp.zuma-mannheim.de/pub/zuma/working-papers/97_09.pdf [21.02.2001] Witmer, D.F., Colman, R. W. & Katzman, S. L. (1999). From Paper-and-Pencil to Screen-andKeyboard. Toward a Methodolgy for Survey Research on the Internet. In S. Jones (Red.), Doing Internet Research. Critical Issues and Methods for Examining the Net (pp. 145161). London: Sage Publications. 31
Witte, J.C., Amoroso, L.M. & Howard, P.E.N. (2000). Research Methodology. Method and Representation in Internet-Based Survey Tools – Mobility, Community, and Cultural Identity in Survey2000. Social Science Computer Review, 18(2): 179-195.
(1) De term “Internet” wordt in deze paper gebruikt als verzamelterm waarmee verwezen wordt naar computernetwerken allerhande (Internet, Intranet, FTP, e-mail, LAN, ...). (2) Dat het computerbezit in Nederland hoger is dan de cijfers die werden gegeven voor de Verenigde Staten (die toch als voortrekkers op het gebied kunnen worden beschouwd), is allicht deels te wijten aan de datering van de gegevens (Nederland: 1999, Verenigde Staten: 1997). Een ander deel van de verklaring is ongetwijfeld gelegen in de relatieve ondoorzichtigheid van het Internet. Verschillende bronnen geven sterk uiteenlopende cijfergegevens aan, zie bijvoorbeeld voor een vergelijkende tabel Jeavons (z.d., z.p.). (3) Het Internet deed haar intrede reeds in het begin van de jaren 60, onder de vorm van het ARPANET (onder leiding van het Amerikaanse Department of Defense's Advanced Research Project Agency – ARPA). Pas in de tweede helft van de jaren 1990 begon de exponentiële groei van het Internet. (4) Bij deze vergelijking werd enkel rekening gehouden met ingezetenen van de Verenigde Staten. Het is zo dat dit websurvey een internationaal publiek heeft aangetrokken. Door nationaliteit te bevragen kon men burgers van de V.S. scheiden van de anderen. In totaal namen 32.688 volwassen burgers van de V.S. deel aan het websurvey. De gerapporteerde percentages van het websurvey hebben dan ook betrekking op dit totaal. (5) Het is evenwel mogelijk instructies omtrent de wijze waarop men dient te antwoorden op te nemen in de vragenlijst. Een goed voorbeeld hiervan is te vinden bij Beebe, Mika, Harrison, Anderson en Fulkerson (1997: 155). Het ging hier om een survey dat werd uitgevoerd in scholen en waarbij de leerlingen computers ter beschikking kregen om de vragenlijst in te vullen. Het ging hier niet om een survey via het Internet. De werkwijze die gevolgd werd om degenen die minder vertrouwd waren met computers te instrueren kan echter wel als voorbeeld worden genomen. (6) Het gaat hier om toepassingen die gebruik maken van zogenaamde “client-side” programmatuur. Dit is programmatuur die de client op zijn of haar computer moet hebben opdat een bepaalde toepassing zou werken. In contrast met client-side applicaties zijn er ook “server-side” applicaties. Dit is programmatuur die op de server staat en daar de nodige bewerkingen uitvoert. De resultaten van deze bewerkingen worden dan doorgestuurd naar de client. In dit geval heeft de client dus geen speciale programmatuur nodig, wat interessant is omdat de applicatie dan voor iedereen zal werken, ongeacht de programmatuur waarover men zelf beschikt. Niet elk effect kan echter bereikt worden met server-side applicaties en elke uitvoering vereist een verbinding met de server, wat lange wachttijden tot gevolg kan hebben. Dit brengt dus het dynamisme van de webpagina in gevaar, waar het in de eerste plaats allemaal om te doen was. 32
