Wetenschappelijk onderzoek via het internet Voordelen en nieuwe uitdagingen
artikelen
Steeds meer mensen beschikken over een computer met toegang tot het internet. Voor de wetenschap biedt dit de mogelijkheid om via het internet een grotere en diversere onderzoeksgroep te bereiken dan in het traditionele laboratorium. De verschillen tussen beide vormen van onderzoek bieden echter ook nieuwe uitdagingen. De voor- en nadelen van internetonderzoek worden in dit artikel belicht. Ook wordt ingegaan op mogelijke manieren om met deze nieuwe uitdagingen om te gaan.
Katrijn Houben Illustratie: Karel Kindermans
Internetgebruik kende de afgelopen jaren een ware opmars onder de Nederlandse bevolking. Volgens het Centraal Bureau voor Statistiek had in 2002 slechts 58% van de Nederlandse gezinnen internettoegang (cbs, 2008). In 2008 was dit aantal al gestegen tot 86% (cbs, 2009). Het potentieel van dit drukke internetverkeer voor wetenschappelijk onderzoek is dan ook enorm groot. Het feit dat zoveel mensen uit alle lagen van de bevolking bereikbaar zijn met een simpele klik van de muis, zal in de nabije toekomst waarschijnlijk leiden tot een explosieve toename van psychologisch onderzoek dat via het internet wordt aangeboden. Het is in een oogopslag duidelijk dat internetonderzoek vele potentiële voordelen kan hebben voor wetenschappelijke onderzoekers. Maar elke onderzoeker die al eens een onderzoek via het internet heeft aangeboden, weet ook dat internetonderzoek vele nieuwe uitdagingen met zich meebrengt. Deze uitdagingen bevinden zich vooral op het gebied van de bescherming van deelnemers, en de validiteit en betrouwbaarheid van de data. In dit artikel zal worden ingegaan op de mogelijke voordelen van internetonderzoek en zal er aandacht worden besteed aan de mogelijke valkuilen bij het aanbieden van onderzoek via het internet. Hierbij gaat het specifiek om de werving van deelnemers, het garanderen en bewaken van hun privacy en veiligheid, en de opzet van wetenschappelijk onderzoek voor het internet.
Wetenschap december 2009
Werving en selectie van deelnemers De voornaamste en duidelijkste factor waarin internetonderzoek verschilt van labonderzoek is het feit dat er geen proefleider aanwezig is bij internetonderzoek. Deze afwezigheid van de proefleider maakt internetonderzoek natuurlijk juist zo aantrekkelijk. Hierdoor wordt de tijdsinvestering van de onderzoeker immers drastisch verlaagd. Bovendien vergroot de afwezigheid van de proefleider ook de anonimiteit van deelnemers waardoor zij zich waarschijnlijk minder geremd voelen om eerlijk te antwoorden (Joinson, 1999). Onderzoek heeft inderdaad bevestigd dat deelnemers minder geneigd zijn om sociaal wenselijke antwoorden te geven bij internetonderzoek dan bij labonderzoek (Duffy et al., 2005; Heerwegh, 2009; Kreuter, Presser & Tourangeau, 2008). Doordat er geen proefleider aanwezig is, worden bovendien ook andere invloeden van de proefleider op antwoorden en prestaties van de deelnemers verkleind (denk bijvoorbeeld aan invloeden door de aantrekkelijkheid van de proefleider, afleiding door de proefleider, et cetera; cf. Birnbaum, 2001; Reips, 2000; 2002). Naast een grotere anonimiteit, biedt internetonderzoek ook een groter comfort dan labonderzoek. Deelnemers kunnen namelijk aan onderzoek meewerken vanuit hun thuisomgeving en hoeven dus niet langer naar het lab te reizen. Dit comfort, gecombineerd met grotere anonimiteit, zorgt er waarschijnlijk voor dat de
De Psycholoog
641
drempel om mee te doen aan internetonderzoek lager ligt dan voor labonderzoek. Bovendien heeft internetonderzoek ook een groter bereik in vergelijking met labonderzoek. Voor labonderzoek wordt immers meestal een beroep gedaan op studentenpopulaties of op mensen uit de onmiddellijke omgeving van de universiteit. De bevindingen van dergelijk onderzoek zijn waarschijnlijk echter minder goed generaliseerbaar naar de algemene populatie. Het voordeel van internetonderzoek is dan ook dat men een grotere en diversere steekproef kan realiseren waardoor de bevindingen beter kunnen worden gegeneraliseerd naar de algemene bevolking (of naar specifieke doelgroepen) (Reips, 2000; 2002). Daarnaast is het ook gemakkelijker om doelgroepen aan te spreken die doorgaans moeilijker te bereiken zijn voor deelname aan labonderzoek. Zo kan internetonderzoek interessant zijn voor het bereiken van (klinische) populaties, waarbij vaak sprake is van schaamte, en voor wie een reis naar een lab een grotere opgave is. De precieze samenstelling van de steekproef hangt echter sterk samen met het type onderzoek. Hier is het belangrijk om een onderscheid te maken tussen open en gesloten internetonderzoek (zie ook Nosek, Banaji & Greenwald, 2002). Open internetonderzoek verwijst naar onderzoek dat via het internet voor iedereen toegankelijk is en dus mikt op een grote en diverse steekproef. Daardoor is bij dit type onderzoek de precieze samenstelling van de steekproef erg moeilijk te controleren. Gesloten internetonderzoek verwijst naar onderzoek waarbij selectiecriteria gebruikt worden om te bepalen wie kan deelnemen aan de studie en wie niet. Dergelijk onderzoek wordt doorgaans beveiligd met een wachtwoord zodat de onderzoeker controle heeft over wie tot het onderzoek wordt toegelaten en wie niet. Bij dit type onderzoek heeft de onderzoeker dus de samenstelling van de steekproef geheel in eigen hand. Ook de strategieën voor het werven van deelnemers zijn afhankelijk van de keuze voor open of gesloten internetonderzoek. Aangezien open internetonderzoek zich richt op een grote, diverse steekproef uit de algemene populatie, is het voor dit type onderzoek interessant om op grote schaal deelnemers te werven via advertenties op populaire websites, nieuwsbrieven en de pers. In een recent onderzoek (Houben, Nosek & Wiers, in druk) hebben wij bijvoorbeeld gebruik gemaakt van een open website waarbij er vooral geworven werd via de media en via populaire zoekmachines op het internet. Dit onderzoek was volledig anoniem en was voor iedereen toegankelijk zonder enige vorm van selectiecriteria. Aan het einde van de studie hadden in totaal 7.015 mensen de website bezocht, waarvan 4.800 mensen ook daadwerkelijk hadden deelgenomen. Uit dit voorbeeld blijkt dat open internetonderzoek vooral interessant kan zijn wanneer men een zo groot mogelijke steekproef uit de algemene populatie wil bereiken. Wanneer men echter geïnteresseerd is in een be-
642
De Psycholoog
paalde doelgroep, kan men beter zijn toevlucht nemen tot gesloten internetonderzoek. Aangezien gesloten internetonderzoek zich richt op specifieke doelgroepen, dient de werving voor dit type onderzoek doelgerichter te gebeuren, bijvoorbeeld via forums die druk bezocht worden door de doelgroep. Op dit moment voeren wij een studie uit via een gesloten website waarbij we nieuwe interventiestrategieën voor alcoholmisbruik willen testen. Omdat we ons voor deze studie specifiek richten op mensen met een alcoholprobleem, wordt er vooral geworven op alcoholforums en via websites over alcoholproblematiek. Bovendien vullen alle geïnteresseerden voorafgaande aan de studie een vragenlijst in. Alleen wanneer zij voldoen aan de selectiecriteria worden zij toegelaten tot de studie. Het zal duidelijk zijn dat de werving van deelnemers voor dit soort internetonderzoek meer moeite kost dan bij open interneton-
Ook schaamtevolle zaken zijn te onderzoeken derzoek. Er worden ook niet zulke grote aantallen deelnemers bereikt via gesloten onderzoek: ongeveer twee maanden nadat onze studie online is gegaan, hebben zich in totaal 106 mensen aangemeld. Hiervan werden 28 mensen uitgesloten. Van de overige 78 deelnemers hebben uiteindelijk 44 deelnemers de eerste sessie van de studie ook daadwerkelijk afgemaakt. Naast het plaatsen van advertenties op websites, forums en andere media, is het ook aan te raden om (tevreden) deelnemers mond-op-mondreclame te laten maken. Uit onderzoek weten we immers dat een gepersonaliseerde e-mail om deel te nemen aan een onderzoek, bijvoorbeeld via een kennis of vriend, meer geïnteresseerden lokt dan een algemene uitnodiging, bijvoorbeeld via een advertentie van een universiteit of instituut (Crutzen et al., in druk; Heerwegh, Vanhove, Matthijs & Loosveldt, 2005; Heerwegh, 2005; Heerwegh & Loosveldt, 2006). Gepersonaliseerde uitnodigingen zijn dus een effectieve strategie om grote aantallen respondenten te bereiken bij internetonderzoek, maar verhogen mogelijk ook het risico op sociale wenselijkheid doordat personalisatie de anonimiteit verlaagt (Heerwegh et al., 2005; Heerwegh, 2005; Joinson, Woodley & Reips, 2007). Uit recent onderzoek blijkt echter dat gepersonaliseerde e-mails niet noodzakelijk leiden tot meer sociaal wenselijke antwoorden (Heerwegh & Loosveldt, 2006). Bescherming van deelnemers Het ontbreken van een proefleider bij internetonderzoek heeft dus enkele duidelijke voordelen, maar leidt ook tot nieuwe uitdagingen en ethische kwesties. Zo is het belangrijk om potentiële deelnemers voldoende
Wetenschap december 2009
informatie te geven voordat ze toestemmen om deel te nemen aan het onderzoek. Bij gebrek aan informatie kunnen zij immers geen geïnformeerde keuze maken om wel of niet aan het onderzoek mee te doen. Bij labonderzoek is dit gemakkelijk. Hier kunnen deelnemers mondeling op de hoogte gesteld worden van het onderzoek. Bovendien kan de proefleider bijkomende vragen beantwoorden en aanvullende informatie geven om op deze manier eventuele twijfels weg te nemen. Bij internetonderzoek is dergelijk contact tussen deelnemer en proefleider echter niet mogelijk. Een bijkomend probleem is dat de proefleider ook niet kan ingrijpen wanneer de deelnemer vastloopt tijdens het onderzoek
Wetenschap december 2009
of niet begrijpt wat er van hem/haar wordt verwacht. Daarom is het uiterst belangrijk om te voorzien in een uitgebreide informatiepagina die voorafgaat aan het onderzoek. Daarnaast is heldere contactinformatie van belang, zodat deelnemers contact kunnen opnemen wanneer zij vragen hebben bij het onderzoek. Ook tijdens het onderzoek moeten de instructies eenduidig en duidelijk zijn om te voorkomen dat deelnemers vastlopen of in verwarring raken. Door het ontbreken van persoonlijk contact tussen proefleider en deelnemer is ook moeilijker te beletten dat mensen die niet tot de doelgroep behoren, toch meedoen aan het onderzoek. In ethisch opzicht is het vooral
De Psycholoog
643
belangrijk om te voorkomen dat kinderen meedoen aan onderzoek dat bedoeld is voor volwassenen. In het laboratorium is het uiteraard gemakkelijk om dit uit te sluiten, maar via het internet ligt deze situatie moeilijker. Eén mogelijkheid om te verhinderen dat kinderen onbedoeld deelnemen, is om geïnteresseerden eerst naar hun leeftijd te vragen. Dit kan op zich al voldoende zijn om kinderen af te schrikken. Verder is het ook mogelijk om leeftijd als selectiecriterium op te nemen (eventueel ‘verborgen’ als onderdeel van een langere vragenlijst) en kinderen jonger dan 18 jaar simpelweg niet toe te laten. Daarnaast is het ook verstandig om zoveel mogelijk te werven via advertenties op webpagina’s voor volwassenen en om het onderzoek onaantrekkelijk te maken voor kinderen. Ten slotte moet de privacy van de deelnemers gewaarborgd kunnen worden. Wanneer deelnemers zich niet veilig voelen in de internetomgeving waar de studie plaatsvindt, kan dit ertoe leiden dat zij minder geneigd zullen zijn om eerlijk te antwoorden (Corritore, Kracher & Wiedenbeck, 2003). In deze tijden waar ‘hacking’ schering en inslag is, kan het lijken dat anonieme verwerking en opslag van internetdata niet vanzelfsprekend is. Dit is echter niet noodzakelijk een probleem. Vaak is het bij internetonderzoek immers helemaal niet
Bescherming van gegevens eist extra aandacht nodig om persoonlijke gegevens zoals naam, adres en telefoonnummer op te vragen. Deze informatie is alleen nodig wanneer in een later stadium opnieuw contact moet worden gezocht met de deelnemers. Als dat niet het geval is, kunnen deelnemers simpelweg een identificatienummer toegewezen krijgen waarmee ze meteen kunnen meedoen aan het onderzoek. Het is dan ook erg onwaarschijnlijk dat dergelijk onderzoek waarbij geen persoonlijke (of financiële) informatie wordt opgeslagen, het doelwit zal worden van hackers (Musch & Reips, 2000). Wanneer er wel contact moet worden gezocht met de deelnemers en deze bijgevolg persoonlijke gegevens moeten verstrekken, is het uiteraard noodzakelijk om ervoor te zorgen dat de data anoniem blijven. Deze anonimiteit moet bovendien gegarandeerd zijn bij zowel het versturen als de opslag van de data. In principe is het immers mogelijk dat een derde partij de onderzoeksgegevens onderschept terwijl ze verstuurd worden naar de server. Het verzenden van onderzoeksgegevens kan echter vrij gemakkelijk beveiligd worden door de gegevens te coderen. Hierdoor worden alle onderzoeksgegevens onleesbaar wanneer ze onderschept zouden worden. Verder is het ook aan te raden om persoonlijke gegevens en onderzoeksdata afzonderlijk te versturen en apart op te slaan op een beveiligde server. Bij het
644
De Psycholoog
nemen van dergelijke beveiligingsmaatregelingen is internetonderzoek in principe niet gevaarlijker dan labonderzoek (Nosek et al., 2002). Experimenteel onderzoek via het internet Voor de opzet van experimenteel onderzoek kan het aanbieden van onderzoek via het internet ook enkele belangrijke voordelen bieden. Omdat deelnemers niet meer naar het lab moeten reizen, is het namelijk gemakkelijker om meerdere sessies aan te bieden over een langere periode. Deelnemers kunnen dan via e-mail op de hoogte gehouden worden van nieuwe sessies waaraan ze kunnen meedoen zonder dat dit een extra belasting vormt voor de proefleider. Maar er zijn ook nadelen gekoppeld aan experimenteel onderzoek via internet. Eén van de voornaamste nadelen is dat de onderzoeker de controle verliest over de omgeving waarin respondenten aan het onderzoek deelnemen. Er is geen sprake van een standaardtestomgeving zoals dat bij labonderzoek wel het geval is. De proefleider kan daardoor niet langer uitsluiten dat deelnemers tijdens het onderzoek worden afgeleid of beïnvloed door allerlei factoren, zoals televisie, radio, of andere bewoners. Bovendien heeft de proefleider ook geen controle meer over de apparatuur waarmee deelnemers het onderzoek doorlopen. Het is niet mogelijk te voorzien in een standaard computeruitrusting die gelijk blijft voor alle deelnemers. Het feit dat het onmogelijk is om dergelijke factoren constant te houden voor alle deelnemers, kan de betrouwbaarheid en de validiteit van internetonderzoek ernstig bedreigen. Enerzijds kan men zich afvragen of het wel mogelijk is om via het internet een even gevoelige meting te verkrijgen als in het lab. Dit geldt in het bijzonder voor onderzoek waar gebruik gemaakt wordt van computertaken die reactietijden meten, waarbij een nauwkeurige meting is vereist. Anderzijds is onduidelijk of meetinstrumenten die via het internet worden afgenomen, wel valide resultaten opleveren. Meten deze instrumenten wanneer ze via het internet worden afgenomen wel dezelfde constructen als bij labonderzoek? Eén manier om toch enige controle over de testomgeving te verkrijgen is het geven van specifieke instructies voorafgaand aan het onderzoek. Zo is het goed mogelijk deelnemers te instrueren andere computerprogramma’s af te sluiten en een stille omgeving te creëren waarin ze gedurende een bepaalde tijd ongestoord kunnen werken. Ook een vragenlijst aan het einde van het onderzoek kan voor een deel uitsluitsel geven omtrent de vraag of deelnemers tijdens het onderzoek werden afgeleid (Nosek et al., 2002). Daarnaast is het ook aan te raden om voorafgaande aan het onderzoek alle meetinstrumenten te valideren voor afname via het internet. Concreet houdt dit in dat men probeert om bevindingen die al in het lab zijn aangetoond via het internet te repliceren. Wanneer onderzoek via het internet het-
Wetenschap december 2009
Evaluatieve conditionering Via onze website hebben we recent onderzocht of alcoholgerelateerde attitudes en drinkgedrag kunnen veranderd worden door middel van evaluatieve conditionering (Houben, Havermans & Wiers, 2009). Evaluatieve conditionering houdt in dat een bepaald object herhaaldelijk gekoppeld wordt aan positieve of negatieve stimuli. Door deze koppeling zal de houding ten opzichte van het object verschuiven in de richting van de stimuli waarmee het object gekoppeld werd. Wanneer een bepaald neutraal object herhaaldelijk gekoppeld wordt aan een positieve stimulus, zal men dus een positieve houding aanleren ten aanzien van het object. Deze manier van leren lijkt sterk op de wijze waarop men nieuwe attitudes vormt (Olson & Fazio, 2001) en kan mogelijk zelfs gebruikt worden om bestaande attitudes veranderen (Gawronski
& Bodenhausen, 2006). In onze studie werd onderzocht of we met behulp van evaluatieve conditionering bestaande attitudes ten opzichte van alcohol negatiever zouden kunnen maken en of dit zou leiden tot een afname in alcoholgebruik. Deelnemers werden willekeurig over vier condities verdeeld. In de twee experimentele condities werden alcoholgerelateerde plaatjes steeds gekoppeld aan boze gezichten of aan negatieve plaatjes (bijvoorbeeld een boze hond, een huilend kind). In de twee controlecondities werden dezelfde plaatjes getoond als in de experimentele condities, maar zonder de cruciale koppeling tussen alcoholgerelateerde plaatjes en negatief affect. In vergelijking met de controleconditie leidde het herhaaldelijk koppelen van alcoholgerelateerde plaatjes met algemene negatieve plaatjes tot
zelfde patroon van resultaten oplevert als in het lab, dan versterkt dit het vertrouwen dat deze constructen ook via het internet betrouwbaar en valide gemeten kunnen worden. Een dergelijke overeenstemming is al op verschillende domeinen en met verschillende meetinstrumenten aangetoond (zie bijvoorbeeld Duffy et al., 2005; Houben & Wiers, 2008; MacLeod et al., 2007; McGraw, Tew & Williams, 2000; Musch & Reips, 2000). Houben en Wiers (2008) toonden in het laboratorium bijvoorbeeld aan dat de mate waarin mensen alcohol automatisch associëren met positieve gevoelens, voorspelt hoeveel alcohol zij wekelijks consumeren. Hoe positiever, hoe meer ze drinken. Vervolgens vonden zij precies hetzelfde patroon in een onderzoek via het internet. Het meten van constructen via het internet is dus niet noodzakelijk minder betrouwbaar of minder valide dan via labonderzoek. Bovendien heeft internetonderzoek mogelijk zelfs een grotere validiteit omdat het onderzoek wordt afgenomen in een meer naturalistische omgeving. Labonderzoek daarentegen vindt plaats in een steriele omgeving die sterk afwijkt van de omgeving of context waarover men conclusies wil trekken. Mogelijk gedragen deelnemers zich dan ook anders in een dergelijke artificiële omgeving. Bij internetonderzoek speelt
Wetenschap december 2009
sterkere negatieve attitudes ten opzichte van alcohol. Bovendien dronk de experimentele groep in de week na de manipulatie minder alcohol dan de controlegroep. Het koppelen van alcoholgerelateerde plaatjes aan boze gezichten leidde echter niet tot een verandering in attitudes of alcoholgebruik. Deze bevindingen tonen dus aan dat evaluatieve conditionering een interessante toevoeging zou kunnen zijn voor bestaande interventies. Toekomstig onderzoek zou de effectiviteit van evaluatieve conditionering om alcoholgebruik te veranderen dan ook verder moeten onderzoeken in klinische steekproeven. Hierbij kan het internet opnieuw een handig hulpmiddel zijn om patiënten die in behandeling zijn in klinieken te betrekken bij het onderzoek.
dit probleem echter niet. Deelnemers kunnen simpelweg deelnemen vanuit een bekende, persoonlijke omgeving waardoor de bevindingen van internetonderzoek waarschijnlijk beter gegeneraliseerd kunnen worden en een hogere validiteit hebben dan die van labonderzoek (Reips, 2000). Het verlies van controle over de testomgeving heeft echter ook gevolgen voor de opzet van een onderzoek. In het lab voeren deelnemers namelijk alle onderdelen van het onderzoek zonder onderbreking in een bepaalde volgorde uit, onder het waakzame oog van de proefleider. Deze controle valt weg bij internetonderzoek waardoor de opzet van een onderzoek ondermijnd kan worden. Deelnemers kunnen bijvoorbeeld hun deelname op elk ogenblik onderbreken om verschillende redenen: de telefoon gaat, er komt bezoek over de vloer, de baby huilt, de soep kookt over, et cetera. Dergelijke onderbrekingen zijn uiteraard ongewild en kunnen de resultaten op negatieve wijze beïnvloeden. Hoe kan men dit voorkomen? Duidelijke instructies over de duur van onderzoekssessies kunnen deelnemers helpen om hun deelname aan het onderzoek beter te plannen. Verder kan men ook een limiet instellen voor de deelname aan het onderzoek: wanneer de onderzoekssessie niet binnen
De Psycholoog
645
een bepaalde tijd is afgerond, kan de deelnemer verwijderd worden uit het onderzoek (Nosek et al., 2002). Ook het gebruik van de zogenaamde ‘back button’ kan de opzet van een onderzoek verstoren. Internetgebruikers zijn gewend om met deze knop terug te gaan naar een vorige pagina wanneer ze wat vergeten zijn of als ze te snel naar de volgende pagina zijn gegaan. Het probleem hierbij is dat dit ertoe kan leiden dat deelnemers sommige onderdelen van het onderzoek twee keer doen of dat zij onderdelen overslaan. Dezelfde problemen vloeien voort uit het feit dat deelnemers soms vaker dan één keer aan het onderzoek deelnemen. Een gevolg hiervan is dat het opschonen van internetdata vaak meer tijd en inspanning vraagt dan het verwerken van labdata. Omdat sommige deelnemers bepaalde onderdelen dubbel (of vaker) hebben gedaan, moeten de data na afloop van het onderzoek gefilterd worden op
Betrouwbaarheid en validiteit vaak even hoog als bij labonderzoek deze dubbele gegevens. Dit kan bijvoorbeeld op basis van persoonlijke gegevens of op basis van andere informatie (zoals ip-adres, datum of tijdstip; zie ook Reips, 2000). Het is echter vaak beter om deze deelnemers geheel uit de dataset te verwijderen. Men kan immers niet altijd achterhalen welke van de dubbele gegevens eerst verzameld werden. Bovendien hebben deelnemers met dubbele gegevens het onderzoek wellicht niet in de bedoelde volgorde afgewerkt, waardoor ze niet direct te vergelijken zijn met deelnemers die het onderzoek wel goed hebben uitgevoerd. Bij internetonderzoek waarbij ook reactietijden gemeten werden, is het bovendien ook nog aan te raden om deelnemers met te veel fouten uit de dataset te verwijderen (zie ook Greenwald et al., 2003; Nosek, 2005; Nosek & Hansen, 2008), omdat deze deelnemers waarschijnlijk niet geconcentreerd waren tijdens de taakuitvoering. Wanneer deelnemers hun deelname onderbreken, niet (geconcentreerd) afmaken, of herhalen, dient de onderzoeker tijd te investeren in het filteren en opschonen van de data. Louter de data van deelnemers die de studie in de juiste volgorde en op een geconcentreerde manier hebben voltooid, zijn immers bruikbaar. Deze filtering betekent een verlies aan data. Ook hier is dit verlies weer afhankelijk van de grootte van de steekproef en van het type onderzoek. In onze open websitestudie, bijvoorbeeld, werden uiteindelijk van de 4.800 deelnemers nog 1.551 deelnemers uit de dataset verwijderd wegens onvolledige of dubbele data, en 80 deelnemers werden verwijderd omdat zij te veel fouten hadden gemaakt tijdens de reactietijdentaak (Houben et al., in druk). Hoewel dit grote aantallen zijn, leverde deze studie uiteindelijk nog steeds bruikbare data op van 3.169 deelnemers. Open internetstudies trekken
646
De Psycholoog
dus erg veel deelnemers, maar doordat deze studies zo wijd verspreid worden en doordat er geen controle is over selectie en deelname van proefpersonen, moeten er uiteindelijk ook weer veel data worden verwijderd. Bij gesloten internetstudies daarentegen, worden er minder deelnemers toegelaten tot de studie en is er meer controle over de selectie van deelnemers. Ook hier dient de onderzoeker tijd te investeren in het opschonen van de data, maar doordat het om kleinere aantallen deelnemers gaat, hoeven er uiteindelijk ook niet zoveel data te worden verwijderd. In een recente studie via een gesloten website (Houben, Havermans & Wiers, 2009; zie kader), bijvoorbeeld, hadden van de totale steekproef van 116 deelnemers slechts twaalf deelnemers onvolledige data, en hoefden slechts vijf deelnemers te worden verwijderd omdat zij te veel fouten hadden gemaakt tijdens de computertaak. Conclusie Tegenwoordig beschikken meer en meer mensen over een computer met toegang tot het internet. Uit het bovenstaande moge duideljk zijn geworden dat het aanbieden van psychologisch onderzoek via het internet een belangrijke nieuwe methode van dataverzameling kan zijn voor onderzoekers. Via het internet kan immers een grotere en diversere groep deelnemers worden bereikt dan in traditioneel laboratoriumonderzoek, met een minimale investering van tijd en moeite. Deze aantrekkelijkheid van internetonderzoek wordt grotendeels bepaald doordat deelnemers in volledige anonimiteit kunnen meewerken aan onderzoek vanuit het comfort van hun eigen thuisomgeving. Het aanbieden van onderzoek via het internet heeft echter ook belangrijke implicaties voor de onderzoeksopzet. Onderzoekers moeten zich ervan bewust zijn dat de afwezigheid van een proefleider tijdens het onderzoek en het gebrek aan een standaardtestomgeving nieuwe uitdagingen met zich meebrengen. Deze problemen zijn echter niet onoverkomelijk. Met slechts enkele aanpassingen in de onderzoeksopzet kan internetonderzoek namelijk even betrouwbare en valide resultaten opleveren als laboratoriumonderzoek. Internet heeft dus niet louter een enorm potentieel voor het uitvoeren van psychologisch onderzoek, maar lijkt deze beloften ook waar te kunnen maken. Mw dr. Katrijn Houben is verbonden aan de afdeling Clinical Psychological Science van de Universiteit Maastricht , Postbus 616, 6200 MD Maastricht. E-mailadres:
.
Literatuur Birnbaum, M.H. (2001). Introduction to Behavioral Research on the Internet. Upper Saddle River, nj: Prentice Hall. Centraal Bureau voor de Statistiek (2008, 12 december). Media en ICT; gebruik televisie, krant, pc en internet. http://statline.cbs.nl/StatWeb/publication/?dm=slnl&pa= 70655ned&d1=17&d2=0-2&d3=a&vw=t.
Wetenschap december 2009
Wetenschap december 2009
Scientific research via the internet Advantages and new challenges K. Houben In this technological era where increasing numbers of people have access to the internet, delivering scientific research via the internet carries important benefits. Internet-delivered research has the potential to reach a large number of participants from all layers of society with a limited amount of time and effort. Differences between internet-based research and traditional lab research, however, also lead to new challenges. The absence of an experimenter during the research and the loss of control over the test environment, carry important implications for the protection of participants and the research set-up. This article reviews the benefits and potential disadvantages of internet-based research. It also highlights possible ways of dealing with these issues when delivering research via the internet.
De Psycholoog
647
summary
Centraal Bureau voor de Statistiek (2009, 20 april). Ict gebruik van huishoudens naar persoonskenmerken. http://statline.cbs.nl/StatWeb/publication/?dm=slnl&pa= 71102ned&d1=3&d2=0-5&d3=a&vw=t. Corritore, C.L., Kracher, B. & Wiedenbeck, S. (2003). On-line trust. Concepts, evolving themes, a model. International Journal of Human-Computer Studies, 58, 737758. Crutzen, R., Nooijer, J. de, Brouwer, W., Oenema, A., Brug, J. & Vries, N.K. de (in druk). Effectiveness of online word of mouth on exposure to an internet-delivered intervention. Psychology & Health. Duffy, B., Smith, K., Terhanian, G. & Bremer, J. (2005). Comparing data from online and face-to-face surveys. International Journal of Market Research, 47, 615-639. Gawronski, B. & Bodenhausen, G.V. (2006). Associative and propositional processes in evaluation. An integrative review of implicit and explicit attitude change. Psychological Bulletin, 132, 692-731. Greenwald, A.G., Nosek, B.A. & Banaji, M.R. (2003). Understanding and using the implicit association test: I. An improved scoring algorithm. Journal of Personality and Social Psychology, 85, 197-216. Heerwegh, D. & Loosveldt, G. (2006). Personalizing E-mail contacts: Its influence on Web survey response rate and social desirability response bias. International Journal of Public Opinion Research, 19, 258-268. Heerwegh, D. (2005). Effects of personal salutations in e-mail invitations to participate in a web survey. Public Opinion Quarterly, 69, 588-598. Heerwegh, D. (2009). Mode differences between face-to-face and web surveys. An experimental investigation of data quality and social desirability effects. International Journal of Public Opinion Research, 21, 111-121. Heerwegh, D., Vanhove, T., Matthijs, K. & Loosveldt, G. (2005). The effect of personalization on response rates and data quality in web surveys. International Journal of Social Research Methodology: Theory and Practice, 8, 85-99. Houben, K. & Wiers, R.W. (2008). Measuring implicit alcohol associations via the internet. Validation of Web-based Implicit Association Tests. Behavior Research Methods, 40, 1134-1143. Houben, K., Havermans, R.C. & Wiers, R.W. (2009). Learning to dislike alcohol. Conditioning negative implicit attitudes towards alcohol and its effect on drinking behavior. Manuscript ingediend voor publicatie. Houben, K., Nosek, B.A. & Wiers, R.W. (in druk). Seeing the forest through the trees. A comparison of different iat variants measuring implicit alcohol associations. Drug and Alcohol Dependence. Joinson, A. (1999). Social desirability, anonymity, and internet-based questionnaires. Behavior Research Methods, Instruments and Computers, 31, 433-438. Joinson, A.N., Woodley, A. & Reips, U.-D. (2007). Personalization, authentication and selfdisclosure in self-administered internet surveys. Computers in Human Behavior, 23, 275-285. Kreuter, F., Presser, S. & Tourangeau, R. (2008). Social desirability bias in cat, ivr, and Web surveys. The effect of mode and question sensitivity. Public Opinion Quaterly, 72, 847-865. MacLeod, C., Soong, L.Y., Rutherford, E.M. & Campbell, L.W. (2007). Internet-delivered assessment and manipulation of anxiety-linked attentional bias. Validation of a freeaccess attentional probe software package. Behavior Research Methods, 39, 533538. McGraw, K.O., Tew, M.D. & Williams, J.E. (2000). The integrity of Web-delivered experiments. Can you trust the data? Psychological Science, 11, 502-506. Musch, J. & Reips, U.D. (2000). A brief history of web experimenting. In M.H. Birnbaum (Ed.), Psychological experiments on the internet (p. 61-87). San Diego, ca: Academic Press. Nosek, B.A. & Hansen, J. (2008). The associations in our heads belong to us. Searching for attitudes and knowledge in implicit evaluation. Cognition and Emotion, 22, 553-594. Nosek, B.A. (2005). Moderators of the relationship between implicit and explicit evaluation. Journal Of Experimental Psychology: General, 134, 565-584. Nosek, B.A., Banaji, M.R. & Greenwald, A.G. (2002). E-research: ethics, security, design, and control in psychological research on the internet. Journal of Social Issues, 58, 161-176. Olson, M.A. & Fazio, R.H. (2001). Implicit attitude formation through classical conditioning. Psychological Science, 12, 413-417. Reips, U.D. (2000). The web experiment method. Advantages, disadvantages and solutions. In M.H. Birnbaum (Ed.), Psychological experiments on the internet (p. 89-117). San Diego, ca: Academic Press. Reips, U.D. (2002). Standards for internet-based experimenting. Experimental Psychology, 49, 243-256.