De taal van phishing. Een onderzoek naar de beoordeling van automatisch vertaalde phishing e-mails.
Myrtle Monseurs ANR 606956 Bachelor scriptie Communicatie- en Informatiewetenschappen Faculteit Geesteswetenschappen Universiteit van Tilburg, Tilburg Begeleider: Sander Wubben Tweede lezer: Menno van Zaanen Juli 2014
Samenvatting Door de snelle opkomst van internet, digitale communicatie en andere technologische ontwikkelingen ontstaan er nieuwe gevaren op het gebied van internetcriminaliteit. Een van deze gevaren is het fenomeen phishing; valse berichten die lijken te komen van vertrouwde bronnen. Het doel van deze phishing e-mails is om zoveel mogelijk persoonlijke gegevens, wachtwoorden of andere codes te verkrijgen. Omdat mensen zich vaak niet bewust zijn van het feit dat het bericht dat zij hebben ontvangen een phishing e-mail is, halen criminelen op deze wijze grote hoeveelheden geld binnen. Om een zo groot mogelijk aantal mensen te bereiken worden phishing berichten vaak van uit een bronbericht automatisch vertaald en verzonden naar verschillende landen in de wereld. Deze automatische vertalingen resulteren in vreemd taalgebruik en mogelijk verdachte e-mails. In dit onderzoek is gekeken naar het talige aspect van phishing e-mails. De onderzoeksvraag van deze scriptie is 'In hoeverre herkennen mensen automatisch vertaalde phishing e-mails en hoe beoordelen zij deze in vergelijking tot niet vertaalde phishing e-mails?' Dit is onderzocht door middel van een online vragenlijst waar zes teksten beoordeeld werden op vier onderdelen: inhoud, vorm, betrouwbaarheid en attitude. Er is gebruik gemaakt van twee condities die beide drie automatisch vertaalde teksten en drie menselijk vertaalde teksten bevatten. De vragenlijst is door 71 respondenten ingevuld met een gemiddelde leeftijd van 31,5 jaar. Uit de resultaten bleek dat zij op alle vier de onderdelen de automatisch vertaalde teksten slechter beoordeelden dan de menselijk vertaalde teksten. Dit betekende dat zij automatisch vertaalde teksten slechter beoordeelden op het aspect inhoud en vorm, maar ook dat de betrouwbaarheid lager werd beoordeeld en de attitude ten opzichte van deze automatisch vertaalde teksten minder positief was ten opzichte van menselijk vertaalde teksten. Hier uit kan geconcludeerd worden dat men automatisch vertaalde phishing e-mails wel degelijk herkend wanneer zij vergeleken worden met menselijk vertaalde teksten. Er zal meer onderzoek nodig zijn om een beter inzicht te krijgen in het talige aspect van phishing e-mails en automatisch vertaalde teksten. Wanneer er volledige kennis is over de motivatie van mensen om wel of niet te reageren op phishing emails kan dit veel geld en problemen voorkomen.
2
Inhoudsopgave Samenvatting
pagina 1
Inhoudsopgave
pagina 2
1
Inleiding
pagina 3
2
Theoretisch kader
3
2.1
Phishing
pagina 7
2.2
Machine Translation
pagina 9
2.3
Statistical Machine Translation
pagina 11
2.4
Evaluatie van Statistical Machine Translation
pagina 12
2.5
Onderzoeksvraag en deelvragen
pagina 13
Methode
4.
3.1
Steekproef
pagina 15
3.2
Procedure
pagina 16
3.3
Instrumentatie
pagina 17
3.4
Materialen
pagina 19
Resultaten
5.
4.1
Verschil in inhoud en vorm
pagina 20
4.2
Verschil in betrouwbaarheid en attitude
pagina 22
Discussie 5.1
Conclusies
pagina 25
5.2
Beperkingen en toekomstig onderzoek
pagina 28
Referenties
pagina 30
Bijlagen
Bijlage I : De getoetste teksten
pagina 33
Bijlage II: De vragenlijst
pagina 40 2
1. Inleiding Internet en digitale communicatie zijn steeds meer verweven met ons alledaagse leven. Het grootste deel van de Nederlandse bevolking heeft tegenwoordig een smartphone, computer en een social media account, zo blijkt uit de cijfers van het Centraal Bureau voor de Statistiek1. Had in 2005 78 procent van de Nederlandse huishoudens een internetverbinding, in 2011 is dit opgelopen tot 97 procent. Ook is aan de cijfers van het CBS te zien dat het grootste deel van de internetgebruikers dagelijks of bijna iedere dag online is. Dit bezorgt Nederland een eerste plek op de ranglijst van het grootste aantal huishoudens met een internetverbinding in Europa. Of de technologische ontwikkelingen die het World Wide Web met zich meebrengen positief of negatief zijn, is een discussie waar we waarschijnlijk nooit uit komen. Wel kunnen we vaststellen dat het de maatschappij nieuwe dilemma's oplevert op onder andere het gebied van criminaliteit. Zo wordt er herhaaldelijk gediscussieerd over het aspect privacy. Privacy is altijd een belangrijke kwestie geweest, maar is in het digitale tijdperk helemaal een gevoelig punt. Er bestaan grote hoeveelheden data van interacties op social media, gegevens uit de gezondheidszorg, informatie van overheidsarchieven en andere digitale sporen die men achter laat op het internet (Boyd & Crawford, 2012). Omdat de middelen beter worden en deze voor een groter publiek beschikbaar raken zullen deze databases in de toekomst zelfs groter en toegankelijker worden (Cranor, 1999). Als gevolg hier van kunnen ze een gevaar opleveren wanneer de persoonlijke informatie in handen komt van bepaalde bedrijven, verkeerde instanties of personen. Door dit complexe aspect van privacy op het World Wide Web ontstaan er talloze andere vraagstukken waar vaak nog geen duidelijke oplossingen voor te vinden zijn. Doordat het complete leven van een individu op internet te vinden is, is gevoelige informatie makkelijk te verkrijgen door mensen die daar slechte bedoelingen mee hebben. Het dilemma dat in deze scriptie wordt besproken noemt men 'phishing', een fenomeen dat grote gevolgen heeft voor onder andere bankieren via internet. Phishing is een vorm van identiteitsfraude en vindt vaak plaats via email. Internetcriminelen sturen argeloze burgers een bericht dat lijkt te komen van een geloofwaardige bron, waarin ze de ontvanger bijvoorbeeld vragen om op een link te 1 http://www.cbs.nl/nl-NL/menu/themas/bedrijven/publicaties/digitale
3
klikken. Het doel van een phishing e-mail is om persoonlijke gegevens te verkrijgen, zoals wachtwoorden en bankgegevens (Bergholz et al, 2010). Er gaat veel geld om in deze internetindustrie. Gegevens worden doorverkocht en rekeningen worden geplunderd. Phishing wordt gezien als een redelijk makkelijke manier om mensen geld afhandig te maken, en de kans dat deze internetcriminelen gepakt worden is minimaal (Geer, 2005). Daarnaast vergoeden Nederlandse banken vanaf 2014 geen kosten meer als slachtoffers van phishing hun veiligheidscodes hebben vrijgegeven2. Dit betekent dat mensen forse bedragen kunnen kwijt raken zonder dat ze het in de gaten hebben, en vaak niks meer van dit geld terug zien. Internetgebruikers moeten dus goede voorlichtingen krijgen over deze vorm van criminaliteit, maar ook is het belangrijk dat spamfilters verbeterd worden. Spamfilters filteren ongewenste e-mails en zorgen er voor dat berichten die wel legitiem zijn niet geblokkeerd worden (Belabbes & Richard, 2008). Dat voorlichtingen niet of weinig helpen en spamfilters nu nog niet optimaal zijn blijkt uit de cijfers van het CBS over internetcriminaliteit; alleen in 2012 al werd 1,5 procent van de Nederlandse bevolking slachtoffer van identiteitsfraude. Dit zijn ongeveer 200 duizend Nederlanders3. Zoals andere trends op het gebied van digitale criminaliteit, zullen phishers (criminelen die de techniek van phishing gebruiken) steeds slimmer worden. Het gevolg zal zijn dat het aantal slachtoffers stijgt als er niets aan dit probleem wordt gedaan (Jagatic, Johnson, Jakobsson, & Menczer, 2007). Phishing komt echter niet alleen in Nederland voor. Er worden grootschalige phishing-aanvallen gepleegd door het bronbericht automatisch te vertalen in verschillende talen en deze over de hele wereld te verspreiden. Deze manier van vertalen leidt mogelijk tot e-mails met incorrect taalgebruik. Nederlandse e-mails worden bijvoorbeeld uit het Engels vertaald met een vertaalmachine, waardoor er vreemd geformuleerde zinnen ontstaan en er sporadisch Engelse woorden in voorkomen. Figuur 1 en 2 zijn voorbeelden van dergelijke phishing e-mails met vreemd taalgebruik. De voorbeelden illustreren ook het feit dat er bij phishing specifiek gevraagd wordt om persoonlijke gegevens en/of wachtwoorden.
2 http://www.rtlnieuws.nl/nieuws/laatste-videos-nieuws/bank-strenger-bij-phishing, 2 januari 2014. 3 http://www.cbs.nl/nl-NL/menu/themas/veiligheidrecht/publicaties/artikelen/archief/2013/2013-3912-wm.htm, 7 oktober 2013.
4
Figuur 1. Voorbeeld van phishing e-mail, een aantal vreemde zinnen zijn rood gemarkeerd.
Figuur 2. Voorbeeld van phishing e-mail, een aantal vreemde zinnen zijn rood gemarkeerd. Het is aan te nemen dat dergelijke automatische vertalingen een belangrijk aspect zijn voor mensen bij het herkennen van een phishing e-mail. In dit onderzoek zal het taalaspect van phishing e-mails nader onderzocht worden. Door te kijken naar de precieze fouten die een vertaalmachine maakt kunnen onder andere spamfilters geoptimaliseerd worden in het herkennen van automatisch vertaalde teksten. Er zijn verschillende spamfilters die als doel hebben ongewenste e-mail tegen te houden. Zo zijn er op inhoud gebaseerde filters, waarbij bepaalde woorden in de email die op spam zouden kunnen wijzen, worden herkend met het gevolg dat desbetreffend bericht als spam gelabeld wordt. Dit kan echter omzeild worden door willekeurige woorden in de e-mail te plaatsen (Garcia, Hoepman, & Van
5
Nieuwenhuizen, 2004). Wanneer spamfilters op fouten in een tekst kunnen filteren die zijn ontstaan door automatische vertalingen, bestaat er een mogelijkheid tot het ontwikkelen van een sterkere verdediging tegen phishing e-mails. Dhamija et al. (2006) stellen dat om spamfilters te kunnen verbeteren, er inzicht moet zijn naar de werking van phishing e-mails en waarom mensen ze als betrouwbaar beoordelen. Daarom zal er in dit onderzoek gefocust worden op de beoordeling van phishing e-mails in relatie tot het Nederlandse taalgebruik. Dit leidt tot de volgende onderzoeksvraag: In hoeverre herkennen mensen automatisch vertaalde phishing e-mails en hoe beoordelen zij deze in vergelijking tot niet vertaalde phishing e-mails? In het volgende hoofdstuk zullen termen die relevant zijn voor het onderzoek uitgelegd worden aan de hand van wetenschappelijke literatuur.
6
2. Theoretisch Kader 2.1. Phishing De definitie van phishing varieert in de literatuur. De term is ontstaan in 1996 en werd gebruikt om diefstal van wachtwoorden en accounts te omschrijven. Echter, het begrip phishing werd steeds breder gaande internetcriminaliteit zich ontwikkelde. Het huidige begrip phishing is uit te leggen als een vorm van identiteitsfraude, met als doel het verkrijgen van persoonlijke data en financiële informatie (Garera, Provos, Chew, & Robin, 2007). Emm (2006) definieert phishing als het misleiden van internetgebruikers waardoor zij persoonlijke gegevens onthullen, om vervolgens deze gegevens te gebruiken om onder valse voorwendselen geld te verkrijgen. Internetcriminelen proberen hier bij zo veel mogelijk mensen tegelijk te bereiken, aangezien niet iedereen zal reageren op het phishing bericht. Maar zelfs wanneer een klein aantal ontvangers op een link klikt of een persoonlijke code invult zal de winst voor de criminelen de moeite waard zijn (Emm, 2006). Bij phishing worden social-engineering technieken gebruikt, waarmee wordt bedoelt dat criminelen valse e-mails sturen in de hoop dat de ontvangers gevoelige informatie vrijgeven of schadelijke software installeren. Het gaat dus om een digitale aanval (engineering) waarbij sociale aspecten zoals vertrouwen en overtuiging worden gebruikt (social). Vanwege deze techniek bestaan er vele vormen van phishing berichten. Een truc die phishers bijvoorbeeld gebruiken bij een socialengineering aanval is de ontvanger duidelijk maken dat het gaat om iets dringends. Ook kan gevraagd worden om de zender te helpen in ruil voor geld of wordt de nadruk in de phishing e-mail gelegd op het feit dat het zeer gunstig is voor de ontvanger om te reageren (Emm, 2006; Hong, 2012). Het gebruik van valse e-mails voor phishing betekent dat internetcriminelen de e-mails van banken of providers imiteren om de indruk te wekken dat de berichten van vertrouwde bronnen afkomstig zijn. Wanneer een afzender betrouwbaar lijkt zijn mensen meer geneigd om de instructies in de phishing e-mails op te volgen. Een vorm van phishing die deze sociale aspecten gebruikt, wordt ook wel spear-phishing genoemd. Er wordt in dat geval vaak gebruik gemaakt van specifieke informatie van de ontvanger. Vanwege de persoonlijke context van deze berichten zijn mensen meer geneigd om de afzender te vertrouwen (Hong, 2012). Bij deze vorm van phishing gaat het vaak niet om persoonlijke financiële gegevens, maar proberen internetcriminelen
7
via informatie die de ontvanger vrij geeft toegang te krijgen tot het grotere systeem van een organisatie (Emm, 2006). Maar de term phishing kan zorgen voor onduidelijkheid. Zo kaart Furnell (2007) aan dat het begrip 'phishing' niet zo wijd bekend is onder internetgebruikers als anderen termen, bijvoorbeeld 'hacking' of 'virus'. Van de mensen die de term wél herkennen is nog maar de vraag of zij een goede voorstelling van phishing hebben. Furnell waarschuwt voor het feit dat phishing niet alleen in de context van banken of uitsluitend via e-mail plaats vindt. Op het moment dat mensen enkel met dit specifieke aspect van phishing bekend zijn, kan het zijn dat zij zich niet bewust van het gevaar zijn wanneer een internetcrimineel hen op een andere manier benaderd. Ook Hong (2012) ziet een gevaar in deze vorm van internetcriminaliteit. Slachtoffers van phishing associëren de neppe berichten met een vertrouwd merk terwijl oplichters achter deze e-mails zitten. De oplichters richten zich op deze manier op de mensen achter de computers en de software. Wanneer een ontvanger dergelijke e-mails voor zich krijgt en vrijwillig ingaat op de verzoeken, heeft de internetcrimineel vrije toegang tot gevoelige persoonlijke informatie. Als een phishing aanval slaagt kan dit dus grote gevolgen hebben voor een persoon of organisatie. Uit onderzoek van Dhamija, Tygar en Hearst (2006) blijkt dat een aanval vaak slaagt; in 90 procent van de gevallen beoordeelden deelnemers de website naar wij zij doorverwezen werden in een phishing mail (oftewel de phishing website) als betrouwbaar. Deze zogenaamde kwetsbaarheid voor phishing aanvallen was voor elke deelnemer het geval, ongeacht leeftijd of het aantal uur dat men achter een computer zit. De financiële schade van phishing aanvallen wordt in de Verenigde Staten geschat tussen 61 miljoen dollar en drie miljard dollar per jaar (Hong, 2012). Dat phishing niet enkel een lokaal probleem is blijkt ook uit cijfers van The Anti-Phishing Working Group4 (APWG), die in het derde kwartaal van 2010 meer dan 115.000 phishing e-mails over de hele wereld vastlegde. Zang et al. (2012) concludeerden uit de cijfers van het APWG dat er een trend is ontstaan waarbij phishers niet-Engelstalige landen aanvallen. Dit betekent dat desbetreffende phishing e-mails automatisch vertaald worden naar verschillende talen en vervolgens verspreid worden over de hele wereld. Door het gebruik van machine translation is de kans groot dat er fouten ontstaan in de phishing berichten wat betreft taalgebruik. Slecht 4 http://www.antiphishing.org
8
taalgebruik is volgens onderzoek van Furnell (2007) een van de aspecten van phishing die de geloofwaardigheid van een bericht ondermijnen. 2.2. Machine Translation De techniek die automatische vertalingen genereerd wordt ook wel machine translation (MT) genoemd. Lopez (2008) definieert dit Engelstalige begrip als de automatische vertaling van één taal naar een andere taal door computers. Ook Slocum (1985) legt machine translation uit als een techniek dat verantwoordelijk is voor het gehele vertaalproces, zonder de hulp van een mens. Dit in tegenstelling tot de meer recente definitie van Akbari (2014), die stelt dat MT een geautomatiseerd proces is met als doel een vertaald product, met of zonder hulp van een mens. MT gecombineerd met MAHT (machine-aided human translation) is een voorbeeld van een methode waarbij machine translation de mens ondersteunt. Dergelijke methodes werken met een translation memory: wanneer een menselijke vertaler een nieuwe zin gaat vertalen, helpt het systeem door de brontekst te matchen aan zinnen uit het translation memory. Als er een geschikte combinatie is gevonden stelt het systeem deze voor aan de mens, die vervolgens kan beslissen of deze zin bruikbaar is, afgewezen moet worden of eventueel een aanpassing nodig heeft (Hajič et al., 2000). Het feit dat computers menselijke vertalers kunnen helpen houdt wetenschappers al enkele decennia bezig. In de loop van de geschiedenis varieerden verwachtingen van machine translation; inmiddels gelooft men dat er een vertaalsysteem ontwikkeld zal worden dat zonder ingrijpen van de mens relatief goede teksten kan produceren. De geschiedenis van MT begint in de jaren 50 toen er bij het leger en inlichtingendiensten behoefte ontstond naar snelle kwalitatieve vertalingen. Een van de plekken waar men zich hier mee bezig hield was de universiteit van Georgetown, waar de eerste vorm van MT werd gebruikt om Russische natuurkundige teksten te vertalen naar het Engels. Achter het systeem van Georgetown zaten geen ingewikkelde linguïstische of computationele theorieën; Russische woorden werden los van elkaar vertaald naar Engelse woorden die in beperkte mate werden omgezet in een zin. Dit resulteerde in complexe, relatief slecht vertaalde teksten. Ondanks de hoge verwachtingen zorgde de eerste vorm van MT er voor dat men in de jaren 60 toch problemen ondervond wat betreft linguïstiek. Automatisch vertalen bleek ingewikkelder dan in eerste instantie werd verwacht. Halverwege de jaren 60 presenteerde de National Academy of Sciences het ALPAC verslag. Machine
9
translation zou langzamer, minder accuraat en veel duurder zijn dan menselijke vertalingen, en de overheid zag geen verdere noodzaak in het financieren van MT onderzoek. Deze negatieve evaluatie had, ondanks dat het verslag bevooroordeeld en kortzichtig zou zijn, geen goede gevolgen voor het wetenschappelijk onderzoek naar machine translation (Hutchins, 1995; Slocum, 1985). Maar vanaf 1970 ontstond er een herleving op het gebied van MT, of zoals Akbari (2014) het noemt; de tweede generatie machine translation. Waar de eerste generatie nog gebruik maakte van directe vertalingen op woord niveau, gebruikt de tweede generatie een indirecte manier van vertalen. Dit betekent dat bij directe vertalingen elk woord van de brontekst letterlijk vertaald wordt naar doeltekst. Bij de indirecte methode wordt tussen deze twee fases een tussenstap toegevoegd. Deze stap bevat twee fases; de zogenaamd transfer approach en de interlingua approach. Hierdoor wordt de betekenis van het woord uit de brontekst weergeven in een abstracte vorm waarna het geherformuleerd wordt in de doeltaal. Het voordeel van deze benadering is dat er gekeken wordt naar context, net zoals een menselijke vertaler dat doet. Het indirecte vertaalprincipe wordt overzichtelijk weergeven in de 'Bernard Vauquois' Pyramid', afgebeeld in Figuur 3.
Figuur 3. Bernard Vauquois' Pyramid. Bron: Akbari, A. (2014). An overall perspective of machine translation with its shortcomings. International Journal of Education & Literacy studies, 2, p. 2. Zowel de eerste als tweede generatie MT is gebaseerd op specifieke regels, ook wel rule-based machine translation (RBMT) genoemd. Deze regels zijn onder andere geformuleerd voor morfologie, syntaxis en semantiek (Hutchins 1995). In de
10
ontwikkeling van RBMT is wel duidelijk onderscheid te zien tussen directe systemen en indirecte systemen; de eerste generatie waarbij RBMT vertaald aan de hand van twee talen in een tweetalig woordenboek, of de tweede generatie die zich focust op het analyseren van syntactische en semantische structuren (Akbari, 2014). Hutchins pleit dat er ondertussen een derde generatie MT is ontstaan, waar onder andere corpus-based methodes het traditionele beeld veranderen. Bij corpus-based methodes wordt er gebruik gemaakt van grote databanken met teksten. Dit leidt tot nieuwe vormen van machine translation, zoals example-based machine translation (EBMT) en statistical machine translation (SMT). 2.3. Statistical Machine Translation De huidige automatische vertaalmachines zoals Google werken op het systeem van statistical machine translation4. SMT kwam eind jaren 80 voor het eerst voor in het MT onderzoeksgebied bij IT-bedrijf International Business Machine Corporation (IBM). De eerste vormen van deze automatische vertalingen verbindt individuele woorden aan andere individuele woorden en verwijderd of voegt nieuwe woorden toe. Maar het MT onderzoeksgebied bleef in ontwikkeling en er verscheen een betere kwaliteit vertalingen door het gebruik van phrase-based machine translation, waarbij niet gekeken werd naar individuele woorden maar naar een groep woorden in een zin. De phrase-based methode die Koehn et al. (2003) in hun onderzoek definiëren bestaat uit een formule waarbij de kans dat een zin in vreemde taal f te vertalen is naar een Engelstalige zin e, geherformuleerd wordt. Door deze herformulering ontstaat er een
taalmodel
p(e)
en
een
vertaalmodel
p(f|e),
waardoor
de
formule
argmaxe p(e|f) = argmaxe p(f|e) p(e) geformuleerd kan worden. Phrase-based MT werkt op basis van segmenten van een zin; de input zin wordt verdeeld in kleinere segmenten (phrases) die worden vertaald naar het Engels, waarna deze Engelstalige segmenten herschikt worden tot een goede zin. Figuur 4 illustreert dit MT proces. Om de meest optimale output te generaliseren wordt er gekeken naar de meest waarschijnlijke vertaling. Ook de phrase-based methode maakt gebruik van de formule argmaxe p(e|f) = argmaxe p(f|e) p(e). Hierbij http://translate.google.nl/about/intl/nl_ALL/
4
11
beoordeelt p(f|e) de kwaliteit van het vertaalde segment en representeert p(e) in welke mate de zin vloeiend loopt (Stolcke, 2002).
Figuur 4. Illustratie van phrase-based machine translation. Bron: http://www.statmt.org/moses/ Koehn et al. (2003) claimen dat de kwaliteit van een phrase based MT afhangt van welke methode gebruikt wordt om de tabel van de zinsdeel vertaling (phrase translation table) te maken. In hun onderzoek concluderen zij dat word alignment (waarbij woorden uit twee talen met elkaar verbonden worden) hier de beste manier voor is. Dergelijke vertalingstabellen worden afgeleid van een corpus met parallelteksten: bronteksten in de ene taal en vertaalde teksten in een andere taal, die opgelijnd zijn op zin niveau. Een voorbeeld van een parallel corpus dat gebruikt wordt voor phrase-based machine translation is de online database Europarl. Dit corpus bevat data van parallelle teksten van het Europese Parlement, met data dat terug te halen is tot aan 1996. Het Europarl corpus helpt bij het ontwikkelen en verbeteren van phrase-based MT, en heeft geresulteerd in SMT systemen voor 110 verschillende talen (Koehn, 2005). 2.4 Evaluatie van Statistical Machine Translation Ondanks de ontwikkelingen en verbeteringen binnen machine translation, bestaat er een kans dat computers fouten maken in de vertalingen. Dit komt onder andere door het aspect van context bij een vertaling, iets wat moeilijk is voor computers maar mensen wel kennen. Zo is het voor een computer bijvoorbeeld ingewikkeld te bepalen of er met 'bank' een instituut voor financiële zaken wordt bedoeld, of een zitmeubel voor in de woonkamer. Een manier om teksten vertaald door machine translation te evalueren en te corrigeren is dus door mensen deze te laten nakijken. Ondanks dat menselijke evaluaties van hoge kwaliteit zijn, kost deze manier veel tijd en geld (Papineni, Roukos, Ward, & Zhu, 2002).
12
Een andere manier om een tekst te evalueren is door een computer hier in te trainen. Een voorbeeld van dergelijke evaluatie is BLUE, een automatische evaluatiemethode voor machine translation. Het uitgangspunt van BLUE is dat hoe meer een automatisch vertaalde tekst op een door mensen vertaalde tekst lijkt, hoe beter de automatisch vertaalde tekst is. Om dit uit te rekenen bevat BLUE een corpus bestaande uit kwalitatief goede teksten vertaald door mensen, en een formule die beoordeeld in welke mate de teksten overeenkomen. Het voordeel van BLUE, zo stellen de bedenkers, is dat de evaluaties snel, relatief goedkoop en taalonafhankelijk zijn (Papineni et al., 2002). In dit onderzoek wordt gebruik gemaakt van de automatische vertaalmachine Google Translate. De gratis online dienst Google Translate werkt met patronen in documenten die al vertaald zijn door menselijke vertalers. Wanneer iemand iets vertaald met Google Translate kan het per zinsdeel bekijken wat de alternatieve opties voor de vertaling zijn. Stel dat een van deze alternatieve vertalingen een betere optie is dan die Google Translate in eerste instantie voorstelde, dan kan de persoon die wijzigen. Google Translate leert van deze wijzigingen waardoor de vertalingen kwalitatief steeds beter worden4. Op deze manier worden de vertalingen van Google Translate constant geëvalueerd en gecorrigeerd. Een nadeel aan het systeem dat Google Translate gebruikt is dat de talen die minder gebruikt worden in de vertaler ook minder correct vertaald worden, aangezien zij minder gecorrigeerd worden. 2.5 Onderzoeksvraag en deelvragen Het onderzoeksveld van phishing en machine translation is net zoals veel andere internet gerelateerde onderwerpen dynamisch en in hoog tempo aan verandering onderhevig. Daarnaast is er nog weinig onderzoek gedaan naar de combinatie van phishing en machine translation. In dit onderzoek wordt nagegaan of mensen e-mails waarbij gebruik is gemaakt van machine translation herkennen. Daarnaast zal gekeken worden hoe men deze e-mails beoordeeld. Dit leidt tot de onderzoeksvraag: 'In hoeverre herkennen mensen automatisch vertaalde phishing e-mails en beoordelen zij deze in vergelijking tot niet vertaalde phishing e-mails?'
http://translate.google.nl/about/intl/nl_ALL/
4
13
Deze onderzoeksvraag zal beantwoord worden aan de hand van twee deelvragen. Ten eerste zal onderzocht worden of mensen de automatisch vertaalde teksten herkennen. Aan de hand van de vraag 'In welke mate herkennen mensen slecht taalgebruik in automatisch vertaalde phishing e-mails?' zal gekeken worden of het opvalt dat deze teksten slecht taalgebruik bevatten. Om dit te kunnen onderzoeken zal de beoordeling van de stijl van een tekst geëvalueerd worden, een begrip dat weer op te delen is in inhoud en vorm van een tekst (Renkema, 2004). Daarnaast wordt de vraag 'In welke mate verschilt de attitude van mensen ten opzichte van automatisch vertaalde phishing e-mails en door de mens vertaalde phishing e-mails?' gesteld. Een attitude is ook wel een evaluatie van een object gebaseerd op cognitieve, affectieve en gedragsmatige informatie (Maio & Haddock, 2009) en is daarom een belangrijk aspect bij het beoordelen van teksten. Deze definitie lijkt overeenkomsten te hebben met de uitleg van het begrip betrouwbaarheid, dat door Fong & Tseng (1999) wordt gelinkt aan termen als waargenomen correctheid of ethiek van een bron: bij beide begrippen gaat het om een waargenomen, geëvalueerde oordeel. Door betrouwbaarheid en attitude ten opzichte van een tekst te evalueren kan geanalyseerd worden hoe de lezers precies denken over teksten en hoe zij deze beoordelen. Aan de hand van deze twee deelvragen zal uiteindelijk meer gezegd kunnen worden over de beoordeling en de kijk op automatisch vertaalde teksten ten opzichte van door de mens vertaalde teksten.
14
3. Methode 3.1 Steekproef In dit onderzoek is gebruik gemaakt van twee condities: tekst vertaald door een persoon of tekst automatisch vertaald door Google Translate. De condities zijn willekeurig verdeeld over 38 personen in de eerste conditie en 33 in de tweede conditie. Dit betekent dat in het totaal 71 respondenten de vragenlijsten volledig hebben ingevuld. Onvolledig ingevulde vragenlijsten zijn verwijderd uit de analyse. Van de proefpersonen is 31% man (N=22) en 69% vrouw (N=49), met een gemiddelde leeftijd van 31,5 jaar (SD=15,2). De verdeling van leeftijd (SE=1,8) is weergeven in Figuur 5. De meerderheid gaf aan een universitaire opleiding te volgen of te hebben gevolgd (58%). De beschrijvende statistieken van de demografische gegevens zijn per conditie weergeven in Tabel 1.
Figuur 5. Histogram met de verdeling van leeftijd van de proefpersonen.
15
Tabel 1: overzicht van de beschrijvende statistieken per conditie. Conditie 1 Leeftijd
Conditie 2
31,5 jaar (SD=15,1)
31,4 jaar (SD=15,6)
34,2% man
27,3% man
65,8% vrouw
72,7% vrouw
5,3% MBO
3% VWO
31,6% HBO
9,1% MBO
63,2% WO
36,4% HBO
Geslacht Hoogst afgeronde opleiding
51,5% WO 3.2 Procedure De vragenlijsten zijn online gemaakt en afgenomen met behulp van Qualtrics Survey Software5. Voor het onderzoek is gebruik gemaakt van een tussen-proefpersoon ontwerp. Proefpersonen werden online benaderd en met een link doorgestuurd naar één van de twee condities van de vragenlijst. Die kon ingevuld worden op een computer, laptop of smartphone. De vragenlijst begon met een kort introductietekstje waar de proefpersoon onder andere alvast bedankt werd voor deelname aan het onderzoek. Ook werd hier kort in uitgelegd waar de vragenlijst over ging en hoe lang het ongeveer zou duren om hem in te vullen. Daarnaast stond in deze introductietekst dat deelname anoniem was en de gegevens vertrouwelijk zouden worden behandeld. Wanneer de proefpersoon dit had gelezen kon worden doorgeklikt naar het eerste deel van de vragenlijst. Dit eerste deel bestond uit algemene vragen over de demografische kenmerken en het internetgebruik van de proefpersoon. Het tweede deel van de vragenlijst bevatte zes korte teksten. Per tekst kreeg de proefpersoon in het totaal negen stellingen voorgelegd en vier begrippen op een semantisch differentiaal. Deze items toetsen de vier variabelen die centraal staan in dit onderzoek, namelijk inhoud, vorm, betrouwbaarheid en attitude. Er zijn twee condities onderzocht met behulp van de vragenlijsten. Zo zijn er zes Engelstalige teksten naar het Nederlands vertaald door zowel een persoon als door Google Translate. Er is voor gekozen om de type teksten af te wisselen in de condities, zodat iedere conditie even veel automatisch vertaalde teksten als menselijk vertaalde teksten bevatte. Per conditie werden dus drie automatisch vertaalde teksten http://www.qualtrics.com
5
16
weergeven, en drie teksten met een menselijke vertaling. De volgorde van de teksten en de vragen verschilden niet per conditie. Het verdelen gebeurde op willekeurige volgorde, en is overzichtelijk weergeven in Tabel 2. De deelnemers werden ieder willekeurig aan één van de twee condities toegewezen door Qualtrics. Tabel 2: overzicht van de twee condities gebruikt in de vragenlijsten. Conditie 1
Conditie 2
Tekst A
Menselijke vertaling
Machine translation
Tekst B
Machine translation
Menselijke vertaling
Tekst C
Machine translation
Menselijke vertaling
Tekst D
Menselijke vertaling
Machine translation
Tekst E
Machine translation
Menselijke vertaling
Tekst F
Menselijke vertaling
Machine translation
3.3 Instrumentatie In het eerste deel van de vragenlijst werden demografische gegevens van de proefpersonen gevraagd. Zo is van elke proefpersoon het geslacht bekend (man of vrouw), de leeftijd (open vraag) en het opleidingsniveau (meerkeuzevraag). Daarnaast werd gevraagd naar het internetgedrag van de persoon. In twee items werd gevraagd naar hoeveel uur hij of zij per dag op internet besteedt, en met welke activiteiten hij of zij dan bezig is. Beiden waren meerkeuzevragen. Het tweede deel van de vragenlijst bevatte zes korte teksten. Deze teksten zijn verkregen van de Engelstalige websites van de Bank of America5, Barclays6 en de persoonlijke e-mail inbox van de onderzoeker. De onderwerpen van de teksten zijn te vergelijken met de onderwerpen die vaak voorkomen bij phishing e-mails, namelijk in de context van financiën of diensten. In zowel de automatisch vertaalde versies als de menselijk vertaalde versies zijn fouten te vinden. Dit kan verantwoord worden door het feit dat geen enkele vertaling (zowel menselijk als automatisch) perfect kan zijn (Hutchins, 2001). Voorbeelden van fragmenten van de originele tekst en de
5 https://bankofamerica.com 6 https://barclays.co.uk
17
vertalingen zijn weergeven in Tabel 3 en Tabel 4. De complete originele teksten met beide vertalingen zijn te vinden in Bijlage I. Tabel 3: Fragment van tekst B met de originele Engelse tekst, de automatische en menselijke vertaling. Originele Engelse tekst
Automatische vertaling
Menselijke vertaling
Dear customer,
Geachte klant,
Geachte klant,
Earn more cash back on Verdien meer cash back op Verdien meer geld terug the things you buy most de dingen die je het meest op uw aankopen met de with the BankAmericard met Cash
Rewards™
de
BankAmericard BankAmericard
Cash
credit Cash Rewards ™ credit Rewards™ credit kaart.
card.
card te kopen.
Tabel 4: Fragment van tekst E met de originele Engelstalige tekst, de automatische en menselijke vertaling. Originele Engelse tekst
Automatische vertaling
Menselijke vertaling
Find your next car.
Vind uw volgende auto.
Vindt u volgende auto.
Looking for a quality used Op zoek naar een kwaliteit Op zoek naar een car?
gebruikte auto?
gebruikte auto met kwaliteit?
De eerste variabele die getoetst is in de vragenlijst is de variabele inhoud. Deze werd gemeten aan de hand van vier stellingen. De eerste stelling was 'De tekst bevat de juiste informatie'. Ook werd gevraagd of de inhoud begrijpelijk was, of de tekst van goede kwaliteit was en of de woordkeuze overeen kwam met de tekstsoort. De proefpersoon kon op een schaal van 1 tot en met 7 aangeven in hoe verre hij of zij het eens was met de stellingen. Deze stellingen stonden in het zelfde kader als de stellingen voor de variabele vorm, die is getoetst met drie stellingen die tevens konden worden beantwoord op een schaal van 1 tot en met 7. 'De tekst bevat spelfouten' en 'De tekst bevat grammaticale fouten' waren de eerste twee stellingen. Vervolgens werd ook gevraagd of de tekst plezierig was om te lezen. Daarna werd de proefpersoon gevraagd naar de betrouwbaarheid van de tekst en de afzender. De variabele betrouwbaarheid werd getoetst met vier begrippen op een semantisch differentiaal. Men moest met deze begrippen de zin 'Ik vind deze
18
tekst...' afmaken. Het eerste begrip was betrouwbaar versus onbetrouwbaar. Ook werd gevraagd of de tekst geloofwaardig of juist ongeloofwaardig was, deskundig of ondeskundig, en kon worden aangegeven of een tekst overtuigend of juist niet overtuigend over kwam. Deze items zijn gebaseerd op onderzoek van Sternthal, Dholakia en Leavitt (1978) en Dutta-Bergman (2004). Vervolgens is de variabele attitude getoetst. Deze variabele werd gemeten aan de hand van twee stellingen die beoordeeld werd op een schaal van 1 tot en met 7. De eerste stelling was 'Ik zou de instructies in de tekst opvolgen'. De tweede stelling 'Ik zou meer willen weten over de aangeboden dienst' was tevens de laatste vraag die bij elke tekst gesteld werd. De vragenlijsten zijn gecombineerd met een ander vergelijkend onderzoek, waardoor de vragenlijsten van beide condities een tweede deel bevatte met vragen niet relevant voor deze scriptie. In bijlage II is de volledige vragenlijst van dit onderzoek bijgesloten. 3.4 Materialen In het totaal zijn er zes verschillende teksten beoordeeld per respondent. Deze teksten zijn allen twee keer van het Engels naar het Nederlands vertaald; een keer door de onderzoeker en een keer door een automatische vertaalmachine. Voor de automatische vertaling is gebruik gemaakt van online vertaaldienst Google Translate7. De beoordeling van de automatisch vertaalde teksten werd gemeten aan de hand van vier variabelen, afgeleid van de vragen in de vragenlijst. Deze variabelen zijn
opeenvolgend
inhoud,
vorm,
betrouwbaarheid
en
attitude.
Om
de
betrouwbaarheid van deze items te controleren is een betrouwbaarheidsanalyse Cronbach's alpha uitgevoerd. De vier items voor de variabele inhoud werd als sterk betrouwbaar gemeten met een Cronbach's alpha van .85. Dit was ook de beoordeling van de vier items die betrouwbaarheid meten en de twee items van attitude, met respectievelijk een Cronbach's alpha van .89 en .77. Echter, de variabele vorm scoorde slechts een Chronbach's alpha van .5. Dit is onvoldoende om een betrouwbare maatstaaf te zijn. Zonder de stelling 'Ik vind deze tekst plezierig om te lezen' scoorde het item aanzienlijk hoger, namelijk met een betrouwbaarheid van .68. Om deze reden is besloten desbetreffende stelling uit het item te halen.
https://translate.google.nl
7
19
4. Resultaten 4.1 Verschil in inhoud en vorm De eerste deelvraag 'In welke mate herkennen mensen slecht taalgebruik in automatisch vertaalde phishing e-mails?' zal beantwoord worden aan de hand van de resultaten op het gebied van inhoud en vorm. Door de scores van de automatische vertalingen en de menselijke vertalingen te vergelijken kan meer gezegd worden over de beoordeling van desbetreffende teksten. Deze beoordelingen zijn gemeten met een onafhankelijke t-toets. Ten eerste zijn de teksten in de twee condities vergeleken op de variabele inhoud. De scores zijn weergeven in Tabel 3. Tabel 3: overzicht van de scores voor de variabele inhoud per vertaling (score is minimaal 1, maximaal 7; standaardafwijking staat tussen haakjes). Automatische vertaling
Menselijke vertaling
Tekst A
2,17 (0,95)
3,77 (0,99)
Tekst B
2,50 (1,12)
4,05 (1,41)
Tekst C
2,29 (0,96)
4,42 (1,46)
Tekst D
4,12 (1,47)
4,38 (1,33)
Tekst E
2,83 (1,20)
4,99 (1,23)
Tekst F
2,30 (1,02)
3,72 (1,65)
Bij de resultaten van tekst D is geen significant verschil bij tweezijdige toetsing gevonden tussen de menselijke vertaling en de automatische vertaling (t(69)=.76, p=.40). Bij de andere vijf teksten waar er vergeleken is tussen de menselijk vertaalde versies en automatisch vertaalde versies is wel een significant verschil te zien. Bij tekst A is dit (t(69)=6.9, p<.01) en bij tekst B (t60.88)=5.08, p<.01). Dit was ook het geval bij de scores van tekst C (t(53.98)=7.16, p<.01), evenals bij de teksten E en F (respectievelijk (t(69)=7.49, p<.01) en (t(62.80)=4.44, p<.01). De menselijk vertaalde teksten scoren allen hoger op het aspect 'inhoud' dan de automatisch vertaalde teksten. Om deze scores te controleren is het verschil in de beoordeling van de teksten daarnaast gemeten met de ANOVA-toets. Hier voor zijn telkens de teksten A, D en F en de teksten B, C en E apart gemeten, aangezien deze teksten dezelfde soort vertalingen per conditie bevatten (zie Tabel 2). Wanneer de scores van de ANOVA-
20
toets op de variabele inhoud worden geanalyseerd blijkt dat ook op deze manier significante verschillen worden aangetoond, namelijk een lagere score voor de automatisch vertaalde versies van de teksten ten opzichte van de menselijk vertaalde versies (respectievelijk F(1,69)=27.59, p<.001) en F(1,69)=76.48, p<.001). Deze resultaten zijn te vinden in Tabel 4. Tabel 4: overzicht van de totale scores voor de variabele inhoud (score is minimaal 1, maximaal 7; standaardafwijking staat tussen haakjes) Automatische vertaling
Menselijke vertaling
Teksten ADF
2,86 (0,78)
3,96 (0,95)
Teksten BCE
2,54 (0,73)
4,49 (1,13)
De scores voor de variabele vorm zijn tevens gemeten aan de hand van een onafhankelijke t-toets. Vervolgens zijn de scores voor deze variabele getoetst met een ANOVA-toets. Er is voor gekozen de scores van desbetreffende variabele om te polen zodat de resultaten duidelijker zijn in vergelijking met de resultaten van de andere variabelen. De bewerkte scores per vertaling zijn weergeven in Tabel 5, de totale scores voor de vertalingen zijn weergeven in Tabel 6. Tabel 5: overzicht van de bewerkte scores voor de variabele vorm per vertaling (score is minimaal 1, maximaal 7; standaardafwijking staat tussen haakjes). Automatische vertaling
Menselijke vertaling
Tekst A
2,58 (1,64)
3,08 (1,80)
Tekst B
2,67 (1,72)
4,59 (1,68)
Tekst C
4,36 (1,70)
2,70 (1,55)
Tekst D
4,03 (1,50)
3,96 (1,52)
Tekst E
2,33 (1,45)
5,63 (1,39)
Tekst F
2,55 (1,73)
3,69 (1,67)
Tabel 6: overzicht van de totale bewerkte scores voor de variabele inhoud (score is minimaal 1, maximaal 7; standaardafwijking staat tussen haakjes) Automatische vertaling
Menselijke vertaling
Teksten ADF
3,05 (1,14)
3,67 (1,02)
Teksten BCE
2,91 (1,14)
5,09 (1,17)
21
De automatische vertalingen scoren hoger op het aspect vorm dan de menselijk vertaalde teksten. Deze resultaten zijn significant voor tekst B (t(69)=4.52, p<.01) en tekst C (t(69)=4.27, p<.01). Ook voor de laatste twee teksten is een significant verschil waargenomen (tekst E: (t(69)=8.95, p<.01) en tekst F: (t(69)=3.49, p<.01). Het verschil in score is bij tweezijdige toetsing statistisch niet betrouwbaar gevonden voor tekst A en tekst D (respectievelijk (t(69)=1.23, p=.23) en (t(69)=0.19, p=.85). De overige teksten tonen wel een significant verschil: de automatische vertaling scoort hoger op het aspect vorm dan de menselijk vertaalde teksten. Deze significante verschillen zijn tevens waar te nemen in de scores van de ANOVA-toets (F(1,69)=5.77, p<.50) en (F(1,69)=62.85, p<.001). Daarnaast is de samenhang tussen beoordeelde inhoud en vorm gemeten. Dit resulteerde in een licht positieve correlatie tussen deze variabelen (r=.54, p<.001). Wanneer een van de twee variabelen hoger scoorde zou dit betekenen dat de andere variabele ook hoger scoorde. Deze samenhang is eveneens vast te stellen tussen de vorm van een tekst en de attitude ten opzichte van de tekst (r=.51, p<.001): een betere vorm betekende in dit onderzoek ook een positievere attitude. 4.2 Verschil in betrouwbaarheid en attitude Om de tweede deelvraag 'In welke mate verschilt de attitude van mensen ten opzichte van automatische vertaalde e-mails en door de mens vertaalde e-mails?' te beantwoorden zijn de variabelen betrouwbaarheid en attitude opgesteld. Deze zijn wederom geanalyseerd door het uitvoeren van een onafhankelijke t-toets. De scores van deze toets op de variabele betrouwbaarheid zijn te vinden in Tabel 7. Tabel 7: overzicht van de scores voor beoordeelde betrouwbaarheid per vertaling (score is minimaal 1, maximaal 7; standaardafwijking staat tussen haakjes). Automatische vertaling
Menselijke vertaling
Tekst A
1,36 (0,68)
2,47 (1,05)
Tekst B
1,44 (0,95)
3,00 (1,58)
Tekst C
1,94 (1,15)
4,11 (1,75)
Tekst D
3,36 (1,73)
3,57 (1,69)
Tekst E
2,10 (1,16)
4,45 (1,49)
Tekst F
1,32 (0,58)
1,80 (1,17)
22
Bij tweezijdige statistische toetsing bleek dat de scores van tekst D niet significant zijn (t(69)=0.52, p=.61). De andere teksten blijken wel significant te verschillen in beoordeling van de betrouwbaarheid van de teksten. Dit is voor tekst A (t(64.27)=5.33, p<.01) en voor tekst B (t(50.91)=4.96, p<.01) het geval. Daarnaast is de menselijke vertaling van tekst C significant beter beoordeeld (t(53.71)=6.06, p<.01). Deze significante verschillen zijn ook te zien bij de scores van tekst E (t(69)=7.46, p<.01) en de laatste tekst (tekst F: (t(55.91)=2.25, p<.05). De proefpersonen beoordeelden in alle gevallen de menselijke vertaling als betrouwbaarder dan de automatische vertaling. Vervolgens
is
een
ANOVA-toets
afgenomen
voor
de
variabele
betrouwbaarheid, waarbij de vertalingen van zowel teksten A, D en F als B, C en E zijn vergeleken. Dit resulteerde net zoals bij de t-toets in een significant verschil tussen automatisch vertaalde teksten en menselijk vertaalde teksten (F(1,69)=9.54, p<.005) en F(1,69)=74.53, p<.001). De scores zijn weergeven in Tabel 8. Tabel 8: overzicht van de totale scores voor de variabele betrouwbaarheid (score is minimaal 1, maximaal 7; standaardafwijking staat tussen haakjes). Automatische vertaling
Menselijke vertaling
Teksten ADF
2,01 (0,76)
2,61 (0,86)
Teksten BCE
1,83 (0,74)
3,85 (1,21)
Zoals bij de andere variabelen is ook voor de variabele attitude een onafhankelijke t-toets en een ANOVA-toets afgenomen. De scores van de t-toets zijn per tekst en vertaling weergeven in Tabel 9. De totale scores van de ANOVA-toets per teksten A, D en F en teksten B, C en E zijn weergeven in Tabel 10. Tabel 9: overzicht van de scores voor de variabele attitude per vertaling (score is minimaal 1, maximaal 7; standaardafwijking staat tussen haakjes). Automatische vertaling
Menselijke vertaling
Tekst A
1,27 (0,70)
2,13 (1,01)
Tekst B
1,62 (1,17)
2,88 (1,69)
Tekst C
2,01 (1,32)
3,91 (1,72)
Tekst D
3,15 (1,86)
3,24 (1,73)
Tekst E
1,89 (1,24)
4,32 (1,57)
Tekst F
1,38 (0,79)
1,71 (1,21)
23
Tabel 10: overzicht van de totale scores voor de variabele attitude (score is minimaal 1, maximaal 7; standaardafwijking staat tussen haakjes). Automatische vertaling
Menselijke vertaling
Teksten ADF
1,93 (0,83)
2,36 (0,84)
Teksten BCE
1,84 (0,81)
3,70 (1,17)
Er zijn significante verschillen gevonden in tekst A (t(65.79)=4.21, p<0.01) en tekst B (t(55.92)=3.61, p<.05). Ook de score op tekst C was significant (t(69)=5.25, p<01). Dit was wederom het geval bij tekst E (t(60.72)=7.14, p<.01). De menselijke vertaling scoort bij de menselijk vertaalde teksten telkens hoger op attitude dan de automatische vertalingen. Na een verdere analyse van de onafhankelijke t-toets blijkt dat de scores voor de teksten D en F niet significant zijn (respectievelijk t(69)=0.20, p=.84 en t(69)=1.39, p=.17). In het totaal zijn bij zowel bij het gemiddelde van teksten A, D en F als B, C en E significante verschillen gevonden tussen automatisch vertaalde teksten en menselijk vertaalde teksten (F(1,69)=4.61, p<.50) en (F(1,69)=61.10, p<.001). Ten slotte is de correlatie tussen de beoordeelde betrouwbaarheid en de attitude van een persoon ten opzichte van de tekst geanalyseerd. Deze twee taalaspecten vertonen een sterk positieve samenhang (r=.80, p<.001). Wanneer de scores bij attitude hoog waren, was dit ook het geval voor de scores van betrouwbaarheid en vica versa. De samenhang van betrouwbaarheid met de beoordeelde inhoud van een tekst was eveneens significant hoog (r=.80, p<.001). Een hoge score op inhoud gaf vaak ook een hogere mate van betrouwbaarheid. Er kan ook gezegd worden dat wanneer een tekst plezierig was om te lezen dit tot op zekere hoogte betekende dat de betrouwbaarheid hoger werd beoordeeld (r=.55, p<.001). Er is geen significante samenhang gemeten tussen attitude, betrouwbaarheid en het aantal uur dat iemand op internet besteed (respectievelijk (r=.05, p=0.67) en (r=-.06, p=0.65).
24
5. Discussie 5.1 Conclusies Een van de toenemende gevaren op het internet is het ontvreemden van persoonlijke (financiële) informatie, oftewel phishing. Bij phishing worden valse berichten in grote aantallen tegelijk verstuurd, in de hoop dat ontvangers deze berichten vertrouwen en persoonlijke informatie vrijgeven (Hong, 2012). Vanwege de grote verspreiding van phishing berichten zijn deze vaak automatisch vertaald naar onder andere het Nederlands. Het gevolg hier van is dat automatisch vertaalde phishing berichten meestal incorrect en vreemd taalgebruik bevatten. Er is in dit onderzoek gekeken naar de beoordeling van deze automatisch vertaalde phishing teksten en phishing teksten die door een mens vertaald zijn. Dit is onderzocht door 71 proefpersonen zes teksten te laten beoordelen aan de hand van de variabelen inhoud, vorm, de ervaren betrouwbaarheid van een tekst en de attitude ten opzichte van de tekst. Na het analyseren van de resultaten van de onafhankelijke t-toets kan worden vastgesteld dat automatisch vertaalde teksten op alle vier de gebieden significant slechter scoren dan teksten die door de mens vertaald zijn. Ten eerste zijn de scores op het gebied van inhoud met elkaar vergeleken. Hier uit blijkt bij vijf van de zes teksten dat de automatisch vertaalde versie significant lager scoort op inhoud dan de versie die door een mens is vertaald. Wanneer de teksten in twee groepen worden opgedeeld blijkt ook uit analyse van deze resultaten dat er significante verschillen zijn te vinden tussen de automatisch vertaalde versies en menselijke vertaalde versies van een tekst. Deze resultaten zijn in lijn met de resultaten van de variabele vorm. De proefpersonen gaven aan meer spelfouten en grammaticale fouten te herkennen in de automatisch vertaalde teksten dan in de menselijk vertaalde versies van de teksten. De deelvraag ‘In welke mate herkennen mensen slecht taalgebruik in automatisch vertaalde phishing e-mails’ kan met deze resultaten beantwoord worden. Het blijkt dat de automatisch vertaalde phishing emails lager worden beoordeeld op het gebied van inhoud en vorm in vergelijking tot de menselijk vertaalde e-mails. Als aangenomen wordt dat phishing e-mails vaak automatisch vertaalde teksten bevatten, kan worden geconcludeerd dat men deze als zodanig herkent dat ze minder correct taalgebruik bevatten dan e-mails die door een mens zijn vertaald.
25
Wanneer de resultaten van de variabelen betrouwbaarheid en attitude worden geanalyseerd kan ook hier worden gesteld dat automatisch vertaalde teksten slechter werden beoordeeld in vergelijking tot menselijk vertaalde teksten. De variabele betrouwbaarheid geeft voor vijf teksten een significant verschil aan, maar ook bij een totale vergelijking zijn significante verschillen waar te nemen. De respondenten beoordeelden de automatisch vertaalde tekst telkens als minder geloofwaardig, minder deskundig, minder overtuigend en minder betrouwbaar dan de menselijk vertaalde tekst. De attitude tegenover de automatisch vertaalde teksten was daarnaast minder positief dan de attitude bij menselijk vertaalde teksten. Verder blijkt dat de variabelen attitude en betrouwbaarheid sterk met elkaar correleren. Wanneer een van de twee aspecten hoog wordt in geschat, zal de andere ook hoger scoren. Dit kan verklaard worden door het feit dat er een samenhang te herkennen is bij de definities van betrouwbaarheid en attitude. Er is tevens samenhang waar te nemen bij de variabelen inhoud en betrouwbaarheid. Reeds genoemde resultaten geven een antwoord op de tweede deelvraag van dit onderzoek ‘In welke mate verschilt de attitude van mensen tussen automatisch vertaalde phishing e-mails en door de mens vertaalde phishing e-mails’. Na analyse van de scores blijkt dat er een duidelijk verschil in attitudes is wanneer gekeken wordt naar automatisch vertaalde e-mails en door de mens vertaalde e-mails. De gerapporteerde score voor attitude is lager bij automatisch vertaalde e-mails. Dit wil zeggen dat deelnemers van dit onderzoek bij het lezen van automatisch vertaalde phishing e-mails aangaven minder snel geneigd te zijn om de instructies uit de tekst op te volgen, en in mindere mate behoefte hebben aan informatie over desbetreffende dienst dan wanneer deze van een menselijke vertaler afkomstig zouden zijn. Deze bevindingen tonen geen relatie met het aantal uur dat iemand op het internet besteed. Dit is in lijn met eerder onderzoek van Dhamija et al. (2006) die eveneens geen effect zagen door het aantal uur dat proefpersonen aan hun computer besteden. Opmerkelijk is dat de scores voor alle variabelen bij zowel de automatisch vertaalde teksten als de menselijk vertaalde teksten relatief laag zijn. Dit zou het gevolg kunnen zijn van het onderwerp van de getoetste teksten. Om de teksten in het onderzoek zo realistisch mogelijk te houden zijn de onderwerpen van de teksten te vergelijken met echte phishing e-mails. De vier onderzochte variabelen terzijde, is het niet uit te sluiten dat ook het onderwerp van de teksten de proefpersonen heeft
26
beïnvloedt. Een andere mogelijkheid is dat de fouten of interpretaties in de vertaling van de menselijk vertaalde teksten een effect op de scores hebben gehad. Beide verklaringen kunnen ook een reden zijn voor de resultaten van tekst D. Tekst D scoort bij alle vier de variabelen (inhoud, vorm, betrouwbaarheid en attitude) geen significante verschillen in beoordeling. Dit was bij enkele variabelen ook het geval voor teksten A en F. Dit betekent dat er niet in alle gevallen de automatisch vertaalde tekst significant slechter scoorde dan menselijk vertaalde tekst. Het kan zijn bij deze teksten het onderwerp een sterke invloed heeft gehad, of dat de fouten en interpretaties in vertaling van de menselijk vertaalde teksten een sterker effect hebben gehad dan bij de andere getoetste teksten. Anderzijds kan dit betekenen dat in het huidige onderzoek mogelijk participanten zijn geweest die geen of weinig verschil opmerkten tussen de automatisch vertaalde phishing e-mails en de menselijk vertaalde phishing e-mails, en dus mogelijk geen phishing berichten herkennen aan incorrect of vreemd taalgebruik. Daarentegen is het opvallend te noemen dat wanneer de teksten A, D en F samen werden genomen voor een vergelijking, de resultaten wel significante verschillen aantonen. Concluderend kan de hoofdvraag worden beantwoord ‘In hoeverre herkennen mensen automatisch vertaalde phishing e-mails en beoordelen zij deze in vergelijking tot niet vertaalde phishing e-mails?’ Zoals uit de resultaten is gebleken kan men automatisch vertaalde e-mails goed herkennen aan inhoud en vorm, die beide lager scoren dan menselijk vertaalde e-mails. Daarnaast worden automatisch vertaalde teksten als minder betrouwbaar beoordeeld en is de attitude minder positief dan bij menselijk vertaalde teksten. Duidelijk is geworden dat deze aspecten van een phishing bericht onderling met elkaar samenhangen; zowel de inhoud van de tekst als de attitude heeft sterke relatie met de ervaren betrouwbaarheid van de tekst. Ook blijkt dat vorm van een tekst en attitude met elkaar correleren. Er kan dus gesteld worden dat wanneer er weinig fouten in een tekst zitten, de attitude van de lezer hoger zal zijn. Daarnaast beoordeeld men de inhoud beter als er weinig fouten in een tekst worden gerapporteerd. De resultaten van dit onderzoek geven meer inzicht in de beoordeling van phishing e-mails die vanuit een brontekst vertaald zijn en vervolgens massaal verspreid worden. Automatisch vertaalde e-mails zijn in dit onderzoek slechter beoordeeld dan menselijk vertaalde e-mails. Mensen beoordelen teksten als meer betrouwbaar wanneer de inhoud goed wordt beoordeeld en men een positieve attitude
27
ten opzichte van een tekst heeft. Deze attitude en inhoud hangt vervolgens weer samen met het aantal fouten in een tekst. Dit bevestigt de bevindingen van Furnell (2007) die stelt dat slecht taalgebruik de geloofwaardigheid van een phishing e-mail ondermijnt. 5.2 Beperkingen en toekomstig onderzoek Naar aanleiding van dit onderzoek kan er meer onderzoek gedaan worden naar phishing e-mails in relatie tot taalgebruik. Ondanks dat automatisch vertaalde phishing e-mails in dit onderzoek als minder betrouwbaar worden beoordeeld en er een meer negatieve attitude over bestaat dan bij menselijk vertaalde e-mails, zijn er nog steeds mensen die slachtoffer worden van internetfraude. Om meer inzicht in deze kwestie te krijgen kan er bij de beoordeling van phishing e-mails gekeken worden naar de motivatie achter de antwoorden. Daarnaast zijn ook de niet-significante resultaten van tekst A, D en F een bron voor toekomstig onderzoek. Typefouten in de menselijk vertaalde versie van deze tekst zou desbetreffende resultaten kunnen verklaren. Desalniettemin komen er in menselijke vertalingen ook wel eens fouten voor en zou dit gezien kunnen worden als een natuurlijke verschijning in tekst (Hutchins, 2001). De specifieke niet-significante verschillen kunnen tevens aangeven dat er mensen zijn die het verschil in taalgebruik niet opmerken. Daarentegen zijn er wel significante verschillen gevonden wanneer de teksten A, D en F samen werden gevoegd. Onderzoek naar deze uitzonderingen is een vereiste voor meer inzicht in de slachtoffers van phishing aanvallen, aangezien dergelijke uitzonderingen kunnen aantonen dat er een groep is die automatisch vertaalde phishing e-mails niet kan onderscheiden van menselijk vertaalde e-mails. Ook werden bij beide vertalingen op alle variabelen en bij alle teksten relatief lage scores gevonden. Dit zou het gevolg kunnen zijn van het onderwerp van de getoetste teksten. Maar ook in dit geval kan het zo zijn dat het een effect is van de fouten en/of interpretaties in de menselijke vertalingen. Later onderzoek kan hier meer duidelijkheid over verschaffen. Verder advies voor vervolgonderzoek is het aanpassen van de steekproef. Aan dit onderzoek hebben vooral hoog opgeleide jongeren deelgenomen. Er kan van uit gegaan worden dat zij meer bekend zijn met het internet en dus ook meer weten over het internet en internetcriminaliteit dan ouderen of lager opgeleiden. Vanwege de steekproef zijn de resultaten van dit onderzoek niet te generaliseren voor de rest van
28
de samenleving. Daarnaast zou het interessant zijn om het onderzoek te verbreden wat betreft phishing zelf. Zoals eerder is besproken is er constante verandering en aanpassing op het gebied van phishing. In dit onderzoek is gefocust op emailberichten met inhoud op het gebied van financiën en/of diensten. Echter, internetfraudeurs maken tegenwoordig niet alleen gebruik van e-mail, noch is het onderwerp van phishing berichten enkel in de context van banken en financiën van toepassing. Het is de vraag hoe men zou reageren op andere vormen van phishing. Tot slot is het van belang de kennis van wetenschappelijk onderzoek naar phishing in de praktijk te brengen en om internetgebruikers te beschermen voor de gevaren van phishing en internetfraude. Dit is relevant omdat er op persoonlijk niveau en op maatschappelijk niveau veel schade wordt aangericht door deze nieuwe vormen van internetcriminaliteit.
29
Referenties Akbari, A., (2014). An overall perspective on machine translation with its shortcomings. International Journal of Education & Literacy Studies, 2, 1-10. Belabbers, S., & Richard, G. (2008). On using SVM and Kolmogorov Complexity for spam filtering. Proceedings of the Twenty-First International FLAIRS Conference, 130-135. Bergholz, A., De Beer, J., Glahn, S., Moens, M., Paaβ, G. (2010). New filtering approaches for phishing email. Journal of Computer Security, 18, 7-35. doi:10.3233/JCS-2010-0371 Boyd, D., & Crawford, K. (2012). Critical questions for big data: provocations for a cultural,
technological,
Communication &
and
scholarly
phenomenon.
Information,
Society, 15, 662-679.
Cranor, L. (1999). Internet privacy. Communications of the ACM, 42, 28-38. doi:10.1145/293411.293440 Dhamija, R., Tygar, J., & Hearst, M. (2006). Why phishing works. In Proceedings of the CHI Conference on Human Factors in Computing Systems (Quebec, apr. 24–27).
aCM
Press,
new
york,
2006,
581–590;
http://
portal.acm.org/citation.cfm?id=1124861 Dutta-Bergman, M.J. (2004). The impact of completeness and web use motivation on the credibility of e-health information. Journal of Communication, 54, 253269. Emm, D. (2006). Phishing update, and how to avoid getting hooked. Network Security, 8, 13-15. Fogg, B., & Tseng, H. (1999). The elements of computer credibility. In Proceedings of the SIGCHI conference on Human Factors in Computing Systems (pp. 8087). ACM. Furnell, S. (2007). Phishing: can we spot the signs? Computer fraud and security, 3,
30
10-15. doi:10.1016/S1361-3723(07)70035-0 Garcia, F., Hoepman, J., Van Nieuwenhuizen, J. (2004). Spam filter analysis. The International Federation for Information Processing, 147, 395-410. Garera, S., Provos, N., Chew, M., Rubin, A.D. (2007). A framework for detection and measurement of phishing attacks. Proceedings of the 2007 ACM workshop on recurring malcode, 1-7. doi:10.1145/1314389.1314391 Hajič, J., Hric, J., & Kuboň, V. (2000). Machine translation of very close languages. Proceedings of the sixth conference on Applied natural language processing, 7-12. DOI: 10.3115/974147.974149 Hayes-Roth, F., (1985). Rule-based systems. Communications of the ACM, 28, 921932. DOI: 10.1145/4284.4286 Hong, J. (2012). The state of phishing attacks. Communications of the ACM, 55, 7481. DOI: 10.1145/2063176.2063197 Hutchins, J. (2001). Machine translation and human translation: In competition or in complementation? International journal of translation, 13, 5-20. Hutchins, J. (1995). Machine translation: A brief history. Concise history of the language sciences: from the Sumerians to the cognitivists, 431-445. Jagatic, T., Johnson, N., Jakobsson, M., & Menczer, F. (2007). Social phishing. Communications of the ACM, 50, 94-100. Koehn, P., Och, J., & Marcu, D. (2003). Statistical phrase-based translation. Proceedings of HLT-NAACL, 48-54. Koehn, P. (2005). Europarl: a parallel corpus for statistical machine translation. Machine Translation Summit X, pp. 79-86. Lopez, A. (2008). Statistical machine translation. ACM Computing Surveys (CSUR), 40, 1-47. doi:10.1145/1380584.1380586 Maio, G., & Haddock, G. (2009). The psychology of attitudes and attitude change. London, England: Sage.
31
Papineni, K., Roukos, S., Ward, T., & Zhu, W. (2002). Blue: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 311-318. Renkema, J. (2004). Introduction to discourse studies. Amsterdam, Netherlands: John Benjamins. Slocum, J., (1985). A survey of machine translation: it's history, current status, and future prospects. Computational Linguistics, 11, 1-17. Sternthal, B., Dholakia, R., & Leavitt, C. (1978). The persuasive effect of source credibility: Tests of cognitive response. Journal of consumer research, 4, 252-260. Stolcke, A. (2002). SRILM - an extensible language modeling toolkit. In In Proc. Int. Conf. on Spoken Language Processing, pp. 901-904, Denver, Colorado. Zhang, J., Li, Q., Wang, Q., Geng, T., Ouyang, X., & Xin, Y. (2012). Parsing and detecting phishing pages based on semantic understanding of text. Journal of Information & Computational Science, 9, 1521-1534.
32
Bijlagen Bijlage I: De getoetste teksten. Per tekst is de originele versie, de automatisch vertaalde versie en de menselijk vertaalde versie weergeven. Tekst A Originele tekst: Dear customer, Need help with your home loan payments? If you're a homeowner struggling with your loan payments, you may want to learn about our home loan assistance programs. Bank of America is committed to helping homeowners and is a participant in the national mortgage settlement agreement. Click here for help with your home loan payments. Vertaling Google Translate: Geachte klant, Hulp bij uw huis lening betalingen nodig? Als je een huiseigenaar worstelt met uw lening
betalingen,
kan
u
meer
wilt
weten
over
onze
woningkrediet
bijstandsprogramma's. Bank of America is toegewijd aan het helpen van huiseigenaren
en
is
een
deelnemer
aan
de
nationale
hypotheek
vaststellingsovereenkomst. Klik hier voor hulp bij uw huis lening betalingen. Vertaling persoon: Geachte klant, Heeft u hulp nodig met u hypotheek? Dan heeft u misschien interesse in ons hypotheek hulpprogramma. ... zet zich in voor huiseigenaren en maakt deel uit van de nationale hypotheek vaststellingsovereenkomst. Klik hier voor hulp met uw hypotheek. Tekst B Originele tekst: Dear customer,
33
Earn more cash back on the things you buy most with the BankAmericard Cash Rewards™ credit card. Earn 1% cash back on purchases, 2% cash back at grocery stores and 3% cash back on gas—and get a $100 online cash rewards bonus offer. Learn more — BankAmericard Cash Rewards™ ›› Vertaling Google Translate: Geachte klant, Verdien meer cash back op de dingen die je het meest met de BankAmericard Cash Rewards ™ credit card te kopen. Verdien 1% cash back op de aankopen, 2% cash back op supermarkten en 3% cash back op de gas-en ontvang een $ 100 online cash beloningen bonus aanbieding. Meer informatie - BankAmericard Cash Rewards ™ >> Vertaling persoon: Geachte klant, Verdien meer geld terug op uw aankopen met de BankAmericard Cash Rewards™ credit kaart. Verdien 1% geld terug met je aankopen, 2% geld terug bij supermarkten en 3% op gas, en ontvang online €100 als extra aanbieding. Meer informatie - BankAmericard Cash Rewards ™ >> Tekst C Originele tekst: Dear Google User. Attached to this email is your official Google Sweepstakes notification for being an active user of Google Products. Best Regards,
34
MD Matt Brittin. CEO Google UK. Vertaling Google Translate: Geachte Google gebruiker. Aan deze e-mail is uw officiële Google Sweepstakes notificatie voor een actieve gebruiker van Google-producten. Met vriendelijke groet, MD Matt Brittin. CEO Google UK. Vertaling persoon: Geachte Google gebruiker, In de bijlage van deze e-mail vindt u uw officiële Google Sweepstakes notificatie voor een actieve gebruiker van Google producten. Met vriendelijke groeten, MD Matt Brittin CEO Google UK. Tekst D Originele tekst: Access your Personal or Business account on your mobile phone browser whenever and wherever you like. Mobile Banking lets you: • Check your balance • View mini-statements • Make transfers and payments • Find your nearest branch or ATM Get mobile Vertaling Google Translate: Toegang tot uw persoonlijke of zakelijke account op uw mobiele browser van de telefoon waar en wanneer u maar wilt. Met Mobile Banking kunt u: •
Controleer uw saldo
35
•
Bekijk mini-verklaringen
•
Overschrijvingen en betalingen
•
Vind uw dichtstbijzijnde kantoor of ATM
Ga online Vertaling persoon: Toegang tot uw persoonlijke of zakelijke account op uw de browser van uw mobiele telefoon wanneer en waar u maar wilt. Met online bankieren kunt u: •
Uw saldo controleren
•
Mini-verklaringen bekijken
•
Overschrijvingen en betalingen maken
•
Uw dichtstbijzijnde kantoor of pinautomaat vinden
Ga online Tekst E Originele tekst: Find your next car. Looking for a quality used car? Set your price range and choose your favourite style, make and model and search across thousands of used cars either in your local area or across the country to find the perfect one for you. Search with RAC cars Search with Glass's If you’ve decided to buy a new car, finding the right one for your budget can seem difficult. Glass’s can help you find new cars at a price to suit you. New car search with Glass's
Vertaling Google Translate: Vind uw volgende auto. Op zoek naar een kwaliteit gebruikte auto? Stel uw prijsklasse en kies uw favoriete stijl, merk en model en zoek op duizenden gebruikte auto's, hetzij in uw omgeving of
36
in het hele land om de perfecte een voor u te vinden. Zoek met RAC auto Zoek met Glass Als je hebt besloten om een nieuwe auto te kopen, het vinden van de juiste keuze voor uw budget kan moeilijk lijken. Glas kan u helpen bij het vinden van nieuwe auto's tegen een prijs die bij u past. Nieuwe auto zoeken met Glass Vertaling persoon: Vindt u volgende auto. Op zoek naar een gebruikte auto met kwaliteit? Stel uw prijsklasse in en kies uw favoriete stijl, merk en model en zoek tussen duizenden gebruikte auto's in uw omgeving of in het hele land om die ene perfecte auto te vinden. Zoek met RAC auto. Zoek met Glass Wanneer u een nieuwe auto wilt kopen, kan het moeilijk zijn de juiste auto voor uw budget te vinden. Glass kan u helpen met het vinden van nieuwe auto's voor een prijs die u wenst. Zoek nieuwe auto met Glass Tekst F Originele tekst: Dear Email user You are among the 10 lucky winners of windowLive Award Program and You have won the sum of {Three Million Pounds £3,000.000.00} from windowLive Award Program First Quarter of the Year 2014. Your Payment will be made through ATM Visa Card or wire transfer For claim Send the details below to process your payment Full Names: Sex:
37
City: Country: Direct Mobile: Age: Occupation Email: Reference No: Congratulations'' once again from all our Staff and thank you for being part of our Promotions Program Yours Truly, Onbehalf of WindowLive Award Team copyright©2014 window live Inc Google translate: Beste E-mail gebruiker U bent tussen de 10 gelukkige winnaars van windowLive Award Programma en U hebt de som van {Drie miljoen pond £ 3,000.000.00} van windowLive Award Programma eerste kwartaal van het jaar 2014 gewonnen. Betaling Crediteuren via ATM Visa Card of overschrijving via onze Betalen Agent in Zuid-Afrika. Uw betaling zal worden gemaakt door middel van ATM Visa Card of overschrijving Voor aanspraak Stuur de details hieronder om uw betaling te verwerken Volledige Namen: Sex: stad: land: Direct Mobile: Leeftijd: bezetting e-mail: Referentienummer: Gefeliciteerd'' nogmaals van al onze medewerkers en dank u voor die deel uitmaken
38
van onze Promotions Programma Yours Truly, Onbehalf van WindowLive Award Team copyright © 2014 raam wonen Inc Vertaling persoon: Geachte e-mail gebruiker, U bent een van de 10 gelukkige winnaars van het WindowLive Award Program, en u heeft hier mee een som van drie miljoen pond £3,000.000.00 gewonnen van het WindowLive Award Program in het eerste kwartaal van het jaar 2014. Uw betaling zal via ATM visa kaart of een overschrijving gedaan worden. Om het geldbedrag te claimen graag onderstaande details doorsturen om uw betaling te verwerken. Volledige namen: Geslacht: Stad: Land: Mobiele nummer: Leeftijd: Beroep: E-mail: Reference nummer: Nogmaals gefeliciteerd van ons gehele personeel en bedankt voor uw deelname aan ons Promotions Program. Vriendelijke groeten, Het WindowLive Award Team copyright © 2014 WindowLive Inc.
39
Bijlage II: De vragenlijst Beste deelnemer, In dit onderzoek wordt gekeken naar de waardering van e-mails van instanties en de beoordeling van wetenschappelijke teksten. Deelname aan dit onderzoek zal ongeveer 15 minuten duren. U krijgt zo twee keer zes korte tekstjes te zien, waarover uw mening wordt gevraagd in een vragenlijst. Voorafgaand aan deze teksten zullen zes algemene vragen worden gesteld. De resultaten worden uiteraard anoniem en vertrouwelijk behandeld. Alvast bedankt voor uw deelname! Wat is uw leeftijd?
___
Wat is uw geslacht? o Man o Vrouw De hoogst afgeronde opleiding of de opleiding waar ik nog mee bezig ben, is: o Basisonderwijs o Voorbereidend Middelbaar Beroepsonderwijs (vmbo, mavo, LTS, LHNO) o Algemeen Voortgezet Onderwijs (mulo, havo) o Middelbaar Beroepsonderwijs o Hoger Beroepsonderwijs o Universiteit Hoeveel tijd besteedt u gemiddeld per dag op internet? o Minder dan 1 uur per dag o Tussen 1 en 3 uur per dag o Tussen 3 en 5 uur per dag o Meer dan 5 uur per dag Met welke activiteit bent u het meest bezig op het internet? o Nieuws o Films en muziek
40
o Social media o E-mail o Werk en/of school o Anders, namelijk ____ In dit tweede deel van de vragenlijst krijgt u zes korte e-mailteksten van instanties te zien, waarna we u een aantal stellingen voorleggen. Er zijn geen goede of slechte antwoorden,
vul
in
wat
het
eerste
bij
u
op
komt.
(Opmerking: Deze vragen zijn voor elke tekst opnieuw gesteld.) De tekst bevat de juiste informatie Zeer mee oneens
1
2
3
4
5
6
7 Zeer mee eens
3
4
5
6
7 Zeer mee eens
5
6
7 Zeer mee eens
De inhoud van de tekst is begrijpelijk Zeer mee oneens
1
2
De inhoud van de tekst is van goede kwaliteit Zeer mee oneens
1
2
3
4
De woordkeuze van de tekst komt overeen met de tekstsoort Zeer mee oneens
1
2
3
4
5
6
7 Zeer mee eens
2
3
4
5
6
7 Zeer mee eens
De tekst bevat spelfouten Zeer mee oneens
1
De tekst is plezierig om te lezen Zeer mee oneens
1
2
3
4
5
6
7 Zeer mee eens
Onbetrouwbaar
1
2
3
4
5
6
7
Betrouwbaar
Ondeskundig
1
2
3
4
5
6
7
Deskundig
Ongeloofwaardig
1
2
3
4
5
6
7
Geloofwaardig
Niet overtuigend
1
2
3
4
5
6
7 Overtuigend
Ik vind deze tekst..
41
Ik zou de instructies in de tekst opvolgen Zeer mee oneens
1
2
3
4
5
6
7 Zeer mee eens
6
7 Zeer mee eens
Ik zou meer willen weten over de aangeboden dienst Zeer mee oneens
1
2
3
4
42
5
