Analyse van de Mechanical Turk data: 4 Belangrijke Thema s

Analyse van de Mechanical Turk data: 4 Belangrijke Thema’s Doel analyse Panos Ipeirotis beschikt over een collectie aan antwoorden waarmee de motivatie achter deelname aan taken (zogenaamde HITs) op Mechanical Turk duidelijker wordt. De analyse is in staat de belangrijkste thema’s binnen deze antwoorden te identificeren waardoor de inhoud van de totale collectie inzichtelijk wordt. Uitleg en resultaten van de analyse De antwoorden van de Turkers (dit zijn deelnemers aan HITs op Mechanical Turk) zijn te vinden op Ipeirotis’ weblog http://www.behind-the-enemy-lines.com/2008/03/why-people-participate-onmechanical.html. Om de inhoud van deze antwoordencollectie inzichtelijk te maken zijn 148 antwoorden geanalyseerd.

Met behulp van analyses worden ieder van de volgende resultaten geproduceerd: 1. Een Top 20 lijst die betrekking heeft op het woordgebruik binnen de Turkers’ antwoorden (met tussen haakjes hoeveel een specifiek woord gebruikt wordt). Echter, een lijst met alleen woordgebruik is op zichzelf niet informatief. Als woorden namelijk niet in een context geplaatst worden zijn ze vaak betekenisloos vanwege hun dubbelzinnigheid. Zodoende gaat de analyse op zoek naar de belangrijkste thema’s binnen alle Turkers’ antwoorden. Deze thema’s zorgen ervoor dat een betekenisvolle context beschikbaar komt voor gebruikte woorden. 2. De belangrijkste thema’s worden geïdentificeerd en weergegeven: a. In een grafiek wordt het belang van een thema getoond met behulp van balken (hoe groter de balk des te belangrijker het thema). Het belang van een thema hangt af van hoeveel van de tekstfragmenten (zie 2c) onder een thema vallen (hoe meer fragmenten bij een thema kunnen worden ingedeeld, hoe belangrijker het thema). In de grafiek wordt ieder thema weergeven aan de hand van drie woorden. Deze drie woorden hebben een zeer prominente rol binnen een thema. Ten slotte, ter identificatie wordt aan ieder thema een cijfer toegekend. b. Vervolgens wordt de inhoud van ieder thema verder gedefinieerd aan de hand van een omvangrijk aantal woorden. Hoe groter en roder een woord, hoe belangrijker (prominenter) de rol van dit woord binnen een thema. c. Ten slotte worden voor ieder thema representatieve tekstfragmenten weergegeven. De meest prominente woorden van elk thema zijn terug te vinden in deze representatieve fragmenten. Als gevolg maken deze fragmenten de betekenis van de prominente woorden verder duidelijk. Daarnaast verduidelijken deze fragmenten tevens de onderlinge samenhang tussen de woorden.

dataLL 1

Hagenaarpark 22 6051 HC Maasbracht W: www.datall-analyse.nl T: 06 413 00 472 E: [email protected]

TOP 20 - meest gebruikte woorden

Mechanical Turk task[375] time[155] HITs[135] money[108] fun[97] discourages[62] pay[55] little[48] reward[46] attracts[44] earn[43] require[42] easy[41] monetary[38] enjoy[36] lot[33] quick[33] kill[30] awards[27] cents[27]

aantal documenten: 148 / aantal woorden: 4087

dataLL 2


Mechanical Turk: Belangrijkste thema's fun monetary awards (1) HITs discourages require (2) money earn little (3) time kill waste (4)

HITs discourages require pay

easy quick simple reward particular

accept reject cents request lot

challenging stuff participate enjoy sometimes especially

thema 2

fun monetary awards attracts

0:1

thema 1

Inhoud thema's

money earn little extra spend bit

time kill waste amount free

add help cash account feel found save effort bonus

consuming limit slow bored spare else whenever watching mind usd

0:1

thema 4

0:1

0:1

thema 3

instructions rate paid write involved websites

dataLL 3


Representatieve tekstfragmenten Thema 1 (Wat maakt een taak aantrekkelijk?)  Reasons that motivate me include: Monetary awards, challenges involved, ease of understanding the task Yes, I consider the tasks fun  I do the tasks that are quick and easy, I will stay away from the tasks that request you to verify this information with that information - as their monetary award is nothing compared to the amount of work that must go into it  Monetary award, time allocated and the challenges involved are what attracts me to a particular task  The reason for completing tasks is purely for the monetary awards but there is a fun aspect to it as well  What attracts me to participate in a particular task is if it is relatively simple, quick, and easy to complete  The thing that attracts me to participate in particular tasks is the monetary value or to learn about something new  Some HITs that ask to go to another linked site and register to complete the HITs discourage me from completing tasks but monetary awards, fun attract me to do tasks  I complete tasks on Amazon Mechanical Turk as I find it a quick, fun and easy way to earn myself some 'treats'  Since I started (about weeks ago) I find that turking is just so much fun I am more focused on finding challenging and interesting tasks Thema 2 (Wat maakt een taak onaantrekkelijk?)  There are few things which discourages me to accept certain HITs like - Rate of returning a HIT, Not understanding properly a HIT, Rejection without proper reason, Long descriptive type HITs, A fear due to unknown about rejection rate, etc  […] so this is a great discouraging factor. I love to complete tasks that are easy and require less time. I don’t accept hits that require lot of work and attention  HITS that require a lot of outside research, search queries, or visiting a number of other websites in order to perform comparisons, classifications, or evaluations for relatively low rewards  The nature of task attracts me to participate in a particular task, it doesn't matter how much it will pay me but some task are very lengthy and require some particular skills that discourages me to complete the task  I am interested in HITs that requires creative thinking and the ones that requires original answers as opposed to just a simple web search  What discourages me are tasks with high (and often unfair) rejection rates, slow payment, but most of all: HITs that ask you to do a shitload of work for just a few cents  I won't accept tasks that involve signing up outside of Mechanical Turk (Go post on this forum, go rate this social networking site, etc )

dataLL 4


 

I shy away from HITs with significant writing involved as my english writing skills are less than stellar, and writing large chunks of text is very demanding and stressful for me I avoid penny HITs unless they are very simple and require very little time

Thema 3 (Mechanical Turk als inkomstenbron)  I complete tasks as a way to kill downtime at work, but also as a way to earn a little extra spending money  I originally went to the site just to earn a little extra money  I am trying to pay off a credit card, so I have set a goal for myself to earn a certain amount of extra money each day on Mturk  I complete tasks at Mechanical Turk only for earning money and I hope there are no other ways of earning clean and honest money for my dedicated work  I have a lot of downtime at work and this is a way to kill time, and earn a little money doing it  I mainly do Mechanical Turk tasks to earn a bit of extra money  We have our Mturk account linked up to a long term savings account and all the money we earn on it goes straight into savings  I do turking to earn some money from home I am a housewife and I love to turk because I can make money without going out  It seems to me an easy way to make some spare money Thema 4 (Mechanical Turk als tijdsbesteding)  the biggest one is killing time, but if by killing time I can earn a little money it is just a bonus  I typically complete tasks for the monetary awards and to kill time during slow times at work  Since I do not enjoy watching TV, they are a way of killing time and the monetary awards are nice  However, I can imagine that I might do it do kill time if I wasn't doing anything else at the time  I do it to kill time and as a self-competition to see how many hits/money I can do in any given time frame  I do it for fun, when I'm bored (killing time) and for money sometimes  The reason I complete tasks on MTurk is because they are a good way to waste time while making little money in the process  I am at work, killing time for the most part, and I like to be busy constantly  Killing time is also a reason though not a major

dataLL 5


Analyse van de Mechanical Turk data: 4 Belangrijke Thema s

Recommend Documents