2015 GROEP MIN ÉÉN (GROEP 13)

TEST PLAN - V2.0 USABILITY/PLAYABILITY EMIEL KAMPEN 12/08/2015

GROEP MIN ÉÉN (GROEP 13) THOMAS ASSCHEMAN Tech-Operator/Recruiter TIAGO DOS SANTOS PEDROSA TEST MONITOR KRIS VAN GEEL RECRUITER TIM JANSSEN TECH-OPERATOR COLLIN KASBERGEN DATALOGGER



INLEIDING

‘Bind Love’ is een spel gemaakt door tweede jaars G&I studenten aan de HKU. Er werd aan ons, Team Min één, gevraagd of wij dit spel konden testen om te kijken of de game mechanics werken en logisch in elkaar steken.

De reden dat wij deze specifieke game hebben aangenomen als test project heeft vooral te maken met het gebruik van de eyetracker en de intrige naar het effect dat dit heeft op de gameplay en op het spel. Daarnaast willen wij graag onderzoeken of deze game ook gepast is voor een andere doelgroep dan de doelgroep waarvoor deze origineel is ontworpen. Zo zijn wij van plan deze game, ontworpen voor ouderen, te gaan testen op jongeren. Wij zijn benieuwd naar de verscheidene doeleinden waarvoor deze game gebruikt kan worden en hebben ons daarom ook een aantal doelen gesteld die hiermee verband houden (gedetailleerde uitleg over deze doelen is te vinden onder het kopje “Doel van de test”).



INHOUDSOPGAVE Inleiding 2 INHOUDSOPGAVE 3 TEST LOCATIE 4 PLANNING 5 HET GETESTE SPEL 6 DOEL VAN DE TEST 7 Test scenario 8 BENODIGDHEDEN 10 Test personen 11 QUESTIONAIRE/Survey 14



TEST LOCATIE



De test zal gehouden worden in de woning van Tim in Hilversum. Hier zijn twee kamers aanwezig. De testpersoon zal in de ene kamer de game spelen. De test monitor is hierbij aanwezig. De andere groepsleden zullen in de andere kamer zijn.



De test ruimte is ca. 12 m² met een schuin dak. Als je binnenstapt bevindt zich recht voor je een tafeltje met een koffiezet apparaat erop en een koelkast. Aan de wand schuin tegenover de deurpost, staat een bureau geschoven met een desktop computer. De computer kast staat half onder de tafel en het beeldscherm daar bovenop. Er ligt een computer muis en een toetsenbord op tafel. Aan de onderkant van het beeldscherm is de eyetracker bevestigd en aan de linkerkant van het beeldscherm staat een webcam op tafel opgesteld. Aan het bureau is een zwart leren bureaustoel geschoven. Er komt enkel licht binnen via het zolder raampje dat wijd open staat.



De ruimte waarin de datalogger en de tech operators zich bevinden is qua bouw gezien een gespiegelde versie van de test ruimte. Tegen de wand recht tegenover de deurpost staat een brede bank geschoven met een salon tafel en een fauteuil. Collin heeft zijn laptop gestationeerd op de salon tafel. Recht tegenover de bank en fauteuil (lees: aan de wand waar je binnen komt) Staat een TV op een kastje met daarin een aantal spelcomputers. Aan de linkerkant naast de bank is een vensterbank met daarop een aantal beeldjes. Er valt veel licht binnen door de dakkapel waaraan deze vensterbank is verbonden. De TV is via een HDMI kabel verbonden met de PC in de test ruimte, waardoor de datalogger en de tech operators alles kunnen volgen wat zich afspeelt in de test ruimte met de test monitor en de testpersoon. Kris, de hoofd recruiter, zit slechts in de observatie ruimte als zij geen testpersonen aan het begeleiden is.



De testpersonen die wachten op hun beurt of al aan de beurt zijn geweest, verblijven op Tim’s slaapkamer. Zodra een persoon klaar is, gaat Kris de persoon van en naar locatie leiden.













Afbeelding 1 - Plattegrond Tim’s woon- en werkkamer (test ruimte en observatie ruimte)







PLANNING Allereerst hebben we een kleine schetsmatige planning gemaakt van het verloop van de gehele opdracht, om zo wat meer overzicht te kunnen verkrijgen van de tijd en het werk dat het ons zou gaan kosten. Dit is geïllustreerd in de tabel hieronder.



Donderdag 6 augustus zal deze test dag plaats vinden Voorbereiding: - Computer en software gereed maken. - Boodschappen doen, koffie en thee zetten - Doornemen van planning binnen het team - Doelen doornemen - Survey doornemen





De voorbereidingen zullen plaatsvinden tussen de aankomst tijd van het test team en de testpersonen.



HET GETESTE SPEL



De game die wij gaan testen is origineel ontwikkeld door studenten uit het tweede jaar van de G&I faculteit van de HKU voor het project ‘Happy Ageing’. Ondanks het feit dat deze game is ontwikkeld voor een oudere doelgroep, leek het ons juist interessant om te gaan onderzoeken of deze game toepasbaar is op een andere doelgroep en of wij de ontwerpers het één en ander kunnen voorstellen om de game aantrekkelijker te maken. Wij vonden dit vrij logisch, aangezien wij van mening zijn dat de introductie van de eyetracker van Tobii, dit spel een zeer interessant concept maakt voor veel meer mensen dan alleen zijn originele doelgroep.



In de game ben je een mol die wanhopig opzoek gaat in het bos naar zijn vrouw, aangezien hij haar niet kan vinden in zijn hol. Gedurende zijn reisje door het bos, is het de bedoeling dat de speler de mol beschermt van gevaren en obstakels met zijn of haar ogen (de mol is zelf namelijk blind). Door middel van oogbewegingen krijgt de speler de kans om de mol te beschermen van agressieve vogels, obstakels te vernietigen en bruggen naar beneden te takelen.



Daarnaast wordt er ook een afwisseling gemaakt van objecten waar je juist naar moet kijken om verder te kunnen komen in het spel, als objecten waar je juist niet naar mag kijken. Zo zal de speler op een gegeven moment verkeren in een onweer storm op zee, waarbij hij of zij niet naar de wolken mag kijken, met het gevaar dat hij of zij getroffen kan worden door de bliksem.



Interessant aan deze game is dat men hem bestuurd met zijn of haar ogen. Afgelopen jaren wordt er al vaker geëxperimenteerd met ‘eyetracking’ en andere Afbeelding 3 - Object waar je niet naar mag kijken vormen van besturing voor computers en games, maar de eye-tracker zelf staat nog in de kinderschoenen wat betreft gaming. Buiten het feit dat het concept van een blinde mol die geleid moet worden door een persoon die wel beschikt over zicht vermogen naadloos aansluit bij het gebruik van dit technische medium, is de game ook vrij kenmerkend doordat er een vrij emotionele rode draad loopt door het geheel (namelijk een mol die opzoek gaat naar zijn geliefde).

De besturing van de game verloopt als volgt: De gehele game kan met de eye-sensor of de muis worden bestuurd. Besturing via muis werkt heel simpel: Je houd je muis op het gene wat je wilt raken/aanklikken en na 2 seconden zal het gene wat je geselecteerd hebt worden uitgevoerd. De eyetracking werkt exact hetzelfde als de muis, alleen hierbij is het zo dat je je ogen gebruikt in plaats van de muis.



Afbeelding 4 - Objecten waar je naar moet kijken (vogels)



HET GETESTE SPEL De eyetracker werkt als volgt: De eyetracker is uitgerust met zogenaamde near-infrared projectoren. Deze projecteren patronen op het oog van de gebruiker. De patronen op het oog worden vervolgens weer gescand. Door de verschillen tussen de geprojecteerde patronen en de patronen op het oog van de gebruiker kan uitgerekend worden waar deze naar kijkt.

Afbeelding 5 - Werking van de eyetracker (besturing game)



DOEL VAN DE TEST Door middel van deze test hopen wij bij een aantal vragen antwoorden te kunnen vinden die ons helpen bij het maken van ontwerp suggesties naar de makers en ontwerpers van de game ‘Blind Love’.

De intuïtiviteit van de game mechanics In deze test gaan wij het gedrag van de spelers testen, om erachter te komen of de game mechanics intuïtief werken. De bedoeling is dat elke speler maximaal 5 minuten over het hele spel doet. Boven de 5 minuten betekent het dat de speler er te lang over doet om het spel of de interactie van het spel te begrijpen. Er zijn drie soorten interactieve objecten in de game: - Stilstaande objecten waar voor een bepaalde tijdsduur naar gekeken moeten worden om verder te kunnen gaan. - Draaiende objecten waar voor een bepaalde tijdsduur naar gekeken moeten worden om verder te kunnen gaan. - Stilstaande objecten waar juist niet naar gekeken moet worden om verder te kunnen gaan. Het is dus de bedoeling dat de speler op vlotte wijze kan ontdekken hoe deze mechanics functioneren, zonder tips van de test monitor. De interactie tussen de speler en de game mechanics gaan we op basis van deze vragen analyseren, waarvan je een uitwerking ziet in het test-scenario: - Hoe lang doet een speler erover om erachter te komen hoe de interactie werkt? - In hoeverre heeft de art invloed op de leesbaarheid van de mechanics? - Wat voor effect heeft de eyetracker op de algehele gameplay?

Speelbaarheid voor een andere doelgroep



Dit willen wij gaan testen door middel van het gebruik van een delegatie aan testpersonen binnen de leeftijdscategorie 17 t/m 27 (lees: jongeren). Door middel van een aantal vragen binnen de survey, die zich vooral fixeren op de meningen van onze testpersonen hopen wij een beeld te kunnen schetsen van hun ‘over-all experience’ om vervolgens met die conclusie een ontwerp suggestie te kunnen maken.



Wij zullen bij dit onderdeel vooral kijken naar: - Zijn de puzzels uitdagend genoeg? - Is de game makkelijk te begrijpen?



Origineel is deze game vooral gericht op een ouder publiek (zoals eerder genoemd), om zo de ogen actief te houden (vandaar het gebruik van de eyetracker). Bijzonder aan deze game, is dat het een vrij universele uitstraling heeft waardoor wij graag zouden willen testen of deze wel zo doelgroepsgebonden is. Daarnaast lijkt het ons ook interessant voor de makers om misschien te kijken hoe zij dit spel aantrekkelijker zouden kunnen maken voor een andere doelgroep, om zo een groter publiek te kunnen bereiken.



TEST SCENARIO

Rolverdeling Kris is Recruiter. Zij zorgt voor de testpersonen. Ze zal de testpersonen globaal vertellen met wat voor project we bezig zijn en wat ze komen testen. Hierbij wordt niets inhoudelijks verklapt.

Tiago

is Test Monitor. Hij zorgt ervoor dat de testpersonen zich comfortabel voelen voor ze beginnen met playtesten. Hij vertelt dat de testpersonen op elk moment mogen stoppen als ze geen zin meer hebben. Als het te lang duurt om de puzzels uit te voeren geeft hij een tip, zonder te verklappen wat er precies gedaan moet worden. Komt de testpersoon er dan nog niet uit, dan volgt meer hulp. Na de playtest interviewt hij de testpersonen.

Tim

is Tech-Operators. Hij zorgt ervoor dat alle techniek wat betreft het spelen van de game werkt. Zo heeft hij zich ingelezen in de werking van de Tobii software en de eyetracker en ondersteunt hij de testpersonen tijdens de afstelling van de eye-tracker.

Collin

is Data-Logger. Hij observeert live één webcam en noteert wat de testpersoon doet op elke tijd. Na de playtests observeert hij ook beelden van de andere webcams die we niet live kunnen bekijken. Ook hiervan maakt hij notities.

Thomas

is zowel Tech-Operator als recruiter. Ter voorbereiding heeft hij samen met Kris gezocht naar testpersonen en tijdens de test heeft hij zich ontfermt over de opname apparatuur. Zo heeft hij gezorgd voor de aanwezigheid van een werkende webcam en microfoon en heeft hij de opnames gedurende de test dag in de gaten gehouden (zowel in-game als webcam).



Verwachting van het verloop van de playtest De testpersoon komt het huis van Tim binnen. Hij/zij wordt ontvangen door Kris. Kris legt aan de testpersoon uit wat er zo direct gaat gebeuren. Ondertussen wordt door Tim de soft- en hardware gereed gemaakt, waarna Thomas de webcam opzet. Wanneer alles klaar staat leidt Kris de testpersoon naar de werkkamer van Tim. In de werkkamer van Tim ziet de testpersoon de computer met het spel op een bureau tegen de rechtopstaande wand van de zolder. Onder aan het beeldscherm is de eyetracker bevestigd en de webcam filmt de testpersoon van schuin onder.



Kris vraagt aan de testpersoon om op de stoel te zitten voor het bureau en legt uit wat de controllers zijn. De testpersoon legt zijn rechterhand op de muis en de linkerhand op het toetsenbord en kijkt naar het scherm. Er wordt gevraagd aan de testpersoon om met de Tobii software de eyetracking te kalibreren. Op het scherm ziet de testpersoon de startpagina van het spel op fullscreen, waarbij die vier opties heeft: start, calibrate, credits en quit. De testpersoon moet dus eerst naar de calibrate optie gaan met zijn/haar ogen. Als dat lukt met zijn/haar ogen, dan kan de testpersoon starten met het spel door naar de start knop te kijken.



Het spel is gestart en de testpersoon bekijkt het scherm van links naar rechts en van onder naar boven, terwijl een witte mol beweegt naar rechts. De speler snapt niet wat hij/zij moet doen, dus blijft hij/zij rond kijken met zijn ogen tot dat er





TEST SCENARIO een vierkant blok verschijnt en de speler er naar staart. Zo maakt de speler het blok stuk en begrijpt hij/zij dat bij het volgende blok op de route, hij/zij dat ook met zijn/haar ogen stuk moet maken, zodat de mol verder kan lopen. De testpersoon blijft rustig kijken naar het gangpad en breekt de blokken die in de weg staan. Opeens is er een blok onderaan en de speler kijkt ernaar en de mol valt naar beneden. De speler probeert naar links te kijken om te zien of die terug kan gaan, maar dat lukt niet. De mol loopt door en de speler helpt door de andere blokken stuk te maken.

De speler bevindt zich op een ander ‘level’, waarbij hij/zij een beetje rond kijkt door de nieuwe achtergrond. De speler wordt aangevallen door een vogel en begint te kijken naar de vogel, maar niks werkt. De speler wordt weer aangevallen door een Afbeelding 7 - Level 2 vogel, maar dit keer wist de speler het al, dus keek hij/zij eerder naar de vogel en vliegt de vogel weg. De testpersoon blijft hoog kijken, zo dat de vogel de mol niet weer pakt. Er verschijnt een berg en de speler kijkt naar de berg en maakt het stuk. Zo loopt de mol weer door tot dat hij een valbrug ziet en niet verder kan lopen, want de brug staat open. De speler kijkt naar de tandwielen die naast de brug staan. Er is een witte cirkel in contrast met de zwarte tandwielen. De testpersoon kijkt naar de witte cirkel en de tandwielen beginnen te draaien. De speler begint de witte cirkel te volgen, zo dat de tandwielen blijven draaien en de brug dicht gaat. Terwijl hij/zij naar de witte cirkel staart, gaat een lampje aan boven het tandwiel. De speler staart af en toe naar het lampje. De mol kan weer verder en de speler staart om de mol heen, de vogels vallen hem weer aan en de speler jaagt ze weg. De testpersoon komt in het derde ‘level’, waar de mol niet verder kan lopen door de rivier. De speler kijkt naar de witte bol met een pijl erin getekend. Zo gaat de boot naar de zijkant en kan de mol weer lopen. De testpersoon ziet Afbeelding 8 - Level 3 een paar donkere wolken en begint er naar te kijken, want het ziet er gevaarlijk uit. Doordat de speler naar de wolken kijkt, ontstaat er bliksem en kan de mol niet verder varen. De testpersoon beseft dat hij fout is, dus kijkt hij/zij weg naar voren. De mol bereikt de andere kant en wordt onverwacht aangevallen door een vogel. De testpersoon had dat niet verwacht en kon niet snel genoeg naar de vogel kijken, maar nu heeft de testpersoon geleerd dat er ook vogels zijn in dit level en beschermt hij/zij de mol door alleen rond de mol te blijven kijken. Na een stukje lopen ziet de testpersoon een blokje op de grond en maakt het per ongeluk stuk. De mol loopt naar beneden en de testpersoon maakt de rest van de blokjes die verschijnen stuk. De speler arriveert op het einde van het spel. De credits verschijnen en de speler kijkt naar de namen tot dat de credits voorbij zijn.

Het startscherm verschijnt en er wordt gevraagd aan de testpersoon om het spel af te sluiten. De testpersoon kijkt naar de quit button en het spel wordt afgesloten. Kris vraagt aan de testpersoon om met haar mee te lopen en een survey in te vullen over het spel. De testpersoon loopt met Kris mee weg van de werkkamer van Tim naar de woonkamer.





BENODIGDHEDEN



Voor de test hebben wij de volgende materialen nodig: - Test locatie - Testpersonen - Groepsleden - Laptop of desktop pc - Eyetracker - Webcam - Tobii software - Een build van de game - Tafel - Stoel - Dit testdocument - Pen en papier om notities te maken - Camera - HDMI-kabel - Boxen - Extern beeldscherm



Gelukkig hebben we een 100% garantie dat er een desktop pc, een tafel, een HDMI kabel, boxen en een extern beeldscherm zullen hebben op onze test locatie. Ter bemachtiging van de eyetracker, de Tobii software en een build van de game, zullen we contact op moeten nemen met de tweede jaars die verantwoordelijk waren voor dit project. Daarnaast is het belangrijk dat we op de dag zelf zorgen voor koffie, thee en koekjes voor onze testpersonen die die dag aanwezig zullen zijn. Ook mag Thomas niet vergeten de webcam mee te nemen en moet hij zorgen dat hij de in game opname software gereed heeft voor die dag. De overige materialen zullen we niet moeten vergeten om mee te nemen vanaf huis of andere verblijfsplaats.



TEST PERSONEN



Vanwege één van onze test doelen, namelijk dat wij willen kijken of het spel interessant is voor jongeren, hebben wij een test delegatie samengesteld uit mensen van de leeftijdscategorie 17 tot en met 27.



De testpersonen die wij hebben gebruikt zijn kennissen van vrienden van ons die wij, als geheel team, niet kennen noch eerder hebben ontmoet. Dit hebben wij gedaan om zo de meest objectieve resultaten te kunnen verkrijgen uit de test, zonder dat persoonlijke relaties daarbij in de weg kunnen staan.



Wij hebben gebruik gemaakt van studenten van zowel het reguliere HBO (lees: alles behalve academia en ontwerpers opleidingen) als de Universiteit, om zo te voorkomen dat wij te maken zouden hebben met (toekomstige) ontwerpers of actieve professionals in de creatieve sector. Dit heeft te maken met het feit dat zij opgeleid zijn om op een andere manier naar producten en/of projecten te kijken dan de doorsnee gebruiker.



Daarnaast hebben wij ook gezocht naar testpersonen die speels ingesteld zijn en niet compleet onervaren zijn wat betreft ‘gamen’ in de breedste vorm van het woord. Daarmee bedoelen we dat we doelen op casual gamers, omdat we momenteel te maken hebben met een vrij korte en compacte game, waardoor deze doelgroep hier dus naadloos op aansluit.



TEST PERSONEN

Naam: Milou Verbeeke Leeftijd: 20 Opleiding/werk: CMV, Caissière Hobby’s: Buiten zijn, gamen Game gedrag: Speelt wel graag Sims 3 op de PC en gamed eigenlijk alleen maar als ze zich verveeld. Favoriete game: Sims 3

Naam: Ivana Tjong a Hung Leeftijd: 18 Opleiding/Werk: Kunstmatige Intelligentie, Werkeloos Hobby’s: Schrijven, gamen, series kijken Game gedrag: Gamed op dagelijkse basis en speelt vooral (j)rpg’s. Favoriete Game: Persona 3 Naam: Kevin van Wijk Leeftijd: 23 Opleiding/Werk: Informatica, Werkeloos Hobby’s: Tekenen, lezen, film kijken, gamen Game gedrag: Gamed op dagelijkse basis. Hij houdt het meest van shooters en story based spellen. Favoriete game: Bioshock



TEST PERSONEN

Naam: Mária van den Heuvel Leeftijd: 18 Opleiding/Werk: Liberal Arts & Sciences, Pizzabakker Domino’s Hobby’s: Paardrijden, naar het strand gaan. Game gedrag: Speelt heel veel Mariokart, al een aantal jaar. Daarnaast houdt ze van gezelschapsspellen als Kolonisten van Katan en Monopoly. Favoriete game: Mario Kart Naam: Jente Zandstra Leeftijd: 27 Opleiding: Elektro techniek, Werkeloos Hobby’s: Elektro, Wiskunde, Lezen, DHZ Game gedrag: Speelt zo nu en dan een strategie spel op de computer, maar alleen als hij daar tijd voor heeft. Houdt verder erg van schaken. Favoriete game: Schaak





SURVEY We hebben gekozen om een survey te maken voor deze test. De survey bevat 7 algemene vragen en 8 vragen over de game zelf. Bij de algemene vragen is het belangrijk voor ons om te weten of de testpersoon daadwerkelijk past bij onze doelgroep. Wij willen weten hoe oud ze zijn om te kijken of ze tussen de 18 - 28 jaar zitten en of ze slechtziend zijn, want dit spel is gemaakt om je oog coördinatie te trainen. Verder willen wij weten of ze gamers zijn en hoe lang zij gemiddeld per week gamen, zodat we weten of dit spel geschikt is voor de testpersonen.



Bij de vragen over de game zelf, hebben we eerst gekeken naar wat de testpersoon vond van het spel in het algemeen en wat zij van de besturing vonden. De vraag “Vond je dat het besturingssysteem essentieel was voor de game?” is voor onze test zeer belangrijk, want zo komen wij erachter of de speler het eyetracking systeem interessant vond om te blijven gebruiken en of het aansloot bij het spel. Om verder te weten of de besturing aansluit bij het spel hebben we nog vragen gesteld betreffend de besturing bij ieder soort obstakel. Met de resultaten kunnen wij erachter komen of het besturingssysteem duidelijk is en of dit gepast is voor deze game.



Ook hebben wij ervoor gekozen om een korte nabespreking te houden met de testpersonen individueel, mochten wij op onduidelijkheden zijn gestuit tijdens onze observatie. Hierbij hebben wij het dus over het vragen naar verklaringen, mochten wij bepaald game gedrag niet kunnen plaatsen. (vb: ‘Waarom deed je dit? Waarom ging je hier niet op in?’) Dit gesprek vind plaats ná het invullen van de survey, om te voorkomen dat de antwoorden worden beïnvloed door de besproken informatie.



Zie de volgende pagina’s voor de daadwerkelijke enquête.



SURVEY



ENQUETE BLIND LOVE PLAYTEST Template Algemene vragen Wat is je naam?

Wat is je leeftijd?

Ben je slechtziend?

Wat doe je in je vrije tijd?

Speel jij games, zo ja wat voor genre?

 

hoe lang spel jij games? ​(Kruis aan)  

 

 

minder dan 2 uur per week 

 

2 ­ 3 uur per week 

 

3 ­ 5 uur per week   

 

5 ­ 8 uur per week 

 

meer dan 8 uur per week 



SURVEY

SURVEY