Test Report Team 3 Door Adriaan de Jongh
Inhoudsopgave
Inhoudsopgave .................................................................................................................................... 2 Focus en doel....................................................................................................................................... 3 Beschrijving Game ............................................................................................................................... 3 Samenvatting Top 10 Issues ................................................................................................................ 3 Usertest 1 ........................................................................................................................................ 3 Usertest 2 ........................................................................................................................................ 3 Test sessies walkthrough ..................................................................................................................... 4 Opzet ............................................................................................................................................... 4 Test Scenario ................................................................................................................................... 4 Questionnaire .................................................................................................................................. 4 Interview.......................................................................................................................................... 5 Doelgroep ............................................................................................................................................ 5 Testpersonen ....................................................................................................................................... 6 Foto’s ................................................................................................................................................... 7 Resultaten ........................................................................................................................................... 9 Usertest 1 - Top 10 .......................................................................................................................... 9 Usertest 2 - Top 10 ........................................................................................................................ 10 Reflectie ............................................................................................................................................. 11 Test 1 ............................................................................................................................................. 11 Test 2 ............................................................................................................................................. 12
Focus en doel Bij de twee tests die hebben plaatsgevonden besloten we in het begin de focus op de volgende 3 punten te leggen: • • •
Game mechanics: gaat de speler met het systeem om op de manier hoe wij die hebben ontworpen? Controls: Heeft de speler moeite met de link tussen controls en wat er op het scherm gebeurt? Moeilijkheidsgraad: Vind de speler het lastig in zn algemeen? En zo ja, wat is het meest lastig?
Bij de eerste test was de manier van testen voor ons helemaal nieuw en wilde wij kijken hoe de test zou gaan, of het inderdaad zo ging als we verwachten. Zo was een secundair doel van de eerste test om van het testen te leren. Wat wij van de eerste test hebben geleert hebben we ook toegepast op de tweede test. Hierover meer in het laatste hoofdstuk ‘Volgende keer anders’.
Beschrijving Game De game die is getest is de vroege versie van Hive Mind en gaat over een groepje robots die moeten ontsnappen uit een experimenteel lab. Zowel de robots als de omgeving en de vijanden zijn volledig van organisch materiaal. Het doel van het spel is om te overleven en om de verschillende stages van het level te overwinnen. In het groepje robots zul je vier verschillende soorten units hebben met verschillende sterke punten, die tactisch moeten worden ingezet tegen de vier verschillende vijanden in het spel. In de eerste test is de alpha versie van de game getest, waarin er nog veel miste van de core gameplay die wij de speler wilde bieden. In de tweede test is de beta versie van Hive Mind getest waarin bijna alle features al zaten die wij de speler wilde bieden.
Samenvatting Top 10 Issues Usertest 1
Usertest 2
1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Camera Feedback van controls Onduidelijk doel Doodgaan niet duidelijk Muziek HUD onduidelijk Schieten niet stoppen Cursor niet ontdekt Units laten aanvallen Vijanden niet duidelijk
Speler snel dood Te veel enemies Te moeilijk Vijand schiet feedback Respawnpoints te snel Speler schiet feedback Unit type icon niet duidelijk Score niet gezien Dynamische muziek valt niet op Menu navigatie onduidelijk
Test sessies walkthrough Opzet De opzet van de test hebben wij afgesteld op een one-to-one playtest. Materialen: • 1 beamer • 1 notebook / PC • 1 Xbox controller • 1 koptelefoon • 2 camera’s gedurende de eerste playtest Personen: • 1 test monitor • 2 data loggers voor de speler en voor het scherm • 1 technisch ondersteunend persoon • 1 voor camera control • 1 tester
Test Scenario Een test verliep als volgt: 1. De testpersoon vult een enquete in met de algemene informatie. 2. De dataloggers nemen hun plaatsen in. 3. De test monitor legt in het kort uit wat de tester gaat testen. 4. De tech start het spel. 5. De testpersoon speelt het spel. 6. Terwijl de tester het spel speelt vraagt de test monitor constant om feedback. 7. De test monitor legt zo min mogelijk uit aan de testpersoon. 8. Na ongeveer 10 minuten mag de testpersoon stoppen. 9. De testpersoon vult de questionnaire in. 10. De test monitor vraagt nog wat algemene dingen over het spel en legt eventuele vraagtekens bij de testpersoon uit.
Questionnaire De questionnaire die we bij de eerste test aan de testpersonen hebben uitgedeelt nadat ze onze game hadden getest bevatte te volgende vragen: Geef met een eventuele uitleg aan of de besturing van de volgende elementen goed werkte: Lopen
Richten
-2 Slecht -2
Schieten
Camera
-1 Matig -1
+1 Voldoende +1
+2 Goed +2
Slecht
Matig
Voldoende
Goed
-2 Slecht
-1 Matig
+1 Voldoende
+2 Goed
-2
-1 Slecht
+1 Matig
+2 Voldoende
Goed
Geef aan hoe moeilijk je het volgende vond: Spelen in Algemeen
1 Te moeilijk
2 Nog net te doen
3 Goed te doen
4 Te makkelijk
1 Te moeilijk
2 Nog net te doen
3 Goed te doen
4 Te makkelijk
Waarom? Vijanden Aanvallen
Waarom? -
Was het duidelijk met welke robot je welke vijand aan moest vallen? Wat vond je van het interface, de icoontjes en getallen in de onderste hoeken van het scherm? Wat vond je van het geluid in de game? Wat vond je het MEEST leukst aan deze game? Waarom? Wat vond je het MINST leuk aan deze game? Waarom? Wat viel je het meest op aan dit spel? Als je 1 ding in deze game zou veranderen, wat zou dat dan zijn? Overige opmerkingen?
Interview Tijdens en na het playtesten is de testpersoon gevraagt naar specifieke acties die de testpersoon verrichtte tijdens het spelen. Deze vragen werden door de test monitor terplekke bedacht terwijl de testpersoon de game speelde. Na afloop de tests werden er door de test monitor in ieder geval de volgende vragen gestelt: • Wat vond je van het spel? Waarom? • Vond je het duidelijk genoeg dat wat je deed ook invloed had op wat je op het scherm zag gebeuren? • Vond je het lastig? Wat vond je het meest lastig? • Heb je nog andere dingen op te merken?
Doelgroep De doelgroep die aan het begin van dit project door ons is gedefineerd bestaat uit: - Personen van 12 jaar en ouder - Voornamelijk van het mannelijk geslacht - Spelen graag Gears of War of - Zoeken naar alternatieven naast Gears of War
Testpersonen We hebben voor de tests het volgende aan de testpersonen gevraagt: - Naam - Leeftijd - Geslacht - Opleiding - Gemiddeld uren dat deze persoon per dag aan games besteed - Favoriete games - Consoles in bezit De volgende personen hebben onze game getest: 1. Daniël Fauth – 18 jaar – Man – ICT Niveau 3 Besteed gemiddeld 2 uur per dag aan games Favoriete games: RPG, MMORPG, FPS Consoles: PS2, Nintendo DS 2. Oscar Franken – 18 jaar – Man – Opleiding tot kok Besteed gemiddeld 1 uur per dag aan games Favoriete games: Empire: Total War Consoles: PS2 3. Paul Kooij – 21 jaar – Man – Bedrijfswiskunde en Informatica Besteed gemiddeld 2 uur per dag aan games Favoriete games: Super Smash Brawl, Racegames, Zelda, Metroid, Final Fantasy Consoles: Wii, Xbox 360, PS2, PSP, Gamecube, Gameboy 4. Chuck Veenvliet – 18 jaar – Man – ICT Niveau 3 Besteed gemiddeld 3,5 uur per dag aan games Favoriete games: World of Warcraft, Counterstrike Source Consoles: Xbox 360, PS2, Wii 5. Dion Koster – 20 jaar – Man – Game Design & Development Besteed gemiddeld 1 uur per dag aan games Favoriete games: Jet Set Radio Future, TLOZ: Wind Waker Consoles: Xbox 360, Wii, Nintendo DS, Gamecube 6. Tim Bosje – 27 jaar – Man – Game Design & Development Besteed gemiddeld 0,5 uur per dag aan games Favoriete games: FPS, Party games Consoles: Xbox 360, Wii 7. Thomas Doppens – 24 jaar – Man – Game Design & Development Besteed gemiddeld 1 uur per dag aan games Favoriete games: Fight Night 2, MTG, Burnout Consoles: PS3 8. Freek van Vulpen – 19 jaar – Man – 5 Havo Besteed gemiddeld 3 uur per dag aan games Favoriete games: Halo, Gears of War Consoles: Xbox 360 9. Romke Houthoff – 19 jaar – Man – 5 Havo Besteed gemiddeld 2 uur per dag aan games Favoriete games: Halo, Mario Galaxy, Gears of War Consoles: Xbox 360, Wii 10. Nick van der Erve – 19 jaar – Man – Studie zoekende Besteed gemiddeld 4 uur per dag aan games
Favoriete games: Halo, Gears of War, Battlefield Consoles: Xbox 360
Foto’s
De opstelling van de testpersoon
Camera gericht op het gezicht voor eventuele emoties
Nabespreking
Resultaten 8 7 6 5
Playtest 1
4
Playtest 2
3 2 1 0
Uit deze grafiek kunnen we afleiden dat er nogal wat verschil is tussen het geteste product in de eerste playtest en de tweede playtest. Zo kan je zien dat de waarnemingen van de eerste playtest al bijna geen negatief punt meer waren bij de tweede playtest. Wat ook opvalt is dat sommige dingen er ook achteruit op zijn gegaan. Zo gingen bijvoorbeeld 7 van de 7 testpersonen tijdens de tweede playtest te snel dood, terwijl dat tijdens de eerste playtest maar 2 van de 7 waren.
Usertest 1 - Top 10 1. Camera Gelijk in de eerste 20 seconde van elke testpersoon bleek dat de camera helemaal niet lekker werkte. De testpersonen konden hem niet onder de knie krijgen en gaven allemaal aan dat dit hun spel belemmerde. De camera keek altijd naar voren en was moeilijk te draaien, alleen door beweging. Als de speler was ingesloten was dit een ramp. - Dit probleem is in de beta versie gefixt door de vertraging van de camera eruit te slopen en de cursor gedeeltelijk aan de positie van de curor te hangen. 2. Feedback van controls Wat bijna alle testpersonen in de eerste test niet of pas laat ontdekten was dat de 4 knoppen, de triggers en bumpers, de verschillende units konden laten aanvallen. - In de beta versie hebben we dit grotendeels opgelost door een error geluidje toe te voegen aan de knoppen wanneer de speler de knop indrukt maar niet een vijand aanvalt. Tijdens de tweede test werd dit als een vanzelfsprekend geluidje opgenomen door de testpersonen. 3. Onduidelijk doel In de eerste playtest waren de spelers doelloos aan het rondzwerven op de lege vlakte. Het kon ook niet anders, want er was geen level en afgezien van de enemies was er voor de rest niks bijzonders aan het spelen van het spel. - In de beta hebben we dit probleem gefixt door stages aan het spel toe te voegen. Een stage kan je winnen door alle enemy respawn points kapot te maken, op de zelfde manier als een enemy alleen dan zonder weakness. Tijdens de tweede playtest hadden enkele niet door dat deze kapot
4.
5.
6.
7.
8.
9.
10.
konden, maar toen de meeste dit eenmaal door hadden gingen ze al snel op jacht naar alle respawn points! Doodgaan niet duidelijk Geen animaties in de eerst playtest zorgde ervoor dat de spelers niet wisten wanneer de spelers werend dood gemaakt door de vijanden of de speler de vijand aan het aanvallen was. - Animaties zaten als gevolg al snel in de beta. Muziek In de Alpha versie zat nog steeds het vrolijke deuntje dat als test in onze game was gestopt, en hoewel sommige testpersonen het nog wel arcade-like vond was dat niet onze bedoeling. - We hebben in de beta versie het geluid dynamisch gekregen met meerdere tracks en een ‘epischer’ geluid. Testpersonen vonden dit in de tweede playtest al beter bij het concept passen. HUD onduidelijk Ook vanwege missende geluidjes, geen feedback op het scherm behalve verdwijnende modellen en de druk van de vijanden konden de testpersonen niet het inzicht krijgen in de HUD. Ook stonden er dingen in die geen nut hadden en waarbij alle testpersonen vragen bij hadden. - Dit is gefixt in de beta versie door overbodige dingen weg te halen en feedback toe te voegen, zoals geluid en animaties. Deze oplossing bleek tijdens de tweede playtest te werken en alle testpersonen begrepen de HUD vrij snel. Ook zullen er na de beta nog kleine tutorial schermpjes verschijnen die de HUD moeten ondersteunen. Schieten niet stoppen Een ander resultaat van de animatieloze units was dat de spelers niet zagen waar ze op aan het schieten waren als ze dit wel hoorden en dat vaak voor verwarring zorgden. - Dit hebben we in de beta versie opgelost met de geimplementeerde animaties. Cursor niet ontdekt Sommige testpersonen moesten er op gewezen worden dat ze met de rechter pook de cursor konden bewegen. Omdat de cursor niet gelijk zichtbaar was wisten ze vaak neit dat hij er uberhaupt was. - Dit was snel opgelost door de cursor in het midden te laten beginnen. Units laten aanvallen Sommige testpersonen kwamen er helemaal niet achter dat de combinatie richten en op een bumper of trigger drukken de units liet aanvallen. Dit had verscheidene redenen, vooral missende animaties, onduidelijke HUD, weinig feedback etc. hebben dit probleem veroorzaakt. - In de Beta bleek de HUD dit probleem grotendeels opgelost te hebben. Vijanden niet duidelijk Door slechte AI was het sommige personen niet duidelijk wie hij bestuurde en wie zijn vijand was. Dit kwam doordat de units die de speler bestuurde te dicht in de buurt spawnde van de enemies, waardoor er al snel verwarring ontstond. - In de beta hebben we dit opgelost door de unit spawn en de enemy spawn duidelijk te onderscheiden.
Usertest 2 - Top 10 1. Speler snel dood Wanneer het spel werd gestart gingen alle testpersonen voor de eerste keer binnen 10 seconde dood. Doordat de units weinig health hadden, de vijanden erg veel schade deden en de speler nog niet meer units kon krijgen was de speler daarom al heel snel game over. -Dit kan worden opgelost door het spel nog verder te tweaken. Health van de units, van de vijanden, respawn snelheid, etc. 2. Te veel enemies Afgezien van het feit dat de speler te snel dood ging waren er over het algemeen veels te snel veels te veel enemies. De speler startte het spel en gelijk stonden alle type vijanden voor de neus van de speler. De speler vond dit veels te moeilijk omdat hij gelijk in het diepe werd gegooit. - De oplossing hiervoor is een difficulty curve: de speler zal in het begin van het spel beschikken
3.
4.
5.
6.
7.
8.
9.
10.
over maar 1 type unit en er zal maar 1 soort vijand zijn. Wanneer de respawnpoint van die vijand is vernietigd zal er een tweede unit bij komen en een tweede soort vijand. Het zelfde geldt voor de 3e en 4e type units. Hierna zullen er steeds meer respawn points bij komen om het zo de speler sdeeds moeilijker te maken. Dynamische muziek valt niet op Wanneer de test monitor vroeg of de muziek veranderde tijdens het spelen antwoorden er een enkeling dat dat het geval was. Dit kwam volgens de andere testpersonen omdat het verschil te subtiel was en er te weinig tracks waren om het verschil te horen. - Dit gaan we fixxen door meer variatie in de muziek tracks te brengen en het verschil in het algemeen wat extremer te maken. Te moeilijk Alle testpersonen gaven aan het spel te moeilijk te vinden om mee te beginnen. Enkele spelers kregen het spel onder de knie na 10 minuten spelen, maar hadden er nog steeds wel veel moeite mee. - We hopen dit probleem te verhelpen met de eerder genoemde difficulty curve. Hierna zullen we moeten kijken hoe deze oplossing uitpakt! Unit type icon niet duidelijk De testpersonen konden van de huidige icoontjes van de unit types alleen de granaten en raketten juist raden, de rest waren gokjes. - We hebben hierna besloten om de icoontjes volledig weg te halen en nog meer van de HUD te schrappen. Nu bestaan de HUD elementen die de units representateren alleen nog maar uit een circel met een cijfer er in van het aantal units en de bijbehorende knop om die unit type aan te laten vallen met de kleur er in die de unit type bevat. Onduidelijkheid schietende vijanden Testpersonen gaven aan niet altijd te weten wanneer de vijanden op hun aan het schieten waren of niet. - Dit gaan we oplossen door de vijanden ook schietgeluiden te geven en betere schiet animaties. Enemy respawn te snel Wat vaak het geval was voordat de speler game over ging was dat ze bezig waren met een respawnpoint aan te vallen maar er opeens tientallen vijanden uit kwamen. - Deze manier van respawnen zal moeten worden herzien en realistischer moeten worden gemaakt voor het behalen van het doel van de stages. Menu navigatie onduidelijk Door slechte communicatie binnen de TU over het menu zijn sommige delen van het menu te besturen met de 4-punts toets en sommige delen met de linker stick. - Het menu zal helemaal te besturen zijn met de linker stick. Onduidelijkheid schietende units Ondanks de geluiden en duidelijke anmimaties van de units konden enkele testpersonen nog steeds niet ontdekken waar hun units naartoe schoten. - Dit gaan we oplossen door particle effecten toe te voegen, waarbij de speler duidelijke schiet lijntjes te zien krijgt waar de units naar toe schieten. Score niet gezien Omdat de score als laatste voor de beta werd geïmplementeerd is hier niet veel aandacht aan besteed en stond hij redelijk klein in het hoekje van het scherm. - We gaan de score meer zichtbaar maken door hem te centreren, groter te maken en duidelijk omhoog te laten gaan. Mogelijk gaan we ook in het scherm nog getallen laten zien om duidelijk te maken dat de speler punten verdient.
Reflectie Test 1 Hetgeen waar wij het meest van baalde na en tijdens de usertests is dat we het core concept neit bevatte, en we kwamen al heel snal tot de conclusie dat we nooit meer iets zouden testen zonder
het core concept. Ook ontdekten we dat een winning condition in je game ook wel zou toevoegen en dan alleen een losing condition niet optimaal was voor testen. Voor de rest konden we ook meer aan voorbereiding doen. Zo hadden we beter een test release kunnen maken de avond ervoor, niet de ochtend van de playtests. Ook hadden we zelf het spel moeten testen voordat we hem gelijk an de testpersonen gaven. Het laatste punt wat we volgende keer beter moeten doen is het contact met de testpersonen, dit in verband met uitval. Game die WEL core concept bevat
Test 2 Deze test ging al een stuk beter; qua voorbereiding en qua verwachtingen. We wisten beter wat er ging komen en waar we ons op konden voorbereiden. Ook hebben we geleerd dat 1 notulist voor one-to-one playtesting genoeg is. Een leerpunt van deze test was dat we beter tóch wel questionnaires hadden kunnen gebruiken. Het voordeel van een questionnaire is dat je de ruwe data hebt en niet de geïnterpreteerde versie die je er zelf van maakt.
