Research Module Design & Research Project: Design for space
Lies van Roessel
30 september 2010
Vandaag • Research through design:
- experimenteren, o.a. met materiaal - prototypen - playtesten en usability testen
• Hoe te rapporteren over research through design, i.h.b. testen
• Opdrachtomschrijving
GDD/GAR
Design thinking process Define Research Ideate Prototype Choose Implement Learn Simon Herbert (1969). The sciences of the Artificial. Cambridge: MIT Pess, 55 http://en.wikipedia.org/wiki/Design_thinking
Research through design ‘Onderzoek door ontwerpen’
• Research by designing • Perspectief/attitude tijdens ontwerpproces
• Bijv. materiaalonderzoek of prototypen
Divergeren & Convergeren
Methoden voor RtD ‘Onderzoek door ontwerpen’
•‘Schuinse methoden’: uitproberen, uitvogelen, knutselen
•Experimenteren
testen Laat ook anderen naar je prototype kijken! => zelf ben je niet helemaal objectief => zelf behoor je (waarschijnlijk) niet tot je doelgroep
testen 1. Zelf 2. Mensen die je kent 3. Doelgroep
One to one testing Buddy testing Group testing
Experiment Design of the study Is random assignment used? No
Yes
Are there multiple groups or measures? Yes
True Experiment
Quasi Experiment
No
NonExperiment Lazar, Feng and Hochheiser, 2010, p. 42
Experiment True experiments:
• Based on testable research hypothesis • At least two conditions • Quantitative measurements, statistical analysis • Aims to remove bias • Replicable by other people at another time and place
Lazar, Feng and Hochheiser, 2010, p. 42
Maar: in spreektaal wordt het ook wel ruimer opgevat
User testen
Je moeder laten doen
“Vind je mijn ontwerp leuk of heel leuk?”
True Experiment
Experiment
ingrijpen => onderzoeker beinvloedt variabelen
versus Etnografische methoden
niet ingrijpen => onderzoeker beinvloedt zo min mogelijk variabelen
User testen 1. Paper prototypen 2. Wizard of Oz techniek 3. Werkende versies testen (prototypen) 4. Bestaande/geïmplementeerde producten testen
Paper prototypen Makkelijk om veranderingen aan te brengen Dwingt tot formuleren van de kern Blijf niet hangen op de ‘looks’
(play)testen
Stappenplan 1. ontwikkel een testplan 2. maak de testomgeving in orde 3. zoek deelnemers 4. bereid de testmaterialen voor 5. voer de tests uit 6. debrief de deelnemers 7. analyseer data en observaties 8. rapporteer bevindingen en aanbevelingen
Hoeveel mensen
5 -10 participanten
test-plan Stel van tevoren een testplan op! Met daarin: - lijst van benodigde materialen - planning in tijd: wanneer gebeurt wat / hoe lang voor elke stap - hoe worden data vergaard?
test-tips • Laat de testers duidelijk weten dat er geen
‘goed’ of ‘fout’ is: je wilt iets onderzoeken en alle reacties helpen daarbij
• Vraag ze hardop te denken, maar waarschuw dat je niet alle vragen kunt beantwoorden
• Doe het niet alleen!
Rollen
Emiel Kampen
test-tips Achteraf: Aanvullende data vergaren door bijv. - standaard vragenlijst - interview - groepsdiscussie Bedanken en evt kleinigheidje voor de moeite geven
test-tips @NLGD
http://bashers.nl/hoe-sony-worstelde-met-gebruikerstests-om-betere-games-te-maken
David’s test-tips i.h.b. voor casual en social games - test with target audience - never test with siblings - test with people that know each other - build your own living room - test in real world - let people play as they would at home
Rapporteren •Inleiding => welke rol speelt jouw onderzoek in het geheel?
• Methode • Resultaten => samenvatting van de ruwe data, visualiseer!
• Conclusie
=> welke designbeslissingen heb je genomen?
Rapporteren Methode: Geef zo veel mogelijk inzicht in hoe je te werk bent gegaan. Bijvoorbeeld: - In welk stadium was het geteste prototype? - Welke praktische restricties waren er? - Hoeveel mensen heb je getest? - Welke mensen heb je getest? (doelgroep?) - Wat was de procedure? - Hoe heb je gegevens van deze mensen vergaard? Bij meerdere iteraties: - Welke wijzigingen heb je aangebracht en hoe pakte dit uit? - Welke keuzes heb je vervolgens gemaakt?
DE LEZER MOET VOLLEDIG BEGRIJPEN WAT JE GEDAAN HEBT En waarom je het zo gedaan hebt
Dit onderzoek is niet controleerbaar
www.nu.nl 28 sept 2009
Inleiding: Wees concreet! Er zijn vele manieren om toe te passen om er achter te komen wat schort aan je spel zijn en wat mensen er van vinden. Ik zal het in dit verslag vooral hebben over prototypes van je spel maken en deze laten uittesten door vrijwilligers. Met een prototype kom je, uiteindelijk, het verst met je resultaten en feedback. Want bij een prototype ben in staat om meerdere aspecten te onderzoeken. (...) Als je deze resultaten analyseert kun je al snel concluderen wat goed werkt aan je spel, en dus ook wat niet goed loopt in het spel. Dit kun je dan snel even aanpassen en het weer door enkele andere testpersonen laten spelen. Dit doe je dan meerdere keren totdat het spel uiteindelijk lekker loopt zonder misverstanden en problemen. (...) Het is dus van groot belang om onderzoek te doen op deze manier, het is het meest concrete resultaat wat je kunt krijgen. Het geeft meer dan alleen speculatie dat je uit het initiële idee krijgt, of het leuk is/of het werkt.
Inleiding
Wesley Schouten
Dennis Kloos
Inleiding Koppeling naar ander onderzoek:
Kostas Skenterlis
Werkwijze “To be sure about this, we tested 8 people with the same prototype and game mechanics but different types of surroundings.” There were 5 different environments. First of all we tested and asked the participating people on/about the following behavior: -Speed of solving the encountered puzzles. (...) The results: 5 people chose for the cave environment. 2 people chose for the island environment. 1 person chose for the Jungle environment.
Werkwijze Visualiseer
Erik van Wees
Werkwijze Aanpassingen gedurende het onderzoek
Erik van Wees
Resultaten Voorbeelden uit data “Person 3: opinion about the cave environment: There should be more differences in height. It is quite simplistic and too easy to find your puzzle parts in the area. It looks the best and fits the best because your storyline fits well with it.” “Person 5: opinion about the island environment: I loved it. Made me feel like surviving a shipwreck, getting into a new adventure but that wouldn’t be the deal in this game. The cave was far too much depressing. The jungle made me feel confused.”
Conclusies Maak ze inhoudelijk; wees concreet
Conclusies Hoe verwerk je resultaten?
Erik van Wees
Conclusies Input van proefpersonen
Kostas Skenterlis
Documentatie Je levert met je groepje 1 document op, waar je allemaal een individueel herkenbaar deel van schrijft! In dit document zijn opgenomen: 1. Uitgangspunten, randvoorwaarden, planning, taakverdeling, MOSCOW etc. 2. Onderzoeksresultaten Iedereen voert een deel van het onderzoek individueel uit en rapporteert daar over: verdeel de onderzoeksvragen/methoden. Bijvoorbeeld: een doet repertoire analyse, de ander onderzoek naar visuele stijl, een derde observaties naar het (spel) gedrag/testen met prototype, een vierde onderzoek naar het effect van ruimte(s) en ruimtelijke elementen. 3.Beschrijving van het concept & gameplay 4.Wekelijks logboek: (1 a 2 A4 per week) Dit logboek wordt met de projectbegeleiders besproken a. Activiteitenplanning voor volgend week: wie/wat/wanneer b.Wat is er deze week gedaan: beschrijving resultaten van afgelopen week (aan de hand van checklist activiteitenplanning) c. Wat is er niet gedaan: aan de hand van activiteitenlijst. Wat is niet (op tijd) uitgevoerd, waarom niet en hoe wordt dat opgelost.
Let op: minimaal 1 verslag van testsessies
- Individuele opdracht! Ongeveer 2000 woorden per persoon - Uploaden op je portfolio onder D&R. - Mail de directe link naar mij en Corné in cc. Deadline: 3 december 17u. - Inleveren en documentsnaam volgens de inleverrichtlijnen LET OP: 3 december is ook deadline voor projectdocumentatie. Hierin is je research verwerkt, maar stuur toch een link naar je individuele stuk naar mij.
?
