Evaluation Ontwerpen van Interactieve Systemen Christof van Nimwegen, 19 februari 2015
Algemeen
2
Buzzzzzzzz…..evidence based
3
Waar in proces?
Expert
Proefpersonen
Usability expert Interaction designer
Soms algemeen Eindgebruikers
Summatief vs. Formatief
Summatief : eind conclusie Formatief : ondersteun ontwerpproces
4
Evaluatie: in dit college
Prototypes Expert evaluation
Participant-based evaluation
Heuristic evaluation Cognitive walkthrough
Cooperative evaluation Participatory heuristic evaluation Co-discovery Controlled experiments
Metrieken en andere issues
5
Waarmee? Prototypes: Verticaal of Horizontaal
6
Prototype: Wizard of Oz
7
Prototype: Wizard of Oz
8
Prototype: Wizard of Oz
9
Expert evaluation
Voordelen
Snel Soms goedkoper Logistiek simpel Herkennen beter inconsistenties dan gebruikers Gestructureerde resultaten Geschikt voor formatieve evaluatie
Nadeel
Expert is niet de eindgebruiker Essentiële problemen kunnen gemist worden Sommige problemen komen in praktijk niet voor Usefulness in particular context better identified by users 10
Expert evaluation: Heuristische evaluatie Een (of enkele) mensen beoordelen een systeem of service aan de hand van vuistregels, richtlijnen (heuristieken). Bv:
Nielsen (10 heuristics) Schneidermann (8 golden rules)
Benyon: 12 design principes
helping people access, learn and remember the system (1-4) giving them sense of being in control, knowing what to do and how (5-7) safely and securely (8-9) in a way that suits them (10-12)
1. 2. 3. 4. 5. 6. …
visibility consistency familiarity affordance navigation control etc
It debugs design! 11
Expert evaluation: Heuristische evaluatie Scoring: Severity rating (ernst van het probleem) 0 – Geen usability probleem 1 – Slecht cosmetisch probleem 2 – klein usability probleem 3 – groot usability probleem 4 – usability ramp: fixen verplicht Overeenstemming soms matig Altijd complementeren met participant-based evaluaties 12
Expert evaluation: Heuristische evaluatie: rapport
13
Expert evaluation: Cognitive walkthrough
Papier-gebaseerde techniek om de details van het ontwerp en de logica achter de interactiestappen te testen Systematische benadering (as in Human Factors) Gebaseerd op taakanalyse
Snellere versies: Cognitive jog through Streamlined cognitive walkthrough
14
Expert evaluation: Cognitive walkthrough
Inputs voor het proces:
Begrip van de te verwachten gebruikers (mensen) Verzameling scenario’s met vaak voorkomende en minder vaak voorkomende activiteiten Volledige interface beschrijving (schermontwerp, taakanalyse)
Vier vragen voor iedere interactiestap:
Zullen gebruikers proberen het correcte effect te bereiken? Zien ze of de correcte actie beschikbaar is? Zullen ze de correcte acties associëren met het effect dat ze proberen te bereiken? Zullen gebruikers voortgang zien naar het doel?
15
Participant based observation
Onmisbaar Realistischer Vaak duurder Is erg leuk! Ecologisch waardevol …………
16
Participant based observation: Cooperative evaluation
Cooperative evaluation
Eenvoudige methode Participants (1-5) zijn co-evaluators Het voordeel van een teamMaximale output voor een korte test
Ontwikkeld door Andrew Monk et al.
handleiding van Monk zelf: http://wwwusers.york.ac.uk/~am1/CoopEvalApp.p df
17
Participant based observation: Cooperative evaluation
Taken voorbereiden: zo specifiek mogelijk zijn “attach de 3 files die in de map “files” staan aan de mail”
Test eerst zelf, schat duur in Think aloud (laat mensen praten, zie ook H. 7),
Inzicht krijgen in strategieën Soms is het moeilijk te zeggen wat je denkt Het is ook een mentale belasting Neiging tot beleefdheid Werkt alleen als pp op gemak
Doe kort post-interview Schrijf bevindingen zo snel mogelijk op
18
Participant based observation: Cooperative evaluation
Voorbeeld vragen tijdens evaluatie Wat dacht je dat er ging gebeuren? Wat vertelt het systeem je nu? Waarom denk je dat het systeem zo reageert?
Voorbeeld vragen na evaluatie Wat was het beste/slechtste aan dit prototype? Wat moet er in elk geval veranderd worden? Hoe gemakkelijk waren de taken?
19
Participant based observation: Participatory heuristic evaluation
Participatory heuristic evaluation
Extensie van Heuristische evaluatie, participanten doen mee als “work-domain experts”
20
Participant based observation: Co-discovery
Co-discovery
Informeel, mensen gebruiken een systeem en worden geobserveerd Ook weer “think-aloud” Soms in koppels, men kan elkaar aanmoedigen dingen te doen / uit te proberen
21
Participant based observation: Living Labs
22
Participant based observation: Living lab wageningen
23
Participant based observation: Gecontroleerde experimenten
24
Gecontroleerde experimenten
Handig om ontwerpen met elkaar te vergelijken Onafhankelijke variabele (“wat je wil onderzoeken”), bijv.:
Afhankelijke variabelen (“wat je meet”), bijv.:
Aantal clicks, tijd om doel te bereiken, aantal fouten, tevredenheid, optimale oplossing, afwijking van ideaal pad…
Confounding variabelen:
Twee verschillende website designs, functies, modaliteiten, persuasieve strategieën, …
Verborgen invloed op afhankelijke variabele Pas op voor leer- en andere effecten: counter-balance
Zie ook: Wetenschappelijke Onderzoeksmethoden (statistiek, onderzoeksopzet, etc.)
Gecontroleerde experimenten
Experimenteel ontwerp:
Within-subjects (iedere participant test alle condities) Between-subjects (iedere participant test slechts een conditie)
(+) Geen leereffecten (-) Veel participanten
Hoeveel participanten?
Ligt aan target groep (denk aan ‘personas’ in “understanding”) Afhankelijk van evaluatie en doel
Gecontroleerde experimenten
Meestal kwantitatieve data (anders kun je niet vergelijken): tijd, aantal, …
Statistische data
Alleen bij (voldoende) grote getallen Nulhypothese (H0): wat je hoopt te verwerpen Alternatieve hypothese (H1): wat de conclusie is als H0 verworpen wordt Gemiddelden en standaard deviatie Statistische significantie
27
Gecontroleerde experimenten: vb 1-) Social Conformity
28
Gecontroleerde experimenten: vb 1-) Social Conformity
Onderzoek naar Social conformity in online media Onafhankelijke variabele: rijkheid medium (video vs. foto) Afhankelijke variabele conformity op (perceptie vs. feiten vs. meningen)
29
Gecontroleerde experimenten: vb 1-) Social Conformity
Pilot studie 14 pp
Niet echt genoeg voor formele statistiek
Type of question
Perception
Facts
Opinions
Degree of Photo-only social presence
0%
10%
21%
Live-video
0%
8%
22%
30
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie Vraag Wat is de invloed van geëxternaliseerde info in interfaces (hulp)
Snelheid taak uitvoering
Opgedane kennis Als een taak onderbroken wordt
Conference planner (EXT) Conference planner (INT)
31
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie
Onafhankelijke variabele Afhankelijke variabele Zware interruptie
: INT vs. EXT : Score op taak, 5X : tijdens 4e trial
32
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie
33
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie
Verticaal: afwijkingsscore (van ideaal pad): laag is goed
34
Pauze
35
Gecontroleerde experimenten: Metrieken
Wat kan ik meten? Effectiviteit
Efficiency
tijd om taak uit te voeren, aantal fouten, …
Tevredenheid
% succesvolle taken, % gebruikers dat taak volbrengt, …
schaal die tevredenheid/gemak van leren aangeeft, frequentie van gebruik, stressniveau, …
…….
Gecontroleerde experimenten: Metrieken en doelen
37
Gecontroleerde experimenten: data
Biosignalen en fysiologische metingen:
Gedrag:
huidweerstand, temperatuur, hartslag, warmte, oogbeweging, adrenaline, EEG, ECG, … taakuitvoering, fouten, wijzen, beweging, nadenken, tijd, gezichtsuitdrukkingen, …
Symbolen en taal:
interviews, vragenlijsten, think-aloud, …
Gecontroleerde experimenten: “lichaams” data
GSR
Facereader
39
Gecontroleerde experimenten: eye tracking
40
Gecontroleerde experimenten: Eye tracking
41
Gecontroleerde experimenten: Waar? informal pre-pilot thuis
controlled: lab
onderweg
remote
liever thuis 42
Gecontroleerde experimenten: cruciale zaken
Stel op gemak Vertel wat er gaat gebeuren Vertel over privacy data Zeker als je filmt/opneemt! We testen het systeem, niet u Maak jezelf bekend Indien mogelijk, deel resultaten
43
Vragen?
Dan nu test 1!
44
