Usability en User Experience 13/06/2014
Evaluatie en het DECIDE framework
Joske Houtkamp
Overzicht van de module 1
Introductie UE & UX, interaction design
Egon van den Broek
2
Paper prototyping, user testing
Maartje de Vries
3
Ontwikkelen van (digitale) leermiddelen en usability
Ellen Schuurink
4
Performance metrics, scales, self-reported metrics, physiological metrics
Egon van den Broek
5
E-coaches
Robbert-Jan Beun
6
vrij
7
UE methoden in het gehele proces
Stijn Nieuwendijk
9
Evaluation, DECIDE framework
Joske Houtkamp
8
UE in grote overheidsprojecten
Margot Lagendijk
9
Rondleiding en gastcollege UX lab Rabobank
Henriëtte van Vugt
NB aanmelden via mail !
Inhoud
evaluatie paradigma’s methoden voor dataverzameling het DECIDE raamwerk
Voor het tentamen: Interaction Design 2011, chapters 12, 13, 15 deze slides
Interactie ontwerp Het interaction design proces 1. 2. 3. 4.
vaststellen van requirements; ontwerp van een of meer oplossingen; prototyping; evaluatie.
Dit is een iteratief proces! Zie bijvoorbeeld Agile-softwareontwikkeling, http://nl.wikipedia.org/wiki/Agile-software-ontwikkeling
Evaluatie van interactieve systemen Waarom
Toets requirements zodat het systeem bruikbaar is en gebruikers tevreden
Wat
Een conceptueel model, vroege prototypes, later meer complete prototypes
Waar
In natuurlijke en laboratorium omgeving
Wanneer
Gedurende het gehele ontwerpproces.
http://usabilityg eek.com/mainst reaming-website-usabilitythroughautomatedusabilityevaluation/
Wanneer? Evaluatie kan in alle stadia van de product lifecycle plaatsvinden.
http://www.rachelilansimpson.com/what-is-it-that-you-do-exactly
formatief, gedurende het ontwerp- en ontwikkelproces initiële schetsen — low-fi of high-fi prototypes — bijna af voldoet het (nog) aan de wensen van de gebruiker? summatief, van een afgerond product voldoet het aan normen en standaarden? (ISO, etc) wat kan beter in een volgende versie? Of in een nieuw product?
Evaluatie paradigma’s en methoden— I Keuze voor een evaluatiemethodiek 1 (potentiële) gebruikers:
zijn er voldoende beschikbaar? is er tijd en budget om ze in te zetten?
Alternatief: analytische evaluatiemethodes. Inspection methods, zoals Heuristic evaluation en Walkthroughs. Theoretical modelling.
Evaluatie paradigma’s en methoden — II 2 gecontroleerde setting versus realistische omgeving:
nadruk op uitvoeren van taken of realistisch/natuurlijk gedrag? controle uitoefenen op de gebruikersactiviteiten? lab of andere gecontroleerde omgeving beschikbaar? te verzamelen data = kwantitatief?
≥ 1× ja? (controle ≻ realisme) Overweeg Usability Testing nee? (realisme ≻ controle) Overweeg een Field Study
Usability Testing — Kenmerken In latere ontwerpstadia, met prototype of compleet Compleet product; ook voor vergelijking. Doel: vooral testen of de target users het product (in ontwikkeling) kunnen gebruiken voor de beoogde taken. ’Vroeger’ voornamelijk om onderdelen van interfaces te testen: aantal menu items geschikte icons ... Nu veel breder: consistentie in navigatiestructuur terminologie vinden van juiste informatie. . . etc.
Usability Testing — Kenmerken
In usability lab of andere ruimte waar de omstandigheden beheersbaar zijn gelijke omstandigheden voor alle deelnemers duur: in lange sessies pauzeren; houd rekening met vermoeidheid (beïnvloedt uitkomsten) output: metingen omtrent uitvoering van representatieve taken door representatieve gebruikers aantal deelnemers: 5 – 12 gebruikers, afhankelijk van tijd beschikbaarheid gebruikers, kosten van tests, en onderzoeksopzet.
Usability testing – data Voornamelijk kwantitatief meten van performance criteria; steeds vaker ook user-experience criteria (daarvoor nog weinig standaard methoden). (zie ook college 4)
Performance metrics Issues based metrics Self-report measures (interviews, think aloud, questionnaires) Behavioral and physiological metrics (observatie, hartslagmeting, eye tracking)
Soms in vorm van experiment (bijv. between subjects design) NB usability testing kan worden gecombineerd met field studies voor meer en completer inzicht
Facial Electromyography (fEMG)
Resultaten eye tracking
Usability Testing versus Wetenschappelijke Experimenten USABILITY TESTING Doel: verbeteren product Vaak weinig proefpersonen (kosten) Resultaten toepasbaar in ontwerp Meestal niet geheel reproduceerbaar Condities zoveel mogelijk gecontroleerd Procedure ligt vast Resultaten gerapporteerd aan ontwerpers/opdrachtgevers
WETENSCHAPPELIJKE EXPERIMENTEN Doel: kennis vergroten Zo mogelijk veel proefpersonen Resultaten statistisch gevalideerd Moeten reproduceerbaar zijn Sterk gecontroleerde condities Strakke richtlijnen voor opzet Resultaten gerapporteerd aan wetenschappelijke wereld
Field Study — Kenmerken In alle ontwerpstadia; ook daarvoor (requirements) en erna. Doel: begrijpen van gedrag van gebruikers in (en interactie met) hun natuurlijke omgeving; hoe producten hun activiteiten beïnvloeden. I.t.t. lab studies bepalen hoe context en omgeving gebruik beïnvloeden.
mogelijkheden identificeren voor nieuwe technologieën requirements voor ontwerp bepalen uitvinden hoe het best een nieuwe technologie te introduceren evalueren van het gebruik van een technologie
Field Study — Kenmerken Plaats: natuurlijke omgeving, zonder te verstoren Duur: enkele minuten tot meerdere maanden of jaren Output: geluids- en video-opnames, beschrijvingen, schetsen, citaten, objecten Aantal deelnemers: klein aantal (soms een) Variërende condities Rol van de evaluator: ‘fly on the wall’, participerend, …
http://www.gatesfoundati on.org/What-WeDo/GlobalDevelopment/FinancialServices-for-the-Poor
Field Study — Data Voornamelijk kwalitatieve beschrijvingen op basis van objectieve of etnografische (participerende) observaties. Methoden voor dataverzameling: Observeren: video, interaction logging, geluidsopnamen, foto’s, aantekeningen Bevragen: interviews, vragenlijsten, dagboeken Discussie: (bijv. focus groep), Experience sampling method (ESM) (Mappiness) Analyseren: gedragspatronen en frequentie coderen en categoriseren (bijv. op basis van Grounded theory of Activity theory) critical incidents
Mappiness.org.uk
Mappiness
Field studies and experiments
Field study: on location, observer does not affect process provides rich description (not always relevant data) Field experiment: on location, but control (specific task, measuring tools) interpretation of results easier
Analytical evaluation — Kenmerken Gedetailleerd evalueren van prototypes van een volledig werkend systeem, of specifieke aspecten ervan. Menselijke evaluatoren (experts) of modellen worden ingezet om beoogde gebruikers te simuleren en zo usability problemen op te sporen. Waar: laboratorium of op locatie Duur: vaak erg tijdsintensief Output: rapport met problemen en evt. oplossingen, of voorspellingen van model Aantal deelnemers: enkele, hangt af van kwaliteit experts, soort systeem Variërende condities
Analytical evaluation — Data Kwalitatief (rapporten) of kwantitatief (modellen) Methoden voor dataverzameling: Inspecties: Heuristische evaluatie: inspectie aan de hand van heuristieken (vuistregels), gerelateerd aan ontwerpprincipes en richtlijnen Walkthroughs: gedetailleerde inspectie, vaak voor complexe taken • cognitief; opdracht: voer taak uit; focus op ease of learning; • pluralistisch: gebruikers(!), ontwikkelaars en usability experts betrokken;
opdracht: loop elk door taak scenario’s; focus op verschillende usability issues; bediscussieer.
Voorspellende modellen: theoretische formules om maten van user performance af te leiden
Inspection method: heuristic evaluation
Experts inspect a system or design using a set of heuristics or guidelines.
Developed Jakob Nielsen in the early 1990s.
Traditional set is based on heuristics distilled from an empirical analysis of 249 usability problems.
Empirical evidence suggests that on average 5 evaluators identify 75-80% of usability problems
Heuristics are developed for mobile devices, wearables, virtual worlds, games, and for information visualizations (Zuk et al 2006).
Nielsens Heuristics Visibility of system status
Error prevention
Match between system and the real world
Recognition rather than recall
User control and freedom
Flexibility and efficiency of use
Consistency and standards
Aesthetic and minimalist design
Help users recognize, diagnose and recover from errors
Help and documentation (Nielsen 2001)
Examples of perceptual and cognitive heuristics
Color perception varies with size of colored item
Local contrast affects color & gray perception
Consider people with color blindness
Quantitative assessment requires position or size variation
Consider Gestalt Laws
Provide multiple levels of detail
Integrate text wherever relevant
Examples of information seeking heuristics
Overview first Zoom and filter Details on demand Relate Extract History Expose uncertainty Formulate cause & effect
Other inspection methods
Cognitive walkthrough, stepping through a pre-planned scenario noting potential problems. Expert is told the assumptions about user population, context of use, task details, and a scenario.. Guided by 3 questions:
Will the correct action be sufficiently evident to the user? Will the user notice that the correct action is available? Will the user associate and interpret the response from the action correctly?
Het DECIDE framework Hoe een evaluatie plannen en uitvoeren?
Determine the goals. Explore the questions. Choose the evaluation methods. Identify the practical issues. Decide how to deal with the ethical issues. Evaluate, analyze, interpret and present the data.
DECIDE Determine the goals
Wat zijn de high-level goals van de evaluatie? Wie wil de applicatie, en waarom? De doelstellingen bepalen de methodes
DECIDE Explore the questions
De doelen worden vertaald naar vragen die de evaluatie sturen Bijvoorbeeld : het doel om uit te vinden waarom sommige klanten liever papieren vliegtickets kopen dan e-tickets kan worden opgedeeld in subvragen: Wat is de mening van klanten over e-tickets?
Hebben zij twijfels over veiligheid? Is de interface om ze online te bestellen onvoldoende duidelijk?
DECIDE Choose the evaluation approach & methods De evaluatiemethode bepaalt hoe de data worden verzameld, geanalyseerd, en gepresenteerd. het type data dat antwoord op je vragen (= doel) kan geven (kwantitatief, kwalitatief) de methoden die dit type data opleveren budget en expertise beschikbaar voor evaluatie Bijvoorbeeld: field studies maken gebruik van observatie en interviews plaatsen gebruikers in natuurlijke context geen controlled tests. produceren vooral kwalitatieve data. NB verschillende methoden combineren!
Example: game for the ISRIC World Soil Museum Redesign of the exhibition in 2013 Nucleus of the collection: soil monoliths Objective: explain the relevance of soil to modern-day global challenges Interactive displays
Game requirements (museum)
appeal to a young audience (1st year students)
use new technology to continue the look and feel of the exhibition
offer some physical activity, preferably outdoors
highlight the monoliths as main elements of the museum collection
extend the length of the experience at the museum
make the visit more memorable;
Understand the users: Personas Jesse, 17 years old
Daniëlle, 18 years old
Agricultural Science student
Landscape Design student
Soccer, chilling with friends
Hanging out with friends, music
Shooters, laser gaming
Social media
Representative of a typical, desired, user group Support informed design decisions Focus in development team Interests of the target user group, and the types of mobile devices and smartphones they own. Pruitt, J., & Grudin, J. (2003)
Design Idea: Mixed Reality – Soil Golf
Use smartphone to hit a virtual golf ball Virtual golf course projected on the campus Holes give view of soil profiles Points earned by strokes and questions Competitive
Soil Golf Course Four holes: distinctive geographic and geological features (in 3D) distinctive soil profiles
Technical requirements GPS receiver in smartphone detects the location and motion of the player Accelerometer and gyroscope detect velocity and direction of stroke
First experiments reveal difficulties in implementation test design and gameplay.
Interface design: think aloud method Reveals mental models of users of an application or prototype Participant verbalizes expectations and thoughts about the interface, mistakes, confusion, nice elements, etc. Results: participants did not notice the animations, did not recognize some buttons and the starting point.
Gameplay: play testing Are the core game mechanics fun, engaging, easy to understand? Participants tested a physical prototype and thus a playable version of the core game mechanics Results: participants did not like the negative scoring system, restart after 6 faulty strokes, succession of throwing and asking questions is fun and engaging.
Fullerton, T. (2008)
DECIDE Identify the practical issues. Hoe ga je geschikte deelnemers selecteren? experts (evaluatoren) vinden? binnen je budget blijven? op schema blijven? geschikte faciliteiten en apparatuur kiezen? Altijd een pilot study uitvoeren.
DECIDE Decide about ethical issues Deelnemers aan een studie hebben onder meer de volgende rechten: informed consent: ontwerp een formulier duidelijkheid over wat van hen verwacht wordt duidelijkheid over wat er met hen gebeurt en eventuele risico’s weten wat het doel van de studie is weten wat er met de uitkomsten gebeurt bescherming van alle persoonlijke gegevens op ieder moment kunnen stoppen geciteerd te worden met uitdrukkelijke toestemming, anoniem, en inzage voorafgaand aan publicatie vriendelijke behandeling Bedenk vooraf: beloning voor de deelnemers? Feedback op de resultaten?
DECIDE Evaluate, interpret & present data De evaluatiemethode bepaalt de verkregen data, en de analyse, interpretatie en presentatie.
Betrouwbaarheid: leidt een herhaling tot dezelfde resultaten? Validiteit: meet je wat je wilt weten? Biases: worden resultaten verstoord? Scope: zijn resultaten generaliseerbaar? Ecologische validiteit: heeft omgeving invloed op resultaten (lab vs natural)? Reageren deelnemers anders doordat ze bestudeerd worden (Hawthorn effect)
Experiments and validity
Conclusion validity
Internal validity - is an inductive estimate of the degree to which conclusions about causal relationships can be made (e.g. cause and effect), based on the measures used, the research setting, and the whole research design.
Construct validity - seeks agreement between a theoretical concept and a specific measuring device or procedure.
External validity – can we generalize the study results to other people/places/times?
Ecological validity - degree to which the experimental situation reflects the type of environment in which the results will be applied (McGrath: realism)
(Sh. Carpendale, Evaluating Information Visualizations 2008)
Usability evaluation – in short Approaches Usability testing Field studies Analytical evaluation Methods and techniques Quantitative or qualitative Formative or summative Laboratory or field Users or experts
Characteristics of approaches Usability testing
Field studies
Analytical
Users
do task
natural
not involved
Location
controlled
natural
anywhere
When
prototype
early
prototype
Data
quantitative
qualitative
problems
Feed back
measures & errors
descriptions
problems
Type
applied
naturalistic
expert [Interaction Design]
Evaluation approaches and methods Method
Usability testing
Field studies
Observing
x
x
Asking users
x
x
Asking experts Testing Modeling
x
Analytical
x
x x [Interaction Design]
