Testování uživatelského rozhraní počítačové hry Kingdom Come: Deliverance
Marek Landa, Martin Čáp, Markéta Hejná, Kateřina Cízlová
A4B39TUR Semestrální práce C 5. května 2016
Obsah 1 Úvod 1.1. Předmět testu 1.2 Cílová skupina 2 Metodika 2.1 Testování použitelnosti 2.2 Usability lab 2.2.1 Místnost pozorovatelů 2.2.2 Místnost participantů 2.3 Použitý software 2.4. Použitý hardware 3 Testování 3.1 Výběr participantů (screener) 3.2 Průběh testování 3.3 Základní instrukce pro participanty 4 Nasbíraná data 4.1 Participant č. 1 4.1.1 Pre-test dotazník 4.1.2 Průběh testu 4.1.3 Post-test dotazník 4.2 Participant č. 2 4.2.1 Pre-test dotazník 4.2.2 Průběh testu 4.2.3 Post-test dotazník 4.3 Participant č. 3 4.3.1 Pre-test dotazník 4.3.2 Průběh testu 4.3.3 Post-test dotazník 4.4 Participant č. 4 4.4.1 Pre-test dotazník 4.4.2 Průběh testu 4.4.3 Post-test dotazník 4.5 Participant č. 5 4.5.1 Pre-test dotazník 4.5.2 Průběh testu 4.5.3 Post-test dotazník 5 Přehled nálezů 5.1 Problémy s vysokou prioritou 5.1.1 Nález č. 1 5.1.2 Nález č. 2 5.1.3 Nález č. 3 2
5.1.4 Nález č. 4 5.1.5 Nález č. 5 5.2 Problémy se střední prioritou 5.2.1 Nález č. 6 5.2.2 Nález č. 7 5.3 Problémy s nízkou prioritou 5.3.1 Nález č. 8 5.3.2 Nález č. 9 5.3.3 Nález č. 10 5.3.4 Nález č. 11 6 Závěr 7 Použitá literatura 8 Přílohy 8.1 Screener 8.2 Pre-test dotazník 8.3 Instrukce 8.4 Post-test dotazník
3
1 Úvod 1.1. Předmět testu Tato semestrální práce obsahuje analýzu použitelnosti uživatelského rozhraní hry Kingdom Come: Deliverance od studia Warhorse, konkrétně její speciální testovací verze s předpřipravenou misí. Jedná se o rozsáhlou RPG hru, a proto jsme se v testování zaměřili především na grafické rozhraní inventáře (přehled předmětů a úkolů postavy), HUD (heads-up display, česky též průhledový display) a rozhraní nabídky prodejce (včetně rozhraní pro smlouvání cen). Pro speciální úroveň nebyla implementována mapa, která z tohoto důvodu nebyla testována. Cílem testu je zjistit, zda hráč správně rozumí popsanému grafickému rozhraní a je schopný splnit zadané úkoly. Hlavní pozornost byla zaměřena na jednotlivé ikony uživatelského rozhraní.
1.2 Cílová skupina Cílová skupina se skládala z osob, které alespoň příležitostně (nebo v minulosti) hrály počítačové hry, především ve stejném žánru - RPG (role-playing game). Dalším požadavkem byla dostatečná znalost anglického jazyka. Vybíráni byli studenti vysokých škol ve věku 18 - 25 let.
2 Metodika 2.1 Testování použitelnosti Test se provádí za účelem odhalit jak malé, tak relativně zásadné problémy uživatelského rozhraní testované aplikace. Test probíhá v laboratoři použitelnosti (usability lab), kde je participant sledován a zaznamenáván na kamery v průběhu plnění úkolů podle připravených instrukcí od pořadatelů. Výsledkem testování by měl být přehled všech nálezů týkajících se použitelnosti testované aplikace.
4
2.2 Usability lab
Obrázek 2.2 - Usability lab, https://cent.felk.cvut.cz/courses/Y39TUR, 5. přednáška
2.2.1 Místnost pozorovatelů Místnost sloužíla k monitorování účastníků testu. V této místnosti byli přítomni organizátoři testu, kteří zaznamenávali průběh testu a vždy alespoň jeden zástupce Warhorse Studios. V pravé části místnosti byl umístěn počítač, mikrofon, který sloužil ke komunikaci s místností participantů a několik monitorů. Na dvou z nich byl přenos z kamer a na třetím bylo zobrazeno okno s programem Morae, monitorujícím obrazovku notebooku se spuštěnou hrou.
2.2.2 Místnost participantů Tato místnost je určena pro moderátora a participanta a probíhalo v ní tak samotné testování. Místnost byla vybavena několika kamerami, mikrofonem, reproduktorem a notebookem. Kamery a mikrofon sloužily k zaznamenávání činnosti participanta. Prostřednictvím reproduktoru
5
2.3 Použitý software K záznamu testování byl použit program Morae[1], který slouží k zaznamenávání obrazovky a zvuku. Na počítači v místnosti participantů byl nainstalován program Morae Recorder, který byl zapnut současně s programem Morae Observer nainstalovaným na počítači v místnosti pozorovatelů.
2.4. Použitý hardware Pro účel testování byl studiem Warhorse zapůjčen herní notebook MSI a myš.
3 Testování 3.1 Výběr participantů (screener) Pro výběr participantů byl použit screener (viz kapitola 8.1). Bylo vybráno 5 participantů, kteří se svými odpověďmi zařadili do cílové skupiny a neznali testovanou hru.
3.2 Průběh testování Na zapůjčeném notebooku, který byl umístěn v místnosti participantů, byla nainstalovaná testovací verze hry a program Morae. Na každého z participantů byla vyšetřena hodina času. Na začátku moderátor vysvětlil participantovi průběh testování a požádal ho, aby během testování vyjadřoval své myšlenky nahlas. Před zahájením testu mu položil otázky z pre-test dotazníku (viz kapitola 8.2). Odpovědi byly zaznamenány organizátory testu v místnosti pozorovatelů (viz kapitola 4). Dále mu moderátor postupně sděloval jeho úkoly. Po splnění každého úkolu dostal participant další instrukce. Moderátor ho neovlivňoval s výjimkou delšího zaváhání při plnění úkolu. Celý průběh plnění úkolů byl zaznamenáván (viz kapitola 4). Po dokončení byly participantovi položeny otázky z post-test dotazníku (viz kapitola 8.4). Tyto odpovědi byly taktéž zaznamenány (viz kapitola 4).
3.3 Základní instrukce pro participanty Každému participantovi moderátor během testu sdělil, které úkoly má splnit (viz kapitola 8.3). Dále se na začátku úkolu 4) ptal, zda participant ví, co se děje s jeho postavou a požádal ho, aby se pokusil interpretovat všechny ikony na obrazovce.
6
4 Nasbíraná data S úkoly 1) a 2) (viz kapitola 8.3) týkajících se přepnutí jazyka a velikosti okna neměl nikdo z participantů problémy.
4.1 Participant č. 1 4.1.1 Pre-test dotazník 1) Ano, ale poslední dobou na to nemám moc čas. Například. Bioshock, Fallout 4 nebo MMORPG Metin2 2) Ne, jen jsem o ní něco zaslechla. 3) Jenom testování jiného charakteru - testování kvality zvuku a videa.
4.1.2 Průběh testu 1. Přežij do rána ● ● ● ● ● ●
● ● ● ●
●
Účastnice správně poznává že její postava umírá. Z ikon poznává lištu indikující zdraví a obrázek na ikoně přetížení jí připomíná kámen. Chce něco sníst, ale zjišťuje, že nemá žádné jídlo. Přemýšlí, zda vůbec stihne dojít k domu a o pár sekund později její postava umírá. [04:13] Po této zkušenosti usuzuje, že pravděpodobně nemá cenu chodit k domu a chce raději prozkoumat inventář a pro ní záhadné ikony. Na začátku druhého pokusu zjišťuje, co dělají různé klávesy. Neví, co má dělat a klávesy zkouší, dokud postava znovu neumře. Konstatuje, že je hra složitá. [07:08] Třetí pokus účastnice znovu začne zkoumáním kláves. Povšimne si, že při skoku pomocí mezerníku jí ubývají životy na dolní liště (neodlišuje staminu od HP). Následovně otevírá inventář. V inventáři zjišťuje, že má kladivo. Nechápe význam většiny ikon a chybí jí jejich vysvětlení. V přehledu efektů (buffs - pozitivní efekty a debuffs - negativní efekty) zjišťuje, že postava krvácí ze zraněné nohy a že hladoví. Otevírá inventář, zkouší postavu vybavit kladivem, ale nejde to. Moderátor jí radí, že ke splnění hlavního úkolu bude potřebovat dojít k domu. Po dalším zkoumání inventáře ji napadne vyhodit věci z inventáře, ale neví jak. Povede se jí to až díky pomoci moderátora kliknutím na tlačítko dole v inventáři. Nepřišlo jí to intuitivní, nápis prý viděla, ale považovala ho za popisek a nenapadlo ji, že se na něj dá kliknout. Pro vyhozené věci se plánuje vrátit, až bude moci chodit. Postava ale opět umírá. [15:39]
7
● ● ●
● ● ● ● ● ● ● ● ● ● ● ●
Při čtvrtém pokusu rovnou vyhodí kladivo z inventáře a jde k domu. Když vidí postel, přemýšlí, zda přežije spánek bez jídla a rozhodne se nejdříve hledat jídlo. Dojde s postavou k obchodníkovi a chce si u něj koupit sýr. Zjistí, že na něj nemá dostatek peněz, rozhodne se tedy vyjednávat. Podstata vyjednávání je jí jasná, pochopila, že obchodníka je možné naštvat. Dále se domnívá, že pokud obchodníka příliš rozněvá, nebude si moci nic dalšího zakoupit. Vyjednávání několikrát opakuje, dokud úspěšně nezakoupí sýr. Znovu umírá. [23:02] Při pátém pokusu zkouší nejdříve spát, ale zjišťuje, že kvůli zranění to není možné. Jde tedy k domu a prohlíží si stůl. Nevšímá si obvazu na stole. Chce obejít dům, ale umírá. [29:38] Při šestém pokusu nachází obvaz. Obvaz vyhledala v inventáři, ale neví jak ho použít. Kupuje sýr. Podle ikony spokojenosti obchodníka usuzuje, že je obchodník naštvaný. Myslí si, že její postava umřela, ale ta pouze omdlela. Po probuzení se rozhodla sníst zakoupený sýr. Jde spát. Nevšímá si, že doba spánku výrazně ovlivní různé atributy postavy, jako je zdraví, odpočatost a sytost. Po radě moderátora otevírá záložku s úkoly (questlog). Podle prázdné záložky splněných úkolů (done quests) správně usuzuje, že úkol ”přežít do rána” ještě nesplnila. Obchází dům a hledá dveře. Moderátor radí, že dům není interaktivní. Moderátor jí připomíná, že po splnění jakéhokoliv úkolu dostane odměnu. Otevře hodiny a podle barevného přechodu z noci do dne usoudí, že by ráno mohlo začínat v 6 hodin (jako jediná) a posouvá čas.
2. Odemkni truhlu ● Kupuje knihu zlodějství od obchodníka. ● Hra se vypnula (došlo k chybě) a testování bylo z časových důvodů ukončeno.
4.1.3 Post-test dotazník 1) Cítím se relativně dobře, jen jsem si chvilkama připadala trošku hloupě. 2) Moc obtížné to nebylo, jenom toho bylo hodně. Bylo těžké se v tom vyznat, především v inventáři. 3) Nevšimla jsem si, že mám odhodit kladivo. Ikona přetížení nebyla snadno pochopitelná. Naopak vyjednávání mi přišlo srozumitelné a zábavné. 4) Nepřišlo mi špatné, po 40 minutách můžu říci, že jsem se v něm zorientovala. Nápověda v inventáři mi přišla velmi hezká. 5) Některé nebyly úplně intuitivní. Krvácení mi bylo například ihned jasné, ostatní ikony (především napravo od health bar) pochopila až po podrobném projití menu/inventáře, kde je jejich název a popis.
8
4.2 Participant č. 2 4.2.1 Pre-test dotazník 1) Ano, hrál. Mezi mé nejoblíbenější patří MMORPG WoW (World of Warcraft) a Metin2 2) Jen jsem o ní slyšel, ale nemám s ní zkušenosti. 3) Ne.
4.2.2 Průběh testu 1. Přežij do rána ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●
Po zapnutí hry je účastník zmaten a předpokládá, že na něj něco zaútočí. Vydal se směrem k domu. Myslí si, že důvod pomalé chůze postavy je způsoben hladem. Hledá ovládání v hlavním menu, nesprávně předpokládá, že je v Game settings, v Help by to prý nehledal. Myslí si, že něco špatně pochopil v ovládání a proto jde pomalu. Postava umírá. [07:47] Moderátor napovídá, že pokud nezmění taktiku, tak k domu nedojde. Účastník zkoumá inventář, chce si v něm koupit jídlo. Zjišťuje, co se dá dělat s penězi a omylem je vyhodí z inventáře. Je zmaten z ikony srdce v inventáři, ocenil by nápovědu po najetí myší na ikonu. Moderátor radí, že by bylo vhodné vyřešit pomalou chůzi postavy (a že tento problém lze vyřešit v inventáři). Vyhodí kladivo z inventáře, chápe, že bylo velmi těžké (nejspíše z názvu kladiva - Very heavy hammer). Běží k domu, přemýšlí, že by šel spát, ale raději jde nakoupit k obchodníkovi. Zkoumá ikony v rozhraní obchodu. Myslí si, že něco z toho bude množství, srdce bude doplnění zdraví, váhy nepoznává. Nachází nastavení množství sýru, chce si koupit jeden. Myslí si, že potvrzením množství sýr koupil, po kontrole inventáře ovšem zjišťuje, že tomu tak není. Poznamenal, že systém nákupu je velmi podobný internetových obchodům. Vidí, že na sýr nemá peníze a začne smlouvat. To se mu nepovede a podruhé umírá. [21:47] Moderátor radí, že se má zaměřit na to, že jeho postava krvácí. Při třetím pokusu nachází obvaz na stole u domu. Chce zatím použít jen jeden obvaz, nebylo mu jasné percentuální ohodnocení. Po radě moderátora používá všechny. Chce se najíst, ovšem nemá žádné jídlo, jde tedy za obchodníkem. Není si jistý ikonami v obchodě, neví, zda ikona “nekonečno” značí, kolik má obchodník věcí, nebo kolik už nakoupil.
9
● ● ● ● ● ● ● ●
Kouká do košíku a chce smlouvat. Nevšímá si ale, že má pro smlouvání držet klávesu X, myslí si, že ji stačí stisknout. Správně si myslí, že ikona obchodníka ukazuje šanci úspěchu, nebo míru naštvání obchodníka. Úspěšně zakoupil a snědl kus sýra. Jde k posteli, cestou omdlí a předpokládá, že umřel. Chce spát, nastavuje dobu spaní a všímá si toho, jaký má doba spánku vliv na atributy postavy. Nečte celý text v hodinách a myslí si, že velký nápis “6 hours” znamená, že postava vstane v 6 hodin. Nepoznává, že znaky na obvodu hodin jsou čísla značící hodiny, považuje je za starodávná písmena. Po delším váhání si všímá barevných přechodů na hodinách, chápe koncept poledne a půlnoci a posouvá čas na ráno.
2. Odemkni truhlu ● Po úspěšném splnění prvního úkolu čte účastník změny v záložce úkolů (questlogu). [38:26] ● Prohlíží si své schopnosti (skills), chvilku váhá, co znamená křížek. Po minutě poznal, že slouží k zobrazení dalších vlastností. ● Ze záložky schopností (skills) pochopil, že potřebuje zámečnictví (lockpicking) vylepšit na čtvrtou úroveň. Pozn. V úkolu postavy je napsáno, že má dosáhnout čtvrté úrovně zámečnictví, kterou už postava ovšem má, přesto chápe, že tuto schopnost potřebuje vylepšit. ● Kupuje u obchodníka knihu zlodějství (Book of thievery), uvítal by nějaký jednoduchý popis u ikony smlouvání (haggle). ● Chápe, že ho obchodník vyhodí, když mu nabídne málo peněz. Po dvou pokusech úspěšně knihu koupil. ● Chce číst knihu, nastavuje hodiny a všímá si efektů a postupu (progress) ve čtení. ● Moderátor mu radí, že nedostatek jídla po přečtení knihy nevadí. Čte knihu. ● Po prozkoumání inventáře si všímá, že dostal paklíč (lockpick). ● Ve snaze otevřít truhlu zlomil všechny paklíče. Pozn. Moderátor mu ukázal tutoriál, ale účastník prý raději zkouší než čte návody.
4.2.3 Post-test dotazník 1) Moc jsem toho nestihl, takže mám smíšené pocity. Přidal bych checkpointy, abych mohl prozkoumat, co vše demo nabízelo. 2) Nejspíše vyhození kladiva. 3) Nepřišlo mi špatné, ale dodal bych k více ikonám popisy, především pokud se člověk se hrou seznamuje by to bylo užitečné. 4) Určitě bych přidal popisy jednotlivých ikon a slotů (v pravé části inventáře), které by se zobrazily po najetí myší. 5) Ikony mi nepřišly moc intuitivní, jak jsem již zmiňoval, ocenil bych jejich popis při najetí myší. 10
4.3 Participant č. 3 4.3.1 Pre-test dotazník 1) Ano, naposled World of Warcraft a ostatní MMO. Hraju spíše FPS (first-person shooter) a MOBA (multiplayer online battle arena) hry. Mezi mé další oblíbené patří RTS (realtime strategy) hra Stronghold. 2) Něco mi to říká. Možná jsem o tom někdy slyšel v médiích. 3) Ano. Účastnil jsem se testování jiné české hry, která nakonec bohužel nevyšla.
4.3.2 Průběh testu 1. Přežij do rána ● Myslí si, že ikona krvácení značí, že jeho postava je nemocná (neříká jak nemocná). Všímá si ikony přetížení a chápe její smysl. ● Zkoumá inventář a další záložky v menu. ● Podle statistik v menu poznal, že je postava unavená a má hlad. ● Neúspěšně hledá v inventáři jídlo. ● Úplně nechápe ikony v inventáři. Správně pochopil srdce - výdrž předmětu, ale váhu si vyložil jako “vyvážení předmětu” a nepoznal ikonu peněz. ● Čte si záložku s úkoly (questlog) a znovu prohlíží inventář. Napadá ho zahodit kladivo. ● Kladivo bez problémů zahodil, ale uvažuje, jestli ho nebude náhodou potřebovat. ● Umírá. [10:05] ● Při druhém pokusu jde po zahození kladiva k domu. ● Chápe, že má postava hlad a je unavená. ● Nachází obvaz, bere si ho až po radě moderátora. ● Použil jen jeden obvaz, nechápe význam procent. Až po radě moderátora znovu zkouší použít obvaz, tentokrát si všímá ikony množství a posuvníku. ● Omdle, domnívá se, že opět umřel. ● V dalším pokusu se hned vydal k obchodníkovi. V obchodě si chce koupit sýr. Posuvník počtu sýru je mu jasný. Potvrdí jeden sýr a myslí si, že ho tím koupil. ● Moderátor se účastníka zeptá, zda si myslí, že sýr koupil. Vysvětluje mu význam slova haggle (smlouvání) a ikonu peněz. ● V košíku by rád viděl celkovou cenu deseti sýrů v řádku se sýrem. Celková cena je pouze v horní části rozhraní obchodu, čehož si účastník nejdříve nevšiml a cenu jednoho sýra považoval za cenu deseti. I přesto, že zná celkovou cenu, by chtěl vědět cenu 10 kousků sýra (v košíku měl zároveň knihu zlodějství). Cenu 10 kusů sýra není v této situaci možné zjistit jinak, než si ji spočítat. ● Účastník smlouvá cenu sýra. Očekával ovládání posuvníku cen myší a proto omylem kliknutím myši potvrdil špatnou cenu. [20:51] ● Posuvník cen pochopil správně, ale ikonu spokojenosti obchodníka považuje za měnu. ● Pak ho napadne, že by to mohla být pravděpodobnost úspěšnosti.
11
● ● ●
● ●
Po změně vzhledu ikony došel k závěru, že ikona značí stupeň naštvání/spokojenosti obchodníka. Kupuje sýr a sní ho. Jde spát, nastavuje dobu spaní. Neví, jak se ovládají hodiny, zase očekává ovládání myší a přijde mu divné, že se ovládají pomocí kláves W a S, minimálně by očekával ovládání do stran (klávesy A a D). Je moderátorem upozorněn na efekty spánku, moderátor ještě dodává, že ráno je v 6 hodin. Spí do rána.
2. Odemkni truhlu ● Otevírá záložku s úkoly (questlog), všímá si rozdílných barev v textu a správně poznává, že černý text značí splněnou část úkolu a červený text tu nesplněnou. [31:27] ● V questu čte, že musí otevřít truhlu. ● Chce si koupit knihu, ale nemá na ní dostatek peněz. ● Smlouvá, znovu si stěžuje na omylné potvrzení ceny myší. ● Kupuje knihu, otevírá jí, následovně hned zavírá a chce se najíst. ● Moderátor mu radí, že za přečtení knížky získá lockpick. ● Napadá ho, že čtení knížky na posteli mu pomůže rychleji dosáhnout svého cíle. ● Sedá si na postel, čte celou knihu (100%). Díky tomu získává paklíč (lockpick). ● Moderátor mu spouští tutorial na zámečnictví, který si přečte. ● Úspěšně otevírá truhlu na první pokus. ● Znovu zkoumá ikonu vah, myslí si, že znamená počet. Nakonec mu dochází, že se jedná o váhu předmětu. ● Nemůže najít nosnost postavy v inventáři.
4.3.3 Post-test dotazník 1) Mám z toho velmi dobrý pocit, rád bych viděl finální verzi hry. Bylo by velmi zajímavé vidět změny ve finálním produktu. 2) Přišly mi docela těžké, především protože jsem hru neznal. Kdybych měl úlohy splnit znova, měl bych to hotové za deset minut. 3) Z počátku mi přišlo trošku chaotické, ale brzo jsem si v tom udělal pořádek. 4) Nakupování mi přišlo celkem složité, jinak mi přišlo v pořádku. 5) Některé ikony jako měna a váha mi přišly nesrozumitelné, bylo by dobré přidat nějaký popis po najetí myši.
12
4.4 Participant č. 4 4.4.1 Pre-test dotazník 1) Mezi mé oblíbené patří Assassin's Creed série (jedná se o kombinaci akčního a RPG žánru, především v posledních iteracích) a Dark Souls (klasické RPG s relativně vysokou náročností). Jinak RPG hry tolik nehraju. 2) Znám pouze její název, nikdy jsem jí neviděl. 3) Nikdy jsem na žádném testování nebyl.
4.4.2 Průběh testu 1. Přežij do rána ● Účastník hned poznává, že postava je zraněná (neví jak). ● Rozhoduje se vydat se k domu. ● Dolní červenou lištu považuje za ukazatel času, žlutá je stamina. ● Myslí si, že postava jde pomalu kvůli poranění. Z monologu postavy správně usoudil, že má hlad. ● Hra se vypnula, účastník začíná nový pokus. [07:31] ● Zkoumá inventář, všímá si změny řazení předmětů po kliknutí na různé ikony. ● Ikonu srdce považuje za “doplnění životů”, váhy za “staty”, minci za celkové množství. ● Po moderátorově vysvětlení anglického slova pro přetížení (overburdened) v záložce schopností (skills) účastník vyhazuje kladivo. [10:47] ● U domu nachází obvaz. Po krátkém snažení sebrat obvaz z jedné strany stolu stůl obchází a již bez problémů bere obvaz tlačítkem E. ● Použil jen jeden obvaz, poté všechny a všiml si, že zmizela ikona krvácení. ● Zkouší spát a zjišťuje, že mu to není povoleno. Jde tedy k obchodníkovi. ● Chce koupit sýr, nemůže najít jeho cenu. ● Otevřel “item info”, stisknutím klávesy Esc chtěl vyjet z nápovědy, ale ukončil tím celý nákup. ● Znovu nakupuje, myslí si, že sýr koupil, ale není tomu tak. Domnívá se, že po nastavení počtu sýrů a následovném opuštění obchodu by měl být nákup proveden. ● Podle lišty vespod inventáře zjišťuje, že na sýr nemá dostatek peněz. Zkouší proto otevřít truhlu a obchází dům, aby našel něco k prodeji. ● Až po pobídnutí moderátora si prohlíží rozhraní obchodu a nalézá Košík. [17:01] ● Cenu jednoho sýra pochopil jako cenu všech deseti. ● Všímá celkové ceny nákupu v horní části rozhraní. ● Jde smlouvat cenu sýra, pochopil, že se smlouvá podržením klávesy X. ● Zpočátku si myslí, že ikona obchodníka při smlouvání je obrázek mince. Později ho napadne, že značí počet pokusů nebo trpělivost obchodníka.
13
● ● ●
Kupuje sýr a sní ho. Všímá si změny ikony hladu. Jde spát, dobu spánku chce nastavovat myší. Hodiny a jejich barevné přechody pochopil správně.
2. Odemkni truhlu ● Otevírá quest, všímá si rozdílných barev v textu a správně poznává, že černý text značí provedenou část questu a červený text neprovedenou. [26:36] ● Chce si koupit knihu zlodějství, smlouvá o ceně. ● Koupil knihu, otevřel ji v inventáři a chce jí přečíst. ● Nastavuje dobu čtení, bojí se, že bude hladový. Moderátor radí, že hladový být může. ● Čte knížku ve stoje maximum možného času a získává paklíč (lockpick). ● Čte tutorial zámečnictví (lockpicking). ● Otevírá truhlu. ● Ve zbývajícím čase moderátor prochází s účastníkem ikony v inventáři kolem postavy. ● Prohlíží si své schopnosti (skills), myslí si, že křížek znamená vylepšení schopnosti. ● Prodává amulet z truhly, koupí sýr a sní ho. ● Dolní červenou lištu už nepovažuje za ukazatel času, ale zdraví.
4.4.3 Post-test dotazník Mám z toho dobrý pocit. Hra byla trošku jiná, než jsem zvyklý, byla dost realistická. Úlohy mi přišly relativně jednoduché. Pochopení problému na začátku, tedy zahození těžkého kladiva. Orientovalo se mi v něm dobře, ocenil jsem také základní nastavení pohybu na klávesy w, s, a, d. 5) Ikony nebyly intuitivní, kdybych se nepodíval do popisů v inventáři, asi bych na jejich význam jen tak nepřišel. 6) Rád by dodal, že se mu líbila realistické charakteristiky hry, např. že jeho postava může krvácet, mít zraněné končetiny nebo hladovět (a že jídlo zázračně člověka nevyléčí). 1) 2) 3) 4)
14
4.5 Participant č. 5 4.5.1 Pre-test dotazník 1) Ano, především MMORPG World of Warcraft. Dále pak rád hraji MOBA (multiplayer online battle arena) hru DotA (Defense of the Ancients) a Grand Theft Auto sérii. 2) Nikdy jsem o ní neslyšel. 3) Žádného testování (i jiného charakteru) jsem se neúčastnil.
4.5.2 Průběh testu 1. Přežij do rána ● Účastník poznává, že je postava zraněná. ● Nejdříve si myslí, že ikona vlevo (krvácení) značí život, pak se opraví a správně za životy označí spodní lištu. Levou ikonu neví. Další ikona podle něj znamená, že postava něco nese. Předposlední ikona je moc malá a ikona úplně vpravo mu připomíná kámen. ● Myslí si, že postava nemůže běžet kvůli zranění. ● Umírá. [08:04] ● Prohlíží inventář a zkoumá ikony. Poznal, že ikona nekonečna značí množství, srdce a minci neví, váhy nejistě označí za hmotnost. ● Prohlíží menu Skills a Questlog a snaží se vyřešit pomalou chůzi. ● Napadne ho odhodit kladivo. [14:17] ● Po pobídce moderátora pochopí dolní lištu v inventáři (s nosností postavy), po vyhození kladiva na liště vidí, že je již bez zatížení. ● Jde k domu a chce něco sníst. Hledá v inventáři jídlo, chtěl si v něm něco koupit. ● Přichází k posteli a sedá si. Všímá si ikony knihy, ale neví, co by mohla znamenat. ● Jde k obchodníkovi a bere obvaz ze stolu. ● Použije jen jeden obvaz, vidí ovšem, že stále krvácí, a proto používá nakonec všechny. Je si vědom, že ikona krvácení zmizela. ● Přeje si u obchodníka koupit sýr. Prohlíží ikony a správně určí cenu a hmotnost. Z ikony srdce je zmaten. ● Bez problému nachází košík a jde smlouvat. [22:21] ● Princip smlouvání chápe, jen si není jistý ikonou obchodníka. Podle něj značí spokojenost obchodníka. ● Omylem kliká myší a potvrzuje špatnou cenu. ● Koupí a sní sýr. ● Zkoumá truhlu a hledá paklíč u obchodníka. ● Čte si své úkoly (questlog) a rozhodne se jít spát. ● Nepoznal, že čísla na obvodu hodin značí čísla, ale odpočítáním od půlnoci zjistil, kolik je hodin. Nastavuje hodiny na šest hodin ráno. 2. Odemkni truhlu ● Po úspěšném splnění prvního úkolu čte účastník změny v questu. [33:01]
15
● ● ● ● ● ● ● ● ● ● ●
Prohlíží si své schopnosti (skills), myslí si, že křížek znamená vylepšení vybrané schopnosti. Z popisu úkolu pochopil, že potřebuje vylepšit zámečnictví na čtvrtou úroveň. Po radě moderátora si jde koupit knihu. Nevšiml si peněz, které získal za předešlý úkol. Chce si jít přečíst knihu na postel, ale po přerušení moderátora ho napadá, že knihu může číst i vestoje. Všímá si postupu (progress) při čtení knihy. Přečetl si své úkoly (questlog) a uvážil, že by si měl vyzkoušet zámečnictví. Čte tutorial zámečnictví, který mu moderátor připravil. Při třetím pokusu se mu podaří otevřít truhlu. Kontroluje si v seznamu s úkoly, zda splnil hlavní úkol. Vysvětluje ikony v inventáři kolem obrázku postavy (myslí si, že slouží pro vybavení jako je helma, body, brnění atd.)
4.5.3 Post-test dotazník 1) Mám z toho dobrý dojem. Přišlo mi to velmi zajímavé. Líbilo se mi, že hra je velmi realistická a přijít na problémy (mé postavy) byla výzva. 2) Ze začátku mi úlohy jednoduché nepřišly, především po překvapivém prvním úmrtí. Po seznámení se hrou mi přišly jednodušší. 3) Lockpicking mi přišel celkem těžký, ale asi jde spíše o praxi. 4) Ze začátku jsem si nevšímal některých dialogových oken (ze zvyklosti). Po vyzkoušení různých funkcí mi vše bylo celkem jasné. 5) Ikonky byly trošku problematické, jejich účel/vlastnosti nebyly na první pohled vůbec zřejmé.
16
5 Přehled nálezů Ke každému nálezu byla po zhodnoceni závažnosti přiřazena jedna z následujících priorit: Nízká priorita - Kosmetický problém Střední priorita - Malý problém v použitelnosti Vysoká priorita - Významný problém v použitelnosti, měl by být odstraněn
5.1 Problémy s vysokou prioritou 5.1.1 Nález č. 1 Při smlouvání nelze používat myš pro ovládání smlouvání narozdíl od obchodování, ale kliknutí myší potvrzuje navrhovanou cenu. Participanti předpokládali, že buďto mohou ovládat smlouvání myší, nebo nelze myš použít vůbec. To vedlo k nečekanému potvrzení ceny, přestože si to nepřáli. Dále se domnívali, že ikona pod stupnicí smlouvání představuje měnu. Většina si až po změně ikony (viz obrázky 5.1.1.1, 5.1.1.2, 5.1.1.3) správně vyvodila, že to pravděpodobně znamená náladu obchodníka.
Obrázek 5.1.1.1 - Ikona obchodníka indikuje, že je v dobrém rozpoložení.
17
Obrázek 5.1.1.2 - Můžeme si všimnout, že obchodník nebyl spokojený s poslední nabídkou, podle žlutého vyplnění kruhu ikony a změny výrazu obchodníka.
Obrázek 5.1.1.3 - Z ikony obchodníka je zřetelné, že je s postavou hráče a jeho nabídkami velmi nespokojen.
18
5.1.2 Nález č. 2 Participantům činilo problémy odečítání hodin (viz obrázek 5.1.2). Část nepoznala čísla, netušila, co znaky představují. Části pomohlo zvýraznění poledne a půlnoci. Pouze jeden si povšiml kvality postele. Dále předpokládali, že aktuální čas jim značí bílá šipka.
Obrázek 5.1.2 - Rozhraní hodin pro spánek. Můžeme si všimnout speciální položky Quality of bed (kvalita postele).
19
5.1.3 Nález č. 3 Participantům dělalo problém pochopit ikony vlastností předmětů ve výpisu předmětů v inventáři (viz obrázek 5.1.3). Participanti se domnívali, že ikona srdce jim indikuje, o kolik se vyléčí použitím předmětu. Někteří ikonu poznali a po chvíli správně usoudili, že se jedná o zbývající kvalitu předmětu. U ikony vah často nepoznali, co reprezentuje. Když zjistili, že se jedná o váhy, čekali, že značí poměr, v jakém budou moci daný předmět směnit. U ikony mince si někteří mysleli, že reprezentuje množství, přestože ve skutečnosti představuje pěněžní hodnotu předmětu.
Obrázek 5.1.3 - Výchozí stav inventáře po zahájení testování.
5.1.4 Nález č. 4 Většina participantů si vůbec nevšimla dolní lišty v inventáři, na které byla uvedena maximální nosnost a současná zátěž postavy, společně s jejím peněžitým vlastnictvím (viz obrázek 5.2.1. Lišty si všimli až po upozornění od moderátora (především při závěrečných dodatečných dotazech).
20
5.1.5 Nález č. 5 Participantům dělalo problém rozhraní pro použití obvazů. Při použití obvazů nebylo jasně zřetelné, jaký bude výsledný efekt po jeho použití. Hlavní kámen úrazu bylo inverzní ohodnocení léčivého efektu obvazu, kde čím více obvazů bylo použito, tím menší byla percentuální hodnota (popisovala tedy stupeň zranění, místo stupně léčivého efektu). Viz obrázky 5.1.5.1 a 5.1.5.2.
Obrázek 5.1.5.1 - Na obrázku můžeme vidět léčivý efekt při použití jednoho obvazu. Hodnota 90% nám říká, že stupeň zranění levé nohy je 90%.
21
Obrázek 5.1.5.2 - Na obrázku můžeme vidět efekt použití 10 obvazů na levou nohu postavy. Úroveň poranění bude snížena na 0%.
22
5.2 Problémy se střední prioritou 5.2.1 Nález č. 6 Participanti měli problém najít přehled výsledných cen nákupu v košíku, která je vpravo nahoře od záložky předmětů (všichni ji očekávali dole v košíku, ne nad výběrem položek, viz obrázek 5.2.1.1). Při nákupu více objektů navíc nejsou uvedeny mezivýsledky. Například když si hráč chce koupit 9 kusů sýra a knihu zlodějství, tak zná pouze celkovou hodnotu nákupu, pokud by chtěl ovšem vědět, kolik utratí za 9 kusů sýra, nemá jinou možnost než si cenu sýra sám vynásobit devíti, neboť v košíku je uvedena pouze cena jednotlivých položek (množství položek v košíku není bráno v potaz). Jednoduchým řešením by bylo uvést jak cenu jedné položky (v našem příkladu cena sýra), tak zároveň násobku počtu položky její cenou (9 x cena sýra), případně uvést cenu v podobě matematického vzorce (sýr: 9 * 29 = 261).
Obrázek 5.2.1 - Záložka nákupu zboží od obchodníka.
5.2.2 Nález č. 7 Mnoho participantů si při nákupu zpočátku nevšimla, že systém funguje na principu nákupního košíku a pokladny (check-out). Tento systém není ve hrách běžně uplatněn (oproti internetovým obchodům). Ovšem po pochopení principu přišel participantům systém chytrý a přehledný (až tedy na uvedené ceny v košíku, viz nález č. 6, kapitola 5.2.1).
23
5.3 Problémy s nízkou prioritou 5.3.1 Nález č. 8 Participanti se domnívali, že znak “+” v záložce schopností (Skills, viz obrázek 5.3.1) danou schopnost vylepšil o jednu úroveň. Jedná se ovšem o znak, díky kterému (po dvojkliku myší) lze rozbalit podseznam položek náležité schopnosti. Možným řešením by byla grafická úprava znaku (např. na znak plné šipky dolů) nebo změna jeho pozice (běžně je ikona umístěna nalevo od textu).
Obrázek 5.3.1 - Znak “+” v záložce schopnosti (Skills) v inventáři.
24
5.3.2 Nález č. 9 Participanti měli problém odlišit, které hodnoty (atributy, efekty) jsou herní hodnoty a které percentuální (pokud se jedná o herní hodnotu, její maximum se může v průběhu hry měnit, například vylepšením postavy). V obrázcích 5.3.2.1 a 5.3.2.2 si můžeme všimnout, že hodnota Progress (postup) v rozhraní čtení knihy je percentuální (nabývá maxima ve 100), naopak hodnoty jako Health (zdraví), Rest (odpočatost) a Food (jídlo/sytost) jsou hodnoty herní, jež nabývají různých hodnot. Jednoduchým řešením tohoto problému by bylo dodat znak “%” za hodnotu percentuálních hodnot, např. Progress: 19%.
Obrázek 5.3.2.1 - Nastavení délky čtení na 2 hodiny a její důsledky.
25
Obrázek 5.3.2.2 - Nastavení hodnoty čtení na 11 hodin a její důsledek. Můžeme si také všimnout zeleně označenou hodnotu Progress, což značí dosažení maxima (pozitivního).
5.3.3 Nález č. 10 Další problém na který participanti narazili při používání rozhraní hodin (čekání, spánku, čtení) byla zřejmost změny efektů. Většině účástníků nebylo jasné, zda se něco změnilo, neboť text s novými atributami zachovává bílou barvu. Participanti se obecně shodli na tom, že by bylo dobré alespoň barevně zvýraznit pozitivní a negativní (zelenou, respektive červenou barvou) změnu. Tyto barvy jsou použity pouze pro maxima a minima (např. již uváděný Progress u přečtení knihy zezelená, když dosáhne hodnoty 100, viz obrázek 5.3.2.2). Dalším možným řešením by bylo napsat změnu v podobě matematické operace, v nejlepším případě s barevným upozorněním (např. Progress: 0 +20%, nebo Food: 80 -10).
5.3.4 Nález č. 11 Mnoho participantům nevyhovovalo (podobně jako u nálezu č. 1, kapitola 5.1), že není možné rozhraní hodin ovládat myší. Zde to naštěstí nevedlo k nechtěnému potvrzení výběru (oproti nálezu při smlouvání). Další věc, která participantům nepřišla intuitivní, byl způsob posunu hodin na klávesnici. Všichni nejdříve zkoušeli klávesy A a D (tedy běžně pohyb do stran), až po objevení popisků v pravé části obrazovky (viz obrázek 5.3.2.1 a 5.3.2.2) použili klávesy W a S (pohyb nahoru a dolu). K tomuto ovládání měla většina participantů poznámku, že jim to přijde nepřirozené. Řešením by bylo jednoduchá změna výchozího ovládání rozhraní hodin.
26
6 Závěr Cílem této práce bylo testování použitelnosti rozhraní hry Kingdom Come: Deliverance. Během testování bylo objeveno několik nálezů různých priorit, z nichž převažují nálezy s vysokou prioritou. Shrnutí všech nálezů s přidělenými prioritami je uvedeno v kapitole 5. Mezi nejzávažnější patří například potvrzování smluvené ceny kliknutím myši, nepřehledné rozhraní hodin a inventáře neboa nejednoznačnost ikon. Odstranění těchto problémů přispěje k lepší použitelnosti hry i v rámci méně zkušených uživatelů. Celkově však měli participanti ze hry pozitivní pocity. Oceňovali její realističnost a odlišnost a projevili zájem o finální verzi hry.
7 Použitá literatura [1] Usability testing software Morae from TechSmith, https://www.techsmith.com/morae.html
27
8 Přílohy 8.1 Screener Screener obsahoval tyto otázky, jeho výsledky jsou následující: 1) Věk a) 17 a méně b) 18 - 25 - 100 % (5/5) c) 26 - 35 d) 36 - 45 e) 46 - 55 f) 56 - 65 g) 66 - 75 h) 76 a více 2) Vaše znalost anglického jazyka je: a) vysoká (rozumím anglickému filmu bez titulků) - 40 % (2/5) b) střední (umím mluvit v budoucím a minulém čase) - 60 % (3/5) c) základní (umím se představit) d) žádná nebo nižší než předchozí 3) Hrajete počítačové hry? a) Ano - 100 % (5/5) b) Ne 4) Kolik hodin týdně strávíte hraním počítačových her? a) méně než 3 b) 3 - 5 - 20 % (1/5) c) 5 - 10 - 20 % (1/5) d) 10 - 15 - 40 % (2/5) e) Více než 15 - 20 % (1/5) 5) Jaký žánr počítačových her hrajete? a) RPG (role playing game) - 100 % (5/5) b) FPS (first person shooter) - 40 % (2/5) c) Strategické - realtime - 40 % (2/5) d) Adventury - 60 % (3/5) e) Strategické - tahové - 40 % (2/5) f) Budovatelské - 40 % (2/5) g) Závodní - 40 % (2/5) 6) Zaškrtněte všechny počítačové hry, které znáte a) Skyrim - 100 % (5/5) b) Dota 2/League of Legends - 100 % (5/5) c) Kingdome Come Deliverance - 0 % (0/5) d) World of Warcraft - 80 % (4/5) e) Bioshock - 60 % (3/5) f) GTA - 100 % (5/5)
28
g) h) i) j)
Fallout 4 - 40 % (2/5) Dragonage - 20 % (1/5) Counter Strike - 100 % (5/5) Call of Duty - 80 % (4/5)
8.2 Pre-test dotazník 1) Hrál/a jste někdy RPG (role playing games) hry? Jaké? 2) Slyšel/a jste někdy o hře Kingdom Come: Deliverance? Pokud ano, co o ní víte? 3) Účastnil/a jste se již někdy testování uživatelského rozhraní?
8.3 Instrukce 1) 2) 3) 4)
Změňte nastavení jazyka hry na anglický jazyk. Maximalizujte okno hry (tj. zvětšete okno hry na celou plochu obrazovky). Seznamte se se základním ovládáním hry. Pokuste se ve hře co nejdéle přežít a splnit co nejvíce úkolů (quests).
Důležité upozornění: Za každý splněný úkol (quest) budete ve hře peněžitě oceněni. Tento fakt není v popisu úkolu (quest) ve hře nikde zmíněn.
8.4 Post-test dotazník Jaké máte pocity z testování? Jak obtížné Vám přišly zadané úlohy? Co Vám dělalo největší potíže? Proč? Jak dobře se Vám orientovalo v grafickém rozhraní hry (inventář, HUD = heads-up display)? 9) Přišly Vám ikony v grafickém rozhraní hry snadno pochopitelné, intuitivní? 10) Chtěl/a byste něco doplnit? 5) 6) 7) 8)
29
