Testování Betaverze Kingdom Come: Deliverance Úloha:
Autoři práce
Testování s uživateli (C) Marek Kozlovský, Daniel Sklář, Michal Trněný, Herbert Ullrich
Vedoucí práce:
Ing. Adam Sporka, Ph.D.
Předmět:
A4B39TUR
Vzdělávací institut:
ČVUT Fakulta elektrotechniky
Testování Betaverze Kingdom Come: Deliverance Úvod Postup Výběr participantů Příprava scénáře Rozvržení rolí Testování v laboratoři Screener Seznam úkolů Průběh testování Participant 1 Pretestový rozhovor Řešení úkolů Posttestový rozhovor Participant 2 Info o participantovi Řešení úkolů Shrnutí Participant 3 Pretestový rozhovor Řešení úkolů Posttestový rozhovor Participant 4 Pretestový rozhovor Řešení úkolů Posttestový rozhovor Participant 5 Info o participantovi Řešení úkolů Shrnutí Závěr
Úvod Semestrální práce popisuje testování betaverze českého RPG Kingdom Come: Deliverance vyprodukovaného studiem Warhorse a klade si za cíl odhalit nejasnosti v uživatelském rozhraní a poukázat na případné obtíže, se kterými by se pravděpodobně potýkala valná část hráčů z cílové skupiny během gameplaye. K testování, které probíhalo v prostorách ČVUT, bylo podle daných kritérií vybráno pět nezávislých osob a jejich průchod připraveným scénářem je rozebrán v kapitole Práce s účastníky. Nejčastější problémy jsou pak shrnuty v závěru.
Postup Výběr participantů Poté, co je jasně specifikované téma a stanoveny cíle testu (viz úvod), je zapotřebí nadefinovat cílovou skupinu, pro kterou bude produkt určen. V našem případě se jednalo o potenciální zákazníky, tedy o hráče počítačových her, kteří mají pozitivní vztah k RPG hrám. Pro výběr těchto uchazečů byl připraven dotazník (takzvaný screener), jehož struktura je rozebrána v kapitole Screener. Participanti, kteří splnili požadovaná kritéria, jsou pak pozváni do testovací laboratře.
Příprava scénáře V rámci přípravy testování je nutné nadefinovat takzvané případy užití. Jedná se o úkoly, které se má vybraný participant pokusit splnit, a během používání systému by se měly projevit očekávané i neočekávané problémy v uživatelském rozhraní. Úkoly by měly být naspecifikovány jednoznačně, aby se předešlo zbytečným dotazům na moderátora. Úlohy jsou shrnuty v kapitole Seznam úkolů.
Rozvržení rolí Pro rigorózní výsledky testování je zapotřebí účast několika zájmových skupin. Spolu s participantem je v místnosti uvaděč (moderátor), který se snaží vytvářet během testování příjemnou atmosféru a průběžně pokládá uchazečovi otázky, aby uchazeč vyjádřil své pocity z používání systému. Ve vedlejší místnosti, ve které jsou nainstalovány monitory sloužící pro sledování moderátora s účastníkem, sedí další organizátoři testu, kteří si zapisují poznámky. Poslední skupinu pak tvoří osoby zainteresované v tvorbě softwaru. Zainteresované osoby by pak měly být na vlastní oči svědky případných závad v uživatelském rozhraní a vyvodit z toho důsledky. Skupinu zainteresovaných osob během našeho testování zastupoval Ing. Adam Sporka.
Testování v laboratoři Nejdůležitější částí je pak samotné testování, kterému předchází rozhovor s moderátorem, který má za úkol participantovi popsat průběh testování a navodit příjemnou atmosféru. V tuto chvíli moderátor případě vyzpovídá testovaného, aby zjistil podrobnější vztah testovaného vzhledem k cílové skupině. Poté začíná samotné testování, jehož průměrná doba trvání činí 3040 minut.
Dále se participant snaží plnit úlohy uvedené v seznamu úkolů, který má vytištěný před sebou. Během této části je ponoukán moderátorem, aby přemýšlel nahlas a sděloval své dojmy z používání softwaru. V závěru testování probíhá krátký rozhovor, který shrnuje pocity a největší komplikace, které nastaly během testování.
Screener Ve screeneru jsme se snažili získat participanty, kteří hrají počítačové hry a jejich oblíbeným žánrem je RPG. Klíčovou otázkou bylo, zdali respondent hrál betaverzi Kingdom Come. Hráči, kteří už hru znají, si na uživatelské rozhraní zvykli, a tak by neprojevily přirozenou reakci na neznámý systém, která je při testu použitelnosti zapotřebí. Další klíčová otázka byla, kolik RPG her hráč zná a jak často hraje. Kombinací těchto dvou otázek jsme mohli předpokládat určitou míru schopnosti zorientovat se v nové hře, a proto jsme vybírali jak participanty, kteří nemají mnoho zkušeností, tak ty, kteří patří mezi zkušené hráče.
Seznam úkolů 1. Zapnětet v nastavení titulky. 2. Najděte alchymistickou laboratoř umístěnou ve slaměné chatrči poblíž. 3. Uvařte “Archery potion / Lektvar lukostřelce”. 4. Zkontrolujte v inventáři, že lektvar máte u sebe. 5. Po přemístění do vojenského tábora si obstarejte luk a alespoň 3 šípy. 6. Pokuste se vystřelit na terč. 7. Použijte uvařený lektvar. 8. Pokuste se vystřelit na terč pod vlivem lektvaru. 9. Zkuste zasáhnout šípem jednoho z vojáků v táboře. 10. Utečte z šarvátky. 11. Najděte místo na přespání a dopřejte si krátký spánek (1 hodina).
Průběh testování Participant 1 Pretestový rozhovor Participant uvedl, že je vášnivým hráčem počítačových her, mimo jiné i RPG. Z předložených titulů zná všechny a hrál z nich The Elder Scrolls (Skyrim), The Witcher, World of Warcraft. Participant je muž ve věku 28 let.
Řešení úkolů 1. Nastavení titulků zvládl bez problému. 2. Alchymistickou laboratoř našel ihned. 3. Po chvíli listování si participant uvědomil, že prochází byliny, začal hledat další řešení a narazil na Toggle. Zmatení nastalo ve chvíli, kdy chtěl použít připravené byliny, ale v kotlíku nebyla voda. Mimo jiné nešlo znovu nahlédnout do knihy, což vyřešilo opětovné navštívení laboratoře. Dalším problémem se úkazalo být rozeznání varu od ohřívání. Uvaření lektvaru se nepovedlo.
4. Lektvar se hráči objevil v inventáři až poté, co opustil laboratoř, to shledal nestandartním. 5. Participant se pokusil sehnat luk a šípy od vojáků v táboře a na lukostřelecké stanovišti. Bylo mu vysvětleno, že luk a šípy sežene v některé z truhel. Systém otevírání zámků pokořil poměrně rychle.
6. Ve hře nastala noc bylo tedy nemožné vyzkoušet luk a šípy. Úkol jsme změnili na zapálení pochodně. To šlo bez větších obížítí. Účastník si však postěžoval na to, že není jasné, které zbraně jsou aktivní.
7. Participant se ztratil. Sešel z cesty a zabloudil. Dále si vyzkoušel boj s mečem. Napadl jednoho z vojáků, ale po chvíli zemřel. 8. Kvůli nedostatku jsme museli test ukončit před splněním všech ůkolu.
Posttestový rozhovor Postup vaření lektvarů označil za zbytečně složitý a jeho přípravu za zdlouhavou. První setkání pro něj bylo v ohledech bolestné, ale celkový zážitek ze hry měl pozitivní. K proniknutí do hry je podle něj potřeba dost času, ale to nepovažuje za nevýhodu.
Participant 2 Info o participantovi Participant ve screenru uvedl, že trpí krátkozrakostí. Poznamenal rovněž, že zná tyto hry: The Elder Scrolls (Skyrim), The Witcher, World of Warcraft, Kingdom Come: Deliverance, Dark Souls, Dragon Age. Dále uvedl, že hrál: The Elder Scrolls (Skyrim), The Witcher, Dragon Age. Participant je 21 letý student pedagogiky. Patří mezi zkušené hráče především žánru RPG a je fanouškem série The Witcher, ke kterému se dostal skrze povídky od Sapkowskiho, a patří k příběhově orientovaným hráčům. Hru Kingdom Come viděl na youtubu.
Řešení úkolů 1. Zvládnul zapnout titulky bez problémů. 2. Našel alchymistickou laboratoř ihned. 3. Chvíli tápal při přepnutí knihy na fázi “Toggle”. Vzhledem k časovým možnostem vařil i lektvar Zhouba, který se mu ovšem nepovedl, protože nerozpoznal ohřívání od vaření. Jakmile mu byla dána rada ohledně vaření, s lektvarem zhouby uspěl.
4. Při kontrole lektvarů omylem zkonzumoval lektvar Střelce, v tomto případě ovšem nejspíše došlo ke komunikačnímu šumu. Když se snažil aplikovat nepovedený lektvar Zhouba na jablko, nebyl si jistý, zdali je efekt Zhouby na jablku opravdu aplikován.
5. Poté, co bylo participantovi vysvětleno, že se luk nachází v truhle, se mu podařilo odemknout zámek a získat luk i šípy. Porozumněl červené ruce, která symbolizuje, že předměty byly ukradené.
6. Participant začal systematicky zkoušet klávesy, aby vytáhnul luk, což se mu nakonec podařilo. Výjadřil stížnost na to, že musí držet napnutou tětivu luku (a tím se vyčerpávat), i když chce jen mířit. 7. Úkol nemohl splnit, protože lektvar zkonzumoval předčasně. 8. Úkol nemohl být splněn, viz výše.
9. Participant vystřelil nejdříve do koně, přičemž byl překvapený, že na zranění kůň nezareagoval výrazněji (očkával jeho útěk nebo agresi). Poté vystřelil na strážníka v kempu.
10. Útěk z šarvátky se nepodařil, protože byla participantova hráčská postava zastřelena lukostřelcem.
11. Participant pochopil grafické rozhraní pro možnost spánku. Dále vyjádřil údiv nad statistikami, nevěděl, jaký význam má “bed quality”. Podivil se, že po spánku se mu snížila statistika “rest”.
Shrnutí Participant si postěžoval na složitost vytažení luku a tvrdil, že z jeho pohledu je intuitivnější použití kolečka. Rád by také lukem mohl mířit, aniž by měl napnutou tětivu. Další postřeh se týkal spánkových statistik, které nabývaly nečekaných hodnot (viz úkol 11). Listování v oddílech knihy pomocí tlačítka toggle mu přišlo zvláštní. Při závěrečném rozhovoru zmínil i nejasnost aplikace lektvaru na jablko (viz úkol 4).
Participant 3 Pretestový rozhovor Participant uvedl, že se zná všechny z výše uvedených titulů, ale přímo se sektal pouze s The Wicher, The Elder Scrolls Skyrim a Fallout. S Kingdome Come: Deliverence se setkal na videích na YouTube. Participant je muž ve věku 22 let, student Právnické fakulty Univerzity Karlovy.
Řešení úkolů 1. Titulky nastavil bez problému. 2. Alchymistickou laboratoř našel po chvíli. 3. Při přípravě lektvaru se setkal s tím, že se ingredience samy neobjevily mezi ovládácími prvky laboratoře a musely tedy být přidány manuálně pomocí inventáře. Při neúspěšných pokusech byly vypotřebovány všechny ingredience na lektvar lučisníka, proto jsme jako náhradu zvolili lekvar “Průjem”. V průběhu přípravy měl participant problém najít lektvary v knize a rozhořet oheň.
4. Lekvat se povedl a v inventáři se objevil. Pro účely otestování vypil lektvar. Do konce hry se však jeho účinky nijak neprojevily.
5. Luk a šípy se pokusil obstarat od vojáků v táboře, ale neuspěl. Došlo mu, že je třeba zkusit truhly. S otevíráním zámku zápasil dlouho, protože dlouho nenarazil na vyzlacený symbol.
6. Nastala noc a účastník kvůli časovému pressu přešel k úkolu 11. Intuitivně našel postel a vyspal se. Překvapilo ho, jak dlouho spánek trvá.
Shrnutí Participant se negativně vyjádřil k náročnosti vaření lektvarů. Byl rozhořčen tím, že nejasnost použití komponent alchymistické laboratoře ho dovedla k resetování pokusu a díky tomu přišel o všechny ingredience. Ty mu potom nestačily k tomu, aby uvařil zamýšlený lekvar lukostřelce. Dále se pozastavil nad tím, že lekvar “průjem” se nijak neprojevil. Celkový dojem ze hry byl rozpolcený, nebyl si jistý, jestli hodnotí takovou šířku a složitost pozitivně.
Participant 4 Informace o participantovi Účastník je student historie na FF UK. Uvedl o sobě, že je pravidelným hráčem počítačových her, zná všechny ve screeneru uvedené tituly. Jeho nejoblíbenějším žánrem je RPG, ačkoli jeho nejoblíbenější hrou je historická strategie Crusader Kings II. Sám má zkušenosti s hrami The Elder Scrolls (Skyrim), The Witcher, World of Warcraft a Dragon Age.
Rozhovor před testováním Participant se účastní podobného testování poprvé, nechává se obeznámit s principem. O připravované hře Kingdom come: Deliverance ví, také se k němu občas dostane něco o jejím vývoji (v načítací obrazovce poznává jeden artwork), má tedy pojem, o co jde, není ale aktivním fanouškem (není to backer, ani hráč bety)
Řešení úkolů 1. Zapnout titulky zvládnul účastník bez problémů, proklikl předtím také menu “Graphics” 2. Našel alchymistickou chatrč (informaci, že má hledat chatrč, dostal od moderátora), po alchymistické laboratoři se v ní chvilku rozhlížel (“ ... čekal bych nějaký nápadný tyglík” ) 3. Velmi dlouho listuje v knížce s popisy rostlin, čeká, kdy se dolistuje k receptu Lučištníka. Pak ale sám seznává, že se mu nezdá, že čte správnou knížku. Mezi ostatními nápady objeví i možnost toggle a dostává se bez pomoci moderátorů do receptáře. K uvaření lektvaru Lučištníka použije automatické vaření (jako první participant ho objevil v možnostech) (Letkvar uvařil velmi rychle a za pomoci automatického vaření, byl tedy ještě požádán o manuální vaření Zhouby, při tom nemohl rozeznat var, nevyznal se v pokládání některých ingrediencí na stůl a příprava se nezdařila) 4. Lektvar nachází v inventáři. Automatická příprava Lučištníka se podařila (uveden tentokrát jako Lovcova domácí ), ruční Zhouba nikoli.
5. Po přemístění do vojenského tábora neočekává, že by luk měl být zrovna v bedně, jeho prvním nápadem je povídat si s lidmi. Zkouší spustit šermířský tutoriál, třeba dostane luk za odměnu (to mu rozmluví moderátor). Nachází šípy visící ve vzduchu.
Po drobné instrukci hledá v místech, kde lidé spí, po dlouhém snažení a průchodu spousty dialogů je mu truhla a její pozice prozrazena. Bohužel však nedokáže vyháčkovat truhlu, zláme všechny tři šperháky, a nemůže ve střelbě pokračovat (je mu tedy progresivně přidělen úkol zvítězit v šermířském tutoriálu) 6. Změněno: úspěšně splňte šermířský tutoriál Snadno znovu nachází šermířskou ohradu, prochází dialog a ocitá se v simulátoru. Ten ale asi ještě není dodělaný, jelikož si “sparring partner” hráče nevšímá, staví se k němu
v ringu zády a nelze ho zasáhnout.
7. Lektvar byl použit, ale bez luku neefektivní 8. Nebylo čím střílet na terč 9. Změněno : Vyprovokuj někoho z vojáků mečem Místo meče tasí původně louč a nedokáže se strefit, pak ale vojáky vyprovokuje. Schovává se v křoví (sám nikoho venku přes texturu nevidí), ale je nalezen, musí znovu utéct. Utíká do vesnice Samopše, hledá koně. Nenapadá ho zavolat vlastního, ale ve vesnici ho úspěšně krade.
Zabíjí mečem děvečku aby mohl použít postel, kterou blokuje (opět ji není tak snadné trefit), postel ale v šarvátce nelze použít.
Posttestový rozhovor Pro účastníka byla nesnadná manuální alchymie, ale uznal, že to nebylo nelogické, a že mu napadlo použít i automatickou. Vystrašili ho šípy zamrzlé ve vzduchu. Vyháčkovávání/páčení zámků mu bylo naprosto cizí, nebyl ho při herním sezení schopen. Skrývání se mu přišlo ošidné, nedostával dostatečnou zpětnou vazbu o tom, zda je vidět (z TES: Skyrim byl zvyklý na zužující se oko uprostřed obrazovky) a byl při tom málem zabit. Napadá ho, že hra zapomíná, že může způsobit požár, když svítí pochodní v doškové chatě plné slámy.
Participant 5 Info o participantovi Pátý účastník testu ve screenru uvedl, že zná RPG hry, nicméně ve hraní není nikterak zběhlý. Jeho nejčastěji hraná RPG hra je World of Warcraft a o některých hrách ze zmiŇobaného screeneru pouze slyšel. Jde tedy vidět, že se spíše jedná o laika než fanouška, ale herní zkušenost jistě má. Participant je 21 letý student ekonomie. Patří mezi méně zkušené hráče počítačových her. Je fanouškem série Grand Theft Auto a Mafia, nicméně v oblibě má take World of Warcraft. Hru Kingdom Come neznal.
Řešení úkolů 1. Nastavit titulky v menu zvládnul bez problému. 2. Alchymistickou laboratoř našel rychle, nicméně si nebyl jist, zda je to to pravé místo a vydal se ještě porozhlédnout po okolí. Až po chvíli se vrátil a uznal, že je na správném místě. 3. Ačkoliv viděl knihu a pochopil, že návod se bude skrývat v ni, tak nebyl schopný ji otevřít. Místo aby zmáčknul některou z vypsaných klávesových zkratek, tak mačkal tlačítka na myši. Až po chvíli si všimnul legendy a začal se ji řídit.
Po otevření knihy měl problém s nalezením receptů. Prvně prolistoval byliny až do konce a teprve potom vyzkoušel klávesovou zkratku “Toggle”, o které původně netušil co dělá.
Proces vaření s participantovi celkově nedařil. Jeden z hlavních problémů bylo nedodržení postupů vaření a to ze dvou důvodů. První důvod byl ten, že účastník nebyl schopen udržet v paměti konkrétní postup vaření a proto jej občas popletl a musel se často vracet do knihy. Druhý problém byl zásadnější a to ten, že nepochopil základní principy pokynů. Uvedu na příkladu: obrovský problém činil pochopit co je to otočka. Předpokládal, že se jedná o promíchání směsi a až s mírnou nápovědou mu došlo, že se jedná o měření času. Jako jeden z dalších nedostatků byla neschopnost rozpálit oheň. Tato činnost se mu podařila, až po náhodně zmáčknuté klávese “Bellows”
.Taky nebyl schopen rozpoznat var, či jinou teplotu dané směsi. Kvůli výše zmiňovaným problémům vařil lektvar třikrát, a to s tím, že napotřetí mu došly suroviny a musel uvařit lektvar jiný.
To se mu již povedlo a mohl pokračovat v plnění úkolů.
4. Participant při úkolu zkontrolování inventáře neodešel od alchymistického stolu a prvně kontroloval inventář s ingrediencemi k vaření. Až po upozornění odstoupil a začal požívát inventář správný.
5. Testovaný subjekt po přemístění do tábora začal hledat luk a šípy. Prvně jej napadlo prohledat místa, kde vojáci v táboře bydlí.
Poté začal komunikovat s lidmi z okolí ve snaze obstarat si luk, který zatím nenašel. Po neúspěšném snažení hledal dále mezi věcmi na zemi. Jedna z obtíží, které zmiňoval byla nemožnost rozlišit použitelné věci od těch nepoužitelných. Stěžoval si tedy na to, že nebyl schopen již z většího odstupu poznat, zda je objekt interaktivní a dá se do něj podívat, či nikoliv. Pro informaci o použitelnosti objektu se musel objevit v jeho bezprostřední blízkosti a až poté se zobrazila legenda s možností nějaké akce. Participant nicméně objevil truhlu, kterou se snažil bez bližších informací šperhákem otevřít. Po chvíli přišel na princip, kterým se tato bedna otvírá, ale pro úspěšné otevření si zničil všechny šperháky při pokusech o otevření.
6. 7. 8. 9.
Až byl tedy naveden k pravé bedně s lukem, nebyl schopný tuto bednu otevřít. Nutno podotknout, že šípy si našel sám zabodnuté v terčích. Kvůli výše zmiňovaným problémům nemohl splnit šestý, sedmý ani osmý úkol. Devátý úkol jsme pozměnili na pokus o napadení vojáka mečem. Participant se snažil meč v inventáři nasadit, ale místo aby jej nasadil, potažmo již nasazený vytáhl do ruky, tak jej zahodil s myšlenkou, že když nemá nic v ruce a podrží tlačítko “hold x drop” vezme do ruky onen meč. Meč vyhodil a jelikož již byla tma, pokusil se o vytasení louče. Tento proces se mu již dařil lépe, ale jistou potíž měl s vytáhnutím louče již po tom, co ji měl v inventáři nasazenou. Náhodným stiskem číselných kláves louč vytáhnul.
Jelikož měl za úkol bojovat, zašel do šermířského ringu a vyzval někoho na souboj. Při souboji mu nejvíc dělala problém obrana a nebyl si jist, zda je ukazatel životů jeho, či soupeře.
Boj prohrál a zemřel.
10. Po úmrtí již bylo testování ukončeno a body deset a jedenáct tedy nebyly splněny. 11.
Shrnutí Účastníkovi testu se nelíbila složitost tvoření lektvarů a většiny dalších principů, se kterými se setkal, jako například šerm. Nicméně tvrdil, že je to pochopitelné, protože to nění hra pro nejnižší věkovou kategorii a taky se alespoň tak snadno nedohraje, což se mu poměrně zamlouvalo.Taky jej nenadchla grafická stránka testované hry. Celkový dojem, až na příliš velkou náročnost, byl kladný.
Závěr Nejnáročnějšímy úkoly byly pro participanty zvládnutí alchymie a nalezení luku ve vojenském táboře. Nejčastější nálezy byly: ● Nepřirozené točení knihy klávesou toggle ● Nedostatečná zpětná vazba programu ( “vaří voda?”, “vidí mě pronásledovatelé?”) ● Neintuitivní přepínání zbraní ● Rozpoznání interaktivní truhly ● Aplikace lektvaru omylem
