Usability test aplikace Talking Head Závěrečná zpráva Radek Zitta Lukáš Křivský
1. Popis testované aplikace Projekt Talking Head je vyvíjen na katedře počítačů FEL za velké podpory společnosti IBM. Cílem je vytvořit model avatara v podobě člověka, který by byl schopen interpretovat různé druhy informací človeku co nejpřirozenějším způsobem. Avatar se tudíž musí umět pohybovat, dělat různá gesta a měnit mimiku. Za pomoci syntézy řeči pak dokáže na základě čistého textu předvést mluvený projev. K ovládání gest, mimiky a řeči slouží XML jazyk, který byl vytvořen speciálně pro tento účel. Projekt tvoří 2 aplikace client a server. Talking Head Client čte příkazy a texty z XML souboru a posílá je pomocí protokolu TCP/IP programu Talking Head Server. Talking Head Server pak tento XML skript interpretuje na uživatelském počítači.
2. Cíle usability testu Cílem usability testu projektu Talking Head s avatarem v podobě člověka je zjistit do jaké míry by byla tato aplikace schopna konkurovat "živým" televizním moderátorům nebo zda by byla použitelná jako průvodce v různých automatických infocentrech. Snažili jsme se tedy alespoň částečně odhalit jak lidé tohoto avatara coby virtuálního moderátora přijímají a co jim na něm nejvíce vadí.
3. Příprava testované aplikace K testu byla použita běžná verze aplikace Talking Head s avatarem v podobě moderátorky jménem Sarah. Rozdílem oproti předchozím verzím byl pouze ten, že avatar nebyla pouze hlava, ale hlava s celým tělem. V rámci přípravy na test byly pro tuto aplikaci vytvořeny 3 nové scénáře. Krátké zprávy o počasí, informace o pražské dopravě a stručná prezentace projektu Talking Head. Tyto scénáře pak byly pouštěny testovaným jako videozáznamy, nebo přímo v aplikaci Talking Head. Scénář s počasím byl inspirován relacemi o počasí na ČT. Pro potřeby scénáře byly upraveny obrázky map s informacemi o počasí z webu http://www.ct24.cz/pocasi/. Z téhož webu byla převzata i předloha pro mluvené slovo. Scénář s informacemi o dopravě byl z části převzat z předchozího testování aplikace Talking Head. V tomto předchozím testu byly vytvořeny 3 scénáře prezentující různým způsobem informace o dopravě. Do našeho testu jsme převzali ten, který byl testujícími hodnocen jako nejlepší a obohatili jsme ho o mapy a další grafiku, jejíž absence testovaným nejvíce chyběla. Bližší informace o tomto testu se nalézají na adrese http://ibm-cvut.felk.cvut.cz/~theadusab06/thead4/. Poslední scénář prezentující poslední změny v aplikaci Talking Head ( rozšíření avatara o tělo ) byl námi vytvořen v rámci předmětu 36NUR jako výstupní prezentace projektu Talking Head ala Weather Man. Máme představu, že podobně by aplikace Talking Head mohla sloužit k prezentaci i jiných projektů na jejich webových stránkách. Nakonec byl pro test vytvořen dotazník, na který bylo možné odpovídat buď v tištěné formě, nebo ve formě webového formuláře. Dotazník a testové materiály byly pak následně distribuovány přes webové stránky http://sarah.kvalitne.cz, které byly vytvořeny speciálně k tomuto účelu.
1
4. Výběr osob pro testování Strategie pro výběr osob byla velice jednoduchá. K testu jsme potřebovali co největší počet lidí, kteří mají různé zájmy i různou zkušenost s prací na počítači. Jediné kritérium pak bylo, aby testované osoby měli alespoň elementární znalost anglického jazyka. Druhé kritérium ( aby testovaní byli alespoň stručně obeznámeni s tím, jak vypadají televizní zprávy) je v lokalitě ČR prakticky irelevantní. Vzhledem k tomu, že na testované osoby byl kladen jen jediný požadavek, bylo ustoupeno od vytváření složitého dotazníku pro výběr osob, neboť by sestával pouze z jediné otázky týkající se znalosti anglického jazyka. Tento dotaz byl pak proveden pouze ústní formou.
5. Průběh testu Průběh testu byl veden následovně. Vybrané testované osoby shlédly postupně jednotlivé scénáře (ať již ve formě videa či prostřednictvím aplikace Talking Head) a následně vyplnily dotazník. Díky tomu, že byl průběh testu takto jednoduchý, dovolili jsme si vytvořit webovou prezentaci pro distribuci tohoto testu. Díky tomu jsme pak byli schopni oslovit větší množství lidí, kteří by se jinak testu nemohli zúčastnit. Na stránky jsme umístili videa a samotnou aplikaci s nejnutnějšími soubory umožňujícími její chod, drobný návod jak v testu postupovat a samotný dotazník. Prezentace je umístěna na adrese http://sarah.kvalitne.cz. Webová distribuce testu byla umožněna také díky faktu, že aplikace Talking Head zatím neumožňuje téměř žádnou interakci s uživatelem, nebylo třeba požadovat po uživateli jakékoliv složitější operace s aplikací.
6. Dotazník po testu Díky tomu, že nás zajímalo, zda virtuálního moderátora vnímají lépe spíše technicky či humanitně zaměření jedinci, vložili jsme na začátek dotazníku také několik otázek týkající se testované osoby. Dotazník je připojen k tomuto dokumentu jako příloha A.
2
7. Výsledky získané z dotazníků Celého testu se zúčastnilo a dotazníky vyplnilo celkem 18 osob. Všichni využili dotazník ve formě webového formuláře na již zmíněných internetových stránkách. 1) Jsem
Odpověď muž žena
Četnost 14 4
78% muž žena 22%
2) Považuji se za
Odpověď introverta extroverta
Četnost 11 7
introverta
39%
extroverta 61%
3) Moje zaměření je
Odpověď humanitní technické
Četnost 5 13
3
28% humanitní technické 72%
4) Svoji znalost angličtiny hodnotím
Odpověď anglicky vůbec neumím na škole jsem se učil(a) rozumím, ale nemluvím dorozumím se umím, běžně angličtinu používám
Četnost 1 4 6 5 1 anglicky vůbec neumím
6%
na škole jsem se učil(a)
6% 24%
29%
rozumím, ale nemluvím dorozumím se
35%
umím, běžně angličtinu používám
5) Pracuji Odpověď vůbec manuální práce v oblasti IT v administrativní sféře jsem vedoucí pracovník jsem podnikatel student jiné
Četnost 0 1 6 2 0 0 8 1
4
vůbec
6%
manuální práce
0%
v oblasti IT
6%
44%
v administrativní sféře jsem vedoucí pracovník
33%
0% 0%
jsem podnikatel student
11%
jiné
6) Většinou pracuji
Odpověď v terénu doma ve své kanceláři sám/sama v místnosti s více spolupracovníky
Četnost 0 8 0 10
v terénu
0% 44%
doma ve své kanceláři sám/sama
56% 0%
v místnosti s více spolupracovníky
7) Počítač používám
Odpověď co to je? nevyužívám vůbec sem tam něco běžně jádro mé práce spočívá v práci na PC
5
Četnost 0 0 3 5 10
0% 0% co to je?
17%
nevyužívám vůbec sem tam něco
55%
28%
běžně jádro mé práce spočívá v práci na PC
8) Moje předchozí zkušenosti s usability testy jsou
Odpověď nikdy jsem se žádného nezúčastnil již jsem se zúčastnil usability testu jako testovaná osoba podílel jsem se na přípravě a uskutečnění usability testu
17%
0%
Četnost 15 3 0
nikdy jsem se žádného nezúčastnil již jsem se zúčastnil usability testu jako testovaná osoba 83% podílel jsem se na přípravě a uskutečnění usability testu
9) Jak hodnotíte poskytnuté informace v předpovědi počasí? Oznámkujte jej jako ve škole.
Odpověď 1 2 3 4 5
Četnost 7 7 3 1 0
6
6% 0%
17%
1 38%
2 3 4 5
39%
10) Ohodnoťte informační grafiku předpovědi počasí.
Odpověď 1 2 3 4 5
Četnost 4 9 4 1 0
6% 0%
22%
22%
1 2 3 4
50%
5
11) Co by bylo dobré změnit nebo vylepšit na předpovědi počasí? Odpověď Uvítala bych informace o aktuálním počasí pro celou Evropu. Asi trochu vylepšit tu grafiku té paní a pak se zaměřit na informace, které si člověk nemůže přečíst na obrazovce, aby to jen neopakovala... Není co zlepšovat. Moc dlouho mluví na začátku (takové ty uvítací řečičky), než začne mluvit o počasí - nikoho dnes nezajímají začáteční řečičky, dnes je rychlá doba. Celá ta osoba působí v kontrastu s mapou malinko neohrabaně a uměle. Sarah by potřebovala víc přirozených tvarů a vylepšit hlas.. Nic mě nenapadá. Informace jsou v pořádku. Vylepšete grafiku Sarah a bude to ok. Plynulý pohyb rosničky. V některých momentech není dobře rozumět. Přechod moderátorky bych doporučil udělat nějakým efektem (třeba fade-out), takhle to ošklivě přeskočí . Rozsáhlejší informace o počasí. Zlepšit pozadí, je moc statické. Chce to nějaké dynamické prvky.
7
Možná přidat takové ty biometeorologické předpovědi, ozon, tlak vzduchu, ale mně osobně to tam nechybělo. Více specifické a srozumitelnější Přemísťování Sarah by mohlo být plynulejší. Možná by mohla být lépe vidět mapa - občas má dáma tlusté sklo. :o)
12) Jak hodnotíte poskytnuté informace u hlášení dopravní situace?
Odpověď 1 2 3 4 5
Četnost 7 9 1 1 0
6%
1
6% 0% 39%
2 3 4
49%
5
13) Ohodnoťte informační grafiku hlášení dopravní situace.
Odpověď 1 2 3 4 5
Četnost 3 8 6 0 1
0% 6%
17%
1 2
33%
3 4 44%
8
5
14) Co by bylo dobré změnit nebo vylepšit na hlášení dopravní situace?
Odpověď Neomezit se pouze na Prahu, ale shrnout situaci v celé ČR. Ten se mi zdál v pohodě. Zas jen tu grafiku. Hezčí holku :-) Chyběla mi informace o objezdových cestách. Nebylo by dobré říci, kudy ty bouračky a zácpy nejlépe objet? Mapky výborné, ale nebylo by možné výsek mapy nejprve lokalizovat na mapě celé Prahy? /jako že tam bude mapka Prahy, kde bude tečka, na které bude vidět, kde tak ten daný dopravní problém je/. Toto jsou připomínky NePražáka... Sarah by potřebovala víc přirozených tvarů a zlepšit hlas. Oznamovací tabulku na pravé straně přesunout k oznamovací tabulce na levé straně a Sarah přesunout doprava. Sarah. Vylepšit grafické prostředí, je poměrně strohé. Zde bych infografiku obohatil. Například upozornění na nehodu může být označeno vykřičníkem namísto bílého obdélníku. A opět není moderátorce chvílemi rozumět, ale to může být chyba jinde ;) Méně mrtvých :-) Grafika není moc pěkná. Chybí dynamika... Nesedlo mi pozadí a divné značky pod mapami.
15) Jak hodnotíte poskytnuté informace o projektu Talking Head ala Weather Man?
Odpověď 1 2 3 4 5
Četnost 5 7 5 1 0
6% 0%
28%
28%
1 2 3 4
38%
9
5
16) Ohodnoťte informační grafiku prezentace projektu Talking Head ala Weather Man.
Odpověď 1 2 3 4 5
Četnost 5 10 3 0 0
0% 0% 17%
1 2
28%
3 4 5 55%
17) Co by bylo dobré změnit nebo vylepšit na prezentaci s informacemi o projektu?
Odpověď Nechala bych to tak, jak to je. Je to v pohodě,už se i víc hýbe. Je jí i celkem dobře rozumět. Uvítal bych informaci o tom, k čemu vlastně celý projekt slouží. Jaksi mi chybělo, k čemu to vlastně tak bude sloužit... /jinak dřepy umí pěkně..../ Sarah by potřebovala víc přirozených tvarů a vylepšit hlas.. Nic mě nenapadá. Sarah. Tady mě nic nenapadá, mává, cvičí, to je pěkný :) Vtipná prezentace :-) Bohužel opět velmi slabá grafika na pozadí. Pozadí příliš statické, text a loga by mohla být v lepší kvalitě, antialiasing a tak... Více podrobností o něm a na co je to vlastně dobrý. Více informací.
18) Jak byl pro Vás verbální projev Sarah srozumitelný? Odpověď 1 2 3 4 5
Četnost 3 8 5 1 1
10
6%
6%
17%
1 2 3
28%
4 43%
5
19) Co Vám na slovním projevu Sarah vadilo?
Odpověď Nic, ona je jedna z mála lidí, kteří mluví anglicky a já rozumím. Asi nic. Verbální projev je jednoznačně srozumitelný. Hlas zněl velmi strojově - skoro jako by to byl pan Sarah, ale to pak nesedí ta prsa....že by travestita? Angličtina. Musí být více přirozená. Hlas stále působí dosti bzučivě. Monotónnost. Kovový zvuk hlasu. Předpovědi počasí ani dopravní situace v angličtině nesleduji, ale chvílemi mi přišlo, že mluví nepřirozeně (větné konstrukce, které se takto nepoužívají). A občas nebylo rozumět (nepočítám názvy a jména), ale občas spojuje předložky se slovama (to jsou prostě místa, kde jsem se nechytal). Občas jí není vůbec rozumět. Používání příliš emočně zabavujících výrazů při hlášení dopravní situace, huhňání. Strašná umělost. Není jí moc rozumět. Nic. Bylo jí dobře rozumět.
20) Jak hodnotíte neverbální projev Sarah – výrazy obličeje, pohyb postavy, …
Odpověď 1 2 3 4 5
Četnost 0 6 10 2 0
11
0% 11%
0% 33%
1 2 3 4
56%
5
21) Co Vám na neverbálním projevu vadilo resp. chybělo?
Odpověď Nebylo by špatné, kdyby se Sarah občas prošla. Docela trhané pohyby. Špatná grafika. Pohyb je přeci jen strojený, Sarah by mohla například přecházet z kraje obrazovky na prostředek a nemusel se používat střih - ale to asi bude trošičku náročné, že? :-) Jenom trošku umělé, ale tak to asi býti musí... Více přirozených pohybů to chce. Postava působí strnule. Přirozenější pohyb. V detailu to vypadá, že Sáře chybí zuby. Ale možná je to dané kompresí a tu a tam nějaký pixel vypadne). Opět je moc statická. Gesta obličeje a pohyb hlavy je celkem OK, ale tělo se moc nehýbe. Asi za to může komprese, ale mimiku jsem příliš nepozoroval. A určitě by bylo lepší zapojit do pohybu i spodní část těla. Při gestikulaci by se mohla lehce natáčet na stranu (ale to by možná vypadalo blbě, nevím). Nepřirozené, křečovité. U počasí více gest. Plynulejší pohyb celé postavy.
22) Jak se vám líbí vzhled moderátorky?
Odpověď 1 2 3 4 5
Četnost 4 3 8 2 1
12
11%
6%
22%
1 2 3 17%
44%
4 5
23) Co byste na jejím vzhledu vylepšili?
Odpověď Mohla by si pořídit něco na krk, mám na mysli náhrdelník, korále, ... Co se týče oblečení, trocha barev by rozhodně neuškodila. Hezčí dívka, menší zadek, větší prsa. Myslím,že vhled nemá chybu. Dlouhé vlasy. Lépe nasvítit postavu - zejména ruce, které jsou zepředu skoro černé. Postavu. 90-60-90 :) Barevnější oblečení? :) Na těle by se určitě dalo ještě hodně zapracovat, nevypadá moc pěkně. Lepe vymodelovat prsa:] Všechno :-D Vylepšení tvaru prs. Ty jsou strašný. Na mě byla příliš anglicky vypadající - konzervativní. Možná by ji měla nahradit nějaká mladice! :o)
24) Preferujete raději muže nebo ženu v roli moderátora/moderátorky?
Odpověď muže ženu je mi to jedno
Četnost 0 6 12
13
0% 33%
muže ženu je mi to jedno
67%
25) Dovedete si představit Sarah jako náhradu živých osob poskytujících užitečné informace (hlášení počasí, dopravy, atd.) ?
Odpověď ano ne možná jiné, prosím upřesněte…
Četnost 4 2 10 2
11%
22% ano ne 11% možná
56%
jiné, prosím upřesněte…
Jiné: • •
U hlášení počasí určitě ne, živé osoby jsou zatím přece jen lepší, v jiných případech možná ano. Zatím ještě ne :]
26) K čemu by se podle Vás dala testovaná aplikace ještě použít mimo hlášení počasí a dopravy?
Odpověď Napadají mě jen televizní hlasatelé, ale ty už také zrušili... Nevím. Mohla by uvádět televizní pořady či upoutávky na filmy. Co třeba rady turistům, kde najdou záchody, památky. Mám na mysl prezentaci hlavních památek ve městě, když tam přijde nějaký cizinec a bude se chtít dozvědět, co může navštívit...
14
Jako tlumočnice do znakové řeči. Třeba k moderování televizních pořadů. Průvodce ovládáním aplikací apod. Napadá mě náhrada kancelářské sponky v MS Office :-D Na předčítání zpráv na internetu, případně pro nějaké legrácky na humoristických webech. K zaplnění prázdného disku. Třeba by mohla nahradit psanou formu nápovědy u programů.
27) Jak se Vám líbil tento usability test?
Odpověď 1 2 3 4 5
Četnost 6 6 4 2 0
11%
0% 34%
22%
1 2 3 4
33%
5
28) Co byste na tomto testu zlepšil(a)?
Odpověď Zrušila bych otázku č.28. Nemohu hodnotit, můj první test. Nic mě nenapadá. Nic. Rozhodně kvalitnější videa s lepším obrazem a zvukem. Takto se člověk musí ohlížet na případné nedostatky způsobené kompresí. Dát k dispozici videa v lepší kvalitě, případně poskytnout k otestování skutečnou aplikaci.
15
8. Vyhodnocení výsledků Prvních 8 otázek z dotazníku se více či méně týkalo samotné testované osoby. Původní záměr byl získat doplňkovou informaci o tom, zda se nějak výrazněji liší názory na virtuálního moderátora například ve skupinách s různým zaměřením (humanitní vs. technické). Bohužel vzorků není dostatečné množství na to, aby se daly takto jemněji dělit a dále z nich vyvozovat další závěry. Otázky 9 - 17 s týkaly jednotlivých scénářů.Ke každému scénáři byli 3 otázky. První se týkala míry informací poskytnutých ve scénáři, druhá grafického pozadí a třetí otázka byl dotaz na to co se testované osobě na scénáři nelíbilo a co by bylo třeba vylepšit. Otázky týkající se scénáře s předpovědí počasí dopadly následujícím způsobem. Informační hodnotu tohoto scénáře hodnotila většina hodnotících vesměs pozitivně. Někteří dotazovaní by nicméně uvítali i informace o počasí v Evropě, což pro daný scénář nebylo klíčové, ale pro případné vytváření nového scénáře s předpovědí počasí je to podmětná poznámka. Podstatně hůře dopadlo hodnocení grafické stránky scénáře s předpovědí počasí. Asi nejvíce negativních ohlasů bylo namířeno proti rušivému "přeskočení" avatara doprostřed obrazovky a zase zpět. Odstranit by se tento neduh dal více způsoby. Například vytvořením speciálního pohybu "úkrok stranou", což je ale zbytečně specifický pohyb, který by v jiných scénářích už nemusel najít uplatnění. Jiný způsob vedoucí k odstranění problému by bylo umožnění plynulého přechodu avatara při změně polohy. Tento plynulý přechod by mohl být závislý na atributu v XML jazyce, který by byl použit při změně polohy avatara. Další nedostatek ve scénáři "Předpověď počasí" viděli dotazovaní ve statickém pozadí aplikace. Možná by stálo za pokus implementovat na pozadí přehrávání krátkých videosekvencí. Scénář s informacemi o Pražské dopravě dopadl velmi podobně jako scénář o počasí. Informační složka byla hodnocena víceméně pozitivně a grafická složka jako průměr. Mnohým respondentům se příliž nelíbilo grafické pozadí, které jsme vybrali pro informace o dopravě. Příště zkrátka vybereme jiné. Jedna testovaná osoba, ale vyslovila názor, že by bylo vhodné přesunout okno s textem doprostřed a avatera na levý kraj, aby informace (mapa a text) byly pohromadě. Bohužel na problém s pohybem s textovým boxem jsme narazili i my při vytváření scénáře. Textové okno je umístěno pevně a nelze s ním pomocí skriptu pohybovat a navíc ani nelze jakkoliv měnit velikost fontu, který jsme potřebovali upravit, kvůli změně velikosti okna aplikace. Bylo by tedy dobré doplnit atributy textboxu o možnost určit polohu tohoto boxu a možnost měnit velikost fontu alespoň staticky. Poslední scénář se týkal krátkého představení Sarah s novým tělem a několik maličkostí o projektu Talking Head. Zde by většina respondentů uvítala trochu obsáhlejší informace o projektu. Pro příště nemáme být tak struční. Naopak co se týče grafické stránky, tato dopadla mnohem lépe než předchozí scénáře. Je to zřejmě dáno tím, že se avatar více hýbe a je o něco dynamičtější než v předchozích scénářích. Otázky 18 - 25 se týkaly celkového dojmu ze Sarah ( jméno avatara ), jejího verbálního a neverbálního projevu, vzhledu a dalších možností použití aplikace. Velmi zajímavá byla otázka o verbálním projevu Sarah. Zatímco jedna polovina dotazovaných její, byť trochu kostrbaté, mluvě rozuměla velmi dobře a byla s ní vcelku spokojena, druhá rozuměla velmi špatně a požadovala pokud možno okamžité zlepšení projevu. Z usability testů, které byly provedeny již dříve vyplývá, že je více těch, kteří rozumí hůře a bylo by tedy vhodné pokusit se o nápravu.
16
Neverbální projev Sarah byl kritizován ještě více a intenzivněji než projev verbální. Co se týče hodnocení tohoto projevu, byl označen spíše jako podpůměrný. Většině se Sarah zdála příliš statická a mnozí by byli rádi, kdyby se Sarah po scéně prošla. Pokud se Sarah hýbala, označili respondenti tento pohyb jako nepřirozený. Výtky ohledně pohybu Sarah se objevovaly už u jednotlivých scénářů, včetně jejího "poskakování" po obrazovce. V tomto ohledu je tedy na aplikaci ještě stále co zlepšovat. Zejména v oblasti jednotlivých pohybů. Vzhled virtuální moderátorky byl hodnocen velmi podobně jako neverbální projev - průměrný až podprůměrný. Zde padlo nejvíce kritiky stran jejího tvaru poprsí (pouze muži) a postavy jako celku. Dále se objevilo několik negativních ohlasů na barvu jejího oblečení a módních doplňků (ženy). Je tedy zkrátka třeba na modelu postavy ještě řádně zapracovat. Velmi nás pak zajímali odpovědi na otázku: "Dovedete si představit Sarah jako náhradu živých osob poskytujících užitečné informace (hlášení počasí, dopravy, atd.) ?". Pouze 4 dotazovaní by si ji dovedli představit jako náhradu živých osob, 2 rozhodně ne a zbytek je na rozpacích. Zřejmě Sarah ještě nedosahuje takových kvalit, aby přesvědčila veřejnost o svém potenciálu. Otázka č. 26 prověřila představivost respondentů na použití aplikace Talking Head. Asi nejvíce by si ji testované osoby dovedly představit jako nápovědu, nebo průvodce různých programů. Dále by si ji představily jako turistického průvodce nebo moderátorku pořadů. Asi nejzajímavější nápad byl použít Sarah jako překladatelku do znakové řeči, ale tento nápad nebude, dle našeho názoru, příliš užitečný, neboť do znakové řeči se překládá mluvené slovo, které neslyšící nemohou slyšet a pokud je něco v textové podobě, je celkem zbytečné, aby se toto překládalo do znakové řeči.
9. Návrhy na zlepšení aplikace (shrnutí)
1) Možnost plynulého přechodu avatara při změně polohy avatara. Bylo by dobré, aby byl umožněn plynulý přechod avatara z místa na místo. Nejlépe pomocí nového atributu v XML jazyce, který by pro již stávající atributy head_x, head_y elementu gesture inicioval plynulý přechod do nové polohy. 2) Možnost přehrávání videosekvencí na pozadí. Když bude možné přehrávat videa na pozadí, stanou se některé prezentace dynamičtější a tudíž i divácky atraktivnější. 3) Možnost určit polohu texboxu a možnost měnit velikost fontu v texboxu. Texboxu by se výrazně zvýšila použitelnost. 4) Upravit strojovou mluvu Sarah. 5) Vylepšit model postavy. Postava je místy disproporcionální a kostrbatá.
17
10. Závěr Tento usability test projektu Talking Head sice nebyl zcela klasický usability testem, ale přesto splnil svůj účel. Odhalil některé chyby, které nelze přejít pouze s tím, že by lidem při použití aplikace nemusely vadit. Zjistil také, že lidé by byli ochotni přijmout virtuálního moderátora namísto živého, ale tento by musel být o mnoho dokonalejší než je stávající Sarah. Mnohé je tedy třeba ještě zlepšit, ale každopádně, tento projekt má budoucnost. Velký prostor pro vylepšování aplikace Talking Head je interakce s prostředím. Mohla by zde být například možnost pozastavit přehrávání XML scénáře, nebo možnost jeho opakování. V tomto bodě máme dojem, že řešení client/server není z nejšťastnějších. Pokud by například program sloužil jako virtuální televize, měl by se program dotázat na příslušný server, zda jsou k dispozici nové zprávy v podobě XML scénáře. Tento scénář pak případně stáhnout včetně fotografií a videí k dokreslení atmosféry a lokálně zprávu přehrát. To vše je ovšem zatím hudba budoucnosti. Prozatím je vhodné se soustředit na opravu a vylepšení chyb, na které upozornil tento test.
18
11. Zdroje 1)
Internetové stránky počasí ČT, http://www.ct24.cz/pocasi/.
2)
Starší usability testy aplikace Talking Head, http://ibm-cvut.felk.cvut.cz/~theadusab06/thead4/.
12. Seznam příloh 1)
Příloha A – Dotazník.
2)
Příloha B - Archiv s testovací aplikací a scénáři (DISTRIBUTE.zip).
3)
Příloha C - Archiv s testovacími videozáznamy (VIDEO.zip).
19
Příloha A - Dotazník 1) Jsem muž
žena
2) Považuji se za introverta
extroverta
3) Moje zaměření je humanitní
technické
4) Svoji znalost angličtiny hodnotím anglicky vůbec neumím na škole jsem se učil(a) rozumím, ale nemluvím dorozumím se umím, běžně angličtinu používám
5) Pracuji vůbec manuální práce v oblasti IT v administrativní sféře jsem vedoucí pracovník jsem podnikatel student jiné, prosím upřesněte: ......................
6) Většinou pracuji v terénu doma ve své kanceláři sám/sama v místnosti s více spolupracovníky
7) Počítač používám co to je? nevyužívám vůbec sem tam na něco běžně jádro mé práce spočívá v práci na PC
8) Moje předchozí zkušenosti s usability testy jsou nikdy jsem se žádného nezúčastnil již jsem se zúčastnil usability testu jako testovaná osoba podílel jsem se na přípravě a uskutečnění usability testu
9) Jak hodnotíte poskytnuté informace v předpovědi počasí? Oznámkujte jej jako ve škole. 1
2
3
4
5
10) Ohodnoťte informační grafiku předpovědi počasí. 1
2
3
4
5
11) Co by bylo dobré změnit nebo vylepšit na předpovědi počasí?
12) Jak hodnotíte poskytnuté informace u hlášení dopravní situace? 1
2
3
4
5
13) Ohodnoťte informační grafiku hlášení dopravní situace. 1
2
3
4
5
14) Co by bylo dobré změnit nebo vylepšit na hlášení dopravní situace?
15) Jak hodnotíte poskytnuté informace o projektu Talking Head ala Weather Man? 1
2
3
4
5
16) Ohodnoťte informační grafiku prezentace projektu Talking Head ala Weather Man. 1
2
3
4
5
17) Co by bylo dobré změnit nebo vylepšit na prezentaci s informacemi o projektu?
18) Jak byl pro Vás verbální projev Sarah srozumitelný? 1
2
3
4
5
19) Co Vám na slovním projevu Sarah vadilo?
20) Jak hodnotíte neverbální projev Sarah – výrazy obličeje, pohyb postavy, … 1
2
3
4
5
21) Co Vám na neverbálním projevu vadilo resp. chybělo?
22) Jak se vám líbí vzhled moderátorky? 1
2
3
4
5
23) Co byste na jejím vzhledu vylepšili?
24) Preferujete raději muže nebo ženu v roli moderátora/moderátorky? muže
ženu
je mi to jedno
25) Dovedete si představit Sarah jako náhradu živých osob poskytujících užitečné informace (hlášení počasí, dopravy, atd.) ? ano ne možná jiné, prosím upřesněte: …………………………
26) K čemu by se podle Vás dala testovaná aplikace ještě použít mimo hlášení počasí a dopravy?
27) Jak se Vám líbil tento usability test? 1
2
3
4
28) Co byste na tomto testu zlepšil(a)?
5
