Testování uživatelských rozhraní 2011 ČVUT FEL
DeepBurner Free 1.9 Testování uživatelského rozhraní s uživateli Deliverable B1 – TUR 2011
Daniel Mikeš Tomáš Pastýřík Ondřej Pánek Jiří Šebek
Testování uživatelských rozhraní 2011 ČVUT FEL
Obsah 1
Cílová skupina .................................................................................................................... 3 1.1
Způsob a výběr participantů ........................................................................................ 3
1.2
Popis výsledné skupiny participantů ........................................................................... 4
2
Popis úkolu pro participanty ............................................................................................... 6
3
Dotazník před testem .......................................................................................................... 7
4
Dotazník po testu ................................................................................................................ 8
5
Průběh testování .................................................................................................................. 9 5.1
Testovací log................................................................................................................ 9
5.1.1
Participant 1 ....................................................................................................... 9
5.1.2
Participant 2 ..................................................................................................... 10
5.1.3
Participant 3 ..................................................................................................... 11
5.1.4
Participant 4 ..................................................................................................... 12
5.1.5
Participant 5 ..................................................................................................... 13
Testování uživatelských rozhraní 2011 ČVUT FEL
1 CÍLOVÁ SKUPINA Vzhledem k faktu, že vypalování dat na přenositelná média patří dnes mezi běžné činnosti z oblasti práce s počítačem, nebyl tento test zaměřen výlučně na uživatele technického vzdělání. Typickým potenciálním uživatelem vypalovacího software je člověk, který vlastní velké množství dat, jež jsou třeba zálohovat. Test byl v tomto případě směrován na mladé lidi ve věku 20-25 let, u kterých se všeobecně předpokládá práce a interakce s vyšším množstvím dat.
1.1 ZPŮSOB A VÝBĚR PARTICIPANTŮ Pro věrohodnost výsledků bylo nutné do testu zapojit alespoň pět uživatelů. Každý z potenciálních participantů musel nejdříve vyplnit dotazník tzv. screener, na základě kterého pak byla vybrána skupina pěti lidí vhodná pro náš test. Screener obsahoval pět otázek, které jsou popsány níže včetně důvodu jejich zvolení. 1. Pohlaví o muž o žena Důvodem výběru této otázky byl náš cíl získat vyrovnaný počet mužů a žen, tzn. buď 3 muže a 2 ženy nebo naopak.
o o o o
2. Věk – 19 20 – 22 22 – 25 26 –
Jak již bylo řečeno v úvodu, do cílové skupiny testu patří lidé ve věku 20-25 let. Smysl této otázky je tedy odfiltrování potenciálních účastníků nižšího a vyššího věku než toto rozmezí.
o o
3. Studujete vysokou školu technického zaměření? ano ne
Cílem tohoto dotazu bylo získat rovnováhu mezi technicky a netechnicky vzdělanými participanty. Zajímalo nás totiž, zda se vyšší technická vzdělanost určitým způsobem projeví při používání vypalovacího software. 4. Jak často vypalujete CD/DVD? o týdně o měsíčně o jednou za půl roku
Testování uživatelských rozhraní 2011 ČVUT FEL o
méně
Tato otázka měla za úkol vyřadit z potenciálních participantů ty uživatele, kteří vypalují velmi často. Možnost týdně by tedy nepřipadalo vzhledem k našemu testu v úvahu. Další možnost měsíčně by byla akceptována jen u jednoho z účastníků. Zbytek participantů by se měl s vypalovacím software setkávat maximálně v půlročních intervalech.
o o o o
5. Jaký software používáte k vypalování dat? Ashampoo Burning Studio CDBurnerXP DeepBurner jiný
Poslední otázka screeneru měla za cíl jediné – vyloučit potenciální participanty, kteří již používají námi testovaný software, tedy DeepBurner. Na základě screeneru bychom tedy měli získat skupinu lidí vyrovnanou z pohledu pohlaví a technického vzdělání, jejichž věk se nachází v rozmezí 20 – 25 let, a kteří se všeobecně nevěnují často vypalování.
1.2 POPIS VÝSLEDNÉ SKUPINY PARTICIPANTŮ Podle screeneru byla určena požadovaná cílová skupina. Z screenovaných účastníků se nám podařilo vybrat nejvhodnějších pět participantů. 1. Pohlaví o muž [2x] o žena [3x] Podařilo se nám vybrat téměř polovinu mužů a polovinu žen – což dobře reprezentovalo požadovaný vzorek.
o o o o
2. Věk – 19 [0x] 20 – 22 [1x] 22 – 25 [4x] 26 – [0x]
Screenovaní účastníci byli všichni v požadované věkové kategorii, tudíž nám tato otázka nevyfiltrovala žádné účastníky. 3. Studujete vysokou školu technického zaměření? o ano [2x] o ne [3x]
Testování uživatelských rozhraní 2011 ČVUT FEL U těchto participantů se nám opět podařilo najít požadovanou rovnováhu.
o o o o
4. Jak často vypalujete CD/DVD? týdně [0x] měsíčně [1x] jednou za půl roku [1x] méně [3x]
Jak již bylo řečeno, požadavek byl nalézt lidi, kteří pravidelně nevypalují, což se opět podařilo – vzorek byl však obohacen o menšinu, která vypalovala častěji.
o o o o
5. Jaký software používáte k vypalování dat? Ashampoo Burning Studio [1x] CDBurnerXP [0x] DeepBurner [0x] jiný [4x]
Zde byli odpovědi poměrně stejné. Žádný ze screenovaných účastníku neměl zkušenosti s testovaným produktem.
Testování uživatelských rozhraní 2011 ČVUT FEL
2 POPIS ÚKOLU PRO PARTICIPANTY Participanti byli seznámeni s úkoly pomocí papíru, který si mohli kdykoli během testu číst. Participantům bylo vysvětleno, kde naleznou soubory, s kterými se bude v jednotlivých úkolech pracovat. 1. Vypálit soubor (soubory) na disku Moderátor vám dodá RW CD (přepisovatelný disk). Vložte disk do CD mechaniky počítače. V pracovní složce se nachází 2 soubory (file.txt a picture.jpg). Oba soubory vypalte (nahrajte) na daný disk. Tento úkol byl vybrán proto, že se jedná o nejčastější případ užití vypalovacích softwarů. 2. Smazat přepisovatelný disk Smažte obsah přepisovatelného disku z předešlého kroku. 3. Vytvořit image z disku Moderátor vám dodá další disk, na kterém jsou nahrána data. Tato data převeďte do formátu ISO a uložte (vypalte) do pracovní složky na počítači. Soubor pojmenujte "image1". Formát ISO se někdy označuje jako ISO Obraz, protože se jedná o přesný obraz dat na disku, která jsou zabalené do jednoho souboru. 4. Vypálit CD dle ISO image na disku Uložený ISO obraz z předešlého kroku vypalte na prázdné RW CD. Ujistěte se, že po vypálení nebude soubor smazán. Vyjměte disk. Tento úkol byl vybrán za účelem otestování, zda je uživatelům tohoto softwaru srozumitelné, že je zde rozdíl mezi vypálením dat a vypálením ISO obrazu.
Testování uživatelských rozhraní 2011 ČVUT FEL
3 DOTAZNÍK PŘED TESTEM Dotazník před testem sloužil v našem případě ke sběru dat o zkušenostech participanta v této oblasti. Nesloužil již k vyfiltrování požadovaných participantů. Tento dotazník byl předkládán přímo před testem. Z hlediska analýzy a užitečnosti tohoto dotazníku jsme zvolili několik jednoduchých a cílených otázek, které nám dotvořily představu o uživatelově zkušenosti s vypalováním médií. Tyto otázky jsou uvedeny níže, u každé je pod ní uveden také důvod, proč byla uvedena. 1. Setkali jste se někdy s tímto nástrojem - vypalovacím softwarem DeepBurner? o Ano o Ne Tato otázka zásadně ovlivňuje analýzu testu – zda participant již software zná, či nikoliv. 2.
Co nejčastěji vypalujete na CD/DVD či jiné nosiče? Otázka čistě sbírající data, z hlediska analýzy testu není důležitá, takových otázek by nemělo být v dotazníku mnoho, nejlépe žádná.
3.
Jaký software k vypalování používáte? Je podstatné pro odhalení důvodů např. odlišného chování patricipanta v programu DeepBurner – je pravděpodobně zvyklý na něco jiného.
4.
Používáte i přepisovatelná média? Případně k čemu? Protože v testu byla použita právě přepisovatelná média. Pokud uživatel taková média nezná, bude průběh testu např. u mazání media tímto ovlivněn.
Tabulka 1: Odpovědí na dotazník před testem
# Participant
Otázka č. 1
Otázka č. 2
Otázka č. 3
Otázka č. 4
1
Ne
Hudební soubory, CD
Nero
Nepoužívám
2
Ne
Hudba
Nero
Vypalování hudby
3
Ne
Data, Film
Nero
Data, Filmy
4
Ne
Fotky, Filmy
Nero
Ne
5
Ne
Hudbu, filmy, fotky
Nero
Ne
Testování uživatelských rozhraní 2011 ČVUT FEL
4 DOTAZNÍK PO TESTU Po vypracování všech úkolů je participantovi předložen post-test dotazník. Ten obsahuje otázky, které zjistí, jak byl participant s daným softwarem spokojen, s čím měl problém a s čím ne. 1. Ohodnoťte aplikaci od 1 do 4. (1 – nejlepší, 2 – lepší průměr, 3 – horší průměr, 4 – nejhorší) První otázka se soustřeďuje na hodnocení software. Otázka byla úmyslně položena obecně, aby participant mohl do tohoto hodnocení zahrnout vše, s čím měl po dobu testování zkušenosti. 2. Uvažujete nyní o používání této aplikace? Doporučil/a byste aplikaci svým známým? Druhá otázka zjišťuje, zda by si participant software případně zakoupil. Není totiž vyloučené, že i když ovládání programu není perfektní, uživatel si jej nezakoupí. Například pro jeho dobré funkce či jiné vlastnosti, které jiný software neposkytuje. 3. Který z úkolů se Vám zdál jednoduchý? Třetí otázka konkrétně zjišťuje, který úkol participantovi nečinil potíže. Z této informace se dá odvodit, které případy užití jsou pro daného participanta dobře navrženy. 4. Který z úkolů se Vám zdál obtížný? Čtvrtá otázka měla za cíl zjistit, s jakým úkolem měl participant problém. To jsou totiž potenciální slabá místa softwaru. Důležité je říci, že cílem tohoto dotazníku je shrnout participantovy pocity z daného softwaru, nikoli však návrhy na jeho vylepšení. Tabulka 2: Odpovědi na post-test dotazník
# Participant
Otázka č. 1
Otázka č. 2
Otázka č. 3
Otázka č. 4
1
Lepší průměr
Ano
1
3
2
Horší průměr
Ne
2
3
3
Nejhorší
Ne
1
3
4
Horší průměr
Ne
žádný
3
5
Nejhorší
Ne
1
3, 4
Testování uživatelských rozhraní 2011 ČVUT FEL
5 PRŮBĚH TESTOVÁNÍ Testování proběhlo 18. 11. 2011 od 8.00 na Karlově náměstí.
5.1 TESTOVACÍ LOG Testovací log byl zaznamenáván na dvou zařízeních. V této správě je pro každého participanta vypsán pouze jeden log. Zbývající zápis je v příloze.
5.1.1 Participant 1 Čas Úkol 1 0:00:38 0:00:48 0:01:00 0:01:31 0:01:50 0:02:19 0:02:58 Úkol 2 0:04:42 0:05:52 Úkol 3 0:06:46 0:07:07 0:07:41 0:07:58 0:08:43 0:09:14 0:09:41 0:10:42 0:11:23 0:11:32 Úkol 4 0:12:41 0:13:26 0:14:02 0:14:34 0:15:09
Poznámka
Typ markeru
začátek testu participant si čte seznam úkolu zapíná software utváří projekt přidává soubory k vypáleni vypaluje disk ukol1 splněn smazal disk úkol 2 splněn vytvoření nového souboru participant se vrací k vytvářeni projektu nemůže najít funkci ISO soubor moderátor pomáha participant znovu vytváří data projekt místo Burner ISO přidává soubory do projektu zkouší funkci Save as participant nasel tlačítko uložit ISO ukládá ISO soubor úkol 3 splněn špatné porozumění zadání, vytváří Nový projekt data CD vytváří správný Nový soubor Burn ISO participant neví kde mí vzít data (ISO soubor) a kam uložit vypaluje ISO soubor úkol 4 splněn
X-Error X-Error H-User needs help X-Error Q-Quote/comment X-Error Q-Quote/comment Q-Quote/comment Q-Quote/comment X-Error
X-Error
Testování uživatelských rozhraní 2011 ČVUT FEL
5.1.2 Participant 2 Čas Úkol 1 0:01:16 0:02:04 Úkol 2 0:09:10 0:09:44 0:09:56 0:11:48 Úkol 3 0:00:24 0:02:03 0:02:24 0:10:39 Úkol 4 0:13:51 0:14:20 0:15:41 0:16:10 0:16:28 0:17:01 0:17:31 0:17:36
Poznámka
Typ markeru
vybírá soubory zapisuje na disk
P-Participant prompted P-Participant prompted
technické potíže prochází hlavni menu všímá tlačítka Vyčistit technické potíže
X-Error Q-Quote/comment
vybírá všechny 3 soubory najednou potvrzuje vypálení zjišťuje, že musí čekat na dokončení vypalování moderátor přechází k dalšímu úkolu
P-Participant prompted P-Participant prompted Q-Quote/comment
se snaží vypálit ISO image, ačkoli daný image nevytvořil přechází do nabídky Vytvořit CD úspěšně vytváří ISO soubor vkládá disk, na který bude vypalovat ISO se snaží najít možnost vypalováni ve stávající nabídce zavírá nabídku a zjišťuje ze se jedna o jiný typ projektu vybírá soubor zjišťuje že splnil úkol
X-Error
Testování uživatelských rozhraní 2011 ČVUT FEL
5.1.3 Participant 3 Čas Úkol 1 0:01:15
Poznámka
Typ markeru
vložení CD do mechaniky
QQuote/comment
0:01:55 0:02:01
spuštění softwaru vytvořeni projektu
0:02:49 0:03:11 0:03:47 0:04:08 0:04:51 Úkol 2 0:05:27 0:05:49 0:06:14 0:06:17 Úkol 3 0:07:37 0:08:00 0:08:34 0:08:43
nahrání souboru do projektu hledá jak vypálit CD, zkouší Add file nasel volbu zapsat disk začíná vypalovat ukončení vypalováni, úkol 1 splněn
0:08:58 0:09:48 0:10:30
opět vytváří projekt Burn ISO nemůže nalézt danou funkci a potřebuje pomoct od moderátora vytváří projekt Create Data
0:11:05
nasel funkci uložit ISO
0:11:24 Úkol 4 0:12:45 0:12:58 0:13:12
uložil ISO soubor, úkol 3 splněn
QQuote/comment
participant zavírá a znovu otevírá program participant hledá funkci Vyčistit CD čistí CD úkol 2 splněn participant vytvořil projekt Burn ISO nenalezl funkci pro vytvoreni ISO a zavřel projekt participant otevřel nápovědu hledá Create ISO
vytvořil projekt Burn ISO vypaluje ISO soubor na CD úkol 4 splněn
QQuote/comment X-Error H-User needs help QQuote/comment QQuote/comment
Testování uživatelských rozhraní 2011 ČVUT FEL
5.1.4 Participant 4 Čas 0:00:32 0:01:20 Úkol 1 0:03:07 0:03:58 0:04:04 0:05:19 0:05:26 0:05:31 0:05:37 0:06:05 0:06:17 Úkol 2 0:07:04 0:08:17 0:08:27 0:08:34 0:08:41 0:09:26 0:10:45 0:10:54 0:11:00 Úkol 3 0:00:44 0:01:50 0:02:12 0:02:22 0:03:20 0:03:59 0:04:08 0:04:24 0:04:50 0:05:03 0:05:15 0:05:23 0:06:25 0:06:44 0:06:56 0:08:04 0:08:29 Úkol 4 0:09:43 0:10:19 0:10:58 0:11:04 0:11:52
Poznámka Uživatel si čte zadání opravdu dlouho zasouvá cd vybírá nový projekt neví co je více-sektorový formát drag and drop souboru neví jak dál našla zapsat disk vypaluje leká se famfáry ukončuje úkol 1 neví co má dělat, nikde nemůže najít smazání cd zkouší to přes windows explorer projíždí celé menu nachází mazání čistí celý disk čeká se na vyčištěné disku ukončuje úkol 2 čte si zadání vkládá cd s daty mírná nápověda moderátora uživatel neví, jak má dokončit úkol proklikává položky menu vybírá vypálit ISO, což je špatně stále neví, prohledává menu pořád nic, konstatuje, že neví moderátor napovídá, že v položce nový již je na správné cestě vytváří více-sektorový disk proklikává možnosti samospouštění opět neví moderátor se snaží napovědět zadáním opět váhá pokouší se uložit prázdný obsah hledá data, ze kterých má vyrobit ISO úspěšně ukládá ISO soubor ale není si jistá, zda úkol správně dokončila zmatení a zavření programu moderátor popisuje úkol neví, co to znamená moderátor popisuje znovu úkol musí si znovu smazat cd
Testování uživatelských rozhraní 2011 ČVUT FEL
5.1.5 Participant 5 Čas Úkol 1 0:00:28 0:00:58 0:02:19 0:02:34 0:03:18 0:03:29 Úkol 2 0:05:15 0:05:18 0:05:27 0:09:08 0:01:03 0:02:53 Úkol 3 0:02:58 0:03:27 0:03:59 0:04:12 0:04:29 0:04:40 0:04:49 0:05:05 0:05:23 0:05:59 0:06:49 0:08:01 0:08:37 0:11:53 Úkol 4 0:12:45 0:12:54 0:13:56 0:14:05 0:14:11 0:15:08 0:15:16 0:15:23 0:15:38 0:15:42 0:16:41 0:17:21 0:17:30 0:17:48
Poznámka je zmaten z pozice zrušit neví co znamenají jednotlivé položky v volbě nový nemůže najít soubory, které má vypálit nachází je a po jednom přidává chce zapsat disk, cituji "vůbec neví" nachází zapisovat, vypaluje cd projíždí menu nalézá a rychle čistí čeká na výsledek nejde vysunout mechanika po zrušení čištění úkol 2 znovu, znovu dává rychlé čištění úspěšně provedeno nemůže najít kde vytvořit ISO neví co má dělat zkouší kontextová menu v exploreru znovu spouští aplikaci zkouší hledat v Burn ISO proklikává menu omylem otevírá nápovědu moderátor radí se zadáním uživatel shazuje aplikaci moderátor znovu radí, marně uživatel tápe v menu žádá si nápovědu vypaluje prázdné ISO myslí si že ukončila úkol neví co má dělat, vypíná aplikaci znovu ji zapíná dává Burn ISO image neví, jak vložit do aplikace image zkouší otevřít v horní menu prohlédává horní menu znovu zabíjí aplikaci znovu ji zapíná Burn ISO opět neví jak vložit obraz nervózně klepe myší o stůl nápověda moderátora nachází, kde se obraz zadává, ale není si jistá že je to ono uspěšně vypaluje ISO
