Test s uživatelem - Synkron

FEL ČVUT, let. 2011

Fabián, Kalíšek, Hoštička, Vrba

Test s uživatelem - Synkron

Odevzdání práce B2 vypracováno v rámci předmětu Testování uživatelského rozhraní v letním semestru 2011

Jan Fabián, Jan Kalíšek, Václav Hoštička, Michal Vrba

1


1


Úvod

Předmětem testování byla synchronizační aplikace Synkron. Ta slouží k udržování aktuálních verzí souborů, které jsou editovány na více místech. Synkron je ovšem možné využít i pro zálohování dat, což je dnes vcelku častá činnost i pro běžného uživatele. Test s uživatelem by měl odhalit, jestli je program správně navržen, co se týká přehlednosti, intuitivnosti a grafického zpracování. Na rozdíl od testu bez uživatele budou v tomto případě výsledkem data ověřená a potvrzená reálnými potencionálními uživateli.

2

Cílová skupina

Do cílové skupiny uživatelů patří studenti, zejména technických škol, u kterých lze očekávat potřeba synchronizace a zálohování dat. Jedná se tedy o uživatele technicky zdatnější. Základní práci s programem by však měl zvládnout i průměrný uživatel počítače, což bylo zohledněno i při výběru účastníků testu a to tak, že byl požadován jeden student netechnické školy.

3

Screener

K vybrání správného vzorku participantů slouží prvotní dotazník - screener. Má dvě části - veřejnou, tedy tu, se kterou přijde do styku potencionální participant, a neveřejnou, sloužící jako ukazatel ideálního rozvržení odpovědí. 3.1

Otázky screeneru (veřejná část) a počet požadovaných odpovědí (neveřejná část)

Studujete vysokou školu? Ano (5) Ne (0) Pokud ano, je technického zaměření? (případně otázku přeskočte) Ano (4) Ne (1) Používáte počítač? (ať už v práci, ke studiu nebo ve volném čase) Ano (5) Ne (0) Zálohujete data na svém počítači? Týdně (1) Měsíčně (2) Vůbec (2) Pokud ano, využíváte k tomu specializovaný software? (případně otázku přeskočte) Ano (1) Ne (4) Pokud participant vyhověl screeneru, byl pozván na samotné testování. Tomu předcházelo vyplnění Pre-test dotazník.

2


4


Pre-test dotazník

Když už víme, že je uživatel vhodný kandidát na testování, je potřeba o něm získat doplňující informace, které nám pomohou lépe analyzovat jeho chování při testu. 4.1

Pre-test dotazník

Setkali jste se někdy s pojmem synchronizování dat? Rozumíte tomu pojmu? Ztratili jste někdy data z důvodu nedostatečné zálohy? Co by podle Vás měla synchronizační aplikace umět?

5

Testování

Samotný test probíhal v Usability labu na ČVUT Karlově náměstí 13, Praha 2, 121 35. Laboratoř se skládá ze dvou oddělených místností. Sledovaná místnost je osazena dvěma kamerami, mikrofonem a jedním počítačem, na kterém participant testuje software (na obrázku vpravo). V druhé místnosti sedí skupina testerů, kteří sledují účastníka testu a logují vše podstatné, co se během testu stane. Zároveň se zde pořizují audiovizuální záznamy z kamer a záznam ze vzdálené plochy participanta. Použitý hardware   

Procesor 1,5GHz Operační pamě : 1 GB LCD 1 s rozlišením 12 0 x 1024 bodů.

Použitý software  

Morae program určený ke sledování participantů a logování jejich činností během testu Synkron testovaný program, pro synchronizaci dat na více místech

Během testu je naplánováno několik úloh korespondujících s účelem aplikace a cílovou skupinou. Moderátor, který je s participantem v jedné místnosti, ho před začátkem testu seznámí s těmito úlohami a poté vstupuje do průběhu testu už jen minimálně.

3

FEL ČVUT, let. 2011 5.1


Úlohy v testu

1

Instalace softwaru Synkron

2

Nastavení synchronizace 3 složek (~Desktop/TUR_test_Synkron)  slozka_1  slozka_2  slozka_3

3

Jednoduchá synchronizace a) ve složce slozka_1 vytvořte textový dokument pokus.txt a synchronizujte se zbylými složkami b) smažte pokus.txt ve slozka_2, který vznikl po synchronizaci, synchronizujte tak, aby obsah slozka_1 a slozka_3 byl stejný jako obsah slozka_2

4

Pokročilá synchronizace a) vytvořte ve složce slozka_1 textové dokumenty pokus1.txt a pokus2.txt b) synchronizujte složky c) do souboru slozka_1/pokus1.txt vložte text "testuji synchronizaci" a uložte d) smažte slozka_2/pokus2.txt e) synchronizujte obsah složek tak, aby obsah souboru slozka_1/pokus1.txt byl totožný i ve složkách slozka_2 a slozka_3 a zároveň, aby se smazal soubor pokus2.txt ve všech složkách

5.2 5.2.1

Odůvodnění vybraných úkolů Instalace

Instalace programu patří k nezbytným úkonům, které je třeba zvládnout s každou aplikací. 5.2.2

Nastavení synchronizace

A už chce uživatel provádět jakoukoliv synchronizaci s programem Synkron, předchází tomu nastavení jednotlivých složek, které se budou synchronizovat. Proto byl vybrán tento úkol k testování. K velmi častým použitím synchronizačních aplikací patří i synchronizování přes více složek, proto bylo do úkolu zahrnuto i přidání další složky. 5.2.3

Jednoduchá synchronizace

V první části tohoto úkolu je cílem demonstrovat nejjednodušší provedení synchronizace dvou vedlejších složek podle první složky, hlavní. V druhé části musí uživatel synchronizovat podle druhé složky. Tento úkol byl zvolen proto, aby se ukázalo, zda bude uživatel schopný najít vysunovací menu, kde nastaví hlavní a vedlejší složky.

4

FEL ČVUT, let. 2011 5.2.4


Pokročilá synchronizace

V první části čtvrtého úkolu sestavuje účastník testu nejprve adresářovou strukturu. K tomu používá obyčejnou práci se soubory (vytváření, mazání) a i jednoduchou synchronizaci (známou z předchozího úkolu). Cílem druhé části tohoto úkolu bylo, aby uživatel pochopil, že musí aktualizovat jen existující soubory a tuto volbu našel v levém vysunovacím menu a zaškrtnul ji. 5.3 Post-test dotazník Jakmile účastník dokončí všechny úlohy, je s ním proveden závěrečný post-test dotazník, kde participant sdělí své dojmy z aplikace. Tento dotazník by měl zodpovědět otázky, jak se participant cítil při používání Synkronu, s čím byl a s čím nebyl spokojen. Zde je potřeba vyslechnout participanta a správným způsobem filtrovat informace. Zde nás totiž zajímá jen to, co bylo a nebylo podle participanta špatně, návrhy na vylepšení nejsou cílem tohoto dotazníku.

Oznámkujte aplikaci (stupnice 1 (nejlepší) – 5 (nejhorší)) S čím jste byl/a spokojen/a ? S čím jste nebyl/a spokojen/a ? Doporučil/a byste aplikaci známým, případně sami zvažujete její další užívání?

6

Průběh testování

6.1 Popis skupiny V našem testu se jednalo o skupinu 5 vysokoškoláků. Čtyři z nich studují technickou školu, pátý participant právnickou fakultu. Všichni pracují s počítačem denně, můžeme je tedy považovat za zkušené uživatele. Co se týká synchronizace dat na svém počítači, odpovídali participanti až na jednoho negativně, někteří ale svá data zálohují, nicméně jen jeden k tomu využívá software. Tato skupina se dá považovat za vzorek lidí, kteří se k Synkronu mohou dostat a využívat ho.

6.2 6.2.1

Participant 1 Analýza uživatele podle pre-test dotazníku a screeneru

Student ČVUT, který se s pojmem synchronizace již setkal v jiném kontextu. Ví tedy, co si pod tímto pojmem představit, synchronizaci dat ale ještě nikdy neprováděl. Zároveň zatím data sofistikovaněji než copy-paste ani nezálohoval, do teď totiž o žádná nepřišel, takže, dle svých slov, neměl důvod. Kdyby si měl synchronizační aplikaci vybrat, očekával by od ní uživatelskou přívětivost a podporu nebo průvodce pro uživatele, který toho o synchronizaci moc neví.

5

FEL ČVUT, let. 2011 6.2.2


Průběh session

Participant si s instalací programu poradil bez zaváhání. [úkol: Instalace] Při nastavování synchronizace tří složek úspěšně zvolil první dvě složky. Přidání třetí složky se stalo pro participanta neřešitelným úkolem, jelikož si nevšiml tlačítka pro přidání dalších složek k synchronizaci, které mu nakonec odhalil moderátor. [úkol: Nastavení synchronizace] Po vytvoření souboru v prvním adresáři synchronizoval složky. Po smázání souboru ve druhé složce se mu nepodařilo synchronizovat složky s hlavní prioritou druhé složky, což vyplynulo z nepromyšlení logiky úkolu. Na druhý pokus bez problémů nalezl menu pro nastavení priorit složek a úspěšně synchronizoval. [úkol: Jednoduchá synchronizace] Poslední úkol byl pro participanta, bez předchozích zkušeností se synchronizací logicky složitý a nad řešením dlouho tápal. K řešení úkolu se dopracoval až po nalezení možnosti aktualizovat jen existující soubory. [úkol: Pokročilá synchronizace] 6.2.3

Post-test dotazník

Uživatel odcházel celkem spokojený a aplikaci hodnotil známkou 2. Líbilo se mu zpracování GUI, pozitivně hodnotil i zpětnou vazbu s uživatelem, dostával pravidelně informace o událostech do logu programu. Co by vytknul je ale špatné umístění a viditelnost některých ovládacích prvků. Zejména tlačítko + pro přidání složky bylo podle něj schováno. Aplikace ho nepřesvědčila, aby data s její pomocí synchronizoval či zálohoval, bude ji ale mít na paměti a pokud by někdy v budoucnu potřeboval jednu ze zmíněných funkčností, zkusí tuto aplikaci jako první.

6.3 6.3.1


Student technické školy, který o pojmu synchronizace něco tuší, ale v praxi ani v souvislosti s daty se s ním nesetkal. Synchronizaci vnímá jako něco, co se ho netýká a není pro něj důležité. Pokud by se někdy pro synchronizační program rozhodoval, byla by pro něj nejdůležitější intuitivnost. 6.3.2

Průběh session

Instalace proběhla v pořádku, nebyl žádný problém. [úkol: Instalace] Nastavení složek bylo také bez problému. Participant našel tlačítko pro přidání nové složky. [úkol: Nastavení synchronizace] U provedení synchronizace se vyskytla první komplikace. Participant chtěl zbytečně zakládat novou kartu synchronizace. Poté chtěl znovu nastavovat první složku. [úkol: Jednoduchá synchronizace]

6



U poslední úlohy byl největší problém, v jakém pořadí synchronizovat složky a podle jakých priorit. Uživatel musel dlouze přemýšlet, jak by daný úkol provedl, navíc musel pomoct moderátor. [úkol: Pokročilá synchronizace] 6.3.3

Post-test dotazník

Participant byl s aplikací spokojen a dal jí známku 2. Po chvíli používání mu dle jeho slov přišla pod ruku a interakce s programem byla již přirozená. Ze začátku byl podle něj problém s některými ovládacími elementy, zejména scrollovací menu u každé složky sloužící k nastavení, co se bude aktualizovat, bylo podle něj nepřehledné. Obsah tohoto menu by měl být viditelnější hned při prvním pohledu na synchronizovanou složku. Nakonec byl ale s programem spokojený, a když už by měl synchronizovat, tak jedině se Synkronem. 6.4 6.4.1


Nejzkušenější účastník testu, co se synchronizace týká. Synchronizaci dat při správě jednoho projektu již použil, ovšem za pomoci jiného software. Zná proto důvody, kdy se může synchronizace dat hodit. Jeho požadavky jsou odpovídající znalosti problematiky - od aplikace očekává různé profily sloužící pro správu více složek. Chce také, aby program dokázal uživatele upozornit před synchronizací, jaké změny provede. 6.4.2

Průběh session

Instalace proběhla v pořádku, bez zaváhání ze strany participanta, nebyl žádný problém. [úkol: Instalace] Nastavení složek bylo také bez problému. Na tlačítko pro přidání nové složky přišel participant ihned. [úkol: Nastavení synchronizace] Při provádění jednoduché synchronizace se vyskytla první komplikace. Participant nevěděl, jak nastavit hlavní, a jak podřízenou složku. Chtěl zbytečně začít nastavovat multisynchronizaci. [úkol: Jednoduchá synchronizace] Participant po chvilce zaváhání věděl, jak složitější synchronizaci provést. Nevyskytl se žádný problém. [úkol: Pokročilá synchronizace] 6.4.3

Post-test dotazník

Participant odcházel z testu silně nespokojený, aplikaci hodnotil známkou 4. Podle něj bylo GUI špatné a nepřehledné, aplikační okno moc malé. Chyběly popisky a ani log nebyl podle jeho názoru dobře řešený - uživatel se v něm nevyznal a cítil se zmaten. Stejně jako většina si také stěžoval na přístupnost nastavovacího menu pro jednotlivé složky. Jediné plus byla podle něj analýza změn, preview, které program vypisuje. Aplikací byl ale zklamán a nepřemýšlí o jejím používání.

7

FEL ČVUT, let. 2011 6.5 6.5.1



Student technické vysoké školy. S termínem synchronizace se ještě nesetkal a netuší, co si pod tímto pojmem představit. Nemá negativní zkušenost se ztrátou dat, tudíž nezálohuje. Od synchronizační aplikace nemá žádná velká očekávání, zmínil se, že by mu mohla umožnit zálohování. 6.5.2

Průběh session

Instalace proběhla v pořádku, nebyl žádný problém. [úkol: Instalace] Při nastavení složek pro synchronizaci se vyskytl problém. Participantovi nebylo úplně zřejmé, kam má nastavit cesty složek. Po malém zaváhání synchronizaci nastavil. [úkol: Nastavení synchronizace] Prioritu složek, tedy to, která bude hlavní a která podřízená, uživatel nastavil celkem rychle a bez problémů. [úkol: Jednoduchá synchronizace] U poslední úlohy nastal největší problém. Nejprve chtěl participant zbytečně začít nastavovat Filtry. Poté vůbec nevěděl kde a jak nastavit upřesňující vlastnosti složek, které potřeboval synchronizovat. I po nápovědě moderátora byl participant stále zmatený. [úkol: Pokročilá synchronizace] 6.5.3

Post-test dotazník

Aplikace u něj dopadla na 2. Líbilo se mu GUI a celkový vzhled aplikace. Nebyl spokojen s nastavovacím menu u složky, nebylo správně přístupné a ani obrázek francouzského klíče na tlačítku podle něj neodpovídal jeho funkci. Ve finále byl ale mile překvapen a sám by o Synkronu uvažoval, myšlenka synchronizace mu díky jednoduchosti používání Synkronu přišla celkem blízká.

6.6 6.6.1


Studentka právnické fakulty, počítač používá denně ke studiu i práci. Má představu o pojmu synchronizace, a ačkoliv data zatím nijak nesynchronizovala, tuší situace, kdy by se to mohlo hodit. Od aplikace k tomu určené neví, co čekat. 6.6.2

Průběh session

Participantka instalovala bez problémů program. [úkol: Instalace] Participantka zbytečně procházela horní menu a hledala možnost nastavení. První dvě složky byly nastaveny bez zaváhání. Tlačítko pro přidání třetí složky nebyla schopna najít, opět projížděla všechny položky v menu. Zmátla ji ikona pro založení nové karty. Po nápovědě moderátora úkol zvládla. [úkol: Nastavení synchronizace]

8



Jednoduchá synchronizace všech složek proběhla v pořádku. Při synchronizaci podle druhé složky nenastavila prioritu a špatně splnila úkol. Nastavení priority poté ihned našla, ale nenastavila ostatní složky jako podřízené, s čímž musel pomoci moderátor. [úkol: Jednoduchá synchronizace] Participantka nenašla možnost aktualizovat jen existující soubory a proto nebyla schopna splnit úkol správně, načež musel poradit moderátor. Bez předchozích zkušeností se synchronizací nad pokročilým úkolem váhala, ale nakonec úspěšně splnila. [úkol: Pokročilá synchronizace] 6.6.3

Post-test dotazník

Program účastnici velmi mile překvapil, hodnotila ho známkou 1. Sympatická ji přišla především jednoduchost, s jakou se obsah několika složek synchronizoval. Uvedla jako plus i přehledný a přívětivý vzhled aplikace. Žádné negativum ji bezprostředně po testu nenapadlo. Program ji natolik oslovil, že ho hodlá zkusit k synchronizaci důležitých složek na externí disk.

7

Nálezy

Nálezy a jejich priority, tak jak vzešly z testů s uživateli. 7.1 3

2 1

7.2

Tabulka Priorit Závažný nález, který silně negativně ovlivňuje používání aplikace nebo přímo zabraňuje jejímu používání; měl by být opraven v nejbližší možné době. Nález, který zhoršuje UX Synkronu, aplikace se dá i přes to používat. Drobný nález, který má jen malý vliv na použitelnost aplikace. Může být odstraněn později. Jednotlivé nálezy

7.2.1 Vlastnosti a nastavení složky jsou skryté Priorita 3 Nalezeno u Participant č. 2, 3, 4, 5

Participanti tušili, že se někde u složky musí nastavit priorita synchronizování, případně upřesňující vlastnosti. Nemohli ale danou volbu najít, protože byla skrytá za malou ikonu klíče vlevo.

9



Možné řešení Zúžit input pro cestu ke složce a na stranu přidat doplňující ikonky s informacemi a nastavením složky. U každé složky by byl například jeden radio button, který by po zaškrtnutí zobrazil u dané složky korunku jako symbol řídící složky. 7.2.2 Nedostatečně zvýrazněná možnost analýzy Priorita 2 Nalezeno u Participant č. 1, 4, 5

Participanti dost často přišli o vytvořenou adresářovou strukturu jenom proto, že synchronizovali podle špatných kritérií. Je otázka nakolik to byla chyba Synkronu a nakolik toho, že většina prováděla synchronizaci dat poprvé a neznala tedy obecné pojmy. Každopádně chyba v aplikaci je ta, že jenom zkušený uživatel, který zná možnosti synchronizačního software, využívá analýzy.

Možné řešení Pokud by uživatel nestiskl Analyse a hrozila by ztráta dat, objevilo by se po stisku Sync pop-up okno s výstrahou Neprohlédli jste si plánované změny, je možná ztráta dat, chcete pokračovat? . V tomto okně by také byla zaškrtávací možnost Toto okno již nezobrazovat . 7.2.3 Nedostatečně značené místo k vložení složek pro synchronizaci Priorita 2 Nalezeno u Participant č. 1, 4, 5

Participanti se často museli nějakou dobu zamýšlet, co znamená nápis „Složky k synchronizaci“. V nějakých případech hledali možnost vložení složek pro synchronizaci v lištách, které svým pojmenováním také nebyly úplně jasné.

Možné řešení Místo nápisu „Složky k synchronizaci“ by bylo lepší zvolit nápis například „Zde vyberte složky, které chcete synchronizovat“. Dále by bylo lepší tento nápis více zviditelnit, zvětšit jeho velikost.

10



7.2.4 Tlačítko pro přidání více složek je nevýrazné Priorita 2 Nalezeno u Participant č. 1, 2, 5

Participanti dlouho váhali, jak přidat k synchronizaci třetí složku.

Možné řešení

Barevně zvýraznit tlačítko pro přidání třetí složky, případně přidat pevný popisek nebo popisek při najetí myší. 7.2.5 Tlačítko pro přidání více složek je nevýrazné Priorita 1 Nalezeno u Participant č. 4, 5

Ikona pro vytvoření nové karty připomíná ikonu složky a participanti se často pomocí ní snažili nové složky přidat.

Možné řešení Změnit vzhled ikonky a zvolit lepší popisek (např. Nový projekt, Nová synchronizace). Ikonu zmenšit, případně úplně zrušit a nový projekt zakládat pouze z menu.

11


8


Závěr

Během testu bylo zjištěno několik hlavních nedostatků aplikace, které jsou shrnuty v sekci nálezy. Ačkoliv je software na základě své funkce určený hlavně pro náročnější a zkušenější uživatele, i tito měli v některých částech úkolů problémy program správně ovládat. Odstranění těchto problémů, na základě návrhů možných řešení zmíněných výše, by přispělo k celkovému zkvalitnění aplikace a k její lepší a snazší použitelnosti i v rámci širšího spektra uživatelů. Mezi pozitiva softwaru Synkron lze počítat fakt, že i nezkušený uživatel, který se nesetkal ani s jiným podobným programem, si v relativně krátkém čase dokázal osvojit ovládání programu alespoň na takové úrovni, aby byl, většinou samostatně, schopný splnit dané úkoly. V budoucnu by se měli testeři zaměřit na testování dalších pokročilých možností aplikace. To by mělo být provedeno se spíše více zkušenými participanty.

12

Test s uživatelem - Synkron

Recommend Documents