České vysoké učení technické v Praze Fakulta elektrotechnická
Y39TUR
B2 Test s uživateli SyncToy 2.1
Radim Tobolka, Jakub Véle, Pavel Salamon, Tomáš Höger letní semestr, akademický rok 2010/2011
Obsah B2.........................................................................................................................................................1 Test s uživateli......................................................................................................................................1 SyncToy 2.1..........................................................................................................................................1 Executive Summary.........................................................................................................................1 Úvod.................................................................................................................................................2 Cíle testu..........................................................................................................................................2 Test setup.........................................................................................................................................2 Rozestavení laboratoře................................................................................................................2 Použité vybavení.........................................................................................................................3 Použitý software..........................................................................................................................3 Role a obsazení................................................................................................................................4 Datalogging......................................................................................................................................4 Pre test..............................................................................................................................................4 Participant 1................................................................................................................................4 Participant 2................................................................................................................................4 Participantka 3.............................................................................................................................5 Participant 4................................................................................................................................5 Přehled úkolů...................................................................................................................................5 Post test............................................................................................................................................7 Participant 1................................................................................................................................7 Participant 2................................................................................................................................7 Participantka 3.............................................................................................................................8 Participant 4................................................................................................................................8 Cílová skupina a výběr uživatelů.....................................................................................................9 Kritéria odpovědí.......................................................................................................................11 Otázka: Váš věk....................................................................................................................11 Otázka: Jak byste ohodnotili své zkušenosti s používáním počítače....................................11 Otázka: Předchozí zkušenosti...............................................................................................11 Otázka: Jaký typ operačního systému primárně používáte?.................................................11 Představení participantů............................................................................................................11 Průběh testu....................................................................................................................................11 První participant........................................................................................................................12 Druhý participant......................................................................................................................12 Třetí participantka.....................................................................................................................12 Čtvrtý participant......................................................................................................................13 Pozorování a vybrané citace..........................................................................................................13 Nálezy............................................................................................................................................14 Problém s nevytvořeným zástupcem na ploše..........................................................................14 Problém s nutností provést synchronizaci ručně.......................................................................14 Pokročilá nastavení aplikace.....................................................................................................15 Výsledek operace synchronizace je nepřehledný......................................................................16 Přemazání souboru pokud byl změněn v obou adresářích........................................................17 Závěr..............................................................................................................................................18
1 (18)
Executive Summary Tato práce se zabývá použitelností aplikace Microsoft SyncToy 2.1. Jedná se o souborový synchronizační nástroj. Záměr testu je evaluační - zjistit slabé a silné stránky programu. Uživatelé kladně hodnotili jednoduchost aplikace. Pozitivní také je, že všichni participanti a participantka byli schopni provést základní instalaci, nastavení a dokončit celý scénář. Test však odhalil pět problémů použitelnosti. Vysokou priortu dostal problém, který vede ke ztrátě synchronizovných dat. Střední prioritu dostaly tři nálezy, které mohou zamezit používání některých funkcí programu. Nízkou prioritu dotal nález, ve kterém uživatelé očekávají funkci, kterou aplikace nedisponuje.
Úvod Našim záměrem v tomto testu bylo zjistit použitelnost softwaru od společnosti Microsoft, SyncToy. Software je určen k synchronizaci dat. Nejdříve byly vytvořeny materiály potřebné k testu (screener, pretest a posttest dotazníky), ve kterých jsme si určili, jaké uživatele k testu potřebujeme a následně provedli jejich nábor. Průběh jednotlivých testů bude popsán dále. Po testech jsme provedli zhodnocení a shodli jsme se na daných nálezech. Následně jsme si rozdělili zpracování této zprávy. Po rozvaze jsme došli k názoru, že zpráva bude napsána podle problémů a ne podle jednotlivých uživatelů. Toto jsme určili díky shodným problémům jednotlivých uživatelů a jejich názorům, které se často shodovaly mezi sebou. Nalezeným problémům jsme přiřadili prioritu na stupnici vysoká, střední nízká. Nashromážděná data z experimentu jsou uložena na serveru http://manwe.elfove.cz/~radim/Y39TUR/ Archiv hsvt-analyza.zip obsahuje Morae Manager projekt. Nabízí nejvyšší kvalitu záznamu spolu s provázanými anotacemi pozorovatelů za cenu velkého objemu dat (cca 260M). Archiv hsvt-videa.zip obsahuje wmv záznamy z sezení (pouze audio/video, střední kvalita, cca 128M). Archiv hsvt-texty.zip (~1M) obsahuje anotace pozorovatelů, přepisy pre/posttest dotazníků, definice úkolů a další materiály.
Cíle testu Naším testem se snažíme zjistit, zda jsou uživatelé z cílové skupiny schopní samostatně zacházet s programem SyncToy, a to bez jeho předchozí znalosti nebo znalosti obdobných programů. Součástí testu je i instalace programu.
2 (18)
Test setup Rozestavení laboratoře Laboratoř je rozdělena na dvě samostatné místnosti, kdy se první nazývá Observer room a druhá Participants room. Observer room je určena pro pozorovatele, kteří zaznamenávají průběh testu s uživatelem, který se odehrává ve druhé místnosti (Participants room). V Participants room sedí participant, který testuje daný produkt, a moderátor, který určuje směr testu a případně zodpoví dotazy participanta.
Ilustrace 1: Fyzické dispozice laboratoře.
Použité vybavení Observer room obsahuje dva počítače k záznamu dat od pozorovatelů. Během našeho testu jsme přidali ještě jeden notebook, aby mohli zaznamenávat pozorování všichni tři pozorovatelé. Na počítačích byl spuštěn program Morae Observer, pomocí kterého pozorovatelé zaznamenávali data. Dále zde jsou obrazovky, kde se zobrazuje obraz z obou kamer, které se nacházejí v Participants room. Také se zde nachází mikrofon, který slouží ke komunikaci s Participants room, a reproduktory přenášející zvuk z mikrofonu v Participants room. V Participants room je jeden počítač, na kterém probíhaly testy. Je zde nainstalován OS Windows 7 se základním nastavením. Vedle počítače je umístěn mikrofon, který slouží k záznamu audia během testu. Ve dvou rozích (viz. obr. výše) se nacházejí kamery přenášející obraz do Observer room.
3 (18)
Použitý software • • • • •
Morae Observer 3.x Morae Recorder 3.x Morae Manager 3.x SyncToy 2.1 Windows 7
Role a obsazení Úlohu moderátora jsme si vyzkoušeli všichni, testy jednotlivých participantů moderovali tito lidé: •
Participant 1 - Radim Tobolka
•
Participant 2 - Tomáš Höger
•
Participant 3 - Pavel Salamon
•
Participant 4 - Jakub Véle
Během testu proběhla pro jistotu supervize cvičícím, který nám dal radu ohledně korektnosti jednoho z úkolů testu. Po této poradě jsme z daného úkolu odstranili dovětek, který mohl participanty navádět k řešení.
Datalogging V rámci průběhu testování jsme logovali činnost participantů pomocí suity Morae. Jednotlivé logy jsme podle povahy označovali příslušnými markery. V průběhu testování jsme jednotlivé participanty rovněž povzbuzovali k tomu, aby nahlas komentovali to, co momentálně dělají a nebo jak momentálně přemýšlí. Jednotlivé komentáře jsme si zaznamenali mezi poznámky.
Pre test V rámci pretestu jsme se cíleně doptávali participantů na informace, které pomohly doplnit a upřesnit jaké jsou jejich zkušenosti s prací na PC a taky jaké jsou jejich postoje vůči podobným aplikacím.
Participant 1 1. S jakými programy na PC denně přicházíš do styku? Firefox, Java, Skype, ICQ. 2. Používáš nějaký druh synchronizačního softwaru? Ne. 3. Používáš aplikace Microsoft (MS Windows, MS Office, MS Internet Explorer...)? Ano, Windows, Office. 4. Jaký je tvůj postoj vůči aplikacím Microsoft?
4 (18)
Kladný.
Participant 2 1. S jakými programy na PC denně přicházíš do styku? Aplikace Microsoft, prohlížeče 2. Používáš nějaký druh synchronizačního softwaru? Ne. 3. Používáš aplikace Microsoft (MS Windows, MS Office, MS Internet Explorer...)? Ano. Word, Excel, Powepoint. 4. Jaký je tvůj postoj vůči aplikacím Microsoft? Ne vždy fungují tak jak by měly a ne vždy jsou přehledné.
Participantka 3 1. S jakými programy na PC denně přicházíš do styku? MS Office, KMPlayer, Mozzila Firefox, Winamp. 2. Používáš nějaký druh synchronizačního softwaru? Ne. 3. Používáš aplikace Microsoft (MS Windows, MS Office, MS Internet Explorer...)? Ano, MS Office, MS Windows. 4. Jaký je tvůj postoj vůči aplikacím Microsoft? Kromě IE pozitivní.
Participant 4 1. S jakými programy na PC denně přicházíš do styku? Chrome, VLC, Netbeans, Winamp. 2. Používáš nějaký druh synchronizačního softwaru? Ne. 3. Používáš aplikace Microsoft (MS Windows, MS Office, MS Internet Explorer...)? ANO - MS Windows. 4. Jaký je tvůj postoj vůči aplikacím Microsoft? Spíš negativní (mimo OS Windows 7).
5 (18)
Přehled úkolů První dva participanti pracovali s následující sadou úkolů. 1. Nainstalujte program SyncToy pomocí instalačního souboru, který se nachází na ploše. Použijte standardní instalaci (nic během ní neměňte). 2. Vytvořte dvě složky na disku C, pojmenujte je sync1 a sync2 a pomocí programu SyncToy je sesynchronizujte bez změn v základním nastavení synchronizace. 3. Vytvořte soubor pokus.doc ve složce sync1 a zkontrolujte zda se soubor správně sesynchronizoval do složky sync2, pokud se tak nestalo, tak se pokuste synchronizaci provést. 4. Otevřete si soubory pokus.doc z obou složek (sync1 a sync2) a oba upravte (napište do nich nějaký text) a pak složky sesynchronizujte. 5. Vytvořte synchronizaci mezi složkami sync1 a sync2, kdy se budou synchronizovat pouze soubory s příponou .txt. Vytvořte soubory pokus2.txt a pokus2.doc ve složce sync1 a spusťte synchronizaci a zkontrolujte zda synchronizace proběhla podle požadavků (tedy se sesynchronizoval pouze soubor pokus2.txt). Úkoly jsme volili takto: Task 1 – Základní úkol, zda je uživatel schopen provést standardní instalaci bez problému a zda se nevyskytne nějaká problematická část. Task 2 – Zjištění zda je nastavení synchronizace uživatelsky přijatelné. Task 3 – Zkouška zda uživatel zvládne synchronizaci po nainstalování programu a zkouška jestli se vyskytne chyba v tom co člověk logicky čeká, že aplikace udělá . Task 4 – Zjištění zda si program poradí se složitější synchronizací a zda bude daná synchronizace podle představ uživatele. Task 5 – Pokročilý úkol, který má za úkol zjistit zda je uživatel schopen změnit pokročilé formy nastavení synchronizace. Po supervizi, jsme upravili Task 3 a 5, protože byly zavádějící pro uživatele a ten mohl dopředu očekávat problém v daných věcech, protože na ně bylo lehce upozorněno dopředu. Druhá sada úkolů vypadala takto: 1. Nainstalujte program SyncToy pomocí instalačního souboru, který se nachází na ploše. Použijte standardní instalaci (nic během ní neměňte). 2. Vytvořte dvě složky na disku C, pojmenujte je sync1 a sync2 a pomocí programu SyncToy je sesynchronizujte bez změn v základním nastavení synchronizace. 3. Vytvořte soubor pokus.doc ve složce sync1 a zkontrolujte zda se soubor správně sesynchronizoval do složky sync2 4. Pokud se tak nestalo, tak se pokuste synchronizaci provést. 5. Otevřete si soubory pokus.doc z obou složek (sync1 a sync2) a oba 6 (18)
upravte (napište do nich nějaký text) a pak složky sesynchronizujte. 6. Vytvořte synchronizaci mezi složkami sync1 a sync2, kdy se budou synchronizovat pouze soubory s příponou .txt. Vytvořte soubory pokus2.txt a pokus2.doc ve složce sync1 a spusťte synchronizaci 7. Zkontrolujte zda synchronizace proběhla podle požadavků (tedy se sesynchronizoval pouze soubor pokus2.txt). Task 1 – Základní úkol, zda je uživatel schopen provést standardní instalaci bez problému a zda se nevyskytne nějaká problematická část. Task 2 – Zjištění zda je nastavení synchronizace uživatelsky přijatelné. Task 3 – Zkouška zda uživatel zvládne synchronizaci po nainstalování programu. Task 4 - Zkouška jestli se vyskytne chyba v tom co člověk logicky čeká, že aplikace udělá . Task 5 – Zjištění zda si program poradí se složitější synchronizaci a zda bude daná synchronizace podle představ uživatele. Task 6 – Pokročilý úkol, který má za úkol zjistit zda je uživatel změnit pokročilé formy nastavení synchronizace. Task 7 – Ujištění se, že synchronizace proběhla správně, případně oprava problému v Task 6.
Post test Pro posttestový dotazník jsme zvolili otázky, kterými jsme se participantů doptávali na jejich dojmy a spokojenost s prací v aplikaci. Dále jsme se doptávali na případné návrhy na zlepšení či na změnu.
Participant 1 1. Jak se ti software líbil? (ohodnocení min=1, max=10) 4 2. Jak bys ohodnotil přehlednost aplikace? (ohodnocení min=1, max=10) 3 3. Bylo něco co tě zaskočilo? Zaujalo? Asi ne. 4. Začal bys SyncToy sám používat? Doporučil bys ho někomu? Ne. 5. Máš nějaké návrhy na zlepšení? Během instalace se ptát na vytvoření zástupce na ploše. V hlavním okně aplikace zlepšit přehlednost, lépe rozlišit, které prvky jsou aktivní a dá se na ně klinout. (Participant zkoušel klikat např. na ikonu složky v domnění, že tak nastaví jeden adresář synchronizačního páru). 7 (18)
Komentář: Test s tímto participantem proběhnul před supervizí, s původní sadou úkolů.
Participant 2 1. Jak se ti software líbil? (ohodnocení min=1, max=10) 6 2. Jak bys ohodnotil přehlednost aplikace? (ohodnocení min=1, max=10) 8 3. Bylo něco co tě zaskočilo? Zaujalo? Zaskočilo mne, že před vybranou příponou pro synchronizaci musí být hvězdička. 4. Začal bys SyncToy sám používat? Doporučil bys ho někomu? Ano, doporučil bych ho lidem, o kterých vím, že pracují s více zařízeními (pc + notebook atd.). 5. Máš nějaké návrhy na zlepšení? Ne, program se mi zdá dostatečně dobrý. Možná by ale mohlo existovat něco jako resynchronizace, kde by se provedené synchronizace vrátily do původního stavu.
Participantka 3 1. Jak se ti software líbil? (ohodnocení min=1, max=10) 5 (SyncToy podle participantky dělá, co od něj očekávala - má k němu neutrální vztah) 2. Jak bys ohodnotil přehlednost aplikace? (ohodnocení min=1, max=10) 6 (trochu se prý participantka v aplikaci ztrácela - měla na mysli okno aplikace, kde se nastavují detaily synchronizace - například .txt přípony) 3. Bylo něco co tě zaskočilo? Zaujalo? Absenci ikony hodnotím negativně, zaskočilo mne, že při instalaci nebyl na ni vznesen dotaz. 4. Začala bys SyncToy sám používat? Doporučil bys ho někomu? Nejspíš ne. (Dle svých slov pro tento program participantka nemá využití) 5. Máš nějaké návrhy na zlepšení? Ikona na ploše automaticky nebo po dotazu.
Participant 4 1. Jak se ti software líbil? (ohodnocení min=1, max=10) 3 8 (18)
2. Jak bys ohodnotil přehlednost aplikace? (ohodnocení min=1, max=10) 7 3. Bylo něco co tě zaskočilo? Zaujalo? Že se musí stále spouštět. 4. Začal by si SyncToy sám používat? Doporučil bys ho někomu? Nemám pro takovýto program využití a nedoporučil bych ho nikomu protože může způsobit více problému než užitku. 5. Máš nějaké návrhy na zlepšení? Běh programu na pozadí a nějaká cloudová záloha dat.
Cílová skupina a výběr uživatelů Cílová skupina testu byla shodná s námi: studenti ve věku 18-30 let, kteří pravidelně nepoužívají program pro synchronizaci souborů. Rozhodli jsme se tedy participanty vybírat z řad našich známých a spolužáků. Pro screener jsme využili formulář, vytvořený pomocí Google Docs. který jsme rozeslali našim kamarádům a známým. Pomocí předem stanoveného targetu jsme pak vybrali vhodné účastníky pro samotné testování.
Kritéria odpovědí Otázka: Váš věk
První vyřazovací otázka. Jedinou přípustnou odpovědí byla odpověď 18-30 let, protože ostatní možnosti nespadají do cílové skupiny testu. Otázka: Jak byste ohodnotili své zkušenosti s používáním počítače.
Možné odpovědi byly: •
Začátečník (1)
•
Pokročilý (2)
•
Expert (1)
Čísla v závorkách značí počet participantů, který jsme pro testování hledali. Naším cílem bylo co nejvíce přiblížit složení participantů reálnému rozdělení uživatelů ve světě. Otázka: Předchozí zkušenosti
Cílem této otázky bylo odfiltrovat uživatele, kteří již mají zkušenosti přímo s testovaným nebo jemu podobným programem. Otázka: Jaký typ operačního systému primárně používáte?
Protože je testovaný program určený pro Windows a na jiných systémech ani 9 (18)
nelze spustit, rozhodli jsme se do testu zařadit pouze uživatele, kteří používají primárně operační systém Windows.
Ilustrace 2: Formulář screeneru.
10 (18)
Participant
Váš věk
Předchozí zkušenosti
Participant 1 Participant 2 Participant 3 Participant 4
18-30 let 18-30 let 18-30 let 18-30 let
ne ne ne ne
Jaký typ operačního systému primárně používáte? Windows Windows Windows Windows
Jak byste ohodnotili své zkušenosti s používáním počítače? Pokročilý Pokročilý Začátečník Expert
Tabulka 1: Odpovědi participantů.
Představení participantů Všichni participanti v pretestu uvedli, že používají některý z internetových prohlížečů. Kromě participanta 4 také všichni uvedli znalost MS Office, takže by neměli mít problémy s využitím aplikace MS Word během testu. Pomocí Wordu se vytvářejí a editují pokusné soubory.
Průběh testu Test proběhnul 26. 4. 2011 mezi 17:00 a 19:30 v laboratoři E-328 na Karlově náměstí. Postupně jsme ho provedli se třemi participanty a jednou participantkou. Během druhého sezení došlo k supervizi cvíčímcím předmětu, Ing. Zdeňkem Míkovcem, Ph. D. Za základě jeho připomínek jsme změnili sadu úkolů pro zbylé testy. Následuje protokol významných událostí během této doby spolu s vybranými citacemi.
První participant 17:00 Příprava laboratoře, příchod prvního participanta. 17:20 Začátek prvního sezení. 17:21 Task 1 17:22 Participant spustil špatný program (Synktron). 17:24 Přerušení pozorovatelem : „My to v tuto chvíli přerušíme, protože se stala chyba, která asi není vaše, ale použiváte jiný program, než se má testovat.“ Moderátor navádí participanta, aby spustil správný tool. Participant: „Klidně se mě ten Synctoy mohl zeptat, jestli nechci zástupce na ploše.“ 17:26 Pád Morae recorderu. Nyní moderátor zápolí s Morae, došlo k dalšímu pádu. Záznam byl odstraněn, protože neobsahoval pro test relevantní data. 17:33 pokračování sezení 17:34 Task 2 17:36 Task 3 17:38 Participant pohlíží na výsledovou tabulku právě proběhlé synchronizace. Moderátor: „Jak si vysvětluješ tuto tabulku?"“ Participant: „No moc toho z ní nerozumím.“ Navrhuje: „Zdá se mi, že by tady mohlo bejt udělaný, abych poznal, co se ve které složce stalo.“ 17:39 Task 4 17:44 Došlo k přepsání druhého souboru prvním. Participant: „Mám tady, že něco bylo přepsáno.“ 17:41 Moderátor: „Co myslíš, že se teďko stalo s tvými daty?"
11 (18)
Participant: "No myslím, že jsou ztracený." 17:42 Task 5 17:47 Konec sezení, participant vyplňuje post-test dotazník
Druhý participant 18:05 Participant 2. 18:06 Task 1 18:07 Task 2 18:08 Participant maže složky sync1 a sync2 z předchozího sezení a vytváří znovu. 18:12 Task 3 18:14 Task 4 18:15 Příchod supervizora do pozorovatelské místnosti. 18:17 Task 5 18:21 Participant nastavil příponu .txt jak do pole Include, tak do Exclude. moderátor komentuje: „Include znamená obsahovat a exclude neobsahovat.“ 18:24 Participant stále zkoumá nastavení aplikace. 18:26 Pozorovatel pomáhá participantovi: „Prosím o puštění synchronizace ještě jednou. Ověřte prosím obsah obou složek. (jsou jiné). Zkuste dát hvězdičku do Include.“ 18:28 Participant vyplňuje post test.
Třetí participantka Došlo ke změně sady úkolů na základě připomínek ze supervize. 18:53 Začíná sezení s participantkou 3 . 18:53 Task 1 18:54 Task 2 Participantka: „Tak teď se přiznám, že nevím, kde bych došla k té synchronizaci jako takové, protože se mi tu nevytvořila ždáná ikona na ploše.“ 18:58 Task 3 18:59 Task 4 19:00 Task 5 19:02 Vyplňuje posttest.
Čtvrtý participant 19:13 Přichází participant 4. 19:13 Task 1 19:14 Task 2 19:15 Participant: „Už začínám chápat, co dělá ta synchronizace, ale pořád netuším, k čemu by to mohlo být dobré.“ 19:16 Po nastavení aplikace moderátor komentuje: „A ty si myslíš, že když to zavřeš, tak že to bude fungovat stále stejně.“ Participant: „No a teď by se mohla spustit.“ 19:16 Task 3 19:17 Task 4 19:20 Task 5 19:22 Participant vyplňuje posttest.
Pozorování a vybrané citace Pozitivní je, že všichni participanti a participantka byli schopni provést základní instalaci a nastavení. Byli schopni dokončit celý scénář, s výjimkou duhého participanta, kde ve čtvrté úloze zasáhnul pozorovatel. Při zkoumání nahrávky se však ukázalo, že zásah byl předčasný. Participant v tom okamžiku ještě nebyl úplně bezradný. 12 (18)
První participant komentoval program slovy: „Má to hezké jméno.″ Druhý participant pozitivně hodnotil jednoduchost a přehlednost aplikace během posttestu. Naopak čtvrtý participant na konci testu komentoval slovy: „Ale zase nevidím nějaké velké využití těchto programů, je to asi stejné, jako si něco zálohovat na externí disk.″ Během testování jsme mohli slyšet tři spontánní komentáře faktu, že nedošlo k vytvoření zástupce na ploše v prvním úkolu. Dva participanti komentovali přepsání obsahu v úloze čtvrté. „Klidně se mě ten Synctoy mohl zeptat, jestli nechci zástupce na ploše.“ „Tak teď se přiznám, že nevím, kde bych došla k té synchronizaci jako takové, protože se mi tu nevytvořila ždáná ikona na ploše.“ Moderátor: „Co myslíš, že se teďko stalo s tvými daty?" Participant: "No myslím, že jsou ztracený." Smíšené reakce vyvolala přehledová tabulka provedené synchronizace. První participant nevěděl, jak obsah interpretovat. Naopak třetí participantka a čtvrtý participant hbitě odečetli počet synchronizovaných (potažmo přepsaných) souborů. Na tom je zajímavé, že lidé, kteří se ve screeneru označili za pokročilé, této informaci neporozumněli nebo ji nevyužili a výsledek explicitně kontrolovali ve správci souborů. Zato pro začátečníka a experta to význam mělo.
Nálezy Problém s nevytvořeným zástupcem na ploše V prvním úkolu byl pozorován tento problém: během instalace není možnost přidat zástupce na plochu, přičemž následně uživatel musí zdlouhavě hledat, kde je program nainstalovaný a spouštět ho od tamtud. Tato chyba se týkala všech 4 testovaných uživatelů, kdy každý složitě hledal kde se program, případně jeho zástupce nachází. Dopad na funkčnost programu to sice nemá, ale prodlužuje to dobu nutnou k vykonání jakékoli akce s programem a velmi je to popudí k používání této aplikace (uživatelé si na to stěžovali v post-test dotaznících). •
Participant 1 – 4:39 (1. video)
•
Participant 2 – 4:10
•
Participant 3 – 1:28
•
Participant 4 – 1:22 13 (18)
Hodnocení závažnosti problému lze označit jako střední, protože uživatele zpomaluje při práci. Může se též stát, že program nenajde nebo spustí jiný (viz. první participant). Nástin řešení: Umožnit vytvoření zástupce na ploše.
Problém s nutností provést synchronizaci ručně Během druhého a třetího úkolu jsme pozorovali tento problém: po dokončení instalace a spuštění programu nastavuje uživatel samotnou synchronizaci složek. Potom co synchronizaci nastaví, a vytvořením zkušebních souborů k synchronizaci zjistí, že synchronizace neproběhla automaticky a hledá zda je chyba v nastavení synchronizace, nebo se opravdu musí synchronizace spouštět ručně pokaždé když jí chce provést. Potom si musí všimnout tlačítka RUN v pravém dolním rohu a po chvilkovém přemýšlení (zdržení) mu teprve dojde, že opravdu musí synchronizaci spustit on sám ručně. Vadilo to všem čtyřem uživatelům, protože očekávali, že program bude toto řešit sám a ne to muset dělat uživatel sám. Čtvrtý participant se vyjádřil tak, že daný program bez automatické synchronizace je v podstatě program, který umí pouze CTRL + C a CTRL +V. Což mu přišlo na program, který má sloužit k synchronizaci dat poněkud málo. •
Participant 1 – 4:35 (2. video)
•
Participant 2 – 8:35
•
Participant 3 – 4:54
•
Participant 4 – 3:11
Problému jsme přiřadili nízkou prioritu. Jedná se spíše o feature request. Nástin řešení: informovat uživatele, že musí synchronizaci spustit ručně.
Pokročilá nastavení aplikace V úkolu č.5 měl participant 2 problém s nastavením detailů synchronizace. Problém nastal v situaci, kdy chtěl participant synchronizovat pouze soubory jednoho typu (pouze soubory s příponou .txt). V nastavení synchronizace zadal jako soubor pro synchronizaci text .txt a očekával, že budou synchronizovány právě soubory s příponou .txt. Program nepracoval dle jeho očekávání a participant nemohl přijít na to, kde je problém. Po více než pěti minutách poté podle instrukcí jednoho z observerů doplnil participant do textového pole v nastavení synchronizace hvězdičku (*.txt) a program již pracoval dle očekávání.
14 (18)
Obr. 1: Chybné nastavení.
Obr. 2: Správné nastavení. Celá situace je zachycena na videozáznamu testu participanta 2 na úseku 0:14:32 – 0:22:45. Kromě participanta 2 se tento problém vyskytl i u participantky 3. V tomto 15 (18)
případě sice nebylo třeba do průběhu testu zasahovat a participantka si poradila sama, nicméně její počáteční úvaha, tedy že bude pro synchronizaci souborů s příponou .txt stačit řetězec .txt v nastavení synchronizace, byla totožná. Tomuto problému přiřazujeme střední prioritu. Nastavení synchronizace souborů konkrétního typu je šikovná funkce a měla by být pro uživatele jasná a intuitivní. Protože z tohoto problému typicky uživatel neuvidí jednoduchou cestu ven, může dokonce takto jednoduše k programu zaujmout negativní postoj nebo být z chování programu frustrován. Doporučeným řešením je nabídnout uživateli možnost snadnějšího nastavení detailů synchronizace.
Výsledek operace synchronizace je nepřehledný Při provedení synchronizace byli všichni participanti lehce nejistí, co znamenají údaje v tabulce, která podává výslednou zprávu o provedení synchronizace. Docházelo k tomu u úloh 3, 4 a 5. Reakce participantů: •
Participant 1 (4:30 – 4:50) „Moc tam toho vidět není. Je tam nějaký jeden nový soubor. Zdá se mi, že by tam mělo být, co se provede v každý složce a ne jen tak celkově.“
•
Participant 4 (5:05 – 5:15) „Píše to, že to něco přepsalo. Tak se podíváme co to přepsalo...“ (není jasné, který soubor se přepsal druhým)
Důsledek nálezu: Uživatel nemá zcela jistotu, zda všechno proběhlo tak jak očekával. Závažnost problému: Střední.
16 (18)
Ilustrace 3: Tabulka podávající zprávu o synchronizaci Nástin řešení: Pravděpodobně by mohlo pomoci, kdyby výsledná tabulka podávala zprávu o tom, co se provedlo v jednotlivých adresářích zvlášť a jakých souborů se to týkalo.
Přemazání souboru pokud byl změněn v obou adresářích Při synchronizace souborů se stejným názvem došlo k přepsání jednoho z nich bez jakéhokoliv upozornění. Docházelo k tomu při úloze 4 a všechny participanty to vyvedlo z míry. Reakce participantů: •
Participant 3 (6:20 – 6:40) „Z tý druhý složky to překopírovalo text do tý první, ale přemazalo to ten původní. Asi bych chtěla aby tam zůstaly oba dva...“
•
Participant 4 (5:00 – 6:00) „Píše mi to, že to něco přepsalo. V první složce je ta druhá a v druhé to zůstalo, takže se projevila jen ta poslední změna, což mi příjde trošku divné... chtěl bych mít z toho aspoň nějakou zálohu.“
Důsledek nálezu: Uživatel může přijít o svá data. Závažnost problému: Vysoká. Nástin řešení: Před jakýmkoliv přepsáním se uživatele zeptat, zda chce tuto operaci opravdu provést. Jasně uživatele informovat, že o data nepřijde, ale že se uloží do Koše.
17 (18)
Závěr Pozorovali jsme následující problémy a úskalí při používání aplikace participanty: 1. Uživatel očekává vytvoření zástupce aplikace na ploše 2. Dále očekává automatickou synchronizaci párů - složek 3. Není zřejmá povinnost zadat hvězdičku před příponu ve filtru synchronizovaných souborů 4. Přehledová tabulka operace synchronizace je nesrozumitelná. 5. Aplikace se chová nečekaně při konfliktu změn Přiřazení priority nálezům nebylo jednoduché, neboť se téměř všechny problémy zdají být významné. Nakonec nejvyšší prioritu dostal nález, který vede k poškození spravovaných dat. Střední prioritu dostaly problémy, které výrazně znepříjemňují či blokují práci s aplikací a nízkou problém, který je nepříjemný, ale neškodný. Pátému nálezu přiřazujeme vysokou prioritu. Je na místě položit si otázku, zda se jedná o problém použitelnosti nebo o bug (chybu programu). Jedná se o problém použitelnosti, neboť jsme nakonec zjistili, že aplikace přepsaná data ukládá do koše (Koš - Recycle bin - funkce operačního systému). Žádnému participantovi to však nebylo zřejmé. Pokud o záloze neví, je to to samé, jako kdyby o data přišel. Střední prioritu přikládáme prvnímu, třetímu a čtvrtému problému. Tyto chyby znepříjemňují práci s aplikací a mohou zamezit používání některých funkcí, ve světle čtvrtého nálezu jsou však méně důležité. Nízkou prioritu přiřazujeme druhému problému. Jedná se spíše o feature request. Uživatelé od aplikace očekávají něco, co neumí.
18 (18)
