Uživatelské testování Outlook.com

Zpráva o uživatelském testování

České vysoké učení technické v Praze

F3

Fakulta elektrotechnická Katedra počítačové grafiky a interakce

Uživatelské testování Outlook.com Karolína Burešová, Martin Hořeňovský, Tomáš Chamra, Vojtěch Kůrka

Květen 2014

/ Obsah 1 Úvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1 1.1 Popis předmětu testování . . . . . . . .1 1.2 Cílová skupina . . . . . . . . . . . . . . . . . . .2 2 Popis testování . . . . . . . . . . . . . . . . . . . . .3 2.1 Výběr účastníků . . . . . . . . . . . . . . . . .3 2.2 Samotné testování . . . . . . . . . . . . . . .3 2.3 Vyhodnocení . . . . . . . . . . . . . . . . . . . . .4 3 Výsledky . . . . . . . . . . . . . . . . . . . . . . . . . . . .5 3.1 Charakteristika výsledné skupiny účastníků . . . . . . . . . . . . . . . .5 3.2 Technické problémy ovlivňující testování. . . . . . . . . . . . . . . . . . . . . .5 3.3 Výstupy testování jednotlivých účastníků . . . . . . . . . . . . . . . . . . .6 3.3.1 Účastník 1 . . . . . . . . . . . . . . . . . .6 3.3.2 Účastník 2 . . . . . . . . . . . . . . . . . .7 3.3.3 Účastník 3 . . . . . . . . . . . . . . . . . .8 3.3.4 Účastník 4 . . . . . . . . . . . . . . . . . .8 3.3.5 Účastník 5 . . . . . . . . . . . . . . . . . .9 3.4 Přehled nálezů . . . . . . . . . . . . . . . . . . .9 A Screener . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 B Odpovědi vybraných účastníků na Screener . . . . . . . . . . . . . . . . . . . . . . . 14 C Testovací manuál. . . . . . . . . . . . . . . . . 15 D Prohlášení účastníka testu . . . . . . 17 E Interview před testem . . . . . . . . . . . 18 F Interview po testu. . . . . . . . . . . . . . . . 19 G Seznam úkolů. . . . . . . . . . . . . . . . . . . . . 20 H Konečný seznam úkolů . . . . . . . . . . 21

iii

Kapitola Úvod

1

Cílem uživatelského testování v laboratoři použitelnosti je otestovat, jak budou určitý produkt používat reální uživatelé. Zejména se během testování zjišťuje, zda je pro uživatele práce s daným produktem příjemná, a na základě uživatelských postupů se identifikují problémy v návrhu produktu. K věcem nezbytným pro získání směrodatných výsledků patří vhodné definování cílové skupiny, nalezení jejích vhodných reprezentantů a zajištění shodných podmínek pro všechny účastníky testování. Výstupy uživatelského testování představují jednak záznamy z průběhu testování jednotlivými účastníky, jednak souhrný přehled nálezů. V rámci této práce byla testována služba Outlook.com.

1.1

Popis předmětu testování

Outlook.com je bezplatná e-mailová služba provozovaná společností Microsoft. Tato služba umožňuje používat e-mail pouze prostřednictvím internetového prohlížeče, podobně jako např. Gmail, e-mail od Seznam.cz a další. Mezi podobnými službami má Outlook.com minoritní podíl.

Obrázek 1.1. Zobrazení doručené pošty v Outlook.com

1

1. Úvod

.............................................

Po založení e-mailové schránky má uživatel k dispozici podobnou funkcionalitu jako v jiných internetových klientech, zejména tedy možnost vytvářet a číst e-maily, spravovat kontakty, ale také třeba možnost vytvářet pravidla pro automatické zpracování došlých zpráv nebo nastavit automatickou odpověď. K využívání služby se vyžaduje účet Microsoft, tedy společný účet pro různé internetové služby poskytované společností Microsoft (SkyDrive, Xbox LIVE, . . . ). Uživatel si tento účet může vytvořit spolu s e-mailovou schránkou. Outlook.com je lokalizovaný do mnoha jazyků včetně češtiny, která byla použita jako výchozí jazyk v tomto testování.

1.2

Cílová skupina

Cílovou skupinu představují mladí lidé, kteří alespoň příležitostně pracují s e-maily a Outlook.com ještě nepoužívali. Lze předpokládat, že tito lidé ovládají základy práce s počítačem a pohyb v síti Internet. Dále se očekává, že vybraní účastníci budou schopní plynně číst český text a rozumět mu. S ohledem na minoritní podíl Outlook.com se testování zaměřuje zejména na zahájení využívání služby a první dojmy z nejběžnějších činností, neboť právě ty jsou rozhodující v případě, že uživatel zvažuje změnu poskytovatele. Z tohoto důvodu by účastníci testování neměli mít žádnou předchozí zkušenost s Outlook.com. Mladé lidi je navíc obvykle snazší nadchnout pro novou věc, typicky si snadněji zvykají, a také mezi nimi dobře fungují přátelská osobní doporučení, která představují nejlepší možnou reklamu. Důraz na to, aby účastníci testování Outlook.com nikdy nepoužívali, je kladen proto, že celé testování se zaměřuje zejména na začátek práce s touto službou.

2

Kapitola 2 Popis testování 2.1

Výběr účastníků

S dostatečným časovým odstupem před samotným testováním probíhá hledání a výběr účastníků. Hledání může probíhat různými formami (osobní oslovování, inzerce na Internetu, . . . ), k samotnému výběru se používá screener. Screener má podobu krátkého dotazníku, který ověřuje konkrétní vlastnosti či schopnosti potenciálních účastníků. Spolu s jeho vytvořením se stanoví i kritéria, podle kterých se vybere sestava opravdových účastníků. My jsme z časových i finančních důvodů zvolili možnost osobního oslovení lidí, o kterých jsme předpokládali, že by mohli být vhodnými kandidáty na testování. Kritéria pro výběr účastníků jsme stanovili takto:

.. ..

Věk: 2x18-20, 2x21-23, 1x24-30 Četnost používání e-mailu: 1x jednou týdně, 2x jednou denně, 2x několikrát denně Někdy využívané služby: nesmí mít zkušenosti s Hotmail.com Primární poskytovatel: ve výsledné skupině alespoň 3 různí

Požadavky na věk účastníků se povedlo splnit částečně, testu se skutečně účastnili 2 lidé s věkem v rozmezí 18-20 let a 2 s věkem v rozmezí 21-23 let, pátý účastník byl ale starší. Požadavky na četnost používání e-mailu byly také splněny jen částečně, testu se účastnil pouze jeden člověk, který e-mail využívá jednou denně, a neúčastnil se ho nikdo, kdo by e-mail využíval jen jednou týdně. Z tohoto důvodu je potřeba počítat s tím, že výsledná skupina představuje o něco zkušenější uživatele, než bylo zamýšleno. Požadavky na někdy využívané služby a na primární poskytovatele e-mailu se nám podařilo dodržet. Použitý screener je uveden v příloze A, odpovědi vybraných účastníků pak v příloze B.

2.2

Samotné testování

Testování probíhá v laboratoři použitelnosti, my testovali v Usability labu v budově FEL ČVUT na Karlově náměstí. Celou laboratoř tvoří dvě místnosti. V jedné je zařízené jednoduché pracovní prostředí, kde účastník plní na počítači připravené úkoly. Dění v této místnosti nahrávají dvě kamery, kromě nich se při testování používá ještě webkamera s mikrofonem, navíc se zaznamenává obraz z displeje počítače, na kterém účastník plní úkoly. Ve druhé místnosti se nacházejí pozorovatelé, kteří prostřednictvím kamer v reálném čase sledují účastníka, jeho snahy splnit úkoly, a zejména jeho reakce na chování testovaného produktu. Účastník by měl během testování komentovat své počínání, vysvětlovat, co přesně se snaží udělat a proč se to snaží udělat zrovna takto. 3

2. Popis testování

.........................................

Průběh celého testu se obvykle odvíjí od testovacího manuálu, který tým realizující testování předem připraví. Účastník testování se setkává pouze s moderátorem, k setkání s pozorovateli nedochází. Moderátor účastníka přivítá a seznámí s obsahem testování, následně s ním projde tzv. interview před testem (pre-test interview). Poté nechá účastníka plnit zadané úkoly, na konci testování s ním projde tzv. interview po testu (post-test interview) a rozloučí se s ním.

2.3

Vyhodnocení

Pozorovatelé již během samotného testování pořizují záznamy o průběhu testu, ve kterých mimo jiné upozorňují na problematické momenty, kdy měl účastník problém úkol splnit, nechal se zmást nelogickou zpětnou vazbou atp. Po testování se na pořízených videozáznamech mohou podrobněji analyzovat právě problematické momenty – speciálně pokud účastník svůj postup příliš nekomentoval, může být možné z těchto záznamů získat lepší představu o tom, co očekával, resp. jak se snažil úkol splnit. Následně se vytvoří seznam zjištěných problémů seřazený podle významnosti.

4

Kapitola 3 Výsledky 3.1

Charakteristika výsledné skupiny účastníků

Vybranou skupinu účastníků tvořili zejména studenti ve věku 19-22 let, jeden účastník byl starší (36 let). Všichni používají e-mail alespoň jednou denně, čtyři z nich dokonce uvedli, že ho používají několikrát denně. Všichni účastníci mají zkušenosti s alespoň dvěmi službami poskytujícími internetového e-mailového klienta, všichni také někdy používali službu GMail.com.

3.2

Technické problémy ovlivňující testování

Během testování jsme narazili na problém spočívající v omezeních, která Microsoft uplatňuje při opakovaných registracích. Hned u druhé účastnice nebylo možné dokončit registraci z důvodu vyčerpaného maximálního počtu registrací za den, některé úkoly navíc začaly vyžadovat ověření účtu pomocí telefonního čísla, které je za jiných okolností nepovinné. V důsledku těchto problémů byl v průběhu testování změněn druhý úkol (původně registrace, později pouze přihlášení) a devátý úkol (původně vytvoření automatické odpovědi, později vytvoření aliasu).

5

3. Výsledky

...........................................

3.3

Výstupy testování jednotlivých účastníků

Není-li u úkolu uvedeno jinak, zvládl účastník splnit daný úkol bez problému.

3.3.1

Účastník 1

Prvním účastníkem byl muž, 36 let, přednášející na FEL ČVUT. E-mail obvykle používá jednou denně, primárně využívá službu GMail.com. Úkol ii – Registrace • Účastníkovi nevyhovovala čeština, ale před dokončením registrace nikde nenašel možnost jazyk změnit. • Přestože prohlížeč účastníka byl funkční, rozhraní se dožadovalo aktualizace prohlížeče a bylo potřeba explicitně potvrdit, že si účastník přeje pokračovat. Ú častník si sám pro vlastní pohodlí přepl jazyk uživatelského rozhraní na anglický. Úkol iv – Přidání kontaktu • Načítání stránky trvalo velmi dlouho. Úkol v – Přidání skupiny a zařezení kontaktu do ní • Účastník očekával, že bude možné kontakt do skupiny přesunout myší. • Účastník předpokládal, že k uložení přidaného kontaktu dojde automaticky. Teprve později zjistil, že změny je nutné uložit explicitně, a musel přidání kontaktu opakovat. Úkol vi – Odeslání skryté kopie skupině • Účastník očekával, že našeptávač bude našeptávat název skupiny, to se nedělo. • Účastník nejprve nemohl najít odkaz pro přidání skryté kopie. • Účastník v části Lidé vybral příslušnou skupinu a klikl na odkaz pro zaslání e-mailu, tím se ale dostal do Doručené pošty. Úkol viii – Vytvoření filtru na příchozí poštu • Účastník měl problém najít možnost přidat pravidlo, nejprve klikl pravým tlačítkem na Složky, po čemž se mu v kontextovém menu objevila možnost spravovat pravidla. Účastník se ale překlikl vedle a při pozdějším klikání (v jiném místě) se možnost v kontextovém menu neobjevovala. Účastník správu pravidel nakonec nalezl v nastavení. Úkol ix – Vytvoření automatické odpovědi • Účastník nejprve hledal ve správě pravidel, poté v I nstant actions (v českém rozhraní Rychlé akce). Po neúspěšném hledání si od moderátorky nechal potvrdit, že toto je skutečně možné nastavit, nakonec možnost nalezl v Nastavení. V interview po testu účastník uvedl, že mu vadila nemožnost změnit si jazyk při registraci. Celkově mu rozhraní přijde „příliš placaté“. E-maily účastník používá nerad, chybí mu možnost ověřit, že e-mail opravdu přijde. Pro komunikaci preferuje Skype. 6

.............................. 3.3.2

3.3 Výstupy testování jednotlivých účastníků

Účastník 2

Druhou účastnicí byla žena, 19 let, studentka gymnázia. E-mail používá několikrát denně, primárně využívá službu Seznam.cz. Úkol ii – Registrace/Přihlášení M ísto registračního formuláře se účastnici objevila chybová hláška oznamující, že byl vyčerpán denní limit registrací. Po rychlé poradě celého týmu testujících byl tento úkol nahrazen přihlášením se pomocí poskytnutých přihlašovacích údajů. • Opět se kvůli verzi jinak zcela funkčního prohlížeče objevilo upozornění na zastaralý prohlížeč a bylo po přihlášení potřeba odkliknout, že si účastnice přesto přeje pokračovat. Úkol iii – Odeslání e-mailu s přílohou • Při pokusu o odeslání e-mailu bez předmětu bylo po účastnici požadováno ověření pomocí CAPTCHA. Účastnice správně opsala kód, při opětovném pokusu o odeslání e-mailu jí byl zablokován účet, k odblokování bylo požadováno ověření pomocí telefonního čísla. T estující tým účet ověřil pomocí telefonního čísla jednoho z testujících. Úkol iv – Přidání kontaktu • Účastnice až po chvíli odhalila vysouvací záložky, po jejich zobrazení hledala spíše K ontakty, ale rozhodla se zkusit záložku Lidé. • Načítání správy kontaktů trvalo velmi dlouhou dobu. • Účastnice si po přidání kontaktu nebyla jistá, zda se nový kontakt opravdu uložil, nebo ne, neboť maily odeslané na zadanou adresu měli v adresátovi stále tuto adresu, nikoli vlastní pojmenování. Úkol vi – Odeslání skryté kopie skupině • E-mail byl účastnici doručen až po delší době; poté se zaktualizovaly jen počty zpráv v levém menu složek, e-mail se neobjevil v zobrazení doručené pošty. Úkol viii – Vytvoření filtru na příchozí poštu • Účastnice nevěděla, kde přidání hledat, začala v nastavení účtu, poté zkoušela kontextové menu na složku, do které chtěla poštu přesouvat. Úkol ix – Vytvoření aliasu • Účastnice alias nalezla a nastavila v nastavení účtu Microsoft, tedy nastavila alias pro všechny služby, nikoli pouze pro e-mail. Úkol x – Nastavení jazyku a barevného rozhraní • Účastnice se stále nacházela v nastavení účtu Microsoft, zde jazyk změnila snadno, ale změna se neprojevila v části Outlook.com. a to ani po obnovení stránky. • Účastnice nemohla najít nastavení barvy, prohledávala nastavení, nastavení účtu Microsoft a další místa. K dokončení úkolu byl nutný zásah moderátorky. 7

3. Výsledky

...........................................

3.3.3

Účastník 3

Třetím účastníkem byl muž, 21 let, student FS ČVUT. E-mail používá několikrát denně, jako primární využívá službu Centrum.cz. Úkol iii – Odeslání e-mailu s přílohou • Účastník jako první přiložil soubor přetažením z průzkumníka Windows. Úkol vi – Odeslání slepé kopie skupině • Účastník Účastník • Účastník bídky. • Účastník

okamžitě našel možnost poslat e-mail, ale našeptávač nenašeptával skupinu. se proto vracel do záložky lidí, aby si ověřil, že skupinu opravdu přidal. nemohl najít možnost přidat adresáta do skryté kopie, prohledal různé naúkol vzdal a nedokončil.

Úkol ix – Vytvoření aliasu Ú častník omylem přeskočil devátý úkol, moderátorka ho nechala dokončit desátý a poté ho požádala o dodělání tohoto. • Účastník, stále s jazykem nastaveným na nagličtinu, jednoduše našel možnost přidání aliasu, ovšem v nastavení účtu Microsoft zůstala čeština, průvodní text k ověření e-mailu kvůli nastavení aliasu se proto zobrazil v češtině. Účastníkovi se nelíbil adresář lidí ve vlastní záložce, a zejména se mu nelíbila nekonsistence volby jazyka srze menu. Také si nebyl jistý, jak některé věci udělat. Účastník je spokojený se svým e-mailovým klientem (webmail Centrum.cz), oceňuje jeho jednoduchost a odlehčenou verzi, která běhá rychle.

3.3.4

Účastník 4

Čtvrtým účastníkem byl muž, 20 let, student MFF UK. E-mail používá několikrát denně, primárně na službě GMail.com. Úkol v – Přidání skupiny a zařazení kontaktu do ní • Účastník po úspěšném přidání kontaktu do skupiny stále hledal, jak toto udělat, protože nedostal rozumnou zpětnou vazbu. Úkol ix – Vytvoření aliasu • Účastník našel přidání aliasu rychle, po kliknutí se mu ale objevila obrazovka hlásící „Pomozte nám chránit váš účet“. Účastník získal pocit, že v tomto místě alias nenastaví, a hledal ho dále. • Na správné místo nastavení se účastník ještě dvakrát vrátil, než se mu povedlo pochopit souvislost ověřování účtu s přidáváním aliasu. Poté již přidání proběhlo bez problému. Úkol x – Nastavení jazyka a barvy rozhraní • Účastník nejprve hledal v nastavení účtu Microsoft, kde se mu nastavení jazyka nepodařilo najít. Poté zkoušel hledat v nastavení Outlook.com, kde se mu již nastavení najít podařilo. Účastník měl podle svého vyjádření problémy najít nastavení aliasu (podle záznamů ho našel bez problémů, ovšem na dlouhou dobu ho zmátla nutnost ověření alternativní e-mailové adresy). Účastník běžně vyřizuje větší množství e-mailů. Používá internetového klienta GMail.com, ale snaží se přejít na program mutt, který považuje za efektivnější. 8

........................................ 3.3.5

3.4 Přehled nálezů

Účastník 5

Pozorování z testování s pátým účastníkem byla ze zpracování vyřazena. Účastník se během testu sám snažil vyhodnocovat použitelnost systému, určovat potenciální problémy atp. Moderátorka se pokoušela účastníka nasměrovat ke správnému způsobu testování, ale toho se nepovedlo docílit trvale.

3.4

Přehled nálezů

Nálezy jsou rozděleny do následujících kategorií: Kritické chyby Chyby, které znemožňují zamýšlené využití systému a jejichž odstranění je nezbytné pro správné fungování. Závažné chyby Chyby, které významným způsobem komplikují využití systému, a které by proto měly být co nejdříve odstraněny. Chyby Chyby, jejichž odstranění by uživateli zpříjemnilo práci se systémem, ale jejichž přítomnost tuto práci nijak zásadně neomezuje. Kosmetické chyby Chyby, které mohou kazit příjemný dojem ze systému. Jejich odstranění není nutné. Připomínky Nálezy, které by neměly být považovány za chyby v klasickém smyslu, ale které mohou stát za pozornost. Kritické chyby Nemožnost změnit jazyk během procesu registrace Pozorováno u účastníka 1 Na úvodní stránce Outlook.com ani v průběhu registrace není možné změnit nastavení jazyka. Při testování byla pozorována frustrace účastníka z této skutečnosti, v běžném použití může účastník stránku opustit i z důvodu, že prezentovanému obsahu nerozumí. Doporučení: Přidat na úvodní stránku výběr jazyka Nejasné odlišení Outlook.com a účtu Microsoft Pozorováno u účastníků 2, 3, 4 Uživatelům nebylo jasné odlišení nastavení pro službu Outlook.com a pro účet Microsoft, v důsledku toho vůbec nechápali, proč se např. změna jazyka projevuje jen na některých místech. Doporučení: Důsledněji odlišovat účet Microsoft, k nastavení přidat výběr mezi nastavením pro danou službu a pro všechny služby

9

3. Výsledky

...........................................

Závažné chyby Po přidání kontaktu se e-mailům jako adresát stále zobrazuje jen adresa Pozorováno u účastníka 2 Přestože uživatel úspěšně přidá nový kontakt s nějakou e-mailovou adresou, e-maily poslané na tuto adresu mají v poli adresáta stále uvedenou adresu, nikoli zadané jméno kontaktu. Doporučení: Méně matoucí by bylo nejpozději po obnovení stránky zobrazovat v poli adresáta zadané jméno kontaktu Našeptávač někdy nenašeptává jméno skupiny Pozorováno u účastníků 1, 3, nepozorováno u účastníka 4 V některých případech našeptávač při tvorbě e-mailu nenašeptával jméno existující skupiny, příčinou bylo pravděpodobně pomalé připojení k Internetu. Nepravidelnost (ne)našeptávání může být pro uživatele tím spíš matoucí, protože uživatel ví, že obvykle našeptávač skupinu našeptává; speciálně po přidání nové tak může získat pocit, že ve skutečnosti došlo k nějaké chybě. Doporučení: Detekovat rychlost spojení a případně funkci našeptávání neposkytovat, ovšem s upozorněním uživatele na tuto skutečnost Opakování akce po ověření účtu pomocí CAPTCHA může vést k zablokování účtu Pozorováno u účastníka 2 Přestože uživatel ověří pomocí CAPTCHA svůj účet, opakování akce vede k zablokování účtu a nutnosti ověření pomocí telefonního čísla. Doporučení: Buď se spokojit s ověřením pomocí CAPTCHA, nebo vyžadovat ověření pomocí telefonního čísla rovnou Ochrana účtu pomocí ověření adresy může být matoucí Pozorováno u účastníka 4 Některé akce jsou podmíněné ověřením alternativní e-mailové adresy v zájmu ochrany účtu. To je ale nedostatečně vysvětleno, uživatel může získat pocit, že se v daném místě nastavuje něco zcela jiného, než co hledá. Doporučení: Neskrývat úplně původní činnost, pouze přidat informaci, že k jejímu provedení je nutné ověření účtu, a možnost účet ověřit, případně odkaz na ni Chyby Odkaz na poslání e-mailu skupině vede do doručené pošty Pozorováno u účastníka 1 Klikne-li uživatel ve správě skupiny na odkaz „Poslat e-mail“, je přesměrován do doručené pošty místo do tvorby e-mailu. Doporučení: Po kliknutí na odkaz přesměrovat uživatele do tvorby e-mailu s předvyplněným adresátem na danou skupinu Správa pravidel se nenachází v kontextovém menu jednotlivých složek Pozorováno u účastníků 1, 2 Zatímco v kontextovém menu „hlavičky“ postranního menu s jednotlivými složkami se nachází možnost spravovat pravidla, v kontextovém menu jednotlivých složek chybí. Doporučení: Přidat odkaz na správu pravidel do kontextového menu jednotlivých složek

10

........................................

3.4 Přehled nálezů

Možnost přidání adresátů do skryté kopie je těžko najitelná Pozorováno u účastníků 2, 4 Účastníci měli problém najít odkaz pro přidání skryté kopie Doporučení: Mohlo by pomoci přesunout odkazy pro přidání (skryté) kopie pod pole hlavního adresáta Kosmetické chyby Načítání stránek někdy trvá velmi dlouho Pozorováno u účastníků 1, 2, 3, 4 Uživatelé si na načtení stránek museli někdy počkat až desítky vteřin. Doporučení: Přestože problémem byla zřejmě rychlost připojení uživatelů k Internetu, bylo by vhodné nějak detekovat příliš pomalá spojení a uživatelům nabízet odlehčenou verzi, která by jim fungovala s kratší odezvou Není možné přesunout kontakt do skupiny přetažením myší Pozorováno u účastníka 1 Účastník očekával, že může kontakt do skupiny přetáhnout myší, to nefungovalo. Doporučení: (bez doporučení) Nastavení barevného schématu rozhraní může být přehlédnuto Pozorováno u účastníka 2 Nastavení barevného schématu rozhraní v rozbalovacím menu nastavení formou kliknutí na jeden z několika barevných čtverečků může být přehlédnuto, a jinde tato možnost není. Doporučení: Přidat nastavení barevného schématu i do celého nastavení

11

................................................

Příloha A Screener Rádi bychom Vás požádali o vyplnění následujícího dotazníku. Hledáme uživatele pro testování uživatelského rozhraní služby Outlook.com a rádi bychom zjistili, zda jste pro náš test vhodný kandidát. V případě, že budete vybráni, budeme Vás kontaktovat a požádáme Vás o účast na testu u nás, v laboratoři na Karlově náměstí. Toto testování by trvalo cca 60 minut. Jméno a příjmení: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Kontakt na Vás: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Váš věk: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Vaše zaměstnání (pozice a firma/škola): . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. Jak častou používáte email? (zvolte prosím jednu možnost) • Nikdy • Jednou týdně • Jednou denně • Několikrát denně 2. Které z těchto emailových služeb jste někdy používal/a? (zaškrtněte všechny platné) • Seznam.cz • Centrum.cz • Atlas.cz • GMail.com • Outlook.com • Hotmail.com • Yahoo.com 3. Kterého poskytovatele emailu používáte jako hlavního? (napište název, případně „vlastní server“) .................................................................................. 4. Jaký je Váš oblíbený druh čokolády? .................................................................................. Děkujeme Vám za Váš čas!

13

Příloha B Odpovědi vybraných účastníků na Screener Účastník 1 36

Účastník 2 19

Účastník 3 21

Účastník 4 20

Účastník 5 22

Přednášející na FEL ČVUT

Studentka gymnázia

Student FS ČVUT

Student MFF UK

Student ČZU

E-mail používá

jednou denně

několikrát denně

několikrát denně

několikrát denně

několikrát denně

Má zkušenosti se službami

Yahoo.com, GMail.com

Seznam.cz, GMail.com

Seznam.cz, GMail.com, Centrum.cz

Seznam.cz, GMail.com, Centrum.cz

Seznam.cz GMail.com

Primární

GMail.com

Seznam.cz

Centrum.cz

GMail.com

GMail.com

Věk Zaměstnání

14

Příloha C Testovací manuál NEJPOZDĚJI PŘED ZAČÁTKEM TESTU • Co nejdříve je nutné uživatele nechat vyplnit Screener. Na základě tohoto formuláře organizátoři testu vyberou vhodné kandidáty splňující tato kritéria: • Uživatel alespoň někdy používá email • Uživatel nikdy nepoužíval Outlook.com, nepoužívá primárně Hotmail.com PŘED PŘÍCHODEM UŽIVATELE • Tým obstará pro uživatele odměnu v podobě čokolády odpovídající preferencím uvedeným ve Screeneru • Moderátor založí dočasnou emailovou schránku pro dvoufázové přihlašování, napíše její adresu na papír a položí na pracovní místo tak, aby tato adresa byla uživateli stále k dispozici • Moderátor otevře dvě samostatná okna prohlížeče, vymaže cookies a historii, v jednom okně bude otevřena výše zmíněná dočasná schránka, v druhém bude otevřen vyhledávač Google • Moderátor připraví počítač tak, aby jeho obraz mohl být zaznamenávám „testery za zdí“ PŘED ZAHÁJENÍM TESTU • Moderátor uživatele přivítá (případně nejprve vyzvedne na vrátnici areálu ČVUT) a nabídne mu občerstvení (vodu) • Poté s uživatelem probere průběh testu, zejména vysvětlí, že • testujeme službu Outlook.com; moderátor vysvětlí, co je tato služba zač • při testu nelze postupovat špatně – pokud uživateli něco nejde, je to chyba uživatelského rozhraní, nikoliv uživatele • úkoly testu bude mít účastník na papíru u počítače • při plnění úkolů je důležité přemýšlet nahlas a oznamovat dokončení úkolu • test bude probíhat maximálně 40 minut • Dále moderátor uživateli vysvětlí, jakým způsobem je test zaznamenávám, zejména zdůrazní, že • námi získaná data budou dále zpracována a anonymně agregována • účastník bude nahráván, pořizován bude obrazový i zvukový záznam, na počítači je nainstalovaný keylogger – z tohoto důvodu moderátor doporučí nepožívání obvyklých hesel • účastník může kdykoli odejít, čímž neztrácí nárok na vydanou čokoládu • Pokud uživatel se vším souhlasí, podepíše „Prohlášení účastníka testu“ • Po podepsání prohlážení bude uživateli vydána odměna v podobě čokolády zvolené na základě poslední otázky Screeneru • Následně s uživatelem projde „Interview před testem“, uživatel se vyjadřuje pouze ústně, moderátor si může dělat poznámky – pokud ne, dělají si je „testeři za zdí“ • Pokud má uživatel nějaké otázky, v tuto chvíli mu budou zodpovězeny 15

C Testovací manuál

........................................

PŘI TESTU (MAXIMÁLNĚ 40 MINUT) • Uživatel vykonává zadané úkoly, moderátor je k dispozici, ale do testu zpravidla nezasahuje • Pokud uživatel narazí na problém a nemůže se dlouhou dobu posunout dále, moderátor může napovědět, jak v dané chvíli pokračovat PO TESTU • Stejným způsobem, jakým bylo provedeno „Interview před testem“, bude v tuto chvíli provedeno „Interview po testu“ • V případě dotazů je moderátor zodpoví, poděkuje, rozloučí se a odvede uživatele ven z laboratoře, a následně jej moderátor či jiný člen týmu doprovodí na vrátnici areálu ČVUT

16

................................................

Příloha D Prohlášení účastníka testu Jméno a příjmení: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Uživatelského testování služby Outlook.com se účastním dobrovolně a bez právního nároku na jakoukoliv finanční kompenzaci. Jsem si vědom/a, že test mohu kdykoli ukončit, a to i bez udání důvodu. Souhlasím s pořízením zvukových a obrazových záznamů mé osoby během testu. Dále beru na vědomí, že veškerá data zadaná během testu do počítače dodaného organizátorem testu mohou být ukládána. Souhlasím se zpracováním mých osobních údajů uvedených ve Screeneru, zvukových a obrazových záznamů pořízených během testování a jiných údajů, které organizátorům test poskytnu, za účelem vypracování semestrální práce z předmětu Testování uživatelského rozhraní (A4B39TUR) na FEL ČVUT v Praze. Po vypracování semestrální práce budou původní zvukové a obrazové záznamy zničeny. Data mohou být v anonymizované podobě (tedy bez jména, příjmení a kontaktních údajů) zveřejněna v semestrální práci a vystavena na síti Internet prostřednictvím serveru hcisemestralky.felk.cvut.cz. Podpis účastníka:

V Praze 2. května 2014

17

E Interview před testem

......................................

Příloha E Interview před testem Při rozhovoru o používání e-mailu a e-mailových služeb vychází moderátor zejména z těchto otázek: • Používal/a jste někdy v minulosti službu Hotmail.com? • Kolik e-mailů běžně dostáváte? • Kolik z e-mailů, které dostáváte, vyžaduje nějakou reakci? • Chodí vám e-maily spíše pravidelně, nebo nárazově?

18

................................................

Příloha F Interview po testu Při závěrečném rozhovoru po konci plnění úkolů vychází moderátor zejména z těchto otázek: • Jaký typ zpráv posíláte nejčastěji? (Jako příklad odpovědi může moderátor uvést korespondenci s jednou jinou osobou, plánování ve skupině, řetězové e-maily, . . . ) • Jaké máte z testování pocity? • Jaký úkol byl pro vás nejtěžší? Umíte říct proč, případně co by vám s ním pomohlo? • • • •

Používáte webmaily běžně? Pokud ano, které? Používal/a jste někdy jako e-mailového klienta samostatný program? Co se vám na tomto webmailu líbilo? Co ne? Přijde vám v něčem lepší váš primární e-mailový klient?

19

Příloha G Seznam úkolů Pro účastníky byl připraven následující seznam úkolů, ten měli účastníci během celého testování k dispozici. Nyní prosíme, abyste se pokusil/a splnit alespoň některé z následujících úkolů. Vykonávejte je v pořadí, v jakém jsou uvedeny, neboť některé z nich na sebe mohou navazovat. V žádném případě není nutné splnit všechny úkoly, ani není nutné s nimi spěchat. Dále bychom velice ocenili, kdybyste mohl/a Váš postup při testování co nejvíce komentovat. Na závěr bychom Vám chtěli připomenout, že máte právo z testu kdykoliv odstoupit. i. V internetovém prohlížeči otevřete adresu www.outlook.com ii. Založte si novou emailovou schránku, jejíž adresa bude končit na @outlook.com • Jako alternativní emailovou adresu při registraci uveďte adresu, kterou máte napsánu na papíru před sebou iii. Odešlete email s přílohou (přiložte jakýkoli soubor nacházející se v Dokumentech) na adresu [email protected] iv. Do adresáře přidejte nový kontakt jménem Jan Novák s emailovou adresou [email protected], jemuž jste právě zaslali emailovou zprávu v. Vytvořte novou skupinu kontaktů TUR, v níž bude zahrnut právě přidaný kontakt vi. Odešlete email sám sobě, a zároveň jeho skrytou kopii právě vytvořené skupině vii. Založte novou složku pro emaily, pojmenujte ji Škola viii. Vytvořte filtr, který všechny emaily odeslané z adresy končící na cvut.cz přesune do složky Škola ix. Vytvořte automatickou odpověď, která bude obratem odeslána každému, kdo vám pošle email (nezávisle na tom, zda ho máte v kontaktech, či nikoliv) x. Změňte jazyk uživatelského rozhraní na anglický a změňte barvu uživatelského rozhraní na červenou

20

Příloha H Konečný seznam úkolů Během testování jsme narazili na omezení služby, např. denní limit registrací. Z tohoto důvodu jsme v průběhu testování měnili některé úkoly, až do níže uvedené výsledné podoby. i. V internetovém prohlížeči otevřete adresu www.outlook.com ii. Přihlaste se pomocí poskytnutých přihlašovacích údajů iii. Odešlete email s přílohou (přiložte jakýkoli soubor nacházející se v Dokumentech) na adresu [email protected] iv. Do adresáře přidejte nový kontakt jménem Jan Novák s emailovou adresou [email protected], jemuž jste právě zaslali emailovou zprávu v. Vytvořte novou skupinu kontaktů TUR, v níž bude zahrnut právě přidaný kontakt vi. Odešlete email sám sobě, a zároveň jeho skrytou kopii právě vytvořené skupině vii. Založte novou složku pro emaily, pojmenujte ji Škola viii. Vytvořte filtr, který všechny emaily odeslané z adresy končící na cvut.cz přesune do složky Škola ix. Vytvořte si nový alias – stejnou adresu na doméně outlook.cz • Pro ověření použijte emailovou adresu, kterou máte napsánu na papíru před sebou x. Změňte jazyk uživatelského rozhraní na anglický a změňte barvu uživatelského rozhraní na červenou

21