České vysoké učení technické v Praze Fakulta elektrotechnická
Multimediální přehrávač KMPlayer testování v uLabu A4B39TUR - Testování uživatelského rozhraní Semestrální práce C
Zbyněk Eiselt, Jakub Vašek, Václav Pruner 3. ročník OI - bakalářské studium LS 2013/2014
~1~
Obsah 1.
Úvod ................................................................................................................................................ 3
2.
Cílová skupina .................................................................................................................................. 3
3.
Příprava na test ............................................................................................................................... 3 A.
Screener....................................................................................................................................... 3
B.
Seznam úkolů .............................................................................................................................. 5
C.
Dotazník před testem .................................................................................................................. 6
D.
Dotazník po testu ........................................................................................................................ 6
4.
Nastavení testu................................................................................................................................ 6 A.
Organizace a uspořádání v laboratoři ......................................................................................... 6
B.
Hardwarové prostředky............................................................................................................... 7
C.
Softwarové prostředky ................................................................................................................ 7
D.
Výchozí stav ................................................................................................................................. 7
5.
Průběh testu s participanty ............................................................................................................. 7 A.
Participant 1 ................................................................................................................................ 7
B.
Participant 2 ................................................................................................................................ 9
C.
Participant 3 .............................................................................................................................. 11
D.
Participant 4 .............................................................................................................................. 12
E.
Participant 5 .............................................................................................................................. 14
6.
Přehled problémových úkolů ........................................................................................................ 15
7.
Závěr .............................................................................................................................................. 15
~2~
1. Úvod Tento semestrální projekt se bude zabývat testováním uživatelského rozhraní aplikace KMPlayer. Aplikace se řadí mezi multimediální přehrávače, které jsou volně stažitelné na internetu. KMPlayer je všestranný korejský video a audio přehrávač podporující širokou škálu kodeků a formátů. Má též plnou funkčnost pro přehrávání DVD. Hlavním cílem testu bylo odhalit problémy v použitelnosti uživatelského rozhraní programu. Většina úkolů simulovala běžné používání aplikace, aby bylo možné zjistit, s jakými problémy se uživatel nejčastěji setká. Pár úkolů simulovalo pokročilejší ovládání aplikace – to nám umožnilo zjistit, jak bude nezkušený uživatel postupovat při plnění složitějších úkolů. Program bude testován ve verzi 3.8.0
2. Cílová skupina Cílovou skupinou jsou uživatelé s alespoň základní znalostí práce na počítači starší 18 let, kteří využívají libovolný multimediální přehrávač pro přehrávání videí či hudby. Preferováni budou uživatelé využívající jiný multimediální přehrávač, než je KMPlayer. Zároveň ale vybereme uživatele, který testovaný program používá běžně, abychom zjistili, zda si s programem poradí lépe než ostatní.
3. Příprava na test A. Screener Screener je formulář, který nám umožnil vybrat námi požadovanou cílovou skupinu. Byl vytvořen pomocí online služby Google Disk a poté rozeslán známým a sdílen na sociálních sítích – to nám umožnilo relativně dobrý výběr mezi potencionálními participanty. V úvodní části formuláře byly informace o tom, k čemu tento formulář slouží a podmínky pro vyplnění formuláře. Následovaly jednotlivé otázky. Prvním kritériem při našem výběru byl věk, jelikož jsme chtěli participanty. Dále nás zajímalo pohlaví, abychom mohli otestovat jak ženy, tak muže. Další otázky měli za úkol zjistit, jak často lidé používají multimediální přehrávače a který konkrétní přehrávač používají nejčastěji. Zde byli vyřazeni ti lidé, kteří nepoužívají žádný multimediální přehrávač. Z ostatních jsme se snažili vybrat zástupce od každého multimediálního přehrávače a to i včetně testovaného VLC media playeru. Jelikož byl program po instalaci v angličtině, museli jsme brát ohled i na znalost angličtiny. Proto se poslední otázka dotazovala na schopnost orientace v programu v angličtině. Zde byli nežádoucí lidé, kteří se neorientují vůbec.
~3~
Pro ukázku zde máme část formuláře s otázkami pro výběr námi požadované cílové skupiny.
A odpovědi vybraných participantů.
~4~
Věk
Pohlaví
Kolik hodin V jakém týdně přehrávači je sledujete filmy sledujete? na PC?
Kolik hodin týdně posloucháte hudbu v PC?
V jaké aplikaci ji posloucháte?
Mezi 18 a 35
Žena
V rozmezí 1 až 5 hodin
BS.Player
Více než 5 hodin
Internetový prohlížeč
Mezi 18 a 35
Muž
V rozmezí 1 až 5 hodin
KMPlayer
Více než 5 hodin
Winamp
Mezi 18 a 35
Muž
Více než 5 hodin
Internetový prohlížeč
V rozmezí 1 až 5 hodin
Internetový prohlížeč
Více než 35
Muž
Méně než 1 hodinu
VLC, YouTube, Winamp
Více než 5 hodin
VLC, Winamp, SoundCloud, YouTube, ...
Mezi 18 a 35
Muž
Více než 5 hodin
Windows player classic
Více než 5 hodin
Winamp
B. Seznam úkolů 1 2 3 4 5 6 7
8 9 10 11 12 13 14 15
Nainstalujte program KMPlayer. Instalační soubor je umístěn na ploše. Spusťte aplikaci KMPlayer a nastavte jazyk programu na český. Pomocí programu KMPlayer otevřete soubor „video.mp4“, po 1 minutě video pozastavte a následně vypněte všechny zobrazené reklamy. K videu přidejte titulky „titulky.srt“, které se nachází ve stejné složce. Nastavte jazyk titulků na středoevropský a spusťte znova přehrávání videa. Titulky nejdou synchronně s videem, pokuste se je opět synchronizovat. Nastavte, aby okno přehrávače bylo vždy na vrchu pouze pokud se video přehrává. Ukažte, že při přehrávání se okno přehrávače nepřekryje a naopak překryje při pozastavení. Zachyťte snímek z přehrávaného videa do schránky. Vypněte zvuk přehrávaného videa a po chvilce opět zapněte. Pomocí programu KMPlayer otevřete soubor „music.mp3“ a zhruba po 20 sekundách jej pozastavte. Nastavte opakované přehrávání skladby. Zapněte ekvalizér zvuku a nastavte jej na "Rock" mód. Přejděte na čas 1:00, zrychlete rychlost přehrávání zvuku na 150% a poté jej po pár sekundách opět vraťte zpět na 100%. Nastavte opakování sekce 2:58 - 3:11 a nechte jej 2x přehrát. Zjistěte podrobné informace o právě přehrávané skladbě – jméno autora, délku skladby, jméno alba a rok vydání. Informace sdělte moderátorovi.
~5~
C. Dotazník před testem 1 2 3 4 5
K čemu nejčastěji používáte Váš multimediální přehrávač? Už jste někdy pracoval/a s titulky? Používáte nějaké další pokročilé funkce typu ekvalizér, zrychlení apod.? Pokud ano, jaké? Proč používáte Vámi vybraný multimediální přehrávač? Co se Vám na něm líbí a naopak nelíbí?
D. Dotazník po testu 1 2 3
Jaký je váš názor na multimediální přehrávač KMPlayer? Co se Vám na něm líbilo a nelíbilo? Přešel byste po těchto zkušenostech na přehrávač KMPlayer?
4. Nastavení testu A. Organizace a uspořádání v laboratoři Testování proběhlo v laboratoři uLab na Karlově náměstí v budově ČVUT od 12 do 18 hodin. Participanti byli domluveni vždy na celou hodinu a samotné testování jednoho participanta trvalo v rozmezí 15-25 minut. Participanta se po jeho příchodu ujal moderátor, který ho uvedl do testovací místnosti a zůstal s ním až do konce testování. Ostatní členové týmu byli v pozorovací místnosti a zaznamenávali průběh testu. Uspořádání laboratoře je zobrazeno na následujícím obrázku. Testovací místnost byla vybavena stolním počítačem, na kterém se testovalo, kamerami snímající obličej participanta a zbytek místnosti. Byly zde také 2 mikrofony – jeden zaznamenával zvuk k nahrávce, druhý přenášel zvuk do pozorovací místnosti. V testovací místnosti seděl participant vždy s moderátorem. V pozorovací místnosti bylo několik monitorů, na kterých bylo možné sledovat snímanou plochu testovacího počítače a záznamy z kamer. Zvuk z testovací místnosti bylo možné slyšet díky reproduktoru. Nacházel se tu také počítač, na kterém probíhalo logování průběhu testu. V pozorovací místnosti seděl zbytek týmu a zaznamenával průběh testu.
~6~
B. Hardwarové prostředky
Testovací PC (monitor 19” LCD, klávesnice, myš, web kamera, USB mikrofon)
Primární PC pro ovládání kamer
2x kamera na stěně pro sledování činnosti v místnosti pozorovatele
2x mikrofon pro záznam zvuku z místnosti
Sekundární PC určené ke sledování a komentování testu
Video mixér, DVD, 4x LCD televize
C. Softwarové prostředky
Microsoft Windows 7 na testovacím PC
Microsoft Windows XP na PC v pozorovací místnosti
Morae software pro záznam a zpracování průběhu testu
KMPlayer 3.8.0.122
D. Výchozí stav Při příchodu participanta do testovací místnosti byl počítač zapnutý. Instalační soubor programu KMPlayer byl umístěn na ploše a soubory, které byly použity v rámci testování, byly taktéž na ploše ve složce „test“. Moderátor vždy ujistil participanta, že testujeme software, nikoli jeho a že není nutné, aby dokončil všechny úkoly. Dále poznamenal, že si bude dělat poznámky a požádal ho, aby přemýšlel nahlas a pokračoval v dalším úkolu, pokud si bude myslet, že předchozí úkol dokončil.
5. Průběh testu s participanty V této kapitole jsou zaznamenána všechna sezení s participanty. U každého z nich je jeho popis vycházející z odpovědí uvedených v dotazníku před testem. Následuje záznam z testu, kde jsou uvedeny pouze úkoly, ve kterých se vyskytl problém včetně jeho popisu. Na konci je shrnutí, které vychází z dotazníku po testu a nalezených problémů.
A. Participant 1 Popis participanta První participant je zkušeným uživatelem PC. Používá přehrávač Windows Media Player na sledování filmů a Winamp na poslouchání hudby. Pracuje s titulky a používá pokročilejší funkce jako ekvalizér atp. Již zmíněné přehrávače používá proto, protože je na ně zvyklý.
~7~
Problémové úkoly Úkol č.1 (instalace) Celá instalace probíhá tím způsobem, že začátek je v pořádku, poté se instalační program začne ptát na to, jestli chce instalovat nějaké přídavné části programu. Nakonec přijde velmi překvapující věc a to je instalace dalšího programu. To participanta dost naštvalo. Úkol č.3 (skrytí reklam) Participant vůbec nebyl schopen reklamy vypnout, pořád pohyboval myší a vůbec to nenašel. Úkol č.6 (synchronizace titulků) Participant to našel, nicméně měl problém s posunem. Nejdříve nevěděl jak ovládat posouvání a poté to ani nebyl schopen udělat. Udělal by to v jiném programu. Úkol č.11 (nastavení opakování skladby) Participant ví, co má hledat nicméně to nevidí na první pohled a začíná bloudit v hlavním menu, po chvíli si toho ale všimne. Úkol č.12 (ekvalizér) Participant zmateně hledá v hlavním menu a vůbec ho nenapadá, že by to mohlo být pod položkou audio. Poté, co to není schopen najít, začne zběsile klikat na všechno, co vidí, a nakonec se úspěšně dostane jiným způsobem k ekvalizéru.
~8~
Shrnutí Participant měl problém problém i s běžnými úkoly. Začalo to už instalací, která je dost šílená a odradí spoustu lidí, protože nabízí spoustu dalších zbytečností. Další věc, která ho naštvala byly reklamy. Neuměl si poradit s posunutím titulků. Špatně se dostával k ekvalizéru, který běžně používá. O programu si myslí, že je zmatený. Líbil se mu jen vzhled.
B. Participant 2 Popis participanta Druhý participant je muž, který je zkušeným uživatelem PC. Používá internet na sledování filmů a Spotify na poslouchání hudby. Pracuje s titulky a rád si s nimi hraje, používá pokročilejší funkce jako ekvalizér atp. Již zmíněný přehrávač používá proto, protože je na něj zvyklý.
~9~
Problémové úkoly Úkol č.1 (instalace) Celá instalace probíhá tím způsobem, že začátek je v pořádku poté se instalační program začne ptát na to, jestli chce instalovat další doplňky. Nakonec přijde velmi překvapující věc a to je instalace dalšího programu, což mu přišlo zvláštní.
Úkol č.2 (nastavení jazyka) Participant přehlídne v hlavní nabídce položku Language a jde do hlavního nastavení, kde to nemá šanci nalézt. Bloudí hlavně sekci General, po lehké nápovědě opouští hlavní nastavení a najde položku Language. Úkol č.5 (nastavení kódování na středoevropské) Participant hledá v nabídce titulky, ale to je špatně. Takže se v tom začne ztrácet, zvolí položku Jiný jazyk, ale nestane se to, co by člověk očekával, žádná nabídka nevyskočí. Jenom se přepne na jinou angličtinu. Poté to participant vzdává. Úkol č.12 (ekvalizér) Participant hledá v hlavním menu začíná v sekci Filtry a vůbec ho nenapadá, že by to mohlo být pod položkou Audio. Poté ji najde a zaškrtne Ekvalizér, ale nic se nestane. Z toho je trochu konsternován. Opět jde do nabídky Audio a nastaví v předvolbách Rock.
Shrnutí Participant měl problém i s běžnými úkoly a opět to začalo u instalace. Dále nevěděl, jak má přehodit jazyk a jazyk titulků. Měl problém s ekvalizérem. Na přehrávači se mu líbil vzhled a snadné opakování sekcí. Nelíbil se mu skrytý ekvalizér. Z testování odcházel spokojený, nicméně tento přehrávač používat nechce.
~ 10 ~
C. Participant 3 Popis participanta Třetí participant je muž, který je zkušeným uživatelem PC. Používá internet na sledování filmů i na poslouchání hudby. Kdysi pracoval s titulky, ale nyní je kvůli dobré angličtině nepotřebuje.
Problémové úkoly Úkol č.2 (nastavení jazyka) Participant přehlídne v hlavní nabídce položku Language a jde do hlavního nastavení, kde to nemá šanci nalézt. Bloudí hlavně sekci General, poté opouští hlavní nastavení a najde položku Language.
~ 11 ~
Úkol č.5 (nastavení kódování na středoevropské) Participant hledá v nabídce titulky, ale to je špatně. Takže se v tom začne ztrácet, zvolí položku Jiný jazyk, ale nestane se to, co by člověk očekával, žádná nabídka nevyskočí. Neustále se snaží něco najít v sekci titulky. Poté dostal nápovědu, že má hledat v hlavním nastavení, ale i tak mu neustále dělá problém to najít. Pokračuje do sekce Zpracování titulků, kde to po docela dlouhém bádání najde. Úkol č.6 (synchronizace titulků) Participant to našel, nicméně měl problém s posunem. Nejdříve vůbec neodhadl, o kolik to má posunout a poté si posunul video do lepšího času, kde bylo snazší ladění. Dále již nebyl problém a vše šlo již snadno.
Shrnutí Participant měl problém jenom s pokročilejšími nastaveními a s nastavením češtiny. Nešla mu synchronizace titulků a nastavení jazyka titulků. Nejvíce mu vadily reklamy a chyběla mu knihovna, líbil se mu design. Po tomto testování neplánuje tento program používat.
D. Participant 4 Popis participanta Čtvrtý participant je muž, který je zkušeným uživatelem PC. Používá Windows Media Classic na sledování filmů a Winamp na poslouchání hudby. Pracuje s titulky a občas používá pokročilejší funkce jako ekvalizér. Je spokojen s Windows Media Classic, protože všechno přehraje, a na Winamp je zvyklý.
Problémové úkoly Úkol č.1 (instalace) Při instalaci došlo ke stejnému problému. Při posledním kroku, kdy se nabídne instalaci RegistryCleanerKit, z toho je participant dosti rozhozen a dosti udiven. Cituji: “Co to proboha je?”.
~ 12 ~
Úkol č.5 (nastavení kódování na středoevropské) Participant hledá v nabídce titulky, ale to je špatně. Poté dostal nápovědu, že má hledat v hlavním nastavení, ale i tak mu neustále dělá problém to najít. Pokračuje do sekce
Zpracování titulků, kde relativně rychle najde přepnutí na jiné kódování. Úkol č.8 (kopírovat do schránky) Původně se něco takového snažil najít v sekci ovládání obrazovky, ale poté přešel do sekce sejmout, kde to bez problémů našel. Úkol č.12 (ekvalizér) Funkci ekvalizér našel ihned, ale vzhledem k tomu, že je zaškrtávací, očekával, že vyskočí nějaký panel, to se ale nestalo. Je z toho velmi zmaten a nechápe. Poté to zkusí jinak a najde ho v jiném nastavení. Tam už si s úkolem poradí. Úkol č.14 (opakování části skladby) Vše našel v pohodě, ale nechtíc odškrtnul Repeat. Tím se stalo, že tato funkce nefungovala.
Shrnutí Tento participant byl trošku rozhořčen, protože tento program se mu nelíbil. Základní věci byl schopen udělat, u pokročilejších měl občas problémy. Nejvíce ho naštvaly reklamy a špatné ovládání programu. Špatně zpracované posunování titulků se mu také moc nelíbilo. Na tento program pronesl na konci jediné slovo: “Nikdy.”, což si myslím vystihuje jeho postoj úplně přesně.
~ 13 ~
E. Participant 5 Popis participanta Pátý participant je muž, který je zkušeným uživatelem PC. Používá KMPlayer na sledování filmů, hudbu poslouchá na hardwarových přehrávačích. KMPlayer používá, protože mu byl doporučen. Líbí se mu na něm přehlednost a nízká paměťová náročnost. Naopak se mu nelíbí občasná nestabilita. Pracuje s titulky na pokročilejší úrovni.
Problémové úkoly Úkol č.2 (nastavení jazyka) Došlo k běžné chybě v tomto přehrávači a to je vstup do hlavního nastavení. Participant asi minutu bloudil v hlavním nastavení, ale pak ho zavřel a našel položku Language v menu, kde již přehodil jazyk. Úkol č.3 (skrytí reklam) Participant hledal zmateně, kde má reklamy zavřít, přejížděl a dost se trápil, ale nakonec
našel na horní liště tlačítko na vypnutí reklam.
Úkol č.5 (nastavení kódování na středoevropské) Participant hledá v nabídce titulky, ale to je špatně. Zkouší hledat I v ostatních položkách menu, ale nic nenajde. Poté dostal nápovědu, že má hledat v hlavním nastavení, ale i tak mu neustále dělá problém to najít, protože v sekci Zpracování titulků kouká na kartu Jiný jazyk. Po dalších dobrých dvou minutách se dostane do sekce Vzhled písma, kde to najde. Úkol č.12 (ekvalizér) Funkci ekvalizér našel ihned, ale vzhledem k tomu, že je zaškrtávací očekával, že vyskočí nějaký panel, to se ale nestalo. Je z toho velmi zmaten a nechápe. Poté ještě několikrát zkontroluje, jestli je zapnutý a nakonec ho nastaví pomocí položky Předvolby umístěné hned pod tím.
~ 14 ~
Shrnutí Tento participant byl docela spokojený. Je možné, že to bude tím, že program používá, nicméně je vidět, že ani on neudělal všechno bez problémů. Nejvíce mu vadily reklamy. Měl velký problém s nastavením titulků na středoevropské, což bral jako docela užitečnou věc, protože se s tím už setkal. Jinak tento program používá a bude v tom zřejmě pokračovat.
6. Přehled problémových úkolů Číslo úkolu
Popis úkolu
1 2 3 4
Instalace Nastavit jazyk programu Spustit video a vypnout reklamy Přidat titulky
5 6 7 8 9 10 11 12 13 14 15
Nastavit kódování titulky Synchronizovat titulky s videem Nastavení okna přehrávače Zachytit snímek videa Vypnout a zapnout zvuk Spustit hudbu Nastavit opakované přehrávání Zapnout a nastavit ekvalizér Zrychlit a zpomalit přehrávání Nastavit opakování sekce Zjistit informace o skladbě
Participanti 1 X
2 X X
3
X
X X
4 X
X
X X
X
X
5
X
X
X
X X
X
X
X
X
7. Závěr V multimediálním přehrávači KMPlayer bylo nalezeno několik problémů v návrhu uživatelského rozhraní. Testování odhalilo několik závažnějších problémů, které způsobily to, že žádný z participantů nepřemýšlel vážně o přechodu na multimediální přehrávač KMPlayer. Participantům se líbil dobře zpracovaný grafický prvek aplikace. Jednoduché běžné úkony jako spuštění videa nebo hudby zvládli všichni participanti bez problémů, většina problémů se objevila až při používání pokročilejších funkcí, jako například jazyk kódování titulků nebo nastavení ekvalizéru. Hlavní komplikaci potom vidíme již při instalaci, která zahlcuje uživatele přídavnými aplikacemi nijak nesouvisející s během samotného přehrávače. Přitom již při instalaci se cca 70% uživatelů rozhoduje, jestli budou vůbec v instalaci pokračovat. Pro podrobnější analýzu problémů doporučujeme provést další testy, například testy pomocí kognitivního průchodu a heuristické evaluace.
~ 15 ~
