Testování vyhledávačů Google a Seznam.cz

Testování vyhledávačů Google a Seznam.cz pomocí kvantitativního testu

Semestrální práce B1 v rámci předmětu A7B36TUR Jan Sládek ČVUT FEL STM

Semestrální práce z A7B39TUR

Jan Sládek

Zadání: Definujte testované subjekty a určete metriku pro kvantitativní test.

Autor: Jan Sládek, 22.11.2014

Obsah dokumentu Obsah Obsah dokumentu ................................................................................................................................... 2 1 Úvod ..................................................................................................................................................... 4 2 Cílová skupina ....................................................................................................................................... 4 3 Příprava testování................................................................................................................................. 4 3.1 Hypotéza........................................................................................................................................ 4 3.2 Nulová hypotéza ............................................................................................................................ 4 3.3 Testovací metodika ....................................................................................................................... 4 3.4 Závislá proměnná .......................................................................................................................... 5 3.5 Nezávislá proměnná ...................................................................................................................... 5 3.6 Obsah dotazníku ............................................................................................................................ 5 3.6.1 Google .................................................................................................................................... 5 3.6.2 Seznam ................................................................................................................................... 5 4 Testování .............................................................................................................................................. 5 4.1 Výběr participantů ......................................................................................................................... 5 4.2 Sběr dat ......................................................................................................................................... 5 4.3 Pomocné nástroje ......................................................................................................................... 6 5 Získaná data .......................................................................................................................................... 6 5.1 Vyhledávač Google ....................................................................................................................... 6 5.2 Vyhledávač Seznam ....................................................................................................................... 7 6 Vyhodnocení získaných dat .................................................................................................................. 8 6.1 Výsledky ......................................................................................................................................... 9 6.2 Statistické testování pomocí programu R ..................................................................................... 9


Jan Sládek

6.3 Vysvětlení pojmů v t-testu .......................................................................................................... 10 7 Závěry kvantitativního testování ........................................................................................................ 10 8 Použité zdroje ..................................................................................................................................... 10


Jan Sládek

1 Úvod a motivace V současné době mi stále více připadá, že Google při sběru uživatelských dat a sledování aktivity osob překračuje únosné hranice. Rád bych ho tedy porovnal v rámci testování s jeho českým konkurentem Seznam.cz. Google je na trhu již od roku 1998, Seznam pak zahájil činnost již v roce 1996. Mými testovanými subjekty budou tedy vyhledávače Google a Seznam. Metrikou budou hodnoty z dotazníku posuzované pomocí Likertovy škály. Motivací pro tento test byla pokračující expanze firmy Google do všech oblastí internetových služeb včetně Cloudu, sociálních sítí či internetových prohlížečů. Zhruba před 10 lety byl v českých podmínkách vyhledávač Seznam prakticky rovnocenný se svým konkurentem v podobě Google. Lidé na něm oceňovali především zpravodajství, chat na webu Lidé.cz a další služby. Tato studie zjišťuje, jak jsou oba vyhledávače vnímány uživateli nyní, a který z nich je oblíbenějši.

2 Cílová skupina Jako cílovou skupinu jsem si zvolil uživatele internetu ve věku 20-30 let, kteří mají zkušenosti s oběma vyhledávači.

3 Příprava testování V rámci přípravy bylo potřeba formulovat hypotézu, na základě které bude připraven test a proveden výběr participantů.

3.1 Hypotéza Jak Google, tak Seznam nabízejí fulltextové vyhledávání v celém Internetu. Seznam k tomu nabízí také další služby, například oblíbený Seznam E-mail či portál Novinky.cz. Google v tomto ohledu dlouho zaostával, nicméně v současné době poskytuje také velmi širokou škálu doplňkových služeb. Cílem tohoto testu je zjistit, který portál je pro uživatele užitečnější (z pohledu kvality vyhledávání či dalších služeb).

3.2 Nulová hypotéza Mým předpokladem je, že oba vyhledávače v testu dopadnou stejně.

3.3 Testovací metodika Jako testovací techniku jsem použil metodu internetového dotazníku (Computer assisted web interview). Vytvořil jsem dotazník s uzavřenými otázkami (aby bylo možné ho kvantitativně vyhodnotit), a poté odeslal odkaz účastníkům testu. Množinu odpovědí tvořilo celkem 5 možností, vycházejících z Likertovy škály:

• Silný souhlas • Souhlas Semestrální práce z A7B39TUR

Jan Sládek

• Ani souhlas ani nesouhlas • Nesouhlas • Silný nesouhlas Participanty jsem získal prostřednictvím e-mailu, sociálních sítí a osobního kontaktu. Ve zprávě jsem je požádal, aby otevřeli dotazník v odkazu a vyplnili jej.

3.4 Závislá proměnná Odpovědi participantů v rámci Likertovy škály

3.5 Nezávislá proměnná Testované portály – Google a Seznam.cz

3.6 Obsah dotazníku Dotazník jsem sestavil z celkem 6 otázek pro každý z vyhledávačů: 3.6.1 Google

1. 2. 3. 4. 5.

Vyhledávač Google je přehledný Uživatelské rozhraní vyhledávače Google je příjemné Nabídka služeb Google je dostatečně široká Služby nabízené vyhledávačem Google jsou kvalitní Použití vyhledávače Google vyžaduje odbornější znalosti 6. Vyhledávač Google plánuji v budoucnu využívat

3.6.2 Seznam

1. 2. 3. 4. 5. 6.

Vyhledávač Seznam je přehledný Uživatelské rozhraní vyhledávače Seznam je příjemné Nabídka služeb Seznam je dostatečně široká Služby nabízené vyhledávačem Seznam jsou kvalitní Použití vyhledávače Seznam vyžaduje odbornější znalosti Vyhledávač Seznam plánuji v budoucnu využívat

4 Testování 4.1 Výběr participantů Po vytvoření dotazníku na Google Forms jsem začal s výběrem respondentů. K tomu jsem využil emailovou komunikaci, sociální síť Facebook a osobní kontakt s danými lidmi. Po úspěšném výběru respondentů jsem přešel k samotnému sběru dat.

4.2 Sběr dat Sběr dat probíhal v podstatě automaticky – po zaslání formuláře vybraným respondentům se do mého Google účtu uložily jejich odpovědi pro další zpracování.


Jan Sládek

Výsledky dotazníku jsem zpracoval s použitím tabulkového procesoru Microsoft Excel 2010. Výsledné grafy a statistiky jsem pak generoval s pomocí programu R Gui, předvedeného na cvičení.

4.3 Pomocné nástroje Pro získání respondentů jsem využil Facebook.com a Seznam E-mail. K provedení sběru dat jsem využil zdarma dostupné služby Google Forms, která umožňuje vytvářet formuláře a odpovědi formátuje do přehledných tabulek.

5 Získaná data Pro potřeby testu se mi podařilo získat 30 respondentů. Získaná data jsem umístil do dvou tabulek, kdy každá se týká jednoho z testovaných vyhledávačů.

5.1 Vyhledávač Google V této tabulce jsou uvedeny výsledky dotazníku z části týkající se vyhledávače Google. Vyhledávač Google je přehledný

Uživatelské rozhraní vyhledávače Google je příjemné

Nabídka služeb Google je dostatečně široká

Služby nabízené vyhledávačem Google jsou kvalitní

Použití vyhledávače Google vyžaduje odbornější znalosti

Silný souhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný souhlas

Souhlas

Souhlas

Silný souhlas

Souhlas

Ani souhlas ani nesouhlas

Souhlas

Souhlas

Souhlas

Souhlas

Nesouhlas

Souhlas

Silný souhlas

Souhlas

Silný souhlas

Nesouhlas

Souhlas

Souhlas

Silný souhlas

Silný souhlas

Silný nesouhlas

Souhlas


Silný souhlas

Souhlas

Nesouhlas

Souhlas

Silný souhlas

Silný souhlas

Souhlas

Nesouhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný nesouhlas

Souhlas


Souhlas

Souhlas

Nesouhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný souhlas

Nesouhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný nesouhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný souhlas

Nesouhlas

Souhlas

Souhlas

Silný souhlas

Silný souhlas

Nesouhlas

Silný souhlas

Nesouhlas

Silný souhlas

Silný souhlas

Nesouhlas

Silný souhlas

Silný souhlas

Souhlas

Silný souhlas

Nesouhlas

Vyhledávač Google plánuji v budoucnu využívat Silný souhlas Souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas


Jan Sládek

Souhlas Silný souhlas

Silný souhlas

Souhlas

Silný nesouhlas

Souhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný nesouhlas

Silný souhlas

Souhlas

Souhlas

Souhlas


Souhlas

Souhlas

Silný souhlas

Silný souhlas

Silný nesouhlas

Silný souhlas

Silný souhlas


Silný souhlas

Silný nesouhlas

Silný souhlas

Silný souhlas

Silný souhlas

Souhlas

Silný nesouhlas

Silný souhlas

Silný souhlas

Souhlas


Silný nesouhlas


Souhlas

Silný souhlas

Souhlas

Nesouhlas

Souhlas

Silný souhlas

Silný souhlas

Souhlas

Souhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný souhlas

Nesouhlas


Nesouhlas

Silný nesouhlas

Nesouhlas

Souhlas

Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný souhlas Silný nesouhlas Ani souhlas ani nesouhlas

Souhlas

Souhlas


Souhlas

Nesouhlas

Silný souhlas

Souhlas



Silný nesouhlas

Souhlas


Silný souhlas

Silný souhlas

Nesouhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný nesouhlas

Souhlas Silný souhlas Silný souhlas

5.2 Vyhledávač Seznam V této tabulce jsou uvedeny výsledky dotazníku z části týkající se vyhledávače Seznam. Vyhledávač Seznam je přehledný

Uživatelské rozhraní vyhledávače Seznam je příjemné

Nabídka služeb Seznam je dostatečně široká

Služby nabízené vyhledávačem Seznam jsou kvalitní

Použití vyhledávače Seznam vyžaduje odbornější znalosti

Vyhledávač Seznam plánuji v budoucnu využívat

Silný souhlas

Silný souhlas

Silný souhlas

Nesouhlas


Silný souhlas

Souhlas


Nesouhlas

Souhlas

Nesouhlas

Souhlas


Nesouhlas

Silný nesouhlas

Silný souhlas

Nesouhlas

Souhlas

Nesouhlas

Nesouhlas

Souhlas

Souhlas

Souhlas

Silný nesouhlas

Silný nesouhlas

Nesouhlas

Silný nesouhlas

Nesouhlas

Nesouhlas


Souhlas Silný souhlas Ani souhlas ani nesouhlas Souhlas Souhlas Souhlas


Jan Sládek

Silný souhlas


Souhlas


Nesouhlas

Nesouhlas

Silný souhlas

Silný souhlas

Souhlas

Nesouhlas

Souhlas

Silný souhlas

Silný souhlas

Souhlas

Nesouhlas

Silný souhlas

Silný souhlas

Silný souhlas

Souhlas

Nesouhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný souhlas

Silný nesouhlas

Silný souhlas

Silný souhlas

Souhlas


Silný nesouhlas

Nesouhlas

Silný souhlas

Souhlas

Souhlas

Nesouhlas

Nesouhlas

Silný souhlas

Souhlas

Souhlas

Nesouhlas

Nesouhlas

Souhlas

Nesouhlas

Nesouhlas


Nesouhlas

Souhlas

Silný nesouhlas


Silný souhlas Silný souhlas Silný souhlas Silný souhlas Souhlas Silný souhlas Souhlas Souhlas Souhlas Souhlas Souhlas Nesouhlas


Souhlas

Silný nesouhlas

Silný nesouhlas

Souhlas

Souhlas


Nesouhlas

Nesouhlas

Silný souhlas

Souhlas

Silný souhlas

Silný nesouhlas

Nesouhlas

Nesouhlas

Souhlas


Nesouhlas

Nesouhlas

Nesouhlas

Silný nesouhlas

Nesouhlas

Silný nesouhlas

Nesouhlas

Souhlas

Souhlas


Silný nesouhlas

Silný nesouhlas


Nesouhlas

Nesouhlas

Silný nesouhlas

Silný nesouhlas




Nesouhlas

Silný nesouhlas

Nesouhlas

Nesouhlas

Silný souhlas

Nesouhlas


Silný souhlas

Souhlas

Souhlas

Silný nesouhlas

Silný souhlas


Nesouhlas



Souhlas





Nesouhlas

Souhlas



Nesouhlas

Silný nesouhlas

Souhlas


Nesouhlas

Silný nesouhlas

Silný nesouhlas

Souhlas Silný souhlas Nesouhlas Souhlas Silný souhlas Nesouhlas Souhlas Souhlas Souhlas Souhlas Ani souhlas ani nesouhlas Souhlas Souhlas

6 Vyhodnocení získaných dat Data budeme vyhodnocovat s pomocí programu R Gui předvedeného na cvičení. Provedeme převod dat na číselné vektory s použitím mapování Likertovy škály na přirozená čísla 1 až 5.


Jan Sládek

    

Silný souhlas – 5 Souhlas – 4 Ani souhlas ani nesouhlas – 3 Nesouhlas – 2 Silný nesouhlas – 1

V otázkách 1, 2, 3, 4, 6 je škála standardní (viz výše), v otázce 5 je pak obrácená (potřeba odbornějších znalostí je v tomto kontextu negativní).

6.1 Výsledky Pořadové číslo respondenta 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

Google – součet bodů

Seznam – součet bodů

26 24 25 27 28 25 27 30 24 29 30 29 27 26 28 23 29 25 28 28 29 27 25 25 29 11 22 24 26 30 786 / 30 = 26,2

26 25 17 21 22 16 21 27 28 28 30 23 24 23 17 20 19 21 26 17 16 22 15 18 20 27 19 17 19 19 643 / 30 = 21,43

6.2 Statistické testování pomocí programu R 1. Do programu R Gui jsem zadal následující vektory hodnot:  

Google<-c(26,24,25,27,28,25,27,30,24,29,30,29,27,26,28,23,29,25,28,28,29,27,25,25,29,11,22,24,26,30) Seznam<-c(26,25,17,21,22,16,21,27,28,28,30,23,24,23,17,20,19,21,26,17,16,22,15,18,20,27,19,17,19,19)


Jan Sládek

2. Následně jsem na tyto hodnoty aplikoval t-test: t.test(Google, Seznam, paired=TRUE) 3. Výstup testu: t = 4.607 df = 29 p = 7.553e-05

6.3 Vysvětlení pojmů v t-testu p-hodnota (7.553e-05): Pravděpodobnost, že výsledek testovacího kritéria t padne do kritického oboru W. Tedy že i při platnosti nulové hypotézy H0 (prohlížeče jsou uživateli vnímány stejně), budou ve skutečnosti vnímány jinak. Stupně volnosti (df = 29) – počet nezávislých veličin, které mohou nabývat libovolných hodnot. Například v tomto testu je 30 participantů, 29 participantů tedy může mít libovolné výsledky, ale 30. Participant již musí svými výsledky „dorovnat“ požadovaný výsledek. Stupňů volnosti je tedy jen 29. Testovací kritérium (t = 4,607) – funkce náhodného výběru, jejíž obor hodnot dělíme na dva vzájemně se vylučující obory V (obor přijetí nulové hypotézy) a W (kritický obor, kdy nulovou hypotézu zamítáme)

7 Závěry kvantitativního testování Výsledky testu mě samotného překvapily. Zdá se, že cílová skupina využívá Seznam spíše pro jeho doplňkové služby (e-mail, zpravodajství, počasí atd.), zatímco primárním vyhledávačem je v současné době Google. Vzhledem k vemi vysokému rozdílu v hodnocení (obou vyhledávačů tedy zamítám nulovou hypotézu a shledávám, že uživatelé výrazně preferují vyhledávač Google oproti konkurenčnímu Seznamu.

8 Použité zdroje 1. The R Project for Statistical Computing [online]. The R Foundation for Statistical Computing Dostupné z: http://www.r-project.org/ 2. Testování uživatelského rozhraní 2014/2015 [online]. České vysoké učení technické v Praze. [vyd. 2014]. Dostupné z: https://cent.felk.cvut.cz/courses/Y39TUR/ 3. Testování statistických hypotéz. Wikipedia: the free encyclopedia. [online]. 2001- [cit. 201411-25]. Dostupné z: http://cs.wikipedia.org/wiki/Testov%C3%A1n%C3%AD_statistick%C3%BDch_hypot%C3%A9z 4. GROSSOVÁ, S. Marketing: principy, postupy, metody [online]. Vysoká škola chemicko-technologická v Praze, 2002. ISBN 80-7080-505-6


Jan Sládek

Dostupné z: http://vydavatelstvi.vscht.cz/knihy/uid_isbn-80-7080-505-6/pdf/140.pdf


Jan Sládek

Testování vyhledávačů Google a Seznam.cz

Recommend Documents