A/B Testing
http://www.atweb.cz
Princip A/B Testování - Více variant (A,B,C,D, …) - Část návštěvníků vidí variantu A, část B, … - Analyzujeme výkonnost variant - Nejlepší nasadíme natrvalo http://www.atweb.cz
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků http://www.atweb.cz
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků http://www.atweb.cz
KPI – sledované metriky KPI (Key Performance Indicators): - dosažení cílové stránky (odeslaný formulář, dokončená objednávka) - hodnota objednávek - zisk - čas strávený na webu, čas strávený na konkrétní stránce, media consumption, počet shlédnutých stránek, čas potřebný k dosažení cílových stránek, exit rate, míra opakovaných návštěv (loajalita), ...
Rizika: - sledování nesprávného KPI - zvyšování sledovaného KPI na úkor jiného http://www.atweb.cz
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků http://www.atweb.cz
Konzistence v zobrazování
- Jeden návštěvník vidí stále jednu variantu - Persistentní cookie
http://www.atweb.cz
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků http://www.atweb.cz
Správná doba testování Krátká doba experimentu - statisticky nevýznamné - sezonní vlivy
Dlouhá doba experimentu - zbytečné - nákladné
Jaká je správná doba? - kombinace faktorů – návštěvnost webu, množství variant, míra konverze, zvolené KPI, ... http://www.atweb.cz
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků http://www.atweb.cz
1 varianta = 1 změna - Potřeba izolovat vliv jednotlivých změn na změnu KPI
Zvýšila konverzi změna textu? Nebo ostylování tlačítka? Nebo přidání ikonky košíku?
- Více možných změn vyžaduje více variant – multivariate testing http://www.atweb.cz
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků http://www.atweb.cz
Srovnatelní & relevantní
- Každou variantu vidí stejně velká část návštěvníků - Segmentace - zaměřit se na správné návštěvníky
http://www.atweb.cz
Nástroje pro A/B testování výhody: - jednoduché HTML úpravy, není potřeba reálného programování - persistentní cookies si řeší sám - mulitvariate testing - zdarma nevýhody: - složité napojení na detailnější segmentaci návštěvníků - nemožnost následné segmentace - složité (nebo nemožné) použití jiných KPI než dosažení cílové stránky a čas strávený na stránce - nelze zobrazit názorné srovnání variant v rámci site overlay reportu - velký bratr http://www.atweb.cz
Ukázka: BLVD Suites mapa Obor: Pronájem apartmentů v USA pro corporate housing Hypotéza: Klikací mapa na HP zlepší navigaci na stránky měst a stránky nabízených produktů KPI: Dosažení cílové stránky (detail produktu)
http://www.atweb.cz
A: Původní varianta
Navigace vlevo
http://www.atweb.cz
B: mapa + formulář vlevo Klikací mapa Navigace vlevo
http://www.atweb.cz
C: mapa + formulář dole Klikací mapa Navigace pod mapou
http://www.atweb.cz
A/B Overlay Split formulář pod mapou vs. vlevo
http://www.atweb.cz
Ukázka: BLVD Suites mapa
KPI: cílová stránka
Chybné KPI: čas na webu
http://www.atweb.cz
Ukázka: Eshop s MT tlačítka Obor: Eshop s mobilními telefony Hypotéza: Použití systémových tlačítek povede k zvýšení konverze. KPI: Objem objednávek
http://www.atweb.cz
A: Ostylovaná tlačítka
B: Systémová tlačítka
http://www.atweb.cz
Dílčí KPI: Vložení do košíku A/B Overlay Split Tlačítko vložení do košíku
http://www.atweb.cz
Primární KPI: Objem objednávek
KPI: Objem objednávek
http://www.atweb.cz
A/B Testing 18.9.2008 pro Klub WebTop100 Artur Holba – Atweb Consulting zastoupení ClickTracks v ČR www.clicktracks.cz
http://www.atweb.cz
