Eindverslag MMIO, onderzoek bij Tinker

Eindverslag MMIO, onderzoek bij Tinker.                                         Door:  Jan van Eck Joris Bruil Quinten Oostdam Youri Gillissen Robbert Keijzer

10712909  10670718  10787712  10799966  10461671 

Inleiding   Tinker is een bedrijf dat er naar streeft om vervoer van en naar vliegvelden efficiënter te laten  verlopen. Dit doen zij door de taxiritten lang van te voren aan te vragen, en zo een efficiënt  mogelijke planning te realiseren. Dit gebeurt in sommige gevallen door ritten van mensen te  combineren, wanneer de klant voor de “Economy Class” kiest. De rit zal natuurlijk wel langer  duren, maar de kostprijs zal lager liggen. De klant kan kan ook nog voor de “Comfort Class”  kiezen, om er voor te zorgen dat de klant geen gecombineerde ritten krijgt, of “Luxury Class”  voor een luxueuzer voertuig.    De website van Tinker is toe aan vernieuwing. Daarom heeft Tinker voordat ons project  begonnen was, een herontwerp gemaakt. Aan het begin van dit project is de desbetreffende  redesign opgestuurd, zodat hier kritiekpunten op geleverd konden worden. In dit verslag zal  uitleg geleverd worden over de gevonden kritiekpunten van het nieuwe ontwerp, en zullen er  extra ideeën worden gegeven voor de site. Ook is er een herontwerp gemaakt van de  boekingsbalk. De nieuwe website van Tinker is nog lang niet af, dus wellicht zullen ze  elementen uit ons ontwerp overnemen.    Naast dit nieuwe ontwerp is er ook gekeken of er verbeteringen toegepast konden worden op  de huidige versie van de website. Hiervoor zijn er A/B tests uitgevoerd. Het doel van deze  tests was om de huidige conversie te verbeteren door kleine aanpassingen in de huidige  landingspage.      

Inhoudsopgave   ● ● ● ● ● ●                                                          

 

Doelgroep/user cases  Vooronderzoek  Demoversie  AB test  SPSS   Conclusie 

Vooronderzoek    Wij hebben van Tinker geen demo versie van hun redesign tot onze beschikking gekregen.  Om alsnog met behulp van user tests nuttige informatie te vergaren stelden wij vragen aan  gebruikers over het redesign van de Tinker website. Omdat er geen demo beschikbaar is  konden wij geen test doen met zelfstandig uit te voeren taken, een zelfstandige vragenlijst  was ook niet geschikt omdat er veel toelichting nodig is bij de pdf bestanden en daarom  besloten wij om de vragen persoonlijk te stellen. Onze opstelling was dus als volgt, het  proefpersoon zat samen met één van ons achter de computer en werd vragen gesteld over  het redesign. Een derde persoon was aanwezig om al de antwoorden en opmerkingen van  het proefpersoon te noteren. In totaal hebben wij 22 proefpersonen op deze manier  gesproken, met behulp van deze resultaten hebben wij aan Tinker een hoop wijzigingen  voorgesteld.    Aller eerst kreeg het proefpersoon de instructie om de pdf bestanden rustig door te nemen.  Zodra dit klaar was stelden wij enkele vragen, naar eigen inzicht werden er ook vervolg  vragen gesteld. Deze vervolg vragen hadden wij van te voren deels in kaart gebracht. Iedere  keer als wij een vraag stelde kreeg de proefpersoon nog even de tijd om naar de website te  kijken, tijdens het kijken kon het proefpersoon ook gewoon vragen stellen over de werking.    ● Wat is Tinker voor bedrijf?  ○ Vond je het lastig om daar achter te komen en vond je datt te lang duren?  ○ Waar had jij verwacht antwoord op deze vraag te vinden?  ● Vind je de website betrouwbaar overkomen?  ○ Waarom niet/wel?  ○ Wat zijn dingen voor jou die de betrouwbaarheid verhogen?  ● Hoe kan je zien wat de prijs is van een rit Amsterdam ­ Schiphol?  ○ Kunnen er stappen weg gelaten worden?  ● Wat betekent het kopje met zojuist geboekte ritten?  ○ Vind je dit nuttig?  ● Komt de website overzichtelijk en rustig over?  ○ Heb je enig idee waar dat aan ligt?  ● Wat is een “Business” taxi rit?  ● Heb je zelf nog opmerkingen?    Naast deze user test hebben wij ook gebruik gemaakt van persona’s.    De eerste Persona is Mark van 46 jaar. Mark is een consultant bij Rabobank en moet daarom  veel reizen. Voor Mark is het daarom van belang dat het reizen efficiënt gaat en er niet te veel  regelwerk bij komt kijken. Hij gebruikt Tinker daarom regelmatig om de taxi te regelen van  huis naar vliegveld en van vliegveld naar hotel.   

De tweede persona is Simone, ze is 32 jaar en gaat met vriendinnen op vakantie. Bij toeval  komt ze Tinder tegen en ontdekt dat ze zo eenvoudig het transport in Athene kan regelen  vanaf het vliegveld. Voor Simone is het van belang dat ze zekerheid heeft, de afgelopen tijd is  het onstuimig geweest in Griekenland en daarom vindt ze het fijn om alles aan haar vakantie  zeker te weten.    Kijkend naar de resultaten van onze user test en de doelgroep, zijn wij met een aantal punten  gekomen die te verbeteren zijn:  ● Zo konden wij concluderen dat het vluchtnummer niet meteen gevraagd hoefde te  worden. Dit is nog niet noodzakelijk voor het vast stellen van de prijs.  ● Wat bedoeld was als een menu knop was niet voor iedereen duidelijk. Er moest door  ons vaak toegelicht worden dat het een menu is.   ● Op de content pages staan slider bolletjes die aan moeten geven waar je in de tekst  bent. Bijna geen van de gebruikers begrepen waar ze voor waren, en ook na  toelichting kregen we te horen dat ze niet veel toevoegden.  ● Het zojuist geboekt kopje was niet helemaal duidelijk en is dus aan verandering  onderhevig.  Dit is wat wij hebben kunnen halen uit ons vooronderzoek.         

Demoversie De demoversie van het nieuwe ontwerp van Tinker richt zich op een bepaald scenario. De  depth​  en ​ breadth​  zijn allebei laag. Er is bewust voor deze aanpak gekozen omdat er te weinig  tijd was. Als er nog meer functies in de demo waren meegenomen bestond de kans dat de  depth te laag zou zijn om de demo duidelijk te laten overkomen komen (Lecture 17:  Prototyping, MIT). In dit scenario is de boekingsbalk verwerkt. Ook is er is de de navigatiebalk  en de achtergrondfoto iets veranderd om een minder rommelige indruk te krijgen.     Het volledige menu is nu zichtbaar wanneer men op het hamburger icoontje links bovenin de  hoek klikt. In het originele design van Tinker waren twee verschillende menu’s gebruikt. Één  van die menu’s werd op dezelfde manier gebruikt als het hamburger menu maar was half  verstopt achter de hoofd content. Ook verschilde het icoontje van dit menu. Tinker gebruikte  een icoontje met 9 blokken die in rijen van drie waren gepositioneerd. Door het  bovengenoemde is dit menu waarschijnlijk voor de meeste gebruikers lastig te vinden. Een  ander voordeel van deze aanpak is het verkleinen van de verschillen tussen de mobiele en de  web versie van de site. Gebruikers zullen eerder bekend zijn met één van de twee wanneer  ze de andere versie al een keer hebben gebruikt.    Wat betreft de achtergrondfoto van de website is er gekozen voor een minder drukke  achtergrond. De huidige bevatte een foto met duizenden vogels die door elkaar heen vlogen.  Ook bevatte de foto nauwelijks huisstijl kleuren zodat deze uit de toon viel bij de rest van de  website. De foto die in het nieuwe design is aangebracht heeft veel verbeterpunten op deze  gebieden. Er zit veel paars in, de foto oogt een stuk rustiger en het onderwerp van de foto  heeft meer te maken met het streven van Tinker.       Cooper, A. (1999), The Inmates are Running the Asylum. Sams ­ Pearson Education  Samenvouwen  Persona's 

   

De manier van het invullen van tijd en datum is ook aangepast. Bij het eerdere ontwerp was  het de bedoeling dat men bij het aanklikken van dit veld een pop­up kalender te zien kreeg.  Wanneer de juiste datum was aangeklikt kon men op “doorgaan” drukken om de tijd in te  vullen. Dit bracht het probleem met zich mee dat het minder makkelijk was om afzonderlijk de  tijd en datum te veranderen (Luke Wroblewski, Web form design: filling in the blanks).  Hiervoor is een oplossing bedacht die ook in de demoversie is verwerkt. Dit houdt in dat men  in 1 pop­up de datum en tijd instellen. Het gebruik van een slider bij het instellen van de tijd is  niet noodzakelijk. Deze demoversie is te zien op ​ jan.bekijkvoorbeeld.nl/tinker.   

    Tot slot is er bij het openen van de homepage een fade­in van 0.5 seconde op de  boekingsbalk en berekenknop toegevoegd. Mensen zullen zich eerder focussen op deze twee  onderdelen omdat ze deze als laatste zien veranderen. Omdat er alleen papieren prototypes  waren konden wij geen rekening houden met de laadtijd van de pagina (Lecture 17:  Prototyping, MIT). Wanneer de achtergrondfoto langer dan 0.5 seconde laat heft het dit  positieve effect op. 

   

 

A/B Test   Een A/B test is een manier om verschillende versies van een website te testen en te bepalen  werken versie het beste werkt. Ons doel is om een versie te maken die een hogere conversie  behaalt. De conversie van een website is het percentage klanten dat overgaat tot een  bepaald conversiedoel. Het uiteindelijke doel bij Tinker is om de bezoeker een rit te laten  reserveren. De eerste stap hier naartoe is dat de gebruiker een prijs te laten zien. Hiervoor  moet de gebruiker zijn gegevens invullen in het formulier op de website. Vervolgens drukt de  gebruiker op “bereken mijn ritprijs”.     Een bepaald percentage van de gebruikers drukt daadwerkelijk op “bereken mijn ritprijs”. Uit  onze a/b test is gebleken dat ongeveer 58% van de mensen dit doet. Echter kwamen er bij  andere a/b tests andere cijfers uit. Het is dus niet precies duidelijk hoeveel mensen er  daadwerkelijk op “bereken mijn ritprijs” drukken. Om daar een betrouwbaar getal van te  krijgen, is langer de tijd nodig. Onze a/b test krijgt namelijk maar 5% van het verkeer van de  website van Tinker. De reden dat we geen a/b test doen met al het verkeer, is dat de  conversie ook omlaag zou kunnen gaan. Hierdoor zou Tinker veel omzet kunnen mislopen.     Wij hebben twee versies gemaakt van de website, waarin kleine wijzigingen zijn gemaakt.  Ten eerste staat er rechts onderin naast het formulier een vak met een Facebook button. We  vonden dit vak echter linksboven naast het formulier beter staan. Het vak viel namelijk buiten  beeld. Wellicht zal het vak door meer mensen bekeken worden hier, en hierdoor wordt het  imago van het bedrijf verbeterd. Mensen zien dan dat het bedrijf op Facebook actief is en  redelijk wat likes heeft. Daarom zou het kunnen dat de conversie hier hoger van wordt.    Als tweede staat er bovenaan het formulier een vak waarin de stappen geteld worden. Als  men de site bezoekt staat deze op stap 1/5. Wij vonden dit vrij overbodig. Het is misschien  wel fijn voor mensen om te zien bij welke stap ze zijn, maar door meteen te laten zien dat het  pas de eerste van 5 stappen is, zullen mensen misschien eerder afhaken. Het suggereert  namelijk dat er nog 4 stappen komen en dat het dus best veel werk is om een reservering te  maken. Wij denken dat het weghalen van deze stappencounter daarom voor  conversieverhoging kan zorgen. Dit zorgt er namelijk voor dat het makkelijker  lijkt om het formulier in te vullen, dus zullen mensen dit eerder doen.    De a/b test voeren we uit met Visual Website Optimizer. Dit is een web­based programma  waarmee gemakkelijk verschillende versies naast elkaar getest kunnen worden. Het  programma laat zien hoeveel bezoekers een versie van de website hebben bezocht, en  hoeveel bezoekers over zijn gegaan tot het berekenen van hun ritprijs. Met behulp van een  statistische analyse kan dan worden gekeken of de conversieverandering significant is.     

Analyse van de verkregen data   We hebben uit de a/b test de volgende data verkregen:    Naam groep 

Bezoekers 

Conversies 

Conversie percentage 

Controlegroep 

102 

60 

58,82% (±6.09) 

Facebook herlocatie 

121 

62 

51,24% (±5.66) 

Geen stappencounter 

138 

67 

48,55% (±5.25) 

Gemiddeld 

361 

189 

52,35% (±3.27) 

  Nulhypothese:​  Het aantal conversies van de verschillende variaties is gelijk verdeeld.   Alternatieve hypothese:​  Het aantal conversies van de verschillende variaties is significant  ongelijk verdeeld.    Met de software van Visual Website Optimizer zijn een aantal verschillende data in te zien.  Om te betrouwbaarheid van deze data evalueren kan er gekeken worden naar de conversion  range rate en confidence. De confidence geeft de kans aan dat de variatie werkelijk een  hogere conversie zal behalen de control versie. De conversion ranges van de berekende  conversie percentages zijn te hoog, waardoor er geen bruikbare conclusies uit de data te  maken is. Het is namelijk met de deze data nog mogelijk dat de variatie van ​ geen  stappencounter ​ in werkelijkheid een hogere conversie zal behalen dan de control versie. De  variaties van ​ Facebook herlocatie ​ en ​ Geen stappencounter ​ hebben een confidence level van  respectievelijk 11% en 3%. Dit geeft dus een zeer lage kans aan dat de variaties een hogere  conversie zullen behalen. Deze data is echter vertekend, omdat er ook een hoge conversion  range rate is.     Naast de gegevens van Visual Website Optimizer zijn de data nog getest met behulp van  SPSS. Hiervoor is de chi­kwadraattoets gebruikt. Met deze toets kan bij verdelingen berekend  worden of er bepaalde voorkeur is. De toets gaat na of waargenomen aantallen systematisch  afwijken van verwachte aantallen. Er is gekozen voor een significantieniveau bij een alfa van  5%, wat bij een vrijheidsgraad van één een kritische chi­kwadraat geeft van 3.84. De  berekende chi­kwadraten staan hieronder aangegeven. Zoals te zien is liggen alle kwadraten  onder het kritische niveau dat gesteld is aan de test. Dit houdt dus in dat alle verkregen data  niet significant is en er dus geen statistisch correcte conclusies uit gemaakt kunnen worden.       

Doelgroep   Tinker wilt graag een doelgroep aanboren die een taxi naar het vliegveld nog te duur vindt,  maar wel graag met de taxi zou willen reizen. Zij willen wel de luxe van een taxi, maar kunnen  deze luxe echter normaliter niet betalen. Het doel van Tinker is dus om het vervoer per taxi zo  efficiënt mogelijk te maken, zodat het voor deze groep ook mogelijk wordt om per taxi naar  het vliegveld te gaan.     Omdat het vervoer per taxi over het algemeen prijziger is dan het gebruik van openbaar  vervoer, valt een aantal mensen al af voor de doelgroep. Reizigers die minder te besteden  hebben, zullen waarschijnlijk eerder de trein pakken om naar het vliegveld te gaan. Pas zodra  Tinker het vervoer zo efficiënt kan maken dat zij qua prijs kunnen concurreren met het  openbaar vervoer, zullen zij hun doelgroep nog verder kunnen verbreden.     Op dit moment bestaat het hoofdzakelijke gedeelte van de doelgroep uit volwassen reizigers  en klanten uit de zakenwereld. Taxiritten kunnen via Tinker al tot 80% goedkoper geboekt  worden, waardoor een groot gedeelte van de gewenste doelgroep al aangeboord is. Er  worden voornamelijk via bedrijven meerdere ritten tegelijk geboekt.        

Conclusie   Voor Tinker hebben wij een aantal werkzaamheden verricht. De user test op het herontwerp  van Tinker bracht een aantal problemen naar voren. Tinker kan met deze feedback hun  design verbeteren. Ons eigen ontwerp werd goed ontvangen door de medewerkers van  Tinker. Dit kan voor hun weer een inspiratiebron zijn voor de nieuwe website waar op dit  moment aan wordt gewerkt. Ons eigen ontwerp konden we helaas niet implementeren in de  website van Tinker. Ook was de nieuwe website nog niet af, dus konden we alleen  experimenteren met de oude website. We hadden ons echter niet gefocust op de oude  websites met de user tests, dus we moesten zelf met verbeteringen komen. Uiteindelijk zijn er  een twee ideeën ontstaan. We hebben hier a/b­tests mee gedaan. Helaas was het uiteindelijk  niet gelukt om de conversie omhoog te krijgen. Aan de andere kant moet hierbij wel gezegd  worden dat er te weinig data is verzameld om hier met zekerheid iets over te zeggen. Om dit  aan te tonen is er een statistische toets gedaan met SPSS. Ook was de software voor het  a/b­testen vrij onhandig. Indien we namelijk een tekst aan pasten, dan verscheen deze tekst  ook op de buitenlandse versie van de website van Tinker. De a/b­test werkte dus alleen met  de front­end, en hield geen rekening met de achterliggende systemen.      

Referenties   Cooper, A. (1999). ​ The inmates are running the asylum:[Why high­tech products drive us crazy and how to  restore the sanity]​  (Vol. 261). Indianapolis: Sams. 

  Nielsen, J. (1994, April). Usability inspection methods. In ​ Conference companion on Human factors in  computing systems​  (pp. 413­414). ACM. 

  Nielsen, J. (1999). ​ Designing web usability: The practice of simplicity​ . New Riders Publishing.    Nielsen, J. (1994). ​ Usability engineering​ . Elsevier.    Shneiderman, B. (1992). ​ Designing the user interface: strategies for effective human­computer interaction  (Vol. 2). Reading, MA: Addison­Wesley.    Wroblewski, L. (2008). ​ Web form design: filling in the blanks​ . Rosenfeld.    MIT. (2011). ​ Lecture 17: Prototyping​ . MIT.