Optimalisatie van Website usability bij Ruigrok NetPanel

Optimalisatie van Website usability bij Ruigrok | NetPanel een kwestie van structuur

Fernando McDougal 0303518 Masterscriptie Afdeling Communicatiewetenschap – Media management en communicatiebeleid Begeleider: dr. ir. M.A.A.M Leenders Begeleider Ruigrok | NetPanel: drs. Nieske van Woerden 13-02-2007 UNIVERSITEIT VAN AMSTERDAM ___________

Voorwoord

September 2006, mijn afstudeerstage bij Ruigrok | NetPanel gaat van start….

Vijf maanden later….

Het zit het erop! Mijn scriptie en mijn eerste vaste baan zijn een feit. Na 3,5 jaar gestudeerd te hebben aan de UvA is met het afronden van mijn scriptie toch een einde gekomen aan mijn (lange) studententijd. Met opvallend weinig tegenslagen (geen Word problemen) heb ik met veel plezier gewerkt aan dit onderzoek naar usability testing. Mijn grote dank gaat dan ook uit naar Ruigrok | NetPanel. Zij hebben mij de mogelijkheid gegeven bij hen af te studeren. Daarnaast ga ik aldaar, in de vorm van een vaste baan, mijn eerste praktijkervaring op het gebied van marktonderzoek op doen. Specifiek wil ik Nieske van Woerden (stagebegeleidster) bedanken. Bij haar kon ik met al mijn vragen terecht en zij heeft mij gedurende het afstuderen goede sturing en informatie gegeven. Natuurlijk wil ik dr. ir. Mark Leenders (begeleider UvA) bedanken voor zijn prettige en deskundige begeleiding. Ten slotte wil ik mijn vriend en tweede codeur Jorrit Kester bedanken voor zijn hulp! Fernando McDougal Amsterdam, 13 februari 2007

SAMENVATTING In dit onderzoek wordt een aanbeveling gegeven ter verbetering van usability onderzoek bij marktonderzoekbureau Ruigrok | NetPanel. De vraag die centraal staat luidt: “Hoe kan de effectiviteit van website usability testing geoptimaliseerd worden?”. Aan de hand van een uitgebreid literatuuronderzoek is een overzicht opgesteld van kritische succesfactoren waaraan goed usability onderzoek moet voldoen. Door middel van een inhoudsanalyse van drie cases en interviews met drie onderzoekers is informatie vergaard hoe Ruigrok | NetPanel daadwerkelijk usability onderzoek uitvoert. Aan de hand van deze informatie is een advies gegeven hoe het proces verbeterd zou kunnen worden. Uit het onderzoek is gebleken dat de checklist die door medewerkers van Ruigrok | NetPanel tijdens usability onderzoek wordt gebruikt, een verbeterde structuur nodig heeft. De checklist dient als leidraad tijdens het uitvoeren van usability onderzoek. Een standaard checklist zou hier een oplossing voor zijn. Ook de formulering van de taken die de respondenten uit moeten voeren eist meer structuur en daarnaast is er geen onderscheid in soorten taken. Het advies is dan ook om te beginnen met een relatief makkelijke taak en taken efficiënter in te zetten; dit stelt de respondent op zijn gemakt. Niet alle onderzoekers zijn op de hoogte van de (vaste) instellingen op de computer waarop usability onderzoek uitgevoerd wordt. Een duidelijke instructie zou hier een oplossing voor geven. Ook de informatie verstrekking naar de respondent is een belangrijk punt. Dit gebeurt niet altijd even consequent. Diverse punten die nu niet vermeld worden, moeten standaard in de checklist staan, zodat deze niet vergeten worden. Voorbeelden van deze punten zijn: ‘duur van het onderzoek’ en ‘uitleg dat de onderzoeker de site niet ontworpen heeft’. De interviewtechnieken worden goed beheerst door de onderzoekers. Toch zouden de onderzoekers op rustige momenten dvd’s kunnen gaan kijken zodat interviewtechnieken van collega onderzoekers geëvalueerd kunnen worden. Er worden gedurende en na het onderzoek te weinig tussentijdse aantekeningen gemaakt. Aantekeningen achteraf hebben een grote toegevoegde waarde voor de rapportage. Daarom luidt het advies het in het verleden gebruikte schematische overzicht weer standaard in te voeren. Ten slotte luidt het advies een vaste structuur voor rapporteren aan te houden. Dit kan door bepaalde onderdelen standaard in de rapportage te zetten zoals: een samenvatting, prioriteitenmatrix en betere ordening van resultaten.

INHOUDSOPGAVE Voorwoord Samenvatting 1

Inleiding ____________________________________________________________________________1 1.1

Aanleiding ______________________________________________________________________1

1.2

Probleemstelling _________________________________________________________________2

1.3

Aanpak ________________________________________________________________________2

1.4 Operationele definities ____________________________________________________________3 1.4.1 Usability _____________________________________________________________________3 1.4.2 Usability testing________________________________________________________________3 1.4.3 Criteria_______________________________________________________________________3

2

1.5

Kennisbelang ___________________________________________________________________4

1.6

Hoofdstukoverzicht ______________________________________________________________4

De Gebruikerstest _____________________________________________________________________5 2.1 User-Centered Design ____________________________________________________________5 2.1.1 Beginfocus op gebruikers en taken _________________________________________________5 2.1.2 Empirisch meting product gebruik _________________________________________________5 2.1.3 Iteratief ontwerp _______________________________________________________________6 2.2 Usability Engineering_____________________________________________________________6 2.2.1 Gebruiker en taak observatie ______________________________________________________6 2.2.2 Scenario’s ____________________________________________________________________6 2.2.3 Hardop denken ________________________________________________________________6 2.2.4 Heuristieke evaluatie ____________________________________________________________7 2.3 Usability Testing_________________________________________________________________7 2.3.1 Voor en nadelen van usability testing _______________________________________________8 2.3.2 Soorten testen _________________________________________________________________8 2.4 Kritische succesfactoren van gebruikersonderzoek ____________________________________9 2.4.1 Voorbereidingsfase _____________________________________________________________9 2.4.2 Introductiefase________________________________________________________________14 2.4.3 Testfase _____________________________________________________________________17 2.4.4 Nabespreking_________________________________________________________________20 2.4.5 Rapportage __________________________________________________________________21 2.5

3

Overzicht Kritische succesfactoren ________________________________________________22

Usability en internet __________________________________________________________________25 3.1

Een perfecte website_____________________________________________________________25

3.2

Website irritaties _______________________________________________________________25

3.3

Belang voor aandacht e-commerce _________________________________________________26

3.4 Meer aandacht gebruiker ________________________________________________________27 3.4.1 Moeilijk te gebruiken technische producten _________________________________________27 3.4.2 Derde stadium van volwassenheid ________________________________________________27 3.4.3 Aandacht usability door lage ‘switching costs’ _______________________________________28 3.5

Verhogen winstgevendheid _______________________________________________________28

3.6

De invloed van usability op bedrijven ______________________________________________29

3.7 De concurrenten ________________________________________________________________29 3.7.1 Interview NSS ________________________________________________________________29 3.7.2 Valsplat _____________________________________________________________________30 3.7.3 Metrix lab ___________________________________________________________________31

3.7.4 3.7.5 3.7.6 4

5

2C _________________________________________________________________________32 Jungle Rating_________________________________________________________________33 Eyetracking __________________________________________________________________33

Methode van onderzoek _______________________________________________________________34 4.1

Ruigrok | NetPanel ______________________________________________________________34

4.2

Selectie cases ___________________________________________________________________34

4.3

Dataverzameling________________________________________________________________35

4.4

Analysetechnieken van de kritische succesfactoren ___________________________________36

4.5

Intercodeursbetrouwbaarheid ____________________________________________________37

Resultaten __________________________________________________________________________38 5.1

Bedrijfsinformatie ______________________________________________________________38

5.2

Sitebeoordelingsmodel ___________________________________________________________38

5.3 Cases individueel _______________________________________________________________40 5.3.1 Case 1: KLM _________________________________________________________________40 5.3.2 Case 2: SNS__________________________________________________________________41 5.3.3 Case 3: Min EZ _______________________________________________________________41 5.4 Cases onderling: kritische succesfactoren ___________________________________________42 5.4.1 Voorbereidingsfase ____________________________________________________________42 5.4.2 Introductiefase________________________________________________________________44 5.4.3 Testfase _____________________________________________________________________45 5.4.4 Nabespreking_________________________________________________________________47 5.4.5 Rapportage __________________________________________________________________47 5.4.6 Overige aspecten ______________________________________________________________48 5.5 6

Conclusies _____________________________________________________________________48

Conclusie en aanbeveling______________________________________________________________50 6.1 Kritische succesfactoren _________________________________________________________50 6.1.1 Voorbereidingsfase ____________________________________________________________50 6.1.2 Introductiefase________________________________________________________________51 6.1.3 Testfase _____________________________________________________________________51 6.1.4 Nabespreking_________________________________________________________________51 6.1.5 Rapportage __________________________________________________________________52 6.2

Site beoordelingsmodel __________________________________________________________52

6.3

De concurrenten ________________________________________________________________52

6.4 Aanbeveling ___________________________________________________________________52 6.4.1 Actie _______________________________________________________________________53 6.4.2 Aandacht ____________________________________________________________________54 6.4.3 Uitbouwen ___________________________________________________________________54 6.4.4 Vasthouden __________________________________________________________________54 6.5

Discussie ______________________________________________________________________55

Bijlagen_________________________________________________________________________________61 Bijlage 1: Vragenlijst Interview Ruigrok | NetPanel__________________________________________62 Bijlage 2: Inhoudsanalyse _______________________________________________________________64 Bijlage 3: Gespreksorganisatorische relaties ________________________________________________68 Bijlage 4: Transcript van het interview met medewerker Ruigrok | NetPanel _____________________69 Bijlage 5: Transcript van het interview met medewerker Ruigrok | NetPanel _____________________75 Bijlage 6: Transcript van het interview met medewerker Ruigrok | NetPanel _____________________80 Bijlage 7: Resultaten inhoudsanalyse ______________________________________________________87

1 1.1

INLEIDING Aanleiding

Tijdens het ontwerp van een product is het belangrijk het concept of eindproduct te testen. Dit wordt ook wel product use testing genoemd. Dit is het proces waarbij gebruikers (huidige en potentiële) het product op een aantal karakteristieken evalueren. Het doel van een dergelijke test is het product functioneel te verbeteren (Kahn, 2005). Ook op het gebied van websites is het belangrijk tijdens de testfases het ontwerp, het concept (of eindontwerp) te testen. Dit heeft als gevolg dat de website meer gebruiksvriendelijk gebruikt kan worden. Het gebruiksvriendelijk maken van een website kan men bewerkstelligen door aandacht te besteden aan de usability van de website (Nielsen, 2000). Het ISO1 (1998) definieert usability als “de mate waarin een product door bepaalde gebruikers in een bepaalde gebruikersomgeving kan worden gebruikt om bepaalde doelen effectief, efficiënt en naar tevredenheid te bereiken”. Met behulp van de juiste methoden en technieken ben je in staat het product te testen en belangrijker nog, te verbeteren. In deze definitie staat de gebruiker centraal. Een benadering die het hele usability proces overkoepelt en de gebruiker centraal stelt is User-Centered Design (UCD). UCD wordt gedefinieerd als “het gebruik producten te ontwerpen waarbij gebruikers met een minimum van inspanning en maximum aan doeltreffendheid taken als ‘gebruik’, ‘bewerken’, ‘bediening’ en ondersteunende taken te kunnen uitvoeren” (Woodson, 1981, in: Rubin 2004, p. 10). Nielsen (2003) komt met een vergelijkbare methode genaamd: ‘Usability Engineering’ (UE). Usability engineering kenmerkt zich door het op systematische wijze opstellen van criteria waaraan systemen moeten voldoen. Dit wordt uitgevoerd door tijdens het ontwikkelproces hiermee rekening te houden en door te evalueren of aan deze criteria ook wordt voldaan. Veel Onderzoek naar Usability onderzoek (UO) heeft vooral een technische invalshoek (Gould & Lewis, 1985; Norman & Panizzi, 2006). Een groot aantal onderzoekers heeft zich daarentegen wel bezig gehouden met het deelaspecten zoals het benodigde aantal respondenten voor de test (Rubin, 1994; Spool & Schroeder, 2001 & Virzi, 1992). UO kan zowel kwalitatief als kwantitatief verricht worden. Ik richt mij in dit onderzoek alleen op het kwalitatieve aspect. Voorbeelden van kwalitatieve UO-methoden zijn onder andere: gebruikerstest, focus groepen en cardsorting (Nielsen, 1993).

1

International Organisation for Standardisation

1

De aandacht wordt gevestigd op de gebruikerstest. Het doel van de gebruikerstest is het opsporen en vervolgens adviseren over usability problemen op de website (Rubin, 1994, p. 26). Daarnaast is de aandacht gevestigd op de verschillende technieken zoals onder andere: taakopdrachten, eye tracking en hardop denken. 1.2

Probleemstelling

Het doel van dit onderzoek is aan de hand van wetenschappelijke literatuur beoordelingscriteria te ontwikkelen. Deze criteria kunnen als toetsinstrument fungeren bij het beoordelen van gebruikerstesten in het algemeen. De beoordelingscriteria worden toegepast ter verbetering en optimalisatie van kwalitatief usability onderzoek. Het huidige proces wordt aan de hand van een checklist met criteria getoetst. Op deze manier kan onderzocht worden of verbeteringen mogelijk zijn. In dit onderzoek staat de volgende vraagstelling centraal: “Hoe kan de effectiviteit van website usability testing geoptimaliseerd worden?” Ter ondersteuning van de hoofdvraag zijn vier deelvragen ontwikkeld: 1. Aan welke criteria moet een goed UO voldoen? 2. Welke methoden voor UO worden er gehanteerd? 3. In hoeverre voldoet het huidige model en methoden voor kwalitatief UO van Ruigrok | NetPanel aan de criteria van een goed UO? 4. Hoe luidt het advies voor Ruigrok | NetPanel ter optimalisatie van hun huidige model en methoden van UO? 1.3

Aanpak

Aan de hand van theorie met betrekking tot usability testing is een checklist opgesteld met daarin de kritische succesfactoren voor goed UO. Met behulp van deze beoordelingscriteria zijn een drietal casussen getoetst van daadwerkelijk UO. Kwalitatieve data zijn met behulp van een checklist omgezet in kwantitatieve data om zodoende uitspraken te kunnen doen over de manier waarop usability testing bij marktonderzoekbureau Ruigrok | NetPanel uitgevoerd wordt. Daarnaast zijn een drietal interviews afgenomen ter ondersteuning van de verzamelde informatie. Het huidige proces van Ruigrok | NetPanel is beoordeeld, waarmee verbeteringen in het proces geïdentificeerd worden. Deze identificatie is verwerkt tot aanbevelingen om de huidige gebruikerssessies te verbeteren of te optimaliseren. 2

1.4

Operationele definities

In deze paragraaf behandel ik de verschillende belangrijke definities van begrippen die centraal staan in deze scriptie. 1.4.1

Usability

Het ISO (International Organisation for Standardisation) richt zich als organisatie op standaardisering van allerlei procedures en begrippen. Zij hebben richtlijnen opgesteld voor usability en definiëren usability als “de mate waarin een product door bepaalde gebruikers in een bepaalde gebruikersomgeving kan worden gebruikt om bepaalde doelen effectief, efficiënt en naar tevredenheid te bereiken” (ISO, 1998). Kassenaar en Van Rijswijk (2003, p. 25) geven een uitleg over de verschillende begrippen. ‘Product’ is in het geval van dit onderzoek een website. Gebruikersomgeving is in de meeste gevallen een browser of een apparaat. De effectiviteit staat voor de mate waarin de gebruiker in staat is zijn doel te bereiken. Bij efficiëntie gaat het om de inspanning die de gebruiker moet verrichten om de handeling uit te voeren. Ten slotte gaat het er bij tevredenheid om of de persoon de handeling op de website als prettig ervaart en of hij geen problemen ondervindt met het uitvoeren van zijn taken. Het ISO plaatst de definitie in een gebruikersomgeving en is daardoor het meest compleet. Vandaar de keuze gedurende dit onderzoek de definitie van het ISO te hanteren.

1.4.2

Usability testing

Usability testing wordt vanaf nu de gebruikerstest genoemd. Het doel van een gebruikerstest is het opsporen en vervolgens herstellen van usability problemen bij de gebruiker (Rubin, 1994, p. 26). 1.4.3

Criteria

De criteria zijn onderzocht aan de hand van verschillende onderdelen. De onderdelen hebben te maken met enerzijds de opzet (voorbereiding) en anderzijds de uitvoering (introductie, de test, afronding en rapportage) van de gebruikerstest. De onderdelen die met het proces te maken hebben zijn onder andere: doelgroep omschrijving, aantal respondenten en het opstellen van de checklist inclusief de taakopdrachten. De onderdelen die met de uitvoering te maken hebben zijn onder andere: soorten vragen, ruimte/camera en het verloop van de gesprekken.

3

1.5

Kennisbelang

Het onderzoek levert een bijdrage aan de wetenschap omdat ik alle relevante kennis met betrekking tot UO combineer in één onderzoeksmethode wat als goede leidraad kan fungeren bij het beoordelen van de methoden van UO in de praktijk. Hierdoor wordt meer inzicht verkregen in UO en de toepassingsmogelijkheden. In dit onderzoek wordt getracht de onderzoeksmethode van Ruigrok | NetPanel te verbeteren. Het is maatschappelijk relevant omdat UO één van de kerntaken van Ruigrok | NetPanel is. Door de aantrekkende economie kunnen steeds meer bedrijven zich permitteren UO te doen bij een bureau dat hierin is gespecialiseerd. Bij optimalisatie van de onderzoeksmethode zal Ruigrok | NetPanel beter in staat zijn UO uit te voeren. Dit zal uiteindelijk, afhankelijk van het doel van het UO, uiten in beter advies aan de opdrachtgever en tot een hogere klanttevredenheid. Daarnaast heeft de maatschappelijke relevantie een sociaal aspect. Verbeterde usability leidt namelijk tot gebruiksvriendelijke producten, waardoor gebruikers tevredener websites kunnen gebruiken. 1.6

Hoofdstukoverzicht

In hoofdstuk twee wordt een theoretisch kader geschetst omtrent de gebruikerstest. Aan de hand van dit hoofdstuk worden richtlijnen geschetst met betrekking tot goed UO. Hoofdstuk drie gaat in op het belang van UO voor de e-commerce sector, behandelt factoren voor een goede en slechte website en in dit hoofdstuk worden de belangrijkste concurrenten besproken. Vervolgens bespreek ik in hoofdstuk vier de methoden van onderzoek (inhoudsanalyse en interviews). In hoofdstuk vijf volgen de resultaten. Naar aanleiding van deze resultaten worden in hoofdstuk zes conclusie getrokken en aanbevelingen gegeven. De scriptie eindigt met een discussie waarin kritisch wordt gekeken naar dit onderzoek en een aanbeveling wordt gegeven voor vervolgonderzoek.

4

2

DE GEBRUIKERSTEST

Allereerst worden twee benaderingen besproken waarbij de gebruiker centraal staat: UserCentered Design en Usability Engineering. Een product kan namelijk pas geoptimaliseerd worden zodra de gebruiker centraal staat in het ontwikkelingsproces (Kahn, 2005). Vervolgens wordt op basis van literatuur onderzocht wat usability testing inhoudt, welke verschillende soorten er zijn en uit welke verschillende fases een UT proces bestaat. Daarna wordt dieper ingegaan op verschillende onderdelen van een UT proces (kritische succesfactoren). Het doel van dit literatuuronderzoek is om aan de hand van eerder onderzoek een toetsinstrument te ontwikkelen waarmee de gebruikerstest in de praktijk beoordeeld kan worden. 2.1

User-Centered Design

De definitie van UCD luidt: “Het gebruik producten te ontwerpen waarbij gebruikers met een minimum van inspanning en maximum aan doeltreffendheid taken als gebruik, bewerken, bediening en ondersteunende taken te kunnen uitvoeren” (Woodson, 1981, in: Rubin 2004, p. 10). Net zoals in de definitie van usability staat in de benadering van UCD de gebruiker centraal in het proces. Daarnaast representeert UCD de techniek, het proces, de methode en procedure voor het ontwerpen van gebruiksvoorwerpen. Rubin (2004) baseert zich bij de UCD op drie principes volgens Gould en Lewis (1985, pp. 300-311). 2.1.1

Beginfocus op gebruikers en taken

Het eerste principe dient een systematisch en gestructureerde aanpak te zijn voor de verzameling van informatie over en van de gebruikers. Voor het ontwerpen van een ‘usable’ product is het essentieel om interactie te hebben met de gebruiker. Er moet onderzocht worden wie de gebruiker is. Hierbij wordt gekeken naar cognitieve, gedrags-, antropometrische2 en attitudinale kenmerken van de gebruiker. 2.1.2

Empirisch meting product gebruik

Tijdens het beginstadium van het ontwerpproces wordt bij het tweede principe de nadruk gelegd op de meting van het gebruiksgemak. Prototypes (oorspronkelijk model) worden ontwikkeld en getest onder de eindgebruikers. Hun gedragingen en reacties moeten geobserveerd, opgenomen en geanalyseerd worden. 2

Afmetingen van het menselijk lichaam.

5

2.1.3

Iteratief ontwerp

Het laatste principe is volgens Gould en Lewis een iteratief ontwerp- en ontwikkelingsproces. Dit houdt in dat een product ontworpen en getest wordt onder zijn gebruikers om vervolgens aangepast en opnieuw getest te worden. 2.2

Usability Engineering

Nielsen (1993) focust zich erop om “goede” usability te bereiken en niet per se de beste. Er moet een afweging gemaakt worden tussen de kosten en de voordelen die UE met zich meebrengt. Deze methoden zullen sneller gebruikt worden en moeten worden beschouwd als een service naar de gebruiker. Usability engineering kenmerkt zich door het op systematische wijze opstellen van criteria waaraan systemen moeten voldoen. Dit gebeurt door tijdens het ontwikkelproces daarmee rekening te houden en te evalueren of aan deze criteria ook wordt voldaan. Volgens Nielsen (2003, pp. 17-21) is UE gebaseerd op vier technieken, namelijk: 2.2.1

Gebruiker en taak observatie

Het beste kan de gebruiker in zijn eigen omgeving bezocht worden. De gebruiker moet geobserveerd worden. De gebruiker moet gewoon zijn dagelijkse taak uitvoeren en mag niet gestoord worden. Dit zal uiteindelijk resulteren in een overzicht van karakteristieken, taken en behoeften van gebruikers, waarbij ook de gebruikerscontext wordt betrokken. 2.2.2

Scenario’s

De opgedane kennis van de eerste techniek zal in de vorm van scenario’s worden vastgelegd in beschrijvingen van een aantal typische gebruikssituaties. Een scenario beschrijft de gebruikers, hun taken en de context waarin ze deze taken uitvoeren in een verhalende vorm (Esch-Bussemakers & Neerincx, 2005, p. 25). De respondent bewandelt hierbij een van te voren uitgezet pad bewandelen. 2.2.3

Hardop denken

Het gaat erom dat de respondent hardop zegt wat hij denkt. Op die manier weet de onderzoeker niet alleen wat de respondent doet, maar ook waarom hij het doet. Het grootste voordeel is dat je met relatief weinig respondenten een grote hoeveelheid kwalitatieve informatie kan verzamelen. Daarnaast kan je quotes van de respondenten gebruiken als ondersteuning in het eindrapport. Waar wel op gelet moet worden is dat je een verkeerde indruk kan krijgen van de oorzaak van een usability probleem, als er teveel gewicht gegeven 6

wordt aan hetgeen de respondent zegt. De onderzoeker moet vooral opletten hoe de respondent de muis over het scherm beweegt in plaats van het beoordelen van het argument. Een ander nadeel is het feit dat de respondent bij hardop denken vertraagd kan worden in zijn/haar proces. Dit is dan niet representatief voor de normale omstandigheden, waarbij de persoon in kwestie niet hardop denkt. 2.2.4

Heuristieke evaluatie

De heuristieke evaluatie is een populaire techniek voor snelle, goedkope en makkelijke evaluatie van een gebruikersinterface. Bij een heuristieke evaluatie beoordelen experts de interface op een set usability-principes. Er kan gekeken worden of verplichte en nietverplichte invoervelden duidelijk gemarkeerd zijn en of kleuren consistent gebruikt worden in iedere pagina. Deze literatuurstudie gaat dieper in op de mogelijkheden van het uitvoeren van usability tests. Het model en de kwalitatieve onderzoeksmethoden van Ruigrok | NetPanel kunnen hiermee getoetst worden. 2.3

Usability Testing

Volgens Rubin (1994, p. 22) worden voor usability testing, technieken ingezet om zo gegevens te verzamelen. Dit gebeurt door middel van het observeren van representatieve eindgebruikers terwijl zij het product gebruiken om representatieve taken uit te voeren. Dumas en Redish (1993, p. 12) definiëren usability testing als: “op systematische wijze observeren van potentiële gebruikers om zodoende tijdens het gebruik van een product positieve en negatieve informatie te verzamelen”. Iedere usability test heeft in ieder geval de volgende vijf kenmerken: 1. Belangrijkste doel is het verbeteren van de gebruiksvriendelijkheid van het product. 2. De respondenten representeren echte gebruikers. 3. De respondenten voeren echte taken uit. 4. Je observeert en registreert wat de respondenten doen en zeggen. 5. Je analyseert gegevens, diagnosticeert de echte problemen en geeft aanbevelingen om zodoende de problemen te verhelpen (Dumas & Redish, 1993, p. 22).

7

2.3.1 Voor en nadelen van usability testing Usability testing maakt veelal gebruik van gecontroleerde observaties. Het is één van de meest gebruikte en meest betrouwbare methodes voor het vinden van usability problemen (Expertisegroep Usability, 2006, p. 52). In het artikel van expertisegroep Usability worden enkele voor- en nadelen genoemd. Een voordeel is dat de eindgebruikers in hun dagelijkse werkzaamheden kunnen worden geobserveerd. Een ander voordeel is dat gedrag en uitlatingen van eindgebruikers vaak een uniek licht werpen op hoe een programma of systeem wordt ervaren aangezien het directe informatie van henzelf is. Dit kan unieke en verrassende uitkomsten en inzichten verschaffen over de applicatie. Nadelen zijn: deelnemers kunnen hun gedrag wijzigen wanneer ze weten dat ze geobserveerd worden, een probleem dat zich ook in een usability lab kan voordoen. Observatoren kunnen alleen het gedrag zien dat ze willen zien, wat de validiteit van de resultaten in het gedrang kan brengen. (Expertisegroep Usability, 2006, p. 56). 2.3.2

Soorten testen

Rubin (1994, pp. 30-46) noemt vier verschillende soorten testen: de exploratory test ‘verkenningstest’, de assessment test ‘beoordelingstest’, de validation test ‘bevestigingstest’ en de comparison test ‘vergelijkingstest’. Figuur 2.1 verwijst naar de fasen van productontwikkeling waarop een bepaalde test ingezet kan worden.

Figuur 2.1:

Fasen van het inzetten van de verschillende testen (Concept testing (2006)).

De exploratory test ‘verkenningstest’ wordt uitgevoerd in de beginfase van het ontwerpproces en de nadruk van deze test ligt op het verzamelen van gegevens over de gedachten van de gebruiker over de gepresenteerde concepten. De assessment test ‘beoordelingstest’ wordt meestal uitgevoerd aan het begin of in het midden van het ontwerpproces, nadat beslissingen 8

over het product op hoog niveau genomen zijn. Het doel van deze test is om de bevindingen van de verkenningstest verder te ontwikkelen door de usability van meer specifieke onderdelen van het product te evalueren. De respondent voert realistische taken uit, waardoor tekortkomingen in de usability van bepaalde onderdelen van het product aan het licht komen. De validation test ‘bevestigingstest’ wordt laat in het ontwikkelingsproces afgenomen en is bedoeld om de usability van het product te keuren. Je test een product dat (bijna) geheel vervaardigd is. Het doel is een evaluatie van waar het (bijna) complete product staat in vergelijking met van tevoren opgestelde usability benchmarks. Naast deze evaluatie wordt bij deze test vaak ook het product voor het eerst in z’n geheel getest. De laatste test, de comparison test ‘vergelijkingstest’, is niet gerelateerd aan een bepaalde fase in het ontwikkelingsproces. Het doel van deze test is het vaststellen welk van twee of meer ontwerpen makkelijker te gebruiken is. De voor- en nadelen van beide ontwerpen worden ten opzichte van elkaar beoordeeld. 2.4

Kritische succesfactoren van gebruikersonderzoek

Rubin (1994, pp. 79-293) hanteert zes verschillende fases om een usability test uit te voeren: het ontwikkelen van een checklist, selecteren en werven van kandidaten, opzetten van de test, afnemen van de test, nabespreking met kandidaat en gegevens verwerken tot conclusies en aanbevelingen.

Nielsen

(1993,

pp.

187-192)

onderscheidt

vier

fases,

namelijk:

voorbereidingsfase, introductie, de test zelf, nabespreking. Nielsen richt zich voornamelijk op het uitvoeren van de test zelf en Rubin’s voorbereidingsfase is een stuk uitgebreider. Voor mijn onderzoek hanteer ik de fases van Nielsen aangevuld met theorie van Rubin en extra literatuur (Fidgeon, 2005). 2.4.1

Voorbereidingsfase

In deze paragraaf worden de stappen besproken die van belang zijn gedurende de voorbereidingsfase. In onderstaand Figuur 2.2 wordt duidelijk gemaakt in welke fase van het proces bevonden wordt.

Voorbereiding

Figuur 2.2

Introductie

De Test

Nabespreking

De voorbereidingsfase van de gebruikerstest. 9

Bepalen soort respondenten Het verzamelen van respondenten is één van de belangrijkste onderdelen van de gebruikerstest. De onderzoeksresultaten zijn niet valide als je proefpersonen dat ook niet zijn (Rubin, 1994, p. 119). De individuele kenmerken en verschillen zijn volgens Nielsen (1993, p. 43) één van de belangrijkste zaken van de gebruikerstest. Voorop staat dat de respondent zo representatief mogelijk is als mogelijke gebruiker van de website. Om deze te selecteren, dien je voorafgaand aan de werving relevante vaardigheden en kennis van de gebruikersgroep te verzamelen. Dit wordt het opstellen van het gebruikersprofiel of de gebruikerskarakteristieken genoemd Rubin (1994, pp. 119-131). In een gebruikersprofiel staat een beschrijving van de meest belangrijke vaardigheden, kennis, demografische gegevens en andere relevante factoren van de potentiële gebruikers van het product. Voorbeelden van kenmerken die van belang zijn voor een website, zijn: persoonsgegevens (leeftijd, geslacht), opleidingsniveau, mate van ervaring (hoe lang, frequentie), bezoekgedrag van de website (hoe lang; frequentie, verschillende merken) en werkervaring. Wanneer er gebruik wordt gemaakt van weinig respondenten zou er niet voor een outlier gekozen moeten worden. Voor de test moeten dan ook gemiddelde gebruikers gevraagd worden. Mochten er meer respondenten betrokken worden, dan kan er gekozen worden tussen meer verschillende subpopulaties om zo de belangrijkste categorieën te omvatten (Nielsen, 2003). Er kan een belangrijk onderscheid gemaakt worden tussen de mate van ervaring bij soorten gebruikers. Bijna alle websites moeten onder beginnende en ervaren gebruikers getest worden. Bepalen aantal respondenten Naast de representativiteit van de respondenten is de hoeveelheid gebruikers die getest wordt van invloed op de resultaten van een usability test. Hoe meer gebruikers getest worden, hoe meer usability problemen ontdekt worden en hoe beter het belang van de problemen ingeschat kan worden (Ostendorf, 2003, p. 45). Het aantal respondenten is onder andere afhankelijk van de hoeveelheid beschikbare tijd, de beschikbaarheid van respondenten en het budget dat beschikbaar is voor de test (Ostendorf, 2003, p. 45). Bij een gemiddelde usability test is het lonend om vijftien respondenten te testen. Vanaf respondent nummer zestien zijn de kosten hoger dan wat de extra test opbrengt Nielsen (1993, pp.172-175). Er moet dus vooraf afgewogen worden wat de kosten zijn van een extra test tegen de extra resultaten die het oplevert. Nielsen stelt dat voor ‘usability testing’ slechts vijf respondenten getest hoeven te

10

worden, Virzi (1992) bevestigt dit. Hiermee kunnen 80% van de grote usability problemen ontdekt worden (zie Figuur 2.3). Spool en Schroeder (2001, p. 286) concluderen dat vijf gebruikers niet voldoende is. Zij vonden bij vijf gebruikers 35% van de problemen. Rubin (1994, p. 128) adviseert drie gebruikers meer te testen en komt hiermee op acht. Problemen die bij de eerste respondenten niet ontedkt worden, worden dan alsnog belicht. Mochten er tijdens er tijdens het ontwerpproces meerdere testmomenten zijn dan kan het aantal respondenten per testronde lager zijn. Volgens Rubin zullen minder bekwame gebruikers extra inzichten opleveren, omdat zij tegen meer problemen aanlopen en dus extra inzicht opleveren. Daarnaast kan er vanuit gegaan worden dat als minder bekwame gebruikers het product succesvol kunnen gebruiken, meer bekwame gebruikers het ook kunnen gebruiken

Figuur 2.3

Aantal respondenten tegenover gevonden usability problemen (%) (CTMAX.nl).

Opstellen checklist: taken De checklist bestaat uit enkele onderdelen die uiteindelijk de gehele testfase overkoepelen. Voorbeelden van deze onderdelen zijn: referentiekader, taken en ervaring met de site. De taken zijn naast de individuele kenmerken en verschillen van de respondent de belangrijkste issues van usability testing (Nielsen, 1993, p. 43). De takenlijst dient taken te bevatten die gebruikers van het product bij normaal gebruik van de website uitvoeren om hun doelen te bereiken. De taken dienen dus representatief en realistisch te zijn voor de (toekomstige) gebruiker. De respondent moet zich in een situatie verplaatsen. Dit kan de onderzoeker bewerkstelligen door in plaats van taken, scenario’s in te zetten. Voorbeeld: Je hebt een all inclusive hotel geboekt, maar je wilt weten wat ‘all inclusive’ inhoudt, hoe doe je dat? Dat is 11

beter dan: zoek uit wat all inclusive betekent (Fidgeon, 2005). Testtaken moeten daarnaast een zo groot mogelijk gedeelte van de gebruikers interface bestrijken en zo gevormd worden dat ze passen binnen het tijdsbestek van de usability test (Nielsen, 1993). Voorbereiding onderzoeker Minimaal één persoon dient verantwoordelijk te zijn als onderzoeker. Deze onderzoeker moet goed op de hoogte zijn van de testmethodes. De kwaliteit van de onderzoeker is van groot belang. Uit onderzoek onder 20 verschillende groepen onderzoekers is gebleken dat er een correlatie van r = .76 bestaat tussen de kwaliteit van de onderzoeker en het aantal usability problemen welke zijn gevonden in de interface (Ostendorf, 2003). De onderzoeker dient goed op de hoogte te zijn van de gebruikersinterface van de website, anders kan het voor de onderzoeker te snel gaan om tegelijk te ontdekken wat de website en de respondent op hetzelfde moment doen (Nielsen, 2003). Wanneer er meekijkers zijn, vraag deze dan niet met het onderzoek te bemoeien. Op- en aanmerkingen kunnen tijdens de pauze of aan het einde van de test gemaakt worden. Dit zal de test niet storen. Ruimte bepalen en klaarmaken Een usability test vindt hoofdzakelijk plaats in zogenoemde usability laboratoria. Een usability laboratorium bestaat meestal uit drie kamers: een testkamer, een observatiekamer en een executive observation lounge. De testkamer is de kamer waar de testgebruiker wordt getest en waar eventueel camera’s staan om alles op te nemen. In de observatiekamer, wordt alles wat de testgebruiker doet in de gaten gehouden door middel van videobeelden en bijvoorbeeld een spiegelwand waar je vanuit één kant door kan kijken. Tenslotte de executive observation lounge, waar de test besproken kan worden (door bijvoorbeeld de designers van de website dat getest wordt) zonder de testgebruiker of de mensen in de observation room te storen (Nielsen, 1993). Volgens Rubin (1994, pp. 49-59) hoef je geen uitgebreid, duur laboratorium te hebben om usability testing succesvol te kunnen uitvoeren. Als minimale ruimte noemt Rubin een ‘simple single-room’. Deze ruimte heeft een videocamera om opnamen te maken van de handelingen van de gebruiker en is qua geluid afgesloten. Daarnaast biedt het plaats aan de onderzoeker en enkele observanten. Een ‘simple single-room’ en een geavanceerde usability laboratorium is niet de enige optie, er zijn nog verschillende tussenvormen. Rubin noemt dit een elektronische 12

observatiekamer en dit wordt door hem aangeraden als de juiste opzet voor organisaties die net beginnen met usability testing. De observatiekamer is gescheiden van de testruimte. De observanten kunnen door middel van video-opnamen de verrichtingen van de respondent volgen. Ondertussen kan de onderzoeker aantekeningen maken en meekijken, terwijl hij/zij schuin achter de respondent zit. Volgens Rubin is het dus niet noodzakelijk een usability lab te hebben. Toch adviseert hij wel een meer geavanceerde ruimte dan Nielsen. Naast een eenvoudige testruimte in het bedrijf kan de test volgens Fleming (1998) ook uitgevoerd worden bij de gebruiker thuis of op zijn werk. Dit kan leiden tot extra informatie doordat de gebruiker in zijn eigen omgeving aan het werk is. De gebruiksomgeving hoeft niet per se een grote invloed te hebben als bijvoorbeeld een prototype getest wordt. In zo’n geval is een simpel opgezette testruimte voldoende. Buur en Bagger (1999) stellen tot slot dat het niet noodzakelijk is om een duur lab te hebben. Het is volgens hen een nadeel als de onderzoeker niet in dezelfde ruimte als de respondent is. De omstandigheden zijn hierdoor volgens hen onnodig kunstmatig en dat stelt de gebruiker niet op zijn gemak. Zij adviseren de onderzoeker een actieve dialoog aan te gaan met de gebruiker in de testruimte. Hierdoor is het mogelijk om veel meer informatie te krijgen dan via de externe kanalen (intercom). Daarnaast is het belangrijk dat de fysieke instellingen van de computer goed zijn. Voorbeelden: de stoel en monitor op de goede hoogte en de muis aan de juiste kant (links- of rechtshandig). De 17 inch tft monitor is de standaard monitor. Een dergelijke monitor voldoet (op het moment van schrijven) goed bij een computer die voor standaard toepassingen zoals tekst verwerken, internetten en e-mailen wordt gebruikt (TFT monitor, het beeldscherm voor de computer van nu, 2006). Daarnaast raadt Gordon (2000) aan een notulist aantekeningen te laten maken. Videocamera Het gebruik van één of meerdere videocamera’s blijft altijd een discussiepunt. Met behulp van camera’s hebben meekijkers de mogelijkheid de test te volgen. Daarnaast kunnen achteraf de belangrijkste punten van een test aan de opdrachtgever getoond worden. Hiermee kunnen zij overtuigd worden van bepaalde non-usable onderdelen. De gebruiker die worstelt met een product is veel overtuigender dan een opmerking in een rapport (Nielsen, 1993, p. 204). Na afloop van de test kan dit opnieuw bekeken worden om bijvoorbeeld te tellen hoeveel zaken er fout gingen. De voordelen moeten wel afgewogen worden tegen de nadelen. Het belangrijkste nadeel is dat de respondent zich niet op zijn gemak voelt, waneer er opnamen van hem gemaakt worden. 13

Wanneer dit zich afspeelt moet de respondent de mogelijkheid krijgen alsnog van de test af te zien met ontvangst van de beloofde vergoeding. Een andere oplossing is om de test zonder opnamen af te nemen. Volgens Hackos en Redish (1998, pp. 397-399) is het gebruik van een videocamera automatisch een onderdeel van een usability test. De respondent dient wel te allen tijde op de hoogte te worden gesteld van dit feit en zij moeten voorafgaand aan de test een formulier tekenen waarin hij akkoord gaat met het maken van opnamen. Deze toestemmingsformulieren moeten zo kort mogelijk gehouden worden in alledaagse taal juridische termen dienen vermeden te worden. Kernpunten voorbereidingsfase Op basis van bovenstaande bevindingen kunnen de volgende aandachtspunten geformuleerd worden voor de uitvoering van de usability test: •

Bepalen soort en aantal respondenten: Er dienen minimaal acht gebruikers per test getest te worden en er moet sprake zijn van representatieve respondenten. Opstellen checklist, taken: Werk met scenario’s en niet met taken en zorg voor verschillende taken tussen beginnende gebruikers en ervaren gebruikers. Voorbereiding onderzoeker: De onderzoeker dient goed op de hoogte te zijn van de website. Ruimte bepalen en klaarmaken: Testkamer dient gereed te zijn voor de komst van respondent (computer aan). En het is belangrijk dat de fysieke instellingen van de computer goed zijn en de opdrachtgever moet vanuit aparte ruimte observeren. Laat ten slotte een notulist aantekeningen maken. Videocamera: Opnames maken met reden. Laat de respondent een formulier invullen dat hij of zij akkoord gaat met het maken van de opnamen. Houd toestemmingsformulieren zo kort mogelijk en gebruik alledaagse taal en niet teveel juridische termen.

2.4.2

Introductiefase

In deze paragraaf worden de stappen besproken die van belang zijn gedurende de introductiefase. In onderstaand Figuur 2.4 wordt duidelijk gemaakt in welke fase van het proces bevonden wordt.

14

Voorbereiding

Figuur 2.4

Introductie

De Test

Nabespreking

De introductiefase van de gebruikerstest.

Bij de introductiefase wordt de respondent eerst welkom geheten. Het is voor de objectiviteit van de respondent beter dat hij of zij niet weet over de eventuele aanwezigheid van de opdrachtgever. Na de introductie wordt de respondent verteld waarom hij is uitgenodigd. Het is belangrijk dat er benadrukt wordt dat de respondent zijn eigen mening geeft. Dat moet los staan van de mate waarin hij het product weet te gebruiken. Er moet voor en tijdens de test benadrukt worden dat niet de respondent maar het product getest wordt. De uitleg eindigt met informatie over eventueel te gebruiken technieken als ‘thinking aloud’. Daarnaast dient gevraagd te worden of de respondent nog vragen heeft. De respondent moet altijd de mogelijkheid hebben vragen te kunnen stellen waardoor onduidelijkheden verhelderd kunnen worden. Tijdens de introductie verwelkomt de onderzoeker de respondent en geeft een korte uitleg van het doel van de test. Mocht een respondent nog niet bekwaam zijn met computers dan kan de onderzoeker de nodige uitleg hierover geven. De onderzoeker geeft vervolgens een introductie van de test procedure. Vooral voor onervaren interviewers is het goed een checklist bij de hand te houden, welke de meest belangrijke punten overkoepelt. Er moet wel op gelet worden dat het niet te stijfjes wordt voorgelezen zodat het een machine lijkt. Enige spontaniteit is gewenst. Typische punten die tijdens een test introductie naar voren komen zijn: -

Doel van de test is het evalueren van de website en niet van de gebruiker.

-

De onderzoeker kan benadrukken dat hij niet de website ontworpen heeft en dat de respondent dus kan zeggen wat hij/zij wilt.

-

De testresultaten worden gebruikt om de gebruikersinterface van de website te verbeteren, dus de uiteindelijk website zal er mogelijk anders uitzien dan degene die getest wordt.

-

In het geval dat de respondent zou kunnen praten met andere respondenten, benadruk dan dat het geteste systeem vertrouwelijk is en dat er niet over gepraat mag worden. Dit kan de testresultaten beïnvloeden.

15

-

De respondent werkt op vrijwillige basis mee, mocht de gebruiker dan tóch willen stoppen tijdens de test, sta dit toe. Geef desondanks, zoals afgesproken, de vergoeding.

-

Verzeker de respondent dat de resultaten uit de test vertrouwelijk behandeld worden en dat de respondent anoniem blijft.

-

Uitleggen dat de respondent vragen zou mogen stellen, maar dat de onderzoeker meestal niet kan antwoorden, omdat juist onderzocht wordt in welke mate de website, zonder hulp van anderen, te gebruiken is.

-

Breng de respondent op de hoogte van het feit dat er tussentijds opnames gemaakt kunnen worden of op een andere manier bepaalde zaken worden vastgelegd.

-

Stel respondenten op hun gemak. Gebruik geen moeilijke termen zoals: usability testing of marktonderzoek. Verzeker dat de respondent op de hoogte is van de duur van het onderzoek en wat voor taken zij kunnen verwachten (Fidgeon, 2005).

-

Benadruk dat de website nieuw is en dat het dus fouten kan bevatten.

-

Vertel in eerste instantie niet wat de naam van het te onderzoeken bedrijf is of andere informatie waaruit de respondenten een oordeel kunnen vellen (Fidgeon, 2005). De resultaten van het onderzoek hangen namelijk grotendeels af van de proefpersonen uit de test.

Een onderzoeker dient de respondent zoveel mogelijk op zijn of haar gemak te stellen. Dit kan de onderzoeker bewerkstelligen door de houding te hebben ‘onpartijdig’ te zijn en aangeven geen belang te hebben bij het product. Het is voor de respondent vervelend als hij het idee heeft dat de onderzoeker de website probeert te verdedigen. Een onpartijdige houding kan de onderzoeker innemen door tijdens de test hetzelfde te reageren op een ‘fout’ als op een succesvol volbrachte taak. Naast de gehele houding van de onderzoeker is een mondelinge reactie van belang. Gedrag van de gebruiker kan in grote mate beïnvloed worden door de toon van de stem, de lichaamshouding en een knikje of een ander gebaar. Onafhankelijk van het soort onderzoeker en zijn of haar achtergrond, is het mogelijk ‘optimale’ eigenschappen te noemen die de meest effectieve onderzoekers delen (Rubin, 1994, pp. 67-78). Een goede onderzoeker leert snel, heeft een goed geheugen, is een goede luisteraar, flexibel en in bezit van goede communicatieve vaardigheden. Daarnaast moet de onderzoeker in staat zijn om zich aan te passen aan de persoonlijkheid van de respondent, omdat deze op zijn gemak gesteld dient te worden. De onderzoeker kan de respondent op zijn gemak stellen, wanneer deze zich ongemakkelijk voelt bij het uitvoeren van een taak. 16

Tussen de introductie en de aanvang de test moet de onderzoeker uitdrukkelijk vragen of de respondent nog opheldering nodig heeft over de procedure, de testinstructies of de taken. Kernpunten introductiefase Op basis van bovenstaande bevindingen kunnen de volgende aandachtspunten geformuleerd worden voor de uitvoering van de usability test: Introductie: o In introductie uitleg verwachting van respondent. o Uitleggen dat de test nooit in combinatie met de naam van de testpersoon gebruikt zal worden. o Uitleggen dat het doel van de test het evalueren van de website is en niet de gebruiker. o Onderzoeker kan benadrukken dat respondent kan zeggen wat hij/zij wilt (hij heeft toch de site niet ontworpen). o Testresultaten worden gebruikt om de gebruikersinterface van de website te verbeteren. o Uitleggen dat de respondent vragen zou mogen stellen, maar dat de onderzoeker meestal niet kan antwoorden, omdat juist onderzocht wordt in welke mate de website, zonder hulp van anderen, te gebruiken is. o Breng de respondent op de hoogte van het feit dat er tussentijds opnames gemaakt kunnen worden of op een andere manier bepaalde zaken worden vastgelegd (notuleren). o Verzeker dat de respondent op de hoogte is van de duur van het onderzoek en wat voor taken zij kunnen verwachten. o Benadrukken dat feedback over het te testen product waardevol is en onafhankelijk is van hoe goed hij het product weet te gebruiken. Overige o De respondent de mogelijkheid geven te allen tijde vragen te kunnen stellen. o Er dient gebruik gemaakt te worden van de Thinking aloud methode. 2.4.3

Testfase

In deze paragraaf worden de stappen besproken die van belang zijn gedurende de testfase. In onderstaand Figuur 2.5 wordt duidelijk gemaakt in welke fase van het proces bevonden wordt. Gedurende de testfase wordt het onderzoek daadwerkelijk uitgevoerd. 17

Voorbereiding

Figuur 2.5

Introductie

De Test

Nabespreking

De testfase van de gebruikerstest.

Achtergrond vragenlijst en verwachting site Een achtergrond vragenlijst is bedoeld om historische gegevens te verzamelen over de respondent zodat zijn gebruik van het product beter te begrijpen is. Een aantal van deze gegevens is al verzameld bij de werving met behulp van de screening vragenlijst, maar de achtergrond vragenlijst biedt de mogelijkheid om meer informatie te krijgen. Vertel iets over de naam van de website en de URL. Vraag wat zij verwachten van de site, of hoe zij willen dat de site eruit ziet. Op deze manier raakt de respondent vertrouwd met de website. Maak aantekeningen tijdens het gesprek. Naast dat dit aantoont dat je hun feedback serieus neemt, zou het ook bruikbare tips kunnen opleveren. Toon vervolgens de website en vraag naar de eerste indruk (Fidgeon, 2005). Interactie respondent Tijdens de test moet de onderzoeker zich onthouden van interactie met de respondent, zelfs als deze moeilijkheden hebben met het verrichten van de taak. Laat de respondenten relevante taken uitvoeren. Voorbeeld: laat ze op de site van een bank geld overmaken of geef de opdracht een reis te boeken op een site van een touroperator. Vraag de respondent naar suggesties wat betreft de taken. Dit zou nieuwe informatie over de verwachtingen en benodigdheden van de site kunnen geven. Laat respondenten aan één taak per keer werken. Als er bijvoorbeeld een wachtwoord via e-mail aangevraagd moeten worden, laat de respondent dat dan ook doen (Fidgeon, 2005). Vermijd je eigen mening en geef dus niet aan of de respondent het goed of slecht doet. De enige uitzondering die gemaakt mag worden is zodra de respondent zo vast komt te zitten dat hij/zij ongelukkig wordt van de situatie. De onderzoeker praat alleen bij het helpen van de respondent zijn of haar mening te geven of respons te verduidelijken. Dit kan door middel van doorvragen en het stellen van open vragen. Probeer zo neutraal mogelijk te blijven en pas op met non-verbale communicatie (Fidgeon, 2005). Je zou bijvoorbeeld kunnen reageren met “uh-huh”, zodat de respondent weet dat je aandacht voor hem/haar hebt en de respondent door kan gaan. 18

De onderzoeker zou ook in kunnen grijpen zodra de respondent moeilijkheden ondervindt die een aantal respondenten ervoor ook al ervaren hebben. Interviewtechnieken Rubin (1994) noemt een aantal punten welke van belang zijn voor de onderzoeker. Zo is het mogelijk dat de onderzoeker bedoeld of onbedoeld laat blijken hoe goed de gebruiker het product gebruikt. Dit kan de test in grote mate beïnvloeden. Daarnaast mag het verzamelen van data nooit ten koste gaan van het observeren van de respondent. Ook al gaat het ten koste van het opschrijven van informatie, de onderzoeker dient in de gaten te houden wat de respondent aan het doen is. Het kan intimiderend zijn voor de respondent als de onderzoeker te kundig overkomt op de respondent. Daarnaast is het niet goed als de onderzoeker te allen tijde vasthoudt aan de checklist. De onderzoeker moet in kunnen springen op eventuele veranderingen gedurende de test. Een onderzoeker mag nooit gaan discussiëren met de respondent, deze heeft namelijk altijd gelijk. Ook al lijken sommige usability problemen al snel duidelijk, het is niet de bedoeling dat de onderzoeker te snel conclusies trekt. De onderzoeker dient ook open vragen te stellen in plaats van gesloten. Ten slotte is het niet goed wanneer de onderzoeker niet om kan gaan met de frustraties van de respondent. Doordat de website problemen kan bevatten kan de respondent tijdens het gebruik gefrustreerd of ongeïnteresseerd raken. Toch mag de onderzoeker niet helpen en moet hij de respondent juist aan moedigen om verder te gaan. Deze momenten leveren juist goede feedback op. Voorleggen van taken Taken (in de vorm van een scenario) kunnen aan de respondent worden voorgelezen of worden uitgedeeld. Voorlezen heeft als voordeel dat wanneer de respondent je niet begrijpt, de onderzoeker het nog een keer kan voorlezen en toelichten. Voor de consistentie van de test is het beter dat iedere respondent dezelfde (getypte) opdracht krijgt. Een extra voordeel is dat de respondent gedurende de taak nog een keer kan doorlezen wat de bedoeling was. Het beste kan de onderzoeker beginnen met een relatief makkelijke taak, waardoor de respondent zelfvertrouwen krijgt. De laatste taak zou de respondent een goed gevoel moeten geven dat ze iets goed afgerond hebben (Nielsen, 1993). Daarnaast kan er een onderscheid gemaakt worden in taken voor beginnende en ervaren gebruikers.

19

Kernpunten testfase Op basis van bovenstaande bevindingen kunnen de volgende aandachtspunten geformuleerd worden voor de uitvoering van de usability test: •

Achtergrond vragenlijst en verwachting site: Verzamelen van historische gegevens en maak aantekeningen tijdens het gesprek. Vraag wat de respondent verwacht van de site, of hoe hij/zij wil dat de site eruit ziet. Toon de website en vraag naar de eerste indruk.

•

Interactie respondent: Onthouden van interactie met respondent (en vermijd eigen mening) en stel open vragen.

•

Interviewtechnieken: Opmerkingen of vragen van meekijkers tijdens pauze of na het onderzoek. De onderzoeker praat alleen bij het helpen van de respondent zijn of haar mening te geven of respons te verduidelijken. Een onderzoeker mag nooit in discussie gaan met de respondent. Spontaniteit tijdens het interview is gewenst.

•

Voorleggen van taken: Beginnen met relatief makkelijke taak en lees een scenariotaak voor en geef de respondent de mogelijkheid deze na te lezen.

2.4.4

Nabespreking

In deze paragraaf worden de stappen besproken die van belang zijn gedurende de nabespreking. In onderstaand Figuur 2.6 wordt duidelijk gemaakt in welke fase van het proces bevonden wordt. Tijdens de nabespreking ga je als onderzoeker de belangrijkste punten nog eens na.

Voorbereiding

Figuur 2.6

Introductie

De Test

Nabespreking

De nabespreking tijdens de gebruikerstest.

Tijdens de nabespreking kan de respondent gevraagd worden of ze nog commentaar hebben op de website. Er kan bijvoorbeeld gevraagd worden naar de eerste indruk en of de menuindeling logisch was. Probeer zoveel mogelijk informatie te verzamelen door bijvoorbeeld te vragen naar suggesties. Vraag de respondent tenslotte wat hij/zij herinnert van de structuur van de website. Dit geeft informatie of de website logisch gestructureerd is (Fidgeon, 2005). Iedere respondent moet als een individu beschouwt worden. De onderzoeker moet elke test blanco ingaan en zich niet laten beïnvloeden door voorgaande testen. Dit kan de onderzoeker 20

doen door na iedere test kort de tijd te nemen de belangrijkste punten van de test te noteren en zich voor te bereiden voor een nieuwe test. Rubin stelt dat kwaliteit hierbij belangrijker is dan kwantiteit. Je kan beter een respondent minder testen zodat je genoeg pauze hebt tussen de testen dan elke test achter elkaar plannen zonder een pauze. Zodra de respondent vertrokken is, kunnen de belangrijkste bevindingen beknopt in een verslag beschreven worden. Uitvoering van de rapportage kan overwegend vergemakkelijkt worden, wanneer er goed georganiseerde aantekeningen zijn. Kernpunten nabesprekingfase Op basis van bovenstaande bevindingen kunnen de volgende aandachtspunten geformuleerd worden voor de uitvoering van de usability test: •

Verzamelen van informatie

•

Beknopt verslag schrijven van de belangrijkste bevindingen.

2.4.5

Rapportage

Het Amerikaanse National Institute of Standards and Technology stelde een projectgroep samen die een standaardwijze van rapporteren ontwikkelde voor onderzoeken die gericht zijn op het vaststellen van de mate van gebruiksvriendelijkheid. Dit mondde uit in de Common Industry Format (CIF) for Usability Test Reports (Wobben, 2006b). Een goed adviesrapport bestaat allereerst uit een omschrijving van het product. Hierin staat een beschrijving van de functionaliteit van het product en de potentiële/huidige gebruikers van het product. Ook worden de doelen van de test omschreven. Daarnaast moet er in komen te staan hoeveel respondenten hebben deelgenomen en aan de hand van welke criteria zij geselecteerd zijn. Andere belangrijke informatie is: de taken die de respondenten hebben uitgevoerd, de testopzet, de methode of het proces hoe de test is uitgevoerd en usability metingen en de manier waarop data verzameld is (Bron: IUSR Project, 2006).

21

2.5

Overzicht Kritische succesfactoren

Teneinde de vraag te beantwoorden welke verbeteringen bij de huidige gebruikerssessies van Ruigrok | NetPanel geïndentificeerd kunnen worden, is het noodzakelijk te toetsen aan de hand van de uit de wetenschappelijke literatuur opgestelde criteria. Daarom is uitgebreid literatuuronderzoek naar usability testing gedaan. Het is immers van belang dat meerdere auteurs en experts op dit vakgebied bestudeerd worden. Een breder beeld wordt dan geschetst en opvattingen van bepaalde auteurs kunnen overwogen worden tegen die van anderen. Het verslag van deze literatuurstudie is weergegeven in dit. Aan het einde van elke subparagraaf in dit hoofdstuk, zijn criteria genoemd waar een goede gebruikerssessie aan moet voldoen. Deze criteria kunnen vergeleken worden met het huidige proces van Ruigrok | NetPanel en zijn te onderzoeken aan de hand van de beschikbare informatiebronnen. Deze criteria worden hieronder per fase weergeven.

22

Voorbereidingsfase •

Er dienen minimaal acht gebruikers per test getest te worden

•

Er moet sprake zijn van representatieve respondenten.

•

Werk met scenario’s en niet met taken en zorg voor verschillende taken tussen beginnende gebruikers en ervaren gebruikers.

•

De onderzoeker dient goed op de hoogte te zijn van de website.

•

Testkamer dient gereed te zijn voor de komst van respondent (computer aan). En het is belangrijk dat de fysieke instellingen van de computer goed zijn

•

De opdrachtgever moet vanuit aparte ruimte observeren. Laat tevens aantekeningen maken door een notulist.

•

Opnames maken met reden. Laat de respondent een formulier invullen dat hij of zij akkoord gaat met het maken van de opnamen. Houd toestemmingsformulieren zo kort mogelijk en gebruik alledaagse taal en niet teveel juridische termen.

Introductiefase •

In introductie uitleg verwachting van respondent.

•

Uitleggen dat de test nooit in combinatie met de naam van de testpersoon gebruikt zal worden.

•

Uitleggen dat het doel van de test het evalueren van de website is en niet de gebruiker.

•

Onderzoeker kan benadrukken dat respondent kan zeggen wat hij/zij wilt (hij heeft toch de site niet ontworpen).

•

Testresultaten worden gebruikt om de gebruikersinterface van de website te verbeteren.

•

Uitleggen dat de respondent vragen zou mogen stellen, maar dat de onderzoeker meestal niet kan antwoorden, omdat juist onderzocht wordt in welke mate de website, zonder hulp van anderen, te gebruiken is.

•

Breng de respondent op de hoogte van het feit dat er tussentijds opnames gemaakt kunnen worden of op een andere manier bepaalde zaken worden vastgelegd (notuleren).

•

Verzeker dat de respondent op de hoogte is van de duur van het onderzoek en wat voor taken zij kunnen verwachten.

•

Benadrukken dat feedback over het te testen product waardevol is en onafhankelijk is van hoe goed hij het product weet te gebruiken.

•

De respondent de mogelijkheid geven te allen tijde vragen te kunnen stellen.

•

Er dient gebruik gemaakt te worden van de Thinking aloud methode.

23

Kernpunten testfase •

Verzamelen van historische gegevens en maak aantekeningen tijdens het gesprek. Vraag wat de respondent verwacht van de site, of hoe hij/zij wil dat de site eruit ziet. Toon de website en vraag naar de eerste indruk.

•

Onthouden van interactie met respondent (en vermijd eigen mening) en stel open vragen.

•

Opmerkingen of vragen van meekijkers tijdens pauze of na het onderzoek. De onderzoeker praat alleen bij het helpen van de respondent zijn of haar mening te geven of respons te verduidelijken. Een onderzoeker mag nooit in discussie gaan met de respondent. Spontaniteit tijdens het interview is gewenst.

•

Beginnen met relatief makkelijke taak en lees een scenariotaak voor en geef de respondent de mogelijkheid deze na te lezen.

Kernpunten nabesprekingfase •

Verzamelen van informatie.

•

Beknopt verslag schrijven van de belangrijkste bevindingen.

Rapportage •

Omschrijving product: Functionaliteit, potentiële/huidige gebruikers van het product.

•

Het vaststellen van het doel van de test.

•

Het aantal respondenten.

•

De selectiecriteria van de respondenten.

•

De taken.

•

De testopzet.

•

De methode of het proces hoe de test is uitgevoerd.

•

Usability metingen en de manier waarop data verzameld is.

•

Resultaten.

•

Conclusie.

•

Nabespreking.

24

3

USABILITY EN INTERNET

Het ontwikkelen van een website kost veel tijd en geld. Bedrijven geven jaarlijks duizenden euro’s uit om op het World Wide Web vertegenwoordigd te zijn en te blijven (Kassenaar & Van Rijswijk, 2003). Een website is niet bij voorbaat effectief. Tevens is het de vraag of doelstellingen van de website wel gerealiseerd worden. Een goede eerste indruk wordt in de eerste vijftig milliseconde gevormd en is van groot belang, zo concludeerde men aan de Universiteit van Ottawa (Vos, 2006). Daarnaast wordt in dat artikel vermeld dat klantentrouw niet bestaat op internet. Bij het realiseren van een goede customer experience is het van belang aandacht te besteden aan de structuur van de site, het uiterlijk, helder taalgebruik en later uiteraard de kwaliteit van de interactie en de afhandeling van transacties via de website (Vos, 2006, p. 62). Het is dus een prioriteit oog te hebben voor de effectiviteit en efficiëntie van een website en de tevredenheid van de gebruikers te waarborgen (Kassenaar & Van Rijswijk, 2003). Allereerst wordt in deze hoofdstuk besproken welke factoren van belang zijn voor een goede website en welke factoren irritaties opleveren. 3.1

Een perfecte website

Uit onderzoek onder 2.500 respondenten is gebleken dat navigatiegemak de belangrijkste factor is voor een ideale website. Zo’n 83% vindt het belangrijk dat je goed over een website kan surfen. Daarnaast vindt 62% van de respondenten het belangrijk dat de downloadsnelheid hoog is. Veiligheid wordt door 59% van de respondenten als belangrijk gezien. Ten slotte wordt functionaliteit en kwaliteit/relevantie van de informatie als belangrijke factor gezien voor een ideale website. 49% respectievelijk 45% van de respondenten hechten daar waarde aan (Marsch & Khor, 2006). 3.2

Website irritaties

Er is ook onderzoek gedaan naar de mate waarin websites irritaties opleveren. Zo heeft recent onderzoek van Akamai Technologies bijvoorbeeld aangetoond dat de maximaal acceptabele laadtijd van een pagina vier seconden bedraagt. Daarnaast is gebleken dat één derde van de online shoppers met een slechte ervaring de website vermijden en 75% niet meer op die site willen shoppen. Bijna 30% van de ontevreden klanten ontwikkelen een negatieve perceptie over het bedrijf of vertellen vrienden en familie over hun ervaring. Hoe meer online shoppers uitgeven des te strenger ze worden ten aanzien van de technische performance. Techniek komt hiermee in hetzelfde rijtje als hoge prijzen en te hoge verzendkosten, als belangrijkste redenen

25

dat klanten afhaken in het koopproces (de Wilde, 2006). TNS (2005) deed onderzoek naar website irritaties onder volwassen internet gebruikers in de US. De top vijf van website karakteristieken die als zeer vervelend worden beschouwd zijn: pop-up advertenties (83,8%), installatie van extra software om de site te kunnen zien (72,0%), dode links (66,2%), registreren en inloggen op de site voordat je hem kan zien (61,1%) en ten slotte langzaam ladende pagina’s (57.3%). Nu er gekeken is wat belangrijke factoren zijn voor een goede website wordt het belang van aandacht voor e-commerce besproken. 3.3

Belang voor aandacht e-commerce

De aandacht voor usability is vooral voor e-business van groot belang. In een online winkel moet een bezoeker bijvoorbeeld snel een product kunnen vinden. Daarnaast is het van belang (prijs-) vergelijkingen te kunnen maken, snel adressen en openingstijden kunnen achterhalen en vertrouwd kunnen betalen. Als dit eenmaal duidelijk is blijft er nog één vraag over: Hoe kan de aanbieder ervoor zorgen dat bezoekers juist kopers worden? (E-commerce Usability versus Intranet usability, 2006). Want een overzichtelijke website die ook gebruiksvriendelijk in elkaar zit levert duidelijk meer rendement op (Dekker, 2002). Dat e-commerce een belangrijke business is blijkt wel uit de cijfers van de afgelopen jaren. De verkoop van producten en diensten via elektronische netwerken (e-commerce) is van 2000 tot 2004 van 4% naar respectievelijk 10% gestegen (Omzet door e-commerce bij bedrijven sterk gestegen, 2006). De voorspelling is zelfs dat tot 2011 de e-commerce in Europa jaarlijks met 21 procent zal groeien (in Nederland 28 procent) (28 procent groei e-commerce in Nederland tot 2011, 2006). Uit onderzoek van Nielsen (1999) zijn drie belangrijke bevindingen over e-commerce gevonden: De belangrijkste redenen voor consumenten om producten te kopen via internet zijn de geschiktheid en gebruiksgemak. Shoppers kopen slechts 5% van de tijd dat zij een e-commerce site bezoeken. Ten slotte: e-commerce is internationaal. Veel meer consumenten kopen hun producten buiten de landgrenzen. De aandacht van usability is in twee hoofdredenen in te delen. Er is meer aandacht voor de gebruiker voor usability (§3.4) en usability biedt kansen om de winstgevendheid te verhogen (§3.5 en §3.6) (Ostendorf, 2003).

26

3.4

Meer aandacht gebruiker

Er zijn een drietal factoren die een rol spelen bij de stijgende aandacht voor de gebruiker: technische producten zijn steeds moeilijker te gebruiken (Rubin, 1994, pp. 3-10), e-business is op dit moment in het derde stadium van marktontwikkeling (Olsen, 2002) de lage ‘switching costs3’ op het web (Nielsen, 2000, pp. 9-15). 3.4.1

Moeilijk te gebruiken technische producten

De relevantie van usability neemt volgens Rubin (1994, pp. 3-10) toe, doordat steeds meer technische producten steeds ingewikkelder worden, met als gevolg: onbruikbaarheid. De reden hiervoor is dat de aandacht teveel gevestigd is op technische ontwikkeling in plaats van de gebruiker (Hackos & Redish, 1998, p. 3). Dit is dan ook de reden dat usability hier een belangrijke rol gaat spelen. 3.4.2

Derde stadium van volwassenheid

Olsen (2002) erkent de hoeveelheid producten die ongemakkelijk te gebruiken zijn en de focus op de technologie, maar noemt dat in de e-business een coherent gevolg van evolutie. Volgens Olsen (2002) doorloopt E-business net als iedere markt de vier stadia naar volwassenheid. Het doorlopen hiervan is een gevolg van een verandering in vraag van de gebruiker. De verschillende stadia worden in Tabel 3.1 weergegeven (Olsen, 2002). In het eerste stadium (kort van duur) wordt het product slechts door een kleine groep gebruikers gebruikt, ook wel ‘early adopters’ genoemd. Deze groep is zo nieuwsgierigheid naar het nieuwe product, dat ze imperfectie voor lief nemen. In het tweede stadium realiseert een grote groep gebruikers zich de mogelijkheden van het nieuwe product. Deze groep schaft het nieuwe product aan vanwege de nieuwe mogelijkheden dus zal de keuze gebaseerd zijn op basis van de hoeveelheid aanwezige functies. Het gevolg voor een stijgende aandacht voor functionaliteit leidt tot een gebrek aan aandacht voor het gebruik. De aandacht is dan ook het kenmerk van het derde stadium. De mate van usability is in dit stadium dan ook de belangrijkste manier om het product te onderscheiden van de concurrerende producten. Zodra het grootste gedeelte van de producten een hoge mate van usability kenmerkt, komt het laatste (vierde) stadium in zicht.

3

De kosten die gepaard gaan met het veranderen van aanbieder.

27

Tabel 3.1

Internet Stadia Stadium 1:

Stadium 2:

Stadium 3:

Stadium 4:

introductie

uitbreiding

gebruik

verfijning

Functionaliteit

Usability

Prijs

De gebruiker verwacht geavanceerde functies en kiezen product dat meest eenvoudig in gebruik is Het product dient makkelijk te gebruiken

De gebruiker verwacht een product zonder fouten en kiezen diegene met de laagste prijs

Onderscheiding: Innovatie Het gedrag van de gebruiker:

Belangstelling om product een keer te gebruiken; geen aandacht voor imperfectie of usability problemen

Een volledig werkend product word verwacht en zijn op zoek naar diegene met de meeste functies

De Focus bij ontwikkeling:

Het product moet werken.

Nieuwe functies toevoegen en herstellen van daarbij komende problemen

3.4.3

Ontwikkelings- en onderhoudskosten worden verlaagd

Aandacht usability door lage ‘switching costs’

Nielsen (2000, pp. 9-15) stelt dat usability internet beheerst. Hiermee doelt hij op het feit dat als een klant een product niet kan vinden op een website, hij ook niet in staat is om het product aan te schaffen. Het is voor online bedrijven dus van groot belang aandacht te geven aan de usability van hun site. Gebruikers worden eenmaal steeds ongeduldiger. Dit heeft alles te maken met de lage ‘switching costs’ op internet in vergelijking met de echte, fysieke wereld (Nielsen & Norman, 2000). Hetzelfde wordt in de inleiding al vermeld: klantentrouw bestaat niet op internet. 3.5

Verhogen winstgevendheid

Er zijn dus veel technische producten moeilijk te gebruiken. Hierdoor worden door bedrijven die zich met technologische producten bezig houden, extra kosten gemaakt (Hall, 2001, p. 485). Voorbeelden van indirecte kosten die hiermee gemoeid gaan zijn een slechter imago van het bedrijf als geheel, als gevolg van een slechte ervaring met het product en een lagere verkoop van het product Niet alle kosten zijn eenvoudig in cijfers uit te drukken. Over de directe kosten zijn wel gegevens beschikbaar. Nielsen stelt dat onderzoek heeft uitgewezen dat in het geval dat de kosten van telefonische ondersteuning van softwareproducten tussen de dertig en honderd dollar per telefoontje liggen, meer dan de helft van deze telefoontjes het gevolg is van een slechte usability van het product (Nielsen, 2000, p. 10). Het verhogen van de usability leidt dus tot kostenbesparing op onder andere telefonisch service.

28

Het succes van een website wordt door Nielsen en Norman (2000) uitgedrukt in het aantal personen dat de website bezoekt vermenigvuldigd met het percentage van het aantal bezoekers dat daadwerkelijk klant wordt (de conversie). Het succes kan dus op twee manieren verhoogd worden: door meer mensen naar de website te trekken of door de conversie te verhogen. De tweede factor is te verhogen door de website meer ‘gebruiksvriendelijk’ te maken. Bij conversie gaat het tenslotte om de bezoekers die al op de website zijn en vervolgens niet het product of de dienst afnemen. Zoals hiervoor reeds vermeld wordt komt dit bijna in de helft van het aantal gevallen door de lage mate van usability van de website (Black, 2002). De advertentiekosten op online bedrijven zijn meestal erg hoog. Daarnaast ligt de conversie in 2000 tussen de één of twee procent (Nielsen, Norman, 2000). Hierdoor biedt met name het verhogen van de conversie (en dus het verhogen van de usability van de site) mogelijkheden om meer succes en dus meer omzet te behalen met de site. 3.6

De invloed van usability op bedrijven

Deze voordelen van een verhoogde usability hebben tot gevolg, dat door bedrijven steeds meer aandacht aan usability wordt besteed. Dit geldt met name voor online bedrijven, omdat zij op dit moment in het derde stadium van marktontwikkeling zitten (Olsen, 2002). Nielsen, Coyne, & Tahir 2001 stellen zelfs dat usability het meest belangrijke aspect is van websites en dat het essentieel is om te kunnen voortbestaan op internet (Nielsen & Norman, 2000). Hierdoor zijn volgens Black (2002) de belangrijkste technologiebedrijven eindelijk serieus over usability en maken ze de middelen vrij om er belangstelling aan te geven. 3.7

De concurrenten

In deze paragraaf wordt een overzicht gegeven van verschillende concurrenten van Ruigrok | NetPanel. In de concurrentieanalyse wordt in kaart gebracht welke methoden voor kwalitatief onderzoek de concurrent gebruikt. Kwantitatief onderzoek wordt buiten beschouwing gelaten. De concurrenten die bekeken worden zijn: Interview NSS, Valsplat, Metrix lab, 2c en Jungle Rating. De informatie is gevonden op de website van de desbetreffende concurrent. 3.7.1

Interview NSS

Gebruikerstest De gebruikerstest wordt bij Interview NSS website usability & experience test genoemd. De user experience gaat over emoties/gevoelens. Usability gaat over informatieverwerking, denken beslisprocessen, keuzegedrag en logica. De test kent een vaste opzet. Samen met de klant 29

stellen zij een lijst relevante surfopdrachten samen die representatief zijn voor de doelstellingen van de klant. Er worden tijdens de Usability & experience test vier stappen doorlopen, waarin observaties, reconstructies, vragenlijsten en diepte-interviews alle usability en experience kenmerken en verklarende factoren helder in kaart worden gebracht. Een gemiddelde Usability & experience-sessie duurt gemiddeld 60 minuten. Bij een standaardopzet met acht respondenten wordt het veldwerk gespreid over twee avonden met ieder vier opeenvolgende sessies. De totale doorlooptijd van een Usability & Experience Test met Nederlandse gebruikers bedraagt bij voldoende capaciteit, circa vier weken. Overige methoden Andere methoden die Interview NSS toepast zijn: heuristieke evaluatie & usability Quick Scan en Sign test. Bij heuristieke evaluatie wordt de site onder de loep genomen door een usability expert. De Sign-Test is een evaluatiemethode waarbij respondenten feedback geven op de content van een document dor het markeren van plussen en minnen, waarbij de respondent niet de rol van gebruiker maar van evaluator speelt. 3.7.2

Valsplat

Gebruikerstest Voor de gebruikerstest wordt een representatieve testgroep van vijf tot acht gebruikers uit de doelgroep samengesteld. Projectduur is gemiddeld 2 weken. Overige methoden Naast de gebruikerssessies gebruikt Valsplat ook andere methoden voor het uitvoeren van UO: Expert Review, Brown Paper sessie, Mind Mapping en Interface ontwerp. Bij een Expert review wordt de site door een deskundige onderzocht op zijn gebruiksvriendelijkheid. Tijdens een Brown Paper Sessie worden ervaringen, behoeften en ideeën vanuit de verschillende invalshoeken (op grote vellen bruin papier) bijeengebracht. Projectduur is gemiddeld 3 dagen. Bij Mind Mapping wordt het mentale model van gebruikers in kaart gebracht met een combinatie van 3 onderzoeksmethodes: Scenario Development, Card Sorting en Participatory Design. Bij een Scenario Development beschrijft de gebruiker de stappen, acties en informatie die hij nodig acht om een bepaalde taak te verrichten. Bij Card Sorting sorteert en categoriseert een gebruiker naar eigen inzicht de bouwstenen van een interactief product. Card sorting sessies kunnen zowel in hun usability lab als online worden afgenomen. Ten slotte de Participatory Design. Hierbij verwerkt de gebruiker onder begeleiding van de onderzoeker 30

zijn beeld van het product in een compositieschets. Projectduur is gemiddeld 2 weken. Tenslotte het Interface Ontwerp. Valsplat maakt op basis van UO een nieuwe interface ontwerp zonder bottlenecks. Projectduur is projectafhankelijk. 3.7.3

Metrix lab

Metrix lab heeft vele methodes voor het uitvoeren van UO Allereerst bespreek ik hun methode voor de usability test en daarna een kort overzicht van de overige methodes (bron: http://www.metrixlab.com). Gebruikerstest Mextrix lab’s kwalitatieve website usability test is gefocust op het induceren van realistisch surfgedrag. Mextrix lab onderscheidt twee verschillende test momenten. Realistisch surfen en begeleid surfen. Bij realistisch surfen wordt alles gefocust op het induceren van realistisch gedrag. Dit gaat in stappen van drie fases. De eerste fase is de introductiefase. In vijftien minuten wordt de respondent op z’n gemak gesteld. Er moet vanuit de respondent informatie vergaard worden over de verwachtingen, behoeftes, verlangens en redenen voor het bezoeken van de site. Tijdens de tweede fase wordt de respondent verzocht over de site te surfen zoals hij of zij dat thuis ook zou doen. De respondent zal daarbij niet gestoord worden. De derde fase (diepte interviews) is gebaseerd op standaard zaken als: inhoud, look & feel, gebruikerservaring, en intentie tot herhaald bezoek. Daarnaast worden er aantekeningen gemaakt in de meekijkkamer. Vragen worden gesteld nadat de respondent spontaan de site verlaten heeft. Usability bottlenecks worden opgespoord door achteraf te kijken naar de reconstructie van het klikpad van de respondent. Aangezien realistisch surfgedrag niet mogelijk is na het eerste bezoek, is testmoment twee vergelijkbaar met de traditionele usability test. Hierbij worden respondenten gevraagd specifieke taken uit te voeren op belangrijke delen van de website die nog niet bezocht zijn. Bij het nagaan van het klikpad van de respondent worden nog meer usability-bottlenecks gevonden. Daarna volgt de afsluiting. Overige methoden Andere methoden die zij toepassen zijn: Profile monitor, channel profiler, behaviour monitor en benchmark. 31

3.7.4 2C Ook 2C heeft vele methodes voor het uitvoeren van UO. Allereerst wordt de usability test met proefpersonen omschreven en vervolgens de andere methoden die zij hanteren Usability test met proefpersonen De testen worden afgenomen in een eigen usability laboratorium. Dit laboratorium, dat bestaat uit een test- en een observatieruimte, is voorzien van een dubbel uitgevoerde monitor, spiegelglas, een webcam, videorecorder, internetaansluiting en televisie. Door met ongeveer zes proefpersonen deze test uit te voeren, worden de meeste usabilityproblemen uit de website gehaald. De uitkomsten van het onderzoek worden in een rapport opgenomen en hierin worden tevens concrete suggesties gedaan om de geconstateerde knelpunten te verbeteren. Overige methoden De overige methoden die in deze paragraaf besproken worden zijn: expert review, prototypetest, de een-dags-usability-test en Cardsorting (bron: www.2c.nl). De expert review wordt gebruikt om snel inzicht te krijgen in algemene usabilityproblemen van een website. Bij een expert review wordt de website geanalyseerd door één of meerdere ervaren usability-experts. Daarbij wordt concreet aangegeven hoe de knelpunten het best verbeterd kunnen worden. Bij de prototype test is het verstandig om voor het maken van een totaal vernieuwde website of gedeelte hiervan, de ideeën vooraf bij de doelgroep te testen. De een-dags-usability-test is speciaal ontwikkeld voor organisaties met een beperkt budget. In één dag loopt een usability-expert van 2C de website na op mogelijke usabilityproblemen. De kosten van deze test bedragen € 800,-. Cardsorting is een methode om de indeling van informatie optimaal aan te laten sluiten bij de verwachtingen en wensen van gebruikers. Tijdens een cardsort onderzoek sorteren gebruikers uit de doelgroep(en) van een website alle onderwerpen die op de website voorkomen of voor moeten gaan komen in categorieën. De gebruikers geven vervolgens een naam aan de gemaakte categorieën. 2C heeft een instrument ontwikkeld waarmee ze zowel online als in hun usability testlab card sorting kunnen uitvoeren. Vindt het onderzoek in het testlab plaats, dan vragen zij een relatief kleiner aantal gebruikers de cardsort uit te voeren. Zij kunnen het onderzoek ook online laten plaats vinden. Dan zijn ze weliswaar niet in staat om de gebruikers tijdens het sorteren en indelen vragen te stellen, maar kunnen ze wel in een relatief korte tijd een veel groter aantal gebruikers ondervragen. In beide gevallen worden de resultaten van de cardsort geanalyseerd en maakt 2C op basis van de uitkomsten een nieuwe sitemap voor de website. 32

3.7.5

Jungle Rating

Jungle Rating claimt marktleider te zijn op het gebied van internetadvies, usability testing en multi-channel management. In deze paragraaf volgt meer uitleg over hoe zij de usability test uitvoeren en behandel ik de overige methoden die zij hanteren (bron: www.junglerating.nl). Usability test Ook Jungle Rating stelt de gebruiker specifiek centraal. Een gebruiksvriendelijke website is een absolute voorwaarde voor succes. Daarnaast zijn zij in staat om verzamelde observaties en meningen te analyseren en op basis hiervan nuttige verbetersuggesties te doen. Jungle Rating combineert realistische scenario’s, observatie, reconstructies en diepte-interviews. Het één-opéén interview vindt plaats in een ontspannen atmosfeer, onopvallende camera’s, geen spiegelwand en een gewone computer set-up. Het interview bestaat uit drie stappen: (1) Achterhalen behoeften, wensen en verwachtingen. (2) Site bezoek, waarbij de onderzoeker de ruimte verlaat. (3) Reconstructie van klikpad (onderzoeker en respondent). Overige methoden Andere methoden die zij toepassen zijn: card sorting, focus groep, persona's en scenario analyse en papieren prototype test. 3.7.6 Eyetracking Met behulp van eye tracking (cameramonitor en computer) is het mogelijk de kijkbewegingen en het kijkgedrag van visuele boodschappen (websites en printmedia) te registreren. Eye tracking is vooral bedoeld om de effectiviteit van een visuele boodschap te meten. Het geeft heldere inzichten in het kijkgedrag van mensen (Eyetracking analyse, 2006). De aanschaf van een eye tracker is behoorlijk prijzig en je kan er veel data mee verzamelen. Het opstellen van de apparatuur en het kalibreren van de participanten is eenvoudig. Omdat er nu zo weinig technische beperkingen meer zijn zie we dan ook dat steeds meer usability onderzoekers gebruik gaan maken van eye tracking (Wobben, 2006a). Bojko (2006) deed aan de hand van twee verschillende methoden (eye tracking en traditioneel) onderzoek naar twee versies van eenzelfde website. Zij vond erg weinig verschil tussen deze twee versies. Dankzij eye tracking kon echter eenvoudig worden vastgesteld dat de ene versie vele malen effectiever en efficiënter is dan de andere versie. De kosten voor aanschaf van apparatuur moeten afgewogen worden tegen de opbrengsten. 33

4

METHODE VAN ONDERZOEK

Om het huidige proces van Ruigrok | NetPanel te evalueren zijn in dit onderzoek twee methoden gebruikt: de inhoudsanalyse en interviews. De inhoudsanalyse is een techniek om uitspraken te doen over communicatieboodschappen op basis van een objectieve en systematische analyse van gespecificeerde kenmerken van die boodschappen (’t Hart et al, 1996). Bij het verzamelen van gegevens over bijvoorbeeld kennis of attitude kan gebruik gemaakt worden van interviews (’t Hart et al, 1996). 4.1

Ruigrok | NetPanel

Ruigrok | NetPanel is een full service marktonderzoekbureau dat gespecialiseerd is in marktonderzoek en communicatieadvies. Zij houden zich bezig met kwalitatief onderzoek, onder andere op het gebied van communicatie (concepten, bladen, merken), positionering, klanttevredenheid en winkelbeleving. Daarnaast verrichten zij kwalitatief én kwantitatief online onderzoek naar en via internet (usability, site-ontwikkeling en alle andere mogelijke vraagstukken) (Tan, 2005). Ruigrok|NetPanel heeft inmiddels ruim 10 jaar ervaring op het gebied van UO naar websites en intranetten en het is tijd geworden hun onderzoeksmethoden onder de loep te nemen. 4.2

Selectie cases

De bestudering van de documentatie en de observatie van de gebruikerssessies hebben betrekking op drie verschillende casussen. Per casus zijn drie interviews van elk 45 minuten geanalyseerd. Het aldus verzamelde onderzoeksmateriaal, de documentatie en observatie van de drie sessies en de interviews met de onderzoekers, is gebruikt om het proces van Ruigrok | NetPanel te beschrijven. De drie casussen zijn geselecteerd aan de hand van verschillende criteria. Allereerst is het van belang dat de test recentelijk is uitgevoerd. In verband met de privacy van de respondenten is Ruigrok | NetPanel verplicht DVD-materiaal te vernietigen een half jaar na het afronden van de test. Daarmaast is gekozen voor een varieteit van onderzoekers. Hierbij is een selectie gemaakt in de mate van ervaring met dit soort onderzoek. Omdat het niet van belang is wie wat heeft gezegd, worden de namen van de geinterviewden achterwegen gelaten. In verband met de betrokkenheid van twee usability onderzoekers bij mijn onderzoek is het niet mogelijk deze te interviewen. Er hebben uiteindelijk drie interviews plaatsgevonden van ongeveer 30 minuten. 34

De transcripten hiervan zijn terug te vinden in bijlagen 4, 5 en 6. De eerste medewerker is senior projectleider bij Ruigrok | NetPanel en heeft ongeveer vijf jaar ervaring met UO. De tweede medewerker is projectleider en is zo’n twee jaar bezig met UO. Tot slot de derde en laatst geinterviewde medewerker. Deze is eveneens projectleider en doet nou zo’n twee en een half jaar UO. Ten slotte is het type applicatie van belang. Bij de ene test wordt gekeken naar de volledige site, maar soms wordt enkel onderzoek gedaan naar een bepaalde tool op de site. Ook is hierbij rekening gehouden met het uitzoeken van de casussen. In onderstaande Tabel 4.1 een overzicht van de verschillende casussen. Tabel 4.1

Onderzoekscasussen

Opdrachtgever 1. KLM

Type

Aantal

Onderzoekers

applicatie

respondenten

Tool op site

10

Rapportage Format

Nieske &

Word

Evelien 2. SNS

Concept

10

Arjan & Esther

Powerpoint

3. MIN EZ

Hele site

10

Nieske & Kjell

Powerpoint

4.3

Dataverzameling

Bij Ruigrok | NetPanel zijn drie verschillende bronnen beschikbaar om het huidige proces in kaart te brengen: documenten over het usability proces, DVD-materiaal van uitgevoerde tests en

de

onderzoekers.

De

documentatie

van

Ruigrok

|

NetPanel

bestaat

uit

onderzoeksvoorstellen, checklisten, rapporten en hun model. Door inhoudsanalyse van beide bronnen heb ik een goede indruk gekregen van hoe het proces bij Ruigrok | NetPanel in elkaar zit. Een voordeel van de inhoudsanalyse van het proces is dat deze manieren van dataverzameling niet beïnvloed wordt door het bewustzijn van het te onderzoeken object. Dit in tegenstelling tot de andere waarnemingstechniek (interview) waar de ondervraagde zich bewust is van de aanwezigheid van de vragensteller en kan reageren op zijn interpretatie van het doel van de vragen (sociaal wenselijke antwoorden). De derde beschikbare bron binnen Ruigrok | NetPanel, de medewerkers, vormen vooral een goede aanvulling op de eerder genoemde bronnen. Door middel van ondervraging van onderzoekers kan namelijk een aanvullend en dieper inzicht verkregen worden dan alleen documentatie en observatie kunnen opleveren. De interviews dienen voornamelijk als ondersteuning. 35

4.4

Analysetechnieken van de kritische succesfactoren

Ter operationalisatie van deze criteria is vastgesteld wanneer het proces van Ruigrok | NetPanel aan een bepaald criterium voldoet. Hierbij is een onderscheid gemaakt in drie beoordelingen: zwak (-), gemiddeld (±) en goed (+). Deze ordinale schaal is echter niet van toepassing op elk criterium. Wanneer een criterium slechts ter beoordeling is op basis van een tweedeling, zal uitsluitend tussen zwak en goed gekozen moeten worden. In bijlage 2 zijn tabellen te vinden met per rubriek voor elk daaronder vallend criterium aagegeven wanneer het als goed, gemiddeld of zwak beoordeeld wordt. De tabellen zijn geordend naar de fases van de gebruikerstest. Per criterium is aan het oordeel positief nul punten, aan het oordeel neutraal één punt en aan het oordeel zwak twee punten toegekend. Per test en per fase is vervolgens beoordeeld hoeveel punten zijn behaald. De scores per rubriek zijn vergeleken. Omdat niet alle fasen evenveel criteria bevatten, zijn gemiddelde scores berekend. Bij een gemiddelde score van minder dan 0,5 wordt de desbetreffende fase van de gebruikerstest als goed beoordeeld, bij een gemiddelde score tussen 0,5 en 1 als ‘voor verbetering vatbaar’ en bij een gemiddelde score van meer dan 1 als zwak. Een dergelijke procedure kan beschouwd worden als een indexconstructie (Swanborn. 1994, p. 167). Er is met betrekking tot de interviews gebruik gemaakt van een gestructureerd script (Emans, 1990). Door het interview te standaardiseren is geprobeerd situatie-invloeden zoveel mogelijk in de hand te houden. Standaardisatie kan natuurlijk nooit alle aspecten van de situatie omvatten, maar door bijvoorbeeld dezelfde volgorde van vragen aan te houden of de manier van vragen stellen, is geprobeerd toch elk interview op dezelfde manier te laten verlopen. In het gestructureerde interviewschema is voorgeschreven wat er allemaal gedaan en gezegd moest worden. De vragen zijn volledig in het schema vastgelegd, zowel qua formulering als qua volgorde. De antwoorden zijn geregistreerd via een recorder en notities van de interviewer. Het voordeel van geluidsopnames is dat er niets verloren gaat van de verbale bijdragen. Antwoorden dienden niet genoteerd te worden wat tijdwinst opleverde (Emans, 1990). De antwoorden waren open. Voor de transcripties zijn de notatieconventies van Jefferson aangehouden4. Zo is een zo zorgvuldig mogelijke weergave van wat de gespreksdeelnemers zeggen, ontstaan. Kenmerken van dit transcriptiesysteem zijn: elke nieuwe beurt begint op een nieuwe regel en beurten worden relatief ten opzichte van elkaar gepositioneerd door een meting van tussenliggende 4

De gespreksorganisatorische relaties zijn te vinden in bijlage.

36

pauze. Echter, zijn er geen prosodische productie-eigenschappen5 genoteerd in de transcripties omdat dit niet relevant is voor ons onderzoek (Jefferson, 2003). Vervolgens zijn de transcripten gesynthetiseerd in telegramstijl (open codering). De codering van de manuscripten zijn ingedeeld aan de hand van thematische trefwoorden (fases). Ook zijn hierbij enkele kenmerkende uitspraken in verwerkt. Ten slotte zijn de gegevens van de inhoudsanalyse en de interviews samen verwerkt in de resultaten (zie volgende hoofdstuk). Er moet wel opgemerkt worden dat tijdens het verwerken van de data een deel van de informatie verloren is gegaan. 4.5

Intercodeursbetrouwbaarheid

De inhoudsanalyse is per medium door twee observatoren gedaan, waardoor er overeenstemming bepaald kon worden in de scores. Hoe meer overeenstemming, hoe minder fouten en hoe hoger de betrouwbaarheid. Dit is interobservator-betrouwbaarheid (’t Hart et al, 1996).

5

Interpunctietekens van de schrijftaal fungeren dus als leestekens.

37

5

RESULTATEN

In dit hoofdstuk wordt allereerst dieper ingegaan op het markonderzoekbureau Ruigrok | NetPanel. Wat doen zij en hoe verrichten zij usability onderzoek? Hun sitebeoordelingsmodel wordt hierbij uitvoerig besproken. Daarna volgen de resultaten uit de inhoudsanalyse en interviews. Deze worden allereerst per case besproken (§5.3) en vervolgens wordt er tussen cases onderling gekeken (§5.4). De resultaten worden per fase van het onderzoeksproces gerangschikt. 5.1

Bedrijfsinformatie

In deze scriptie richt ik mij uiteraard op website onderzoek. Ruigrok | NetPanel heeft verschillende momenten gedurende de ontwikkeling van een website waarop onderzoek ingezet kan worden. Zo zetten zij website onderzoek in bij de concept ontwikkeling. Er is nog geen concept voor de nieuwe website en proefpersonen uit de doelgroep worden ingezet om input te leveren voor de conceptontwikkeling. Ook kan UO bij een bestaand concept voor de lancering ingezet worden. Er is een concept van de website beschikbaar en proefpersonen uit de doelgroep worden ingezet om te evalueren in hoeverre het concept aan de wensen en verwachtingen voldoet en welke verbeterpunten er zijn. Tenslotte wordt UO ingezet bij een bestaande (‘live’) website. Er is een bestaande website en proefpersonen evalueren de website diepgaand. Daarnaast kunnen daadwerkelijke websitebezoekers worden gevraagd hun mening over de website te geven en verbeterpunten aan te dragen. Ruigrok | NetPanel zet tevens verschillende onderzoeksmethoden in voor website onderzoek. Kwalitatief in de vorm van groepsdiscussies, gebruikerssessies, expertreviews en kwantitatief in de vorm van online bezoekersonderzoek. Ik heb mij enkel op de gebruikerssessies gericht. Gebruikerssessies worden ingezet bij het onderzoeken van bestaande concepten en bestaande websites. Proefpersonen bekijken samen met een onderzoeker van Ruigrok | NetPanel de website en becommentariëren deze. Gebruikerssessies geven een duidelijke inzicht in de beleving en waardering van een (concept)website. Uit het onderzoek komen concrete, praktische verbeterpunten op het gebied van vormgeving, gebruiksgemak, informatieaanbod en vindbaarheid van informatie (Massen, 2005). 5.2

Sitebeoordelingsmodel

Om inzicht te krijgen in het gebruik en de waardering van websites maakt Ruigrok | NetPanel gebruik van de door hen zelf ontworpen sitebeoordelingsmodel. In dit model wordt 38

onderscheid gemaakt tussen het referentiekader van de gebruiker en de site zelf. Volgens Ruigrok | NetPanel beïnvloedt het referentiekader van de gebruiker de manier waarop de website beoordeeld en gewaardeerd wordt. Met behulp van het referentiekader plaatsen zij de beoordeling en waardering van de site in een breder perspectief.

SITE

GEBRUIKER

gebruiksgemak

inhoud

uitstraling vormgeving

Site Beoordeling & Beleving

ervaring

behoefte

positionering/ communicatie

Figuur 5.1

achtergrond

verwachting

Site beoordelingsmodel Ruigrok | NetPanel

In bovenstaand Figuur 5.1 een visuele weergave van het site beoordelingsmodel (Bron: Ruigrok | NetPanel). Bij het onderdeel achtergrond wordt dieper ingegaan op de achtergrond van de gebruiker. Voorbeelden zijn de variabelen: geslacht, leeftijd, woonplaats, functie/functieschaal en andere demografische achtergrondvariabelen. Bij het onderdeel ervaring wordt ingegaan op de ervaring die de gebruiker heeft met internet. Zij zijn van mening dat ervaren internetgebruikers een site anders gebruiken en waarderen, dan nietervaren internet-gebruikers. Bij het onderdeel behoefte wordt dieper ingegaan op de behoefte die men heeft op een bepaalde website. Heeft men bijvoorbeeld alleen behoefte aan informatie of bestaat er ook behoefte aan andere toepassingen? Bij het onderdeel verwachting staat de verwachting

die

de

gebruiker

van

de

website

heef

centraal.

Het

onderdeel

positionering/communicatie in het sitebeoordelingsmodel gaat dieper in op het beeld dat de doelgroep van het bedrijf of de instelling heeft (imago/identiteit) en in hoeverre dit aansluit bij

39

het beeld van de site. Het onderdeel uitstraling/vormgeving in het sitebeoordelingsmodel gaat dieper in op hoe de uitstraling en vormgeving door de doelgroep gewaardeerd wordt. Hierbij komen zaken aan bod als logo & huisstijl, herkenbaarheid en kleurgebruik. Het onderdeel inhoud in het sitebeoordelingsmodel gaat dieper in op hoe de informatie die aangeboden wordt op site door de doelgroep beoordeeld en gewaardeerd wordt. Ten slotte gaat het onderdeel gebruiksgemak in het sitebeoordelingsmodel dieper in op hoe het gebruiksgemak door de doelgroep beoordeeld en gewaardeerd wordt. Er wordt ingegaan op zaken als vindbaarheid, de helderheid van de navigatiestructuur, het woordgebruik in de navigatiemenu’s en laadsnelheid. 5.3

Cases individueel

In deze paragraaf de resultaten van de cases individueel. Per fase worden de gemiddelde scores besproken. De minimale score per fase is 0 de maximale 2,0. Een score van 0 betekent dat aan alle criteria is voldaan. Een score van 2,0 betekent dat er op elke onderdeel binnen de fase slecht is gescoord. 5.3.1

Case 1: KLM

Tabel 5.1

Gemiddelde score per fase

Soort fase Voorbereidingsfase

Gemiddelde score 0

Soort fase Nabespreking

Gemiddelde score 1,0

Introductiefase

1,0

Rapportage

0

Testfase

0,5

Algemene criteria

0

Bij het onderzoek naar de tool op de KLM site scoort Ruigrok | NetPanel goed op de voorbereidingsfase (0). Aan alle criteria is voldaan. De introductiefase gaat minder (1,0). Dit resultaat komt voornamelijk door de slechte score op onderdelen als: ‘uitleg van de evaluatie’, ‘uitleg ontwerp’ en ‘lengte vermelden van interview’. De testfase gaat gemiddeld redelijk. Er wordt alleen slecht gescoord op ‘het vragen naar de verwachting van de respondent’ en het ‘vragen naar de eerste indruk van de website’. Op de nabespreking scoort Ruigrok | NetPanel matig. De grote oorzaak hiervan is dat niet werd gevraagd wat men van de structuur van de website vond. Ten slotte wordt er wel goed gescoord op de rapportage en de algemene criteria. Aan alle criteria is voldaan.

40

5.3.2

Case 2: SNS

Tabel 5.2

Gemiddelde score per fase

Soort fase

Gemiddelde score

Voorbereidingsfase

0

Soort fase Nabespreking

Gemiddelde score 1,0

Introductiefase

1,0

Rapportage

0

Testfase

0,2

Algemene criteria

0

De voorbereidingsfase bij het onderzoek naar de conceptsite van de SNS bank ging goed. De score is 0 aan alle criteria is dus voldaan. Ook bij deze case wordt er matig gescoord op de introductiefase (1,0). Factoren die hier een rol bij spelen zijn ‘het vragen naar verwachting van onderzoeker ten opzichte van respondent’, ‘uitleg evaluatie’, ‘uitleg ontwerp’ en het ‘vermelden van de lengte van het interview’. De testfase gaat behoorlijk goed (0,2). Bij slechts 1 onderzoek binnen de case werd op verschillende criteria slecht gescoord (interactie met respondent en interviewer vult zinnen aan). De nabespreking gaat ook bij de case van de SNS matig (1,0). Hier wordt slecht gescoord op ‘het vragen naar suggesties’. Op de rapportage en algemene criteria wordt goed gescoord (beide 0). 5.3.3 Case 3: Min EZ Tabel 5.3

Gemiddelde score per fase

Soort fase

Gemiddelde score

Soort fase

Gemiddelde score

Voorbereidingsfase

0,2

Nabespreking

0

Introductiefase

0,9

Rapportage

0

Algemene criteria

0

Testfase

0

Bij het onderzoek naar de website van het Ministerie van Economische Zaken wordt wat betreft de voorbereidingsfase goed gescoord (0,2). Eenmaal is er geen notulist aanwezig, maar deze sessie wordt later alsnog uitgewerkt. De introductiefase gaat matig (0,9). Er wordt slecht gescoord op de criteria die ook al bij de voorgaande cases genoemd zijn: ‘uitleg evaluatie’, ‘uitleg ontwerp’, ‘lengte interview’ en ‘vermelden van thinking aloud methode’. De testfase, nabespreking, rapportage en algemene criteria scoren allemaal goed (0). Aan alle eisen is voldaan.

41

5.4

Cases onderling: kritische succesfactoren

In deze paragraaf zijn de resultaten uit de inhoudsanalyse aangevuld met informatie verkregen uit de interviews. Aan de hand van de indeling van Nielsen (1993, pp. 187-192) aangevuld met de analyse van de rapportage wordt beschreven hoe Ruigrok | NetPanel daadwerkelijk onderzoek verricht. De volgorde die ik hanteer is: de voorbereidingsfase, introductie, de test zelf, nabespreking en tenslotte de rapportage. 5.4.1

Voorbereidingsfase

In deze subparagraaf volgen de resultaten uit de inhoudsanalyse en de interviews die betrekking hebben op de voorbereidingsfase. Bepalen soort respondenten Het soort respondent wordt bij Ruigrok | NetPanel bepaald aan de hand van verschillende criteria en is afhankelijk van de doelstelling van de site en het soort site. Factoren die van belang kunnen zijn, zijn: leeftijd, geslacht, opleidingsniveau, internetgebruik en de ervaring met internet. Ervaring met internet is van belang omdat het voorkomt dat mensen met heel weinig ervaring op een hele andere manier omgaan met een website dan mensen met veel ervaring. Bepalen aantal respondenten Het aantal respondenten is bij Ruigrok | NetPanel afhankelijk van de variatie in de doelgroep en de fase waarin de website zich bevindt. Ze hanteren de regel van Jacob Nielsen, dat als je een homogene doelgroep hebt, je genoeg hebt aan iets van negen of tien respondenten. Maar als je meer variatie in de doelgroep hebt, dan zorgen zij ervoor dat ze meer mensen spreken. Uit de geanalyseerde onderzoeken is tevens gebleken dat zij zich hier ook aan houden (gemiddeld 0). Alle tests hadden exact tien respondenten. Opstellen checklist: taken en achtergrond vragenlijst Aan de hand van de site beoordelingsmodel is er een standaard checklist ontwikkeld. Invulling van de checklist is erg afhankelijk van doel en fase van een site. Niet alle opdrachtgevers vinden alle punten uit het model belangrijk. Daarnaast is de fase van een site van belang, omdat in de conceptfase andere eisen worden gesteld dan in de fase waarin de website af is. Uit de analyse is gebleken dat in alle gevallen de gebruikershelft van het model

42

aanwezig is in de checklist. Zoals eerder gezegd is de site-inhoudelijke helft afhankelijk van de opdrachtgever, dus heeft het geen toegevoegde waarde hier uitspraken over te doen. De checklist van de SNS bank (5 pagina’s) is aan de lange kant in vergelijking met de checklisten van de KLM en MIN EZ, drie respectievelijk vier pagina’s tellende. De checklisten verschillen behoorlijk qua structuur. Er is qua headings niet één rode draad te ontdekken. Met betrekking tot formulering van de taken geven onderzoekers van Ruigrok | NetPanel aan dat dit niet gestructureerd gebeurt. Taken worden geformuleerd aan de hand van een eigen bezoek aan de website en in samenspraak met de opdrachtgever. De onderzoeker bekijkt de website en gaat op zoek naar moeilijkheden. Eén van de onderzoekers merkt op dat valkuilen worden voorgelegd aan de respondent om deze bevestigd te zien. Daarnaast is er overleg met de opdrachtgever die kan aangeven of bepaalde zaken extra aandacht verdienen. De taken worden zo geformuleerd dat ze bij de site passen en de respondent moet op verschillende delen van de site terecht komen. Er worden moeilijke en makkelijke taken geformuleerd. Er wordt niet echt een onderscheid gemaakt tussen taken voor beginnende of ervaren gebruikers. Sommige plekken van de website moeten ook voor minder ervaren gebruikers bereikbaar zijn. Uit de inhoudsanalye is gebleken dat de formulering van de taken in de vorm van scenario’s gaat (gemiddeld 0). Voorbereiding onderzoeker Kennis over een website wordt over het algemeen vergaard door er uitgebreid overheen te surfen. Alle menu-opties worden bekeken, maar teksten worden niet letterlijk gelezen. Het gaat dus om een inhoudelijke indruk. Het is belangrijk om te weten wat de doelstelling van de site is en wat ze ermee willen. De onderzoekers geven aan meestal vragen te stellen aan de opdrachtgever. Met hem wordt dan afgestemd wat de doelstelling van de website is. Ruimte bepalen en klaarmaken In de onderzoeksruimte staat in principe altijd iets van koffie, thee, fris, water en koekjes. De onderzoekers proberen, ook als ze op locatie werken, de ruimte zo gezellig mogelijk en huiselijk uit te laten zien. Er is een standaard opstelling van de PC waar de respondent achter zit met de interviewer ernaast. De ruimte moet functioneel zijn. Er moet een camera, microfoon en computer in. Daarnaast zorgen ze ervoor dat de ruimte niet te druk is.

43

Met betrekking tot de instellingen van de computer roept één van de onderzoekers altijd een collega onderzoeker. Een andere onderzoeker vertelt dat de computer snel genoeg dient te zijn. Daarnaast is het van belang dat de schermresolutie goed ingesteld is. Meestal staat deze op 1024 bij 768, omdat dit de standaard instelling is op dit moment. Vanuit de opdrachtgever is het mogelijk dat andere instellingen gebruikt worden. Op een uitzondering na zijn in alle gevallen notulen gemaakt tijdens het onderzoek (gemiddeld 0,2). De notulist zit daarentegen niet op een gemakkelijke plek. Het is niet mogelijk om mee te kijken op het scherm, hierdoor kan vruchtbare informatie verloren gaan. Slechts één keer is er achteraf na het zien van de DVD beelden genotuleerd. De opdrachtgever zat in alle gevallen in de meekijkruimte (gemiddeld 0). Videocamera Er wordt gebruik gemaakt van drie verschillende camera’s. Eén staat gericht op de tafel inclusief de notulist, de andere op de tafel en de zijkant van de respondent, de laatste staat gericht op de voorkant van de respondent. De meningen van de onderzoekers zijn verdeeld over het vermelden van de aanwezigheid van de camera. Argumenten voor zijn dat de respondent het toch zo weer vergeten is en dat het anders niet ethisch verantwoord is. Een argument tegen is dat de respondent al van te voren weet dat hij of zij opgenomen wordt en door het benadrukken van de videocamera minder op zijn of haar gemak gesteld wordt. Opnames werden in alle gevallen met een reden gemaakt (gemiddeld 0). 5.4.2

Introductiefase

In deze subparagraaf volgen de resultaten uit de inhoudsanalyse en de interviews die betrekking hebben op de introductiefase. Op gemak stellen van respondent De respondent wordt voornamelijk op zijn of haar gemak gesteld doordat onderzoekers proberen gezellig te doen, door middel van een open houding, met als doel een informele sfeer te creëren. De onderzoeker kan wat te drinken aanbieden en zorgen voor versnaperingen. Een onderzoeker vermeldt dat er kleine rituelen zijn die er voor zorgen dat de respondent zich op zijn gemak voelt. Lichaamstaal en taalgebruik zijn daar belangrijke hulpmiddelen voor. Je kan met de respondent naar de onderzoeksruimte toelopen en alvast even informeren of het makkelijk te vinden was en of ze al vaker meegedaan hebben aan onderzoek. Daarnaast zijn er geen regels voor de volgorde van het voorleggen van de taken. Het is ook belangrijk te 44

benadrukken dat niet de mensen maar de website getest wordt. Ten slotte moet je de respondenten uit laten praten, de juiste vragen stellen en vertellen dat de onderzoeker de site niet gemaakt heeft. Meekijker aanwezig Er wordt tijdens de introductiefase te allen tijde medegedeeld dat er een opdrachtgever en/of meekijker aanwezig is. Er zijn hier verschillende redenen voor. Een belangrijke reden is dat achteraf aan de tweede onderzoeker of opdrachtgever gevraagd wordt of er nog extra vragen of onduidelijkheden zijn. Daarnaast staat het in de gedragscode waar je je aan moet houden. Het zou ethisch niet verantwoord zijn om het te verzwijgen. Overige kenmerken Het vermelden van de verwachting van de onderzoeker ten opzichte van de respondent is voor Ruigrok | NetPanel voor verbetering vatbaar (gemiddeld 0,7). Hetzelfde geldt voor het vermelden van het feit dat het onderzoek niet gebruikt zal worden in combinatie met de naam van de respondent (gemiddeld 0,7). Ruigrok | NetPanel scoort zwak op het vermelden dat de site geëvalueerd wordt en niet de gebruiker (gemiddeld 1,6). Geen van de onderzoekers vermeldt dat de onderzoeker de site niet ontworpen heeft (gemiddeld 2,0). Daarnaast wordt er wel in alle gevallen vermeld dat er opnames gemaakt worden (gemiddeld 0,0) en in bijna alle gevallen dat er een notulist aanwezig is (gemiddeld 0,2). De lengte van het interview wordt door geen van de onderzoekers gemeld (gemiddeld 2,0). Daarnaast is het punt ‘benadrukken dat feedback waardevol is’ voor verbetering vatbaar (gemiddeld 0,7). Ook de respondent de mogelijkheid geven vragen te stellen en het motiveren om hardop te denken moet vaker gebeuren op beide punten wordt gemiddeld 0,9 gescoord. 5.4.3

Testfase

In deze subparagraaf volgen de resultaten uit de inhoudsanalyse en de interviews die betrekking hebben op de testfase. Achtergrond vragenlijst en verwachting site Alle gesprekken vangen aan met de vraag naar de referentiekader van de respondent (gemiddeld 0). Het vragen naar de verwachting van de respondent ten aanzien van de site is een verbeterpunt. Ruigrok | NetPanel scoort daarop gemiddeld 0,7. Vervolgens wordt in bijna alle gevallen gevraagd naar de eerste indruk van de website (gemiddeld 0,4). 45

Interactie respondent De onderzoekers praten alleen bij het helpen van de respondent zijn of haar mening te geven of respons te verduidelijken. Op dit punt scoort Ruigrok | NetPanel dus goed (gemiddeld 0,4). Interviewtechnieken Met betrekking tot de interviewtechnieken scoort Ruigrok | NetPanel op alle punten goed. Zo wordt de checklist niet voorgelezen (gemiddeld 0,1) en stelt de interviewer één vraag per keer (gemiddeld 0). Daarnaast geeft de interviewer in alle gevallen één taak per keer (gemiddeld 0). En ten slotte vult de interviewer amper zinnen aan (gemiddeld 0,4). Er werd bijvoorbeeld gezegd: “U was zelf niet op het idee gekomen om daar een vraag te stellen hè!”. Opmerkingen of vragen van meekijkers werden in alle gevallen gesteld nadat het onderzoek had plaatsgevonden (gemiddeld 0). Met slechts één uitzondering beantwoordt de onderzoeker geen site-inhoudelijke vragen (gemiddeld 0,1). Aantekeningen maken Slechts één onderzoeker maakt gedurende de test korte aantekeningen om hier later tijdens het gesprek op terug te komen. Er wordt aangegeven dat dat niet nodig is, omdat de tweede onderzoeker aantekeningen maakt in de meekijkruimte, alles wordt opgenomen op DVD en omdat er een notulist aanwezig is. Voorleggen van taken Taken worden voorgelezen, maar er is geen volgorde waarin de taken voorgelegd worden. Meestal wordt geprobeerd de taken over de respondenten te verdelen. Soms zijn er een aantal taken die zij in ieder geval willen voorleggen, maar vaak worden taken gegeven die relevant zijn voor de persoon in kwestie. Een onderzoeker merkt op dat het verstandig zou zijn om met een relatief makkelijke taak te beginnen waardoor de respondent een goed gevoel krijgt. Een andere onderzoeker zegt meestal wel met een voor de hand liggende taak te beginnen. Formulier akkoord opnamen Er wordt geen formulier ondertekend voor het maken van de opnames. Het is volgens de onderzoekers een feit dat deze gemaakt worden en daarnaast wordt dit al vermeld door het selectiebureau. De respondenten tekenen voor het tonen en gebruik van de opnames. De 46

toestemmingsformulieren waren in alle gevallen kort en bondig en in alledaagse taal geschreven (gemiddeld 0). 5.4.4

Nabespreking

In deze subparagraaf volgen de resultaten uit de inhoudsanalyse en de interviews die betrekking hebben op de nabespreking. Suggesties en structuur Er wordt goed gescoord bij het vragen naar suggesties (gemiddeld 0,4). Op twee uitzonderingen na werden suggesties en verbeterpunten voor de te onderzoeken website gevraagd. Voor Ruigrok | NetPanel is de vraag wat de respondent herinnert van de structuur van de website een verbeterpunt (gemiddeld 0,9). Achteraf aantekeningen in vorm van kort verslag Er worden achteraf geen aantekeningen gemaakt in de vorm van een kort verslag. Er is al eens geïntroduceerd dat in de meekijkruimte een schematisch overzicht wordt bijgehouden in de vorm van steekwoorden. Bij de nabespreking met de opdrachtgever kunnen zij dan vaak in grote lijnen uitkomsten weergeven. Maar door het schema is het mogelijk verschillende uitspraken hierover te doen. De onderzoekers vermelden dat in de meest ideale situatie met de opdrachtgever een korte debrief wordt gedaan zodat je in één lijn met de opdrachtgever komt. Soms wordt dit niet gedaan als de opdrachtgever nog een stuk naar huis moet rijden en het onderzoek laat afgerond is. Bij voorkeur wordt er een dag na het onderzoek een debrief teruggekoppeld naar de opdrachtgever. 5.4.5 Rapportage Uit de inhoudsanalyse is gebleken dat alle punten die een rapportage zou moeten bevatten, bijvoorbeeld: omschrijving product, aantal respondenten, taken, resultaten en conclusies, er ook daadwerkelijk in stonden. Alle punten scoren gemiddeld 0. Volgens de onderzoekers wordt het model niet gebruikt voor de rapportage. Eén van de onderzoekers geeft aan dat er een redelijk vaste manier van rapporteren is. Het model wordt niet bewust gebruikt maar zit gewoon meer in het hoofd. Er wordt aangegeven dat ze met betrekking tot de rapportage toch op zoek zijn naar meer structurering. Dit is ook duidelijk geworden tijdens de analyse bij de verschillen tussen de rapporten. De twee Word rapporten verschillen inhoudelijk behoorlijk. Zo bevat het ene rapport een samenvatting en de ander 47

niet. Zijn in het ene rapport de conclusies geordend op onderwerp en in het andere niet. En wordt er in het ene rapport een prioriteitenmatrix opgenomen en in het andere niet. Ten slotte zijn er verschillen tussen de rapporten wat betreft: tussentijdse inhoudsopgave en ordening van resultaten. De rapporten in Word gaan meestal prima, maar de Powerpoint rapporten vormen een groter probleem omdat het gebruik van kopjes vaak lastig is. Als suggestie ter verbetering van de rapportage wordt aangegeven meer te richten op de structuur van de website dan het model, en daarnaast ook zo visueel mogelijk te rapporteren. Dit alles bevordert volgens de onderzoeker de leesbaarheid van het rapport. 5.4.6 •

Overige aspecten Eén van de onderzoekers merkt op dat toekomstig gebruik ofwel gebruiksintentie nog niet echt in het model opgenomen zijn. Hiermee wordt bedoeld wat de respondent op basis van het zien van de site denkt te gaan doen.

•

Ook wordt opgemerkt dat vindbaarheid niet terug te vinden is in het model. Dit is de mate waarin iets terug te vinden is op de website.

•

Daarnaast wordt aangegeven dat taken niet efficiënt genoeg ingezet worden. Er worden tijdens het uitvoeren van de taken geen gegevens genoteerd als het aantal kliks, aantal seconden dat men over een taak doet en het aantal keer dat men terug gaat naar de homepage. Dit zou veel efficiënter gebruikt kunnen worden.

•

Ten slotte wordt opgemerkt dat eyetracking interessant zou kunnen zijn als je in combinatie met de media center markeringen zou kunnen maken waarop het klikgedrag, opmerkingen en eyetracking gecombineerd worden en je alles per gedeelte kan terug zien. Deze informatie gaat nu vaak verloren.

5.5

Conclusies

Er zijn een hoop punten waaruit blijkt dat Ruigrok | NetPanel het erg goed doet. Toch is er een aantal punten die nodig verbetering eisen: •

Eén van de checklisten is te lang en ontbreekt er hoofdzakelijk structuur in de checklist.

•

Formulering van de taken is niet gestructureerd en er is geen onderscheid in soorten taken.

•

Niet alle onderzoekers zijn op de hoogte van de (vaste) instellingen op de computer.

48

•

De informatie verstrekking naar de respondent is tevens een belangrijk punt. Dit gebeurt niet altijd even consequent.

•

Ook moet de checklist beter aangehouden worden. Dit vooral met betrekking tot het vragen naar de structuur van de site en het vragen naar verwachtingen met betrekking tot de site.

•

Er worden te weinig tussentijdse aantekeningen gemaakt en de taken worden niet in een bepaalde volgorde gesteld.

•

Ten slotte worden er achteraf amper aantekeningen gemaakt en mist er structuur in de rapportage.

49

6

CONCLUSIE EN AANBEVELING

In het vorige hoofdstuk zijn de resultaten gepresenteerd die de vraag beantwoorden in hoeverre het huidige model en methoden voor kwalitatief UO van Ruigrok | NetPanel aan de criteria van een optimaal onderzoek voldoet. Het beantwoorden van de centrale vraag maakt het mogelijk om de doelstelling van dit onderzoek, het verbeteren en optimaliseren van kwalitatief usability onderzoek bij Ruigrok | NetPanel, te realiseren. In dit hoofdstuk wordt aan de hand van de vierde deelvraag: “Hoe luidt het advies voor Ruigrok | NetPanel ter optimalisatie van hun huidige model en methoden van UO?”, de centrale vraag beantwoordt: “Hoe kan de effectiviteit van website usability testing geoptimaliseerd worden?” 6.1

Kritische succesfactoren

In deze paragraaf wordt per fase van het onderzoeksproces kort en bondig samengevat wat de goede en verbeterpunten zijn. Naar aanleiding van deze punten worden aanbevelingen gepresenteerd, waarmee Ruigrok | NetPanel hun kwalitatieve onderzoeksmethode kan verbeteren. 6.1.1

Voorbereidingsfase

Met betrekking tot de voorbereidingsfase kan geconcludeerd worden dat het bepalen van het soort en aantal respondenten goed verloopt. Bij het bepalen van het soort respondent wordt gekeken naar belangrijke factoren zoals ervaring met internet. Het aantal respondenten zit telkens boven de geadviseerde acht respondenten van Rubin. Het opstellen van de checklist gaat inhoudelijk goed, maar qua structuur verschillen ze behoorlijk en het is gebleken dat de checklist aan de lange kant kan zijn. De taken in de checklist worden niet gestructureerd geformuleerd. Wel wordt er een onderscheid gemaakt tussen makkelijke en moeilijke taken en worden de taken altijd in de vorm van scenario’s gegeven. Taken zouden efficiënter ingezet kunnen worden. Tijdens het uitvoeren van taken worden geen gegevens genoteerd als het aantal kliks, aantal seconden dat men over een taak doet en het aantal keer dat men terug gaat naar de homepage. De voorbereiding met betrekking tot de website is goed. De onderzoeksruimte wordt goed voorbereid alleen zijn niet alle onderzoekers goed op de hoogte van de instellingen van de computer. De camera opstelling is goed en wat betreft de vermelding van de aanwezigheid van de videocamera is er niet één lijn.

50

6.1.2

Introductiefase

Het op het gemak stellen van de respondent gaat goed. De enige verbeterpunt die gegeven zou kunnen worden is te beginnen met een relatief makkelijke taak. Uit hoofdstuk twee blijkt dat er niet gemeld moet worden dat er een meekijker aanwezig is, omdat dit ongemakkelijk zou zijn voor de respondent. Bij Ruigrok | NetPanel gebeurt dit wel. Aangezien zij hier goede argumenten voor hebben wordt dit ook niet als slecht beoordeeld. Er is nog wel wat aan te merken op het introductiepraatje. Veel belangrijke informatie wordt niet gegeven. Zo zouden de onderzoekers kunnen vermelden dat de onderzoeker de site niet heeft gemaakt, dat de site geëvalueerd wordt en niet de gebruiker, wat de lengte is van het interview en dat feedback waardevol is. Andere belangrijke informatie is: anonimiteit van de respondent, mogelijkheid geven vragen te stellen en het motiveren van hardop denken. 6.1.3

Testfase

Het vragen naar het referentiekader van de respondent gebeurt in alle gevallen. De interactie tussen de onderzoeker en respondent verloopt ook goed. Het gebeurt wel eens dat de onderzoeker de respondent niet laat uitpraten. Ook met betrekking tot de interviewtechnieken scoort Ruigrok | NetPanel erg goed. Er worden tijdens het interview geen aantekeningen gemaakt, omdat in de meekijkruimte meegeschreven wordt. Toch laat je door het maken van aantekeningen zien dat je geïnteresseerd bent naar het verhaal van de respondent. Dit zou dus overwogen kunnen worden. Het toestemmingsformulier is leesbaar en de onderzoekers laten deze altijd invullen door de respondenten. De testfase verloopt dus naar behoren. Toch zijn er een tweetal verbeterpunten zichtbaar. Tijdens de testfase zou vaker gevraagd moeten worden naar de verwachting van de respondent ten aanzien van de site. En taken worden niet in een bepaalde volgorde voorgelegd, ook dit zou dus overwogen kunnen worden. 6.1.4

Nabespreking

De nabespreking zou nog verbeterd kunnen worden. De onderzoekers vragen wel bijna altijd naar suggesties, maar ze zouden ook moeten vragen wat de respondent herinnert van de structuur. Ook zouden er vaker aantekeningen achteraf gemaakt moeten worden in de vorm van een kort verslag. Hierdoor kom je in één lijn met de opdrachtgever en heb je al belangrijke resultaten voor handen als je het rapport moet gaan schrijven. Ten slotte zouden de onderzoekers om de beurt moeten interviewen. Ze zijn dan beter opgeladen om een nieuw interview te doen.

51

6.1.5 Rapportage Inhoudelijk is de manier van rapporteren in orde. Alle benodigde onderdelen staan in het rapport. Desondanks zijn er qua structuur grote verschillen gevonden. Er is dus meer structurering nodig wat betreft de indeling en de manier van rapporteren. 6.2

Site beoordelingsmodel

Nu de fasen zijn besproken van de gebruikerstest in het algemeen zal het site beoordelingsmodel geëvalueerd worden. Allereerst is opgemerkt dat vindbaarheid niet is opgenomen in het model, dit houdt in de mate waarin iets terug te vinden is op een website. Daarnaast wordt gemeld dat gebruiksintentie niet in het model is opgenomen. Met gebruiksintentie wordt bedoeld wat de respondent op basis van het zien van de site in de toekomst denkt te gaan doen. Er zou overwogen kunnen worden dit toe te voegen. 6.3

De concurrenten

Door de beperkte informatie over de concurrentie zijn er geen harde conclusies te trekken wat betreft hun methode. De concurrenten voeren UO op een vergelijkbare wijze uit. Toch zijn er een aantal verschillen. Zo heeft Metrix lab een iets uitgebreidere manier van onderzoek. Zij laten de taken op een andere moment uitvoeren en noemen dit realistisch surfgedrag. De gesprekken zijn bij Interview NSS 60 minuten per respondent. Ook zijn er verschillen in de overige usability onderzoeksmethoden. Dit staat los van de gebruikerstest die in deze scriptie besproken wordt. Eyetracking zou volgens een onderzoeker interessant zijn als je het in combinatie met een media center kan gebruiken. Met markeringen kan je dan precies opzoeken waar de respondent naar kijkt, wat zijn of haar opmerking hierbij is en op welke manier (klikpad) de respondent daar gekomen is. Het is onbekend of dit met het huidige systeem mogelijk is. 6.4

Aanbeveling

In deze paragraaf worden naast globale, concrete aanbevelingen gegeven om het onderzoeksproces

te

verbeteren.

Hiervoor

maak

ik

gebruik

van

onderstaande

prioriteitenmatrix (zie Figuur 6.1). Deze geeft een overzicht van de sterke- en verbeterpunten waarmee Ruigrok | NetPanel hun kwalitatieve onderzoeksmethode kan verbeteren. De prioriteitenmatrix laat zien: •

Op welke punten actie nodig is. Dit zijn punten die laag scoren en waarbij verbetering van hoog belang is. 52

•

Welke punten aandacht nodig hebben. Dit zijn punten die hoog scoren, maar die toch verbeterd kunnen worden.

•

Welke punten Ruigrok | NetPanel moet uitbouwen. Dit zijn punten die wat minder scoren, maar amper verbetering nodig hebben.

•

Welke punten Ruigrok | NetPanel moet vasthouden. Dit zijn punten die goed scoren en dus amper verbeterd kunnen worden.

Actie

Aandacht

Introductiepraatje

Structuur en lengte checklist

Nabespreking

Beginnen met relatief makkelijke taak

Rapportage

Aantekeningen tijdens interview

Uitbouwen

Vasthouden

Efficientie van taken

Selectie respondenten

Vermelding videocamera

Voorbereiding onderzoeksruimte

Site beoordelingsmodel

Voorbereiding website

Concurrentie

Vragen naar referentiekader

Kennis instellingen computer

Interactie met respondent

Interviewtechnieken

Toestemmingsformulier

Figuur 6.1 6.4.1 -

Prioriteitenmatrix Ruigrok | NetPanel.

Actie Introductiepraatje: Een aantal punten die nu niet vermeld worden standaard in de checklist vermelden zodat deze ook niet vergeten worden.

-

Nabespreking: Achteraf vragen naar wat de respondent herinnert van de structuur en ook weer achteraf aantekeningen maken. Wellicht kan het in het verleden gebruikte schematische overzicht weer standaard ingevoerd worden.

-

Rapportage: Een vast structuur voor rapporteren. Bepaalde onderdelen standaard erin zetten zoals samenvatting, prioriteitenmatrix en betere ordening van resultaten. De structuur van de website zou aangehouden kunnen worden. Dit maakt visuele uitvoering mogelijk. 53

6.4.2 -

Aandacht Structuur en lengte checklist: Er moet meer structuur komen in de checklist. De onderzoekers zouden gezamenlijk een standaard checklist op kunnen stellen. Inhoudelijk moet dit ook duidelijker en overzichtelijker. Ook de lengte moet beperkt blijven. Je komt anders in het gedrang tijdens het interview. Ook zou er een tijdsaanduiding in de checklist vermeld kunnen worden, zodat de tijd beter bewaakt wordt.

-

Beginnen met relatief makkelijke taak: Hierdoor stel je de respondent op zijn of haar gemak.

-

Aantekeningen tijdens interview: Hierdoor laat je zien dat je interesse hebt in het verhaal van de respondent.

6.4.3 -

Uitbouwen Efficiëntie van taken: Taken efficiënter inzetten door te meten hoe lang zij over een taak doen en bijvoorbeeld hoeveel keer zij teruggaan naar de homepage. En meer structuur in de volgorden van het voorleggen van de taken.

-

Vermelding videocamera: Middels een discussie zou besloten kunnen worden of je wel of niet vermeldt dat er een videocamera is.

-

Site beoordelingsmodel: Toevoegen van vindbaarheid en gebruiksintentie.

-

Concurrentie: Overwegen extra methoden toe te voegen, zoals cardsorting of eye tracking.

-

Kennis instellingen computer: Er zou een duidelijke instructie gemaakt kunnen worden met daarin hoe standaard instellingen van de computer veranderd moeten worden.

-

Interview technieken: De interviewtechnieken worden goed beheerst. Toch zouden onderzoekers op rustige momenten Dvd’s kunnen gaan kijken zodat de interviewtechnieken van collega onderzoekers geëvalueerd kunnen worden.

6.4.4 Vasthouden -

Selectie respondenten: Selectie van het soort en aantal respondenten gaat goed.

-

Voorbereiding onderzoeksruimte: Er wordt goed aandacht besteed de respondent op zijn of haar gemak te stellen.

-

Voorbereiding website: Onderzoeker verdiept zich goed in de website.

-

Vragen naar referentiekader: Er wordt elke keer gevraagd naar naam, achtergrond etc. 54

6.5

-

Interactie met respondent: Onderzoeker laat respondent uitpraten.

-

Toestemmingsformulier: Goed leesbaar. Discussie

In deze paragraaf worden de beperkingen van dit onderzoek genoemd en worden enkele aanbevelingen gedaan voor toekomstig onderzoek op het gebied van usability testing. Er is gekozen voor een breed onderzoek. Hierdoor zijn er geen kansen geweest om dieper in te gaan op deelaspecten. Vervolgonderzoek zou zicht kunnen richten op diepere behandeling van één van de onderdelen van de gebruikerstest. Door bijvoorbeeld enkel onderzoek te doen naar een bepaalde fase is het mogelijk om de desbetreffende fase dieper te bestuderen en de criteria behorende bij die fase beter te beoordelen. Toekomstig onderzoek zou zich ook kunnen richten op kwantitatieve methoden, of andere kwalitatieve methoden, zoals groepsdiscussies, expert reviews, online bezoekersonderzoek. Tevens zou de klanttevredenheid met betrekking tot UO meegenomen kunnen worden in het onderzoek. De analyse technieken kende slecht drie verschillende waardes: zwak (2), gemiddeld (1) en goed (0). Door andere waardes toe te voegen zou je nog preciezere uitspraken kunnen doen. Het toetsinstrument welke in bijlage 2 te vinden is, is gebruikt om de gebruikerstest van Ruigrok | NetPanel te evalueren. De resultaten van deze evaluatie zijn dus niet te generaliseren voor andere product testing onderzoeken waar ze UO uitvoeren. Wel is het toetsinstrument, met wellicht kleine aanpassingen bruikbaar voor een vergelijkbaar onderzoek bij een ander bureau.

55

LITERATUURLIJST 28 procent groei e-commerce in Nederland tot 2011 (2006, juli). Gedownload van http://www.telegraaf.nl/i-mail/36429721/Omzet_e-commerce_sterk_gestegen.html Black, J. (2002). Usability is next to profitability. Gedownload 17 oktober 2006 van http://www.businessweek.com/technology/content/dec2002/tc2002124_2181.htm Bojko, A. (2006). Using Eye Tracking to compare Web Page Designs: A Case Study [Electronic Version]. Journal of Usability Studies, 3(1), 112-120. Buur, J., Bagger, K. (1999). Replacing usability testing with user dialogue. Communications of the Association for Computing Machinery, 42(5), 63-66. Dumas, J.S. & Redish, J.C. (1993). A practical guide to usability testing. Norwood, NJ: Ablex Publishing Corporation. Concept Testing (2006, september). Gedownload 29 september 2006 van http://www.ifm.eng.cam.ac.uk/ctm/idm/tools/concept/testing.html CTMAX (2006). Respondenten. Gedownload 12 oktober van http://www.ctmax.nl/ctmax/Usability/Usability%20testen/Respondenten.html Dekker, H (2002). Nut en gemak voor de bezoeker. Gedownload 17 oktober 2006 van http://www.emerce.nl/artikel.jsp?id=47535 E-commerce Usability versus Intranet usability. (2006, oktober). Gedownload 16 oktober 2006 van http://www.macaw.nl/Het+Bedrijf/Disciplines/DisciplineArtikel/xp/content_mdi.Ecommerce+Usability+versus+Intranet+usability/default.aspx Emans, B. (1990). Interviewen. Theorie, techniek en training. Groningen, WoltersNoordhoff.

56

Esch-Bussemakers, M. & Neerincx, M. (2005, juni). De gebruiker centraal; het belang van een gebruiksvriendelijk EPD [Electronic Version]. NVMA: voor zorgadministratie & Informatie, nr. 120, pp. 22-25. Gedownload 29 september 2006 van http://www.nvma.nl/nl/publicaties/ntma120/06bruikerCentraal.pdf#search=%22Usability%20 Engineering%20%26%20scenarios%22 Expertisegroep Usability 2006 Regio Randstad- Noord (2006). Usability testing; kenmerken van methoden. Gedownload 29 september 2006 van http://www.tmap.net/Images/Usability%20Testing%20versie%201.01_tcm8-31182.pdf Eyetracking analyse (2006). Gedownload 8 november 2006 van http://www.diepbizniz.nl/index.php?mod=1&cat=4317 Fidgeon, T. (2005). 8 guidelines for usability testing. Gedownload 28 september 2006 van http://www.webcredible.co.uk/user-friendly-resources/web-usability/usability-testing.shtml Fleming, J. (1998). User testing. How to find out what users want. Gedownload 18 oktober van http://www.ahref.com/guides/design/199806/0615jef.html Gordon, S. (2000, februari). User testing: how to plan, execute, and report on a usability evaluation. Gedownload 18 oktober van http://builder.cnet.com/webbuilding/pages/Graphics/Evaluation/ Gould, J.D., & Lewis, C. (1985). Designing for usability testing with user dialogue. Communications of the Association for Computing Machinery, 42(5), 63-66. Hackos, J.T., & Redish, J.C. (1998). User and task analysis for interface design. New York: John Wiley & Sons, Inc. Hall, R.R. (2001). Prototyping for usability of new technology. International Journal of Human-Computered Studies, 55(4), 485-501. ‘t Hart et all (1998). Onderzoeksmethoden. Amsterdam, Boom

57

ISO (1998). ISO 9241: Ergonomic requirements for office work with visual display terminals (VDT s) – Part 11: Guidance on usability. Geneva: International Organizaton for Standardization. IUSR Project (2006). The IUSR Project: Industry Usability ReportI. Gedownload 20 november van http://zing.ncsl.nist.gov/iusr/ Jefferson: in H. Mazeland (2003). Inleiding in de conversatieanalyse. Bussum: Uitgeverij Coutinho. Kahn, K.B. (2005). PDMA Handbook of New Product Development. New Jersey: John Wiley & Sons, Inc. Kassenaar, P. & Rijswijk, O. van. (2003). Handboek website usability. Den Haag: Academic Service. Marsh, P. & Khor, Z. (2006). Life online: The perfect website: A study by the Social Issues Research Centre on behalf of Rackspace Managed Hosting. Oxford: The Social Issues Research Centre. Massen, K. (2005). Marktonderzoek op het net. Gedownload 23 december 2006 van http://www.divakoepel.nl/files/kz_manssen.pdf Nielsen, J. (1993). Usability Engineering. San Francisco: Morgan Kaufmann. Nielsen, J. (1999, februari). Why People Shop on the Web. Gedownload 16 oktober 2006 van http://www.useit.com/alertbox/990207.html Nielsen, J. (2000). Designing Web Usability; the practice of simplicity. Indianapolis: New Riders Publishing. Nielsen, J., Norman, D.A. (2000, januari). Web-site usability: usability on the web isn’t a luxury. Gedownload 17 oktober van http://www.informationweek.com/773/web.htm

58

Nielsen, J., Coyne, K.P., Tahir, M. (2001, juni) Make it usable. Gedownload 16 oktober van http://www.pcmag.com/article2/0,4149,33821,00.asp Norman, K.L., Panizzi, E. (2006). Levels of automation and user participation in usability testing. Interacting with computers, 18(2), 246-264. Olsen, H. (2002). Competitive usability. Gedownload 16 oktober 2006 van http://www.guuui.com/issues/01_02.asp Omzet door e-commerce bij bedrijven sterk gestegen. (2006, april). Gedownload 16 oktober 2006 van http://www.telegraaf.nl/i-mail/36429721/Omzet_e-commerce_sterk_gestegen.html Rubin, J. (1994). Handbook of usability testing; how to plan, design, and conduct effective tests. New York: John Wiley & Sons Inc. Tan, B. (2005). Ruigrok way; Alles wat je altijd al hebt willen weten over Ruigrok MC / NetPanel. Personeelsgids van Ruigrok MC/NetPanel, versie 2 juni 2005. TNS (2005). Online Retailers Face Four-Second Barrier. Gedownload 20 november 2006 van http://www.emarketer.com/Article.aspx?1004259 Spool, J. & Schroeder, W. (2001). Testing websites: five users is nowhere near enough. In Proc. CHI 2001, Extended Abstracts, ACM 285-286. Swanborn, P.G. (1994). Methoden van sociaal-wetenschappelijk onderzoek. Nieuwe editie. Meppel: Boom. TFT monitor, het beeldscherm voor de computer van nu (2006). Gedownload 3 november 2006 van http://www.personalcomputercare.nl/computervragen/hardware/tft-monitor.htm Virzi, R. A. (1992). Refining the test phase of usability evaluation: How many subjects is enough? Human Factors, 34(4), 457-468. Vos, M. (2006, 15 juni). FAQ: Website usabiltity. Emerce, nr. 60, pp. 60-64. 59

Yperen, P. van. (2005). Symposium ‘The Experience of Everyday Things’; Hoe mensewetenschappen het ontwerp beïnvloeden. Gedownload 26 september 2006 van http://www.premsela.org/economie/mo/symposium_experience.xml Wilde, de E. (2006) Eén, twee, drie en weg is de klant. Gedownload 20 november 2006 van http://www.brickmeetsbyte.com/index.php/site/entry/een_twee_drie_en_weg_is_de_klant/ Wobben, S. (2006a, april). Format usability rapportage geaccepteerd als ISO-standaard. Gedownload 20 november van http://www.usabilityweb.nl/nieuwsbericht.php?id=1016 Wobben, S. (2006b, september). De toegevoegde waarde van eye tracking. Gedownload 8 november 2006 van http://www.diepbizniz.nl/index.php?mod=1&cat=4317

60

BIJLAGEN

61

Bijlage 1: Vragenlijst Interview Ruigrok | NetPanel Naam interviewer: Naam respondent: Datum interview:

Tijdstip aanvang:

Plaats: Gespreksintroductie Voorstellen met naam en functie. Voor aanvang vragenstellen, het volgende aan de orde stellen: Verwijzen naar mondelinge afspraak en nogmaals bedanken. Duidelijkheid verschaffen aan de geïnterviewde over wat hem te wachten staat en wat zijn taak is. Dit houdt in dat je iets vertelt over -

het doel van het interview, het onderzoek,

-

de reden (onderwerpen) waarom deze geïnterviewde gevraagd wordt mee te doen,

-

hoe ik aan zijn naam ben gekomen,

-

anonimiteit,

-

wat ik met de resultaten ga doen,

-

uitleggen hoe het gesprek zal verlopen, interviewschema, globale inhoudsopgave,

-

vraagt of het goed is dat het gesprek opgenomen wordt (geen gebruik voor derden),

-

duur van het interview noemen.

Vragen of de geïnterviewde alles begrepen heeft en akkoord gaat. Niet terzake doende zijpaden stoppen. Instructie interviewer: bedenk vooraf hoe je de introductie zal vormgeven. Zorg ervoor dat je antwoord kunt geven op alle mogelijke vragen van de geïnterviewde. Probeer de antwoorden soms samen te vatten. Eventueel notities maken. Wanneer de geïnterviewde akkoord gaat, beginnen we met de eerste vraag: Achtergrond 1. Wie bent u en wat is uw functie? 2. Hoe lang bent u werkzaam bij Ruigrok | NetPanel? 62

3. Wat heeft u hiervoor gedaan, wat is uw opleiding? 4. Hoe lang heeft u ervaring met usability onderzoek? Voorbereidings- en Introductiefase 5. Aan de hand van welke criteria worden respondenten geselecteerd? Soort en aantal 6. Hoe worden de taken opgesteld? Zijn er verschillende taken tussen beginnende gebruikers en ervaren gebruikers? 7. Hoe bepaal je welke taak je wanneer voorlegt? 8. Hoe stel je de respondent op zijn/haar gemak? 9. Wordt er door jullie verteld in de inleiding dat er een opdrachtgever (meekijker) aanwezig is? En waarom? 10. Hoe wordt de onderzoeksruimte voorbereid? Versnaperingen? 11. Hoe bepaal je op wat voor computer met wat voor instellingen je de website toont? Testfase en nabesprekingfase 12. Worden er tijdens het interview (vanuit de rol van onderzoeker) ook aantekeningen gemaakt? Waarom wel, waarom niet? 13. Hoe bereid je je voor met betrekking tot kennis over de website? 14. Maak je achteraf ook aantekeningen in de vorm van een kort verslag of zoiets dergelijks? 15. Laat je een formulier invullen dat de respondent akkoord gaat met het maken van opnamen. Extra 16. Wat doen jullie met het model? Gebruiken jullie die bij het opstellen van de checklist? En rapport? 17. Heb je nog suggesties hoe website onderzoek bij Ruigrok | NetPanel verbeterd zou kunnen worden? Zijn er nog zaken waar je tegenaan loopt gedurende de voorbereiding, veldwerk en rapportage? Einde

63

Bijlage 2: Inhoudsanalyse Naam onderzoeker: Case: Interviewer: Tabel 1 Criteria ten aanzien van voorbereidingsfase Criterium

Eisen – positief

Eisen – neutraal

Eisen negatief

Notulist

Notulist aanwezig

Geen notulist aanwezig

Opdrachtgever

Opdrachtgever gedurende

Opdrachtgever aanwezig bij

de sessies in

interview

meekijkruimte of niemand Videocamera

Opname met reden

Opname zonder reden

gemaakt of geen opname

Tabel 2 Criteria ten aanzien van introductiefase Criterium Eisen – positief Eisen – neutraal

Eisen negatief

Verwachting van

Onderzoeker geeft uitleg

Onderzoeker geeft geen

onderzoeker t.o.v.

over de verwachting

uitleg over de verwachting

respondent

respondent

respondent

Privacy

Er wordt uitgelegd dat de

Niet uitgelegd dat test niet

test niet in combinatie met

in combinatie met de naam

de naam van respondent

van respondent gebruikt

gebruikt zal worden

zal worden

Uitleg dat site geëvalueerd

Geen uitleg dat site

wordt en niet gebruiker

geëvalueerd wordt en niet

Uitleg evaluatie

gebruiker Uitleg ontwerp

Uitleg dat onderzoeker site

Geen uitleg dat

niet ontworpen heeft

onderzoeker site niet ontworpen heeft

Opnames - video

Onderzoeker vertelt dat er

Onderzoeker verzwijgt het

video opnames gemaakt

maken van video opnames

worden Opnames - notulen

Onderzoeker vertelt dat er

Onderzoeker verzwijgt dat

notulen gemaakt worden of

er notulen gemaakt worden

er worden geen notulen gemaakt.

64

Lengte interview Feedback Vragen

Onderzoeker vertelt over

Onderzoeker vertelt niets

lengte van interview

over lengte van interview

Benadrukken dat feedback

Niet benadrukken dat

waardevol is

feedback waardevol is

Respondent de mogelijkheid

Respondent niet de

geven vragen te stellen

mogelijkheid geven vragen te stellen

Thinking Aloud

Hardop denken wordt

Hardop denken wordt niet

Hardop denken wordt niet

methode

gemotiveerd

gemeld, maar respondent

gemotiveerd

voert het wel uit.

Tabel 3 Criteria ten aanzien van de testfase Criterium

Eisen – positief

Eisen – neutraal

Eisen negatief

Interactie

Onderzoeker praat alleen bij

Onderzoeker bemoeit zich

het helpen van de respondent

met onderzoek zonder doel

zijn of haar mening te geven

mening of respons van de

of respons te verduidelijken

respondent te verduidelijken

Achtergrond

Onderzoeker vraagt naar

Onderzoeker vraagt niet

vragenlijst

referentiekader (leeftijd, etc)

naar referentiekader (leeftijd, etc.)

Verwachting van

De verwachting van de

De verwachting van de

respondent

respondent wordt gevraagd

respondent wordt niet gevraagd

Eerste indruk

Eerste indruk wordt gevraagd

Er wordt geen eerste indruk

website Meekijkers

gevraagd Opmerkingen of vragen

Opmerkingen of vragen

meekijkers tijdens pauze of

meekijkers tijdens

aan het einde van het

onderzoek

onderzoek Interviewtechniek Interviewtechniek 1 Interviewtechniek 2 Interviewtechniek 3

Checklist wordt niet

Checklist wordt deels

Checklist wordt letterlijk

voorgelezen

letterlijk voorgelezen

voorgelezen

Interviewer stelt één vraag per

Interviewer stelt meerdere

keer

vragen tegelijk

Interviewer geeft één taak per

Interviewer geeft meerdere

keer

taken tegelijk

Interviewer vult geen zinnen

Interviewer vult zinnen aan

aan Beantwoording

Onderzoeker beantwoordt

Onderzoeker beantwoordt

Onderzoeker beantwoordt

vragen

geen site-inhoudelijke vragen

minder dan de helft van

meer dan de helft van de

65

de site-inhoudelijke

site-inhoudelijke vragen.

vragen

Tabel 4 Criteria ten aanzien van nabespreking Criterium

Eisen – positief

Eisen – neutraal

Eisen negatief

Suggesties

Vragen naar suggesties

Niet vragen naar suggesties

Structuur

Vragen wat respondent

Niet vragen wat respondent

herinnert van de structuur van

herinnert van de structuur

de website

van de website

Tabel 5 Criteria ten aanzien van rapportage Criterium

Wel

Niet

Aanwezig

Aanwezig

Omschrijving product Vaststellen doel test Aantal respondenten Selectiecriteria respondenten Taken Testopzet Methode of proces hoe test uitgevoerd is Usability metingen en dataverzameling Resultaten Conclusies Aanbeveling Onderzoeksvragen in rapport beantwoord?

* Zijn er verschillen tussen de rapporten onderling? * Komt het model terug in de checklist? Codeboek ander materiaal Tabel 6 Algemene criteria Criterium

Eisen – positief

Eisen – neutraal

Eisen negatief

Aantal respondenten

Acht of meer respondenten

Vijf tot acht respondenten

Minder dan vijf

getest

getest

respondenten getest

Scenario’s Toestemmingsformulier

Taken in vorm van

Taken niet in vorm van

scenario’s

scenario’s

Kort en bondig – alledaagse

Uitgebreid en veel

taal

juridische termen

66

Extra:…………………………………………………………………………………………… …………………………………………………………………………………………………. …………………………………………………………………………………………………. …………………………………………………………………………………………………. …………………………………………………………………………………………………. …………………………………………………………………………………………………. …………………………………………………………………………………………………. …………………………………………………………………………………………………. ………………………………………………………………………………………………….

67

Bijlage 3: Gespreksorganisatorische relaties * Gespreksorganisatorische relaties (1,5) een stilte met een duur van het aantal aangegeven secondes, hetzij binnen een uiting van eenzelfde spreker, hetzij tussen de beurten van twee opeenvolgende sprekers. In het laatste geval wordt zo’n stilte meestel op een afzonderlijke regel geschreven. (.)

stilte korter dan 0.2 seconde

spreker 1 spreker 2

deze twee gespreksdeelnemers beginnen tegelijkertijd een beurt.

(ruis)

de transcribeerder is er niet zeker van dat de tussen haakjes vermelde tekst een correcte weergave is van de gesproken tekst.

68

Bijlage 4: Transcript van het interview met medewerker Ruigrok | NetPanel Locatie: Ruigrok | NetPanel Legenda F: Fernando McDougal (1e interviewer) A: Anoniem (2.0): 2 seconde stilte (ruis): ruis 1. F. Allereerst stel ik wat achtergrondvragen, misschien kun je even voorstellen wie je bent, wat is je functie? 2. A. Nou ik ben X (1.0) X, hahaha. Ik ben eh senior projectleider bij Ruigrok | NetPanel, sinds 6.5 jaar ongeveer tenminste werk ik bij Ruigrok | NetPanel. Senior sinds een jaar of 3 denk ik. En eh nou mijn specialiteiten binnen het bedrijf zijn eeh eigenlijk het kwalitatieve marktonderzoek heel veel uuhm met eh communicatievraagstukken dat doen we dan in eh single interviews, of groepsdiscussies afhankelijk van de vraag uh, en usability onderzoek is ook één van de onderdelen die erbij hoort. 3. F. En hoe lang doe je al UO? 4. A. Uh, Dat zal ook iets van 5/6 jaar zijn, denk ik. Ik denk wel, mijn achtergrond was ook eehm voor ik bij RN werkte heb ik bij een zorgverzekeraar gewerkt die heet nu Menzis en die heette toen Oost-Nederland en daarna uhm nog even een andere naam, Amicon daar heb ik internet geïntroduceerd. 5. F. OK 6. A. Daardoor heb ik ook wel het vroegere internet, het was eind jaren negentig toen was het allemaal daar tot stand gekomen. Uuhm ja heb ik wel ervaring meegenomen. Ik deed daar trouwens ook Marketing Communicatie werkzaamheden. 7. F. OK 8. A. Maar mijn gevoel met communicatie. 9. F. En usability 10. A. En usability. Wilde je dat weten? 11. F. Ja leuk om te weten! Uuhm nou komen er een aantal vragen die hebben meer betrekking op de inhoud van usability onderzoek. We beginnen eerst met de voorbereiding- en introductiefase. Uhm nou aan de hand van welke criteria worden respondenten geselecteerd? 12. A. Uuh ja, Je hebt een aantal criteria die in ieder geval gelden eigenlijk is dat eh vaak is dat dat mensen wel internetervaring moeten hebben en het aardige is dan altijd te zorgen dat verschillende profielen zijn mensen met heel weinig ervaring of mensen met heel veel ervaring, want je ziet toch vaak dat mensen met heel weinig ervaring op een hele andere manier misschien omgaan met de website. Of heel ander klikgedrag hebben… of juist veel meer lezen en met meer ervaring gaan oehoeh veel meer dus ja die spreiding in ervaring is heel belangrijk en het hangt verder eigenlijk heel erg af van eeh van de onderzoeksvraag, want vaak .uuh of je moet juist mensen hebben die de site die wij onderzoeken weleens bezocht hebben of je wilt juist mensen hebben die voor het eerst op komen, omdat ze bijvoorbeeld een campagne getriggerd worden, om naar die site te komen en dan is juist die eerste indruk hoe het overkomt heel erg belangrijk en voor de rest hebben we altijd voor alle onderzoeken die wij doen dat je een scheiding hebt in eeuh geslacht, leeftijd en opleidingsniveau, dat moet er altijd wel inzitten. 13. F. Maar dat is ook afhankelijk van het soort site? of niet? 69

14. A. Ja! Want het kan ook juist zijn dat je alleen maar eh voor de marine hebben we een onderzoek gedaan en dat ging over werken bij de marine en dan ben je alleen maar op zoek naar eeh jonge uuh jongens en meiden die in de laatste fase van hun studie zitten en zich oriënteren op een baan, het hangt ook heel erg af van eeh de doelstelling van de site… wil je echt een beperkte doelgroep bereiken een afgebakende doelgroep of is het gewoon voor iedereen… 15. F. Oke dan hebben we nu eigenlijk het soort gebruikersprofiel behandeld en het aantal respondenten aan de hand van wat voor criteria wordt dat bepaald? 16. A. Eigenlijk een soort regeltje dus uuh dat is een principe die eigenlijk door Jacob Nielsen is geformuleerd dat als je een homogene doelgroep hebt dan heb je genoeg aan iets van negen of tien gesprekken. Maar goed als je meer variatie in de doelgroep hebt dus echt uuh het net verschil uit kan maken wat de achtergrond van iemand is dus of iemand voor product A koopt of product B. Dan moet je er voor zorgen dat je wat meer mensen spreekt, want je wilt een aantal mensen die product A en product B hebben. Dan doe je weer wat meer… 17. F. Oké, uhm nou ja respondenten voeren bepaalde taken uit als het goed is… 18. A. Ja 19. F. Hoe worden die taken opgesteld. 20. A. Hmm… hoe we daar toe komen? 21. F. Ja… hoe jullie daar toe komen… 22. A. Nou ik bekijk eerst altijd de website van te voren om een indruk te krijgen wat is er aan inhoud te vinden…uuhm Deze taken zijn er echt op gericht om eigenlijk te achterhalen om hoe de navigatie verloopt van de site. En ook om te kijken hoe de inhoud overkomt. Dat men tevreden is met de inhoud. En die uuh Hoe formuleren we die? Volgens mij gaan wij zelf altijd op zoek naar een aantal uuh en we vragen vaak ook de opdrachtgever van formuleer een aantal opdrachten om een aantal ik heb niet het gevoel dat wij dat heel gestructureerd aanpakken. Dat het eerder is van nou uh we zorgen er gewoon voor dat we alle teksten meenemen en we zorgen er ook weer voor dat een aantal lastige taken er in zitten en uh ik vind het zelf ook altijd belangrijk om mij van te voren te verdiepen in de site en als je dan zelf onlogische uuh wegen er in ziet express dat als taakopdracht erin doet zegmaar. Of juist er zijn ook altijd wel dingen van waar de opdrachtgever zoiets heeft van ja het staat nu daar we zitten eigenlijk te twijfelen of dat het beste is of dat moet je bij de opdrachtgever kritisch vragen van wat heeft extra aandacht nodig en dat via een taakopdracht achterhalen. 23. F. Ok! Je had het net al over dat je soorten taken hebt qua moeilijkheidsgraad maar maak je ook een onderscheid tussen beginnende gebruikers en ervaren gebruikers wat betreft de taken? 24. A. Nee! 25. F. Dus gewoon uuh. 26. A. Nee, dat niet… het is wel zo dat uhm wel altijd kijken naar de respondenten ervoor zorgen dat die wel relevante taken krijgen voor hem of haar dus daarvoor heb je dat lijstje met uuh met verschillende mogelijkheden ow deze respondent laten we dat doen wat dat is het meest logische voor de respondent wat dat sluit aan op hun situatie, maar ik vind het wel goed om te beginnen met ga eerst zelf eens kijken wat zou je willen weten of wat zou je als eerste op willen zoeken op deze site, dat is zo’n reëel mogelijke situatie en dan voorkom je dat je de respondent aan het werk zet met opdrachten die ze wel kunnen doen, maar wat ze niet veel zegt omdat ze normaal gesproken nooit zouden opzoeken. 27. F. Ok! Hoe bepaal je welke taak je wanneer voorlegt? Zijn daar nog bepaalde ….

70

28. A. Ja…soms uuh er zijn van te voren echt een aantal taken die je in ieder geval mee moet nemen met bepaalde aandachtspunten, maar vaak is het toch tijdens het interview dat je toch krijgt naar de respondent dat je kijkt van wat is het meest logische en relevant voor deze persoon. 29. F. Ok, uuh wordt er in de inleiding verteld door jullie dat er een opdrachtgever of in ieder geval een meekijker aanwezig is? 30. A. Ja 31. F. Wat is de reden daarvan? 32. A. Van het vertellen? 33. F. Ja niet van het meekijken, maar om het te vertellen… 34. Nou ik vind het belangrijk dat de respondent wel eerlijk op de hoogte is van de hele onderzoekssituatie. Volgens mij hoort hij het ook te weten. En het is ook altijd zo dat uuhm wij voor het gesprek afgerond wordt even naar de meekijkruimte lopen om te vragen of er nog vragen zijn vanuit de opdrachtgever ook. Dan zou het een beetje raar zijn van dat hij denkt van hé ja… soms mensen hebben er nooit moeite mee hoor en ik heb nog nooit meegemaakt van ow wat raar, dat hoort ook bij onderzoek wij benadrukken ook altijd van nou eeh die mag zich helemaal niet met het gesprek bemoeien hoor. Je probeert ook meestal te vertellen van het kan zijn dat jij iets zegt en dat de opdrachtgever denkt van dat bedoelen we helemaal niet zo en daar gaat het helemaal niet om het gaat erom hoe jij het beleeft als jij iets anders ziet dan wat de opdrachtgever bedoelt dan moeten zij daar gewoon iets mee doen dat is de insteek. En volgens mij heeft de respondent daar geen moeite mee. 35. F. Hoe wordt de onderzoeksruimte voorbereid? 36. A. Hoe bedoel je dat? 37. F. Qua opstelling, qua… hebben jullie misschien ook iets te drinken, koekjes… of eh. 38. A. Ja, in de onderzoeksruimte staat we in principe altijd eehm gewoon iets van koffie en thee, fris en water en koekjes erbij en uhm ja voor op locatie proberen we het altijd wel om het een beetje gezellig eruit te laten zien een beetje huiselijk te zijn niet heel erg kaal en formeel. Het moet wel een leuk hokje zijn zoals in de beurs. Niet te groot en wel een beetje knus. En de sfeer een beetje te zetten van dat de mensen niet denken van ooow ze zitten al in een onderzoekssituatie en dat moet je zoveel mogelijk uitbadderen. 39. F. Ok, hoe bepaal je op wat voor computer je werkt en wat voor instellingen gebruikt op de computer? Qua grootte van de monitor en de instellingen qua resolutie is daar nog iets…. 40. A. Dan roep ik Arjan, hahaha daar houd ik me niet echt mee bezig, haha. 41. F. Zijn er wel opdrachtgevers die zich er mee bemoeien van je moet de site uhm 42. A. Ja, dat gebeurt weleens dat het in een bepaalde resolutie moet. 43. F. ok 44. A. Ik verdiep me daar eigenlijk nooit in. 45. F. Is er nog een manier waarop je de respondent op zijn of haar gemak stelt? 46. A. Ja, nou gewoon een beetje gewoon proberen gezellig te doen dat is mijn uitgangspunt. Gewoon de respondent komt binnen ik hoop dat dan ik vriendelijk overkom van hallo! ik zie het alsof we een gesprekje doen. We gaan niet een vragen stellen en jij geeft antwoord maar gewoon…we gaan er iets leuks van maken. 47. F. of er een vriendin op visite komt. 48. A. Ja lekker op de koffie. Nee in principe niet, maar voor de rest je biedt wat te drinken aan enzo en uh ja. Maar ik denk ook dat het heel erg samenhangt met de interviewer. Met degene hoe die overkomt hoe je het gesprek voert en vragen stelt ik denk dat dat veel invloed heeft.

71

49. F. Ok, Uhm nu wat vragen die betrekking hebben op de test zelf… Worden er tijdens de test ook aantekeningen gemaakt? 50. A. Uh in de meekijkruimte… ikzelf als interviewer, nee… nee… Dat doe ik bij usability in ieder geval … bij groepen wel eens maar bij usability niet… heel af en toe denk ik ooow dan zegt die respondent wat dan moet ik daar daar even op terug komen en eeh vervolgens heb je al zoveel gesprekken gehad op een dag dan weet ik van te voren dat ga ik vergeten. In principe helemaal niet. Dan is het gewoon jij voert het gesprek en er is een gesprek en ik ga niet uuh lopen schrijven. Het is ook niet nodig omdat we een notulist hebben, ow je bedoelt een notulist. 51. F. Nee, nee… nee… 52. A. Nee ikzelf… ja de notulist is daar natuurlijk voor en alles wordt opgenomen. 53. F. Ok, hoe bereid je je voor met betrekking tot de kennis over de website, je moet natuurlijk met de respondent overheen surfen je moet hem kennen. Hoe bereid je je daarop voor? 54. A. Uuhm nou vaak is zo dat als uuh een vraag over een site of usability willen dan heb je meestal ook wel een briefinggesprek maar niet altijd maar in ieder geval altijd bekijk ik de site wel redelijk uitgebreid dus alle menu opties die er achter zitten en uhm echt een verdieping om een indruk te krijgen. Ik ga niet letterlijk alles lezen of eeh bekijken, maar meer een inhoudelijke indruk het is heel belangrijk om te weten wat is de doelstelling van de site wat willen ze er mee en het is heel belangrijk om te weten waar wil je naar toe ook, wat wil je uiteindelijk voor elkaar krijgen. En met die kennis in mijn achterhoofd dat houd ik ook altijd tijdens het interview ook mensen kunnen het wel mooi vinden of niet mooi, maar het gaat uiteindelijk om uh kunnen ze er wat mee, komen ze ook weer terug en wat erachter aan komt. Het is toch eigenlijk zo veel mogelijk de site bekijken en kritische vragen stellen of geven over hun doelstellingen of bepaalde indelingen en keuzes op hun site. 55. F. Maak je achteraf ook aantekeningen in de vorm van een kort verslag als je een gesprek hebt gehad? 56. A. Nee, nee dat doe ik niet. We hebben wel eens geïntroduceerd dat in de meekijkruimte een uh overzicht schematisch… want degene die meekijkt, de interviewer die eventjes niet aan het interviewen is, maar in de meekijken is, dat die dan eventjes in steekwoorden in een tabel invult… vormgeving (+/-) structuur menu (+/-). Echt in steekwoorden, maar dat doen we niet altijd. Het was wel handig want je gaat toch vaak nabespreken met de opdrachtgever enuh je kan dan vaak wel in grote lijnen uitkomsten weergeven, maar het is dan ook handig om zo’n schema erbij te hebben stukje verschillende uitspraken over geven. 57. F. Jullie hebben dat geïntroduceerd, maar is het dan beetje verwaterd? Of was het geen succes. 58. A. Nee, ik heb er profijt van gehad omdat we vaak wel nabesprekingen is het ow wat handig, sommige opdrachtgevers willen weten hoeveel mensen waren het dan die uhh normaal gesproken zeg je dat komt in de rapportage wel…. Gaat nu om de grote lijnen. (…). 59. F. Laat je ook een formulier invullen dat de respondent akkoord gaat met het maken van de opnames? 60. A. Ja, niet met het maken van de opnames, dat is van te voren afgesproken dat horen ze ook van het selectiebureau uuhm we hebben wel dat we toestemming vragen dat we de beelden intern kunnen gebruiken dus als de opdrachtgever een compilatie of uuh mogelijker wijs de banden kunnen bekijken of de dvd’s. 61. F. Prima, nu wat extra vragen… jullie hebben een model en uuhm wat doen jullie daar eigenlijk mee, gebruiken jullie dat bij het opstellen van de checklist?

72

62. A. Het is niet dat je het model er altijd bijpakken, maar het is meer het is wel ooit gemaakt en op basis ervan hebben we een standaard checklist ontwikkeld. Een schriftelijke referentiekader, verwachtingen bij de site van uuh uuh … de respondent, de ervaringen die hij heeft al die achtergronden die staan hier links. Ow nee die staat rechts. Achtergronden, behoefte en verwachting, daar starten we altijd mee en dus dan eeh inderdaad het praktische verhaal wat erna komt. 63. F. En moet ik het meer zien dat jullie de checklist meer aanpassen die jullie bijvoorbeeld eerder hebben gebruikt? Uuh of uhmm of is het gewoon uit eigen kennis dat je gewoon weet, dat jullie gewoon weten hoe… welke punten er in staan. 64. A. Er is eigenlijk een standaard opzet voor usability, dat je gewoon begint met achtergrond en uhm alle referenties en daarna de behoeften en verwachting die men heeft en uhm daarna krijg je de punten: gebruiksgemak, inhoud en uitstraling dat zit dan vervolgens standaard in en aan het einde meer impliciet: positionering wat gekoppeld is aan de doelstellingen van de website. Dat is echt standaard en dat vul je heel erg in op basis van de case zelf. Niet alle opdrachtgevers vinden in een usability: uitstraling, inhoud en gebruiksgemak even belangrijk. Soms is het heel erg gericht op alleen het gebruiksgemak. Of juist heel erg gericht op de vormgeving als je een concept van een site gaat testen, dan is eigenlijk alleen de grote lijn nog maar klaar, en echt nog niet alle pagina’s, maar dan gaat het puur om hoe komt hoe komt het in eerste instantie over? Is het aantrekkelijk? En nodigt het uit om verder te klikken? Dat soort dingen… Dan is juist de uitstraling en vormgeving belangrijk. Of het gebruiksgemak. 65. F. En gebruiken jullie het model ook voor de rapportage? Of wordt het dan dat jullie daar een bepaalde structuur uithalen? 66. A. Nee, volgens mij niet, volgens mij hebben we gewoon ook een redelijke vaste manier van rapporteren gevonden en ja… ik denk ook wel dat het uit het model voortvloeit en het is niet zo dat ik het bewust gebruik. Eigenlijk zit het model in mijn hoofd, tenminste de aspecten die erin voorkomen. Ennuh nee, ik gebruik .. nee niet echt. 67. F. Ok, laatste vraag alweer: heb je nog suggesties hoe website onderzoek bij Ruigrok | NetPanel verbeterd zou kunnen worden? 68. A. Uuhm nou ik denk dat wij qua opzet en uitvoering het heel goed doen, ik kan niet echt bedenken hoe wij dat beter zouden kunnen. En ik vind dat we goede interviewers hebben en dat de opzet van het interview dat is ook logisch en heel erg bruikbaar is, een hele goede methode. Alleen in de rapportage fase zijn we op dit moment een beetje zoekende naar uhm ja een vaste grit. Het is best wel.. ik vind het soms best lastig om een rapport te maken omdat dingen vaak door elkaar lopen, dan gaat het meer over het structuur van het rapport. Want dat, soms best wel zoeken, ik merk ook aan anderen dat die ook wel eens… ik ga met Nieske kijken naar een verbeterd voorbeeld voor alle rapportages. 69. F. Eén standaard die jullie bij wijze invullen aan de hand van gegevens ofzo, één bepaalde indeling. 70. A. Ja, ja een indeling die moet wel flexibel zijn wel dat je een sjabloon hebt die je kunt gebruiken en ook qua vormgeving van het rapport kunnen ook verbeterslag maken. In Word gaat het meestal prima, qua vormgeving ook, maar in Powerpoint uuhm daar is het niet snel genoeg, daar moeten we een verbeterslag maken, dat het lekker doorbladert, we zitten met kopjes te klungelen. Boven staat een kop en dan staat boven aan de pagina zelf een kop en onderin ook nog een regel, waarin je zit in het rapport. Maar op zich heb ik van Arjan ook een Powerpoint rapport gezien over usability en dat zag er echt heel goed strak uit. Zaten ook dingen in die zag ik voor het eerst maar dat uh moeten we het heeft echt te maken met visualiseren van de onderzoeksgegevens

73

dus dat je niet alleen (….) opschrijft. In één oogopslag in een screenshot. We moeten met z’n allen kijken wat er uit komt. 71. F. Zijn er nog andere zaken waar je tegenaan loopt gedurende de voorbereiding of veldwerk of rapportage? 72. A. nee, volgens mij niet… 73. F. Ok dan wil ik u vriendelijk bedanken voor het interview. 74. A. Ja graag gedaan, leuk!

74

Bijlage 5: Transcript van het interview met medewerker Ruigrok | NetPanel Locatie: Ruigrok | NetPanel Legenda F: Fernando McDougal (1e interviewer) A: Anoniem (2) (2.0): 2 seconde stilte (ruis): ruis 1. F. Allereerst wat achtergrond vragen, misschien zou je je even kunnen voorstellen wie je bent en wat je functie is hier bij Ruigrok | NetPanel. 2. A. Ik ben X, projectleider Ruigrok | NetPanel. Uuhm ik doe veel Usability onderzoek, dat was ook van toen ik hier kwam solliciteren van dat wil ik gaan doen. Dat is mijn interesse gebied en ik vind het leuk om dat te gaan doen. Ik doe zowel kwali als kwanti, maar ik vind kwali usability leuker dan kwanti. Je zit meer met mensen en hebt meer diepgang. En kwanti usability is wel leuk om op te zetten, maar het is een stuk oppervlakkiger. Daarnaast doe ik veel online onderzoek. Uuh en hm Panelactiviteiten. Ik ben 31 jaar. 3. F. Ok Hoe lang ben je werkzaam bij Ruigrok | NetPanel? 4. A. Meer dan twee jaar. 5. F. En hoe lang doe je al usability onderzoek? Ook gewoon vanaf het begin? 6. A. Ja vanaf het begin en ook voordat ik hier kwam werken heb ik ervaring opgedaan met een scriptie die op pure usability onderzoek op usability internet focuste. 7. F. Ok! En heb je hier ook nog ander werk voor gedaan, andere opleiding? 8. A. Tekst en Communicatie, Universitaire opleiding, heel veel nieuwe media. Ik heb les gegeven twee jaar op de universiteit van Tilburg. Ik ben voorlichter geweest, mijn primaire taak was het opzetten en uitbouwen en coördineren van de website. En het maken van nieuwe websites. 9. F. Van de Universiteit? 10. A. Nee, dat was in Noord Holland een tweemans bedrijf. 11. F. Ok nu komen er wat anderen vragen die meer betrekking hebben op de inhoud van usability testing, dan beginnen ik meer met de voorbereiding- en introductiefase van het interview. Wat ik er nog niet bij had gezegd is dat je je vragen beantwoord vanuit de rol van interviewer, dus je bent geen meekijker ofzo… of zometeen zal het wel duidelijk zijn. 12. A. Ok, als interviewer. 13. F. Juist de rol is dan de interviewer. Aan de hand van welke criteria worden respondenten geselecteerd? 14. A. uuh ja, dat is natuurlijk altijd afhankelijk van de wensen van de opdrachtgever en uuh van de materie. Maar ehm het is ook afhankelijk va de site wat daar de doelgroep van is, als een site bijvoorbeeld gericht is op hypotheken, uuhm het verschilt per onderzoek wat de specifieke criteria zijn, maar hmm. 15. F. Zijn er ook een aantal standaard criteria? 16. A. Nou vaak hebben we zachte spreiding op leeftijd, geslacht en opleiding, uuhm wel of geen hypotheek gebruik hebben we dan als specifiek onderwerp voor hypotheken. We hebben ook vaak low, medium en heavy users. Dus als we websites gaan testen dan willen we een aantal mensen die er al veel gebruik van hebben gemaakt en een aantal die er nog geen gebruik van hebben gemaakt.

75

17. F. Sorry dat ik je even onderbreek maar bedoel je dan specifiek internetgebruik of gewoon… 18. A. Nee specifieke website, we hebben binnenkort een onderzoek naar artsen sites. Die moeten gehergroepeerd worden. Dus dan is het leuk om mensen tegen over elkaar te zetten die de site veel en weinig gebruiken om die bij elkaar in een groepsdiscussie te zetten. Je hebt geen standaard lijstje, maar je selectiecriteria bepaal je in overleg opdrachtgever en is afhankelijk van je onderwerp. 19. F. En het aantal respondenten, hoe wordt dat geregeld? 20. A. Dat hangt af van het doel van het onderzoek de fase waarin de website zich bevindt. Je kunt bijvoorbeeld een website in de concepttesten, je kunt websites in die fase testen je kan een website testen wanneer deze enigszins gebouwd is of bijvoorbeeld wanneer hij al helemaal af is. Als je met de opdrachtgever een project in gaat dan (ruis) dat komt nog niet zo heel veel voor. In de praktijk komen we op 8-9 interviews voor de doorsnee klant en ministeries hebben vaak de neiging om meerdere doelgroepen te onderscheiden en voor al die doelgroepen willen ze de site getest hebben en dan kom je al snel op 20 gesprekken. Komt wel vaker voor. Nielsen heeft het grafiekje mooi gemaakt en na zoveel gebruikers kom je maar met zoveel nieuwe probleempunten tegen. 21. F. Hoe worden taken opgesteld? Want jullie hebben verschillende taken gewoon die respondenten op dat moment moeten uitvoeren. Hoe worden die opgesteld? 22. A. Je probeert een aantal taken op te stellen… (3). De achtergrond is, dat je een zo natuurlijk mogelijke nabootsing wil hebben. De taken die wij meestal verzinnen zorgen ervoor dat mensen op verschillende delen van de site terecht komen. Zodat ze een goed beeld krijgen wat de site inhoudt en dat het concrete realistische taken zijn uuhm en als het onderzoek soms een bepaalde focus heeft, een bepaalde kwestie die beslecht moet worden. Moet deze of deze variant… dan zorg je in ieder geval dat deze taken dat gedeelte van de site, het zijn meestal zoekopdrachten. Zou je even de vraag kunnen herhalen? 23. F. Ja, hoe worden taken opgesteld? 24. A. Nou ja in ieder geval vanuit onze expertise in overleg met de opdrachtgever en in het achterhoofd dat het natuurlijk gedrag moet nabootsen. 25. F. Is er ook een onderscheid tussen beginnende en ervaren gebruikers qua taaksoort? 26. A. Uuhm, nou wij doen dat niet. We stellen normaal gewoon wat taken op en tijdens het onderzoek zorgen we gewoon dat we een groot genoeg aantal taken hebben en selecteren we iedere keer een taak en tijdens de test rouleren we een beetje tussen de taken. Nee, wij doen dat niet, maar uuhm ik kan me wel voorstellen dat je zoveel detail aanbrengt. Dat je dat wel in je checklist opneemt. 27. F. En hoe bepaal je welke taak je wanneer voorlegt, heb je daar nog een bepaalde volgorde voor? 28. A. Uuhm ja, als taken performance moeten meten. Ik denk dat wij taken niet genoeg efficiënt inzetten, wij registreren niet op de achtergrond een aantal gegevens, we registreren niet op de achtergrond het aantal clicks het aantal seconden dat men over een taak doet, het aantal keer dat men terug gaat naar de homepage. Of we vragen niet van ow ben je op de website en weet je precies waar je je bevindt tijdens de taakuitvoering. Als je het zeker wilt weten moet je de taak voorleggen voordat ze de site hebben gezien. 29. F. Ik ben niet helemaal duidelijk geweest in mijn vraagstelling. Maar qua taakvolgorde, dus onafhankelijk van de (ruis).Heb je daar nog een bepaalde volgorde? 30. A. Uuuhm ff kijken, die hebben we niet.. uhm maar ja zegmaar dat is puur op intuïtie kan ik zeggen dat als we die zouden hebben dan zou je met een makkelijke taak

76

beginnen om de respondent het gevoel te geven van nou uuh (ruis) er zit progressie in moeilijkheid. 31. F. Ok, Hmm wordt er in de inleiding door jullie verteld dat er een opdrachtgever of een andere meekijker aanwezig is? 32. A. Ja, er wordt altijd verteld, standaard riedeltje. 33. F. En waarom? 34. A. Uuh omdat we ons zegmaar moeten houden aan hmm de regels voor goed onderzoek. Dat betekent dat je de respondent enigszins in moet lichten wat er aan de hand is. Je kan niet stiekem iemand laten meekijken op de achtergrond, dat is niet etisch verantwoord. 35. F. Ok! Uuhm hoe wordt de onderzoeksruimte voorbereid? Zijn daar nog … is daar nog een bepaalde setting voor? 36. A. Uuuhm de onderzoeksruimte… uuhm dat bedoel je precies? 37. F. Ik bedoel of er bij wijze van spreke kopjes staan of.. 38. A. Er staan altijd versnaperingen voor de respondent, want de respondent moet zich op zijn gemak voelen. En er is drinken aanwezig of een knabbeltje en een koekje. Uuhm en verder ja heb je de standaard opstelling van de PC waar de respondent achter zit en de interviewer zit ernaast. Uhm stel dat er wat inleidende vragen zijn, dan uuh ga je even tegenover zitten en zodra de website erbij gepakt wordt gaat de respondent achter de computer. 39. F. Je hebt ook al aangeven dat het heel belangrijk is dat de respondent zich op zijn of haar gemak voelt, heb je dan nog andere manieren voor… de taken of onderzoeksruimte. 40. A. Voordat de respondent zich voorstelt jezelf even voorstellen. Even kort vertellen wat je doet en waarom je hier zit. Uuhm ik denk dat lichaamstaal en taalgebruik zegmaar de kleine rituelen zoals naar de onderzoeksruimte toelopen en alvast even informeren of het makkelijk te vinden was, of ze het al vaker gedaan hadden. Allemaal koetjes en kalfjes praat wat er aan bijdraagt dat de respondent zich op zijn gemak voelt. 41. F. Uuhm daarnaast. 42. A. Ow sorry dat wil ik er nog ff toevoegen, de afwezigheid van een grote spiegelwand leidt er ook toe dat de respondent zich op zijn gemak voelt. Aan het begin zeg je wel even van daar hangt een videocamera, maar even later als de respondent zich voorstelt zijn ze het al uit het oog verloren. Een spiegelwand is gewoon zo expliciet aanwezig dat … (ruis). 43. F. Grappig dat je het opmerkt, maar vind jij het nodig om te benadrukken dat de camera daar hangt? 44. A. Ik vind het essentieel, ik vind het niet dat je het kan maken om dat niet te doen. 45. F. Maar weten respondenten niet dat ze van te voren gefilmd worden? 46. A. Ja, dat wordt als het goed is wordt dat via het selectiebureau mee gecommuniceerd van er zullen opnames gemaakt worden. 47. F. De computer moet aan bepaalde eisen voldoen en ook bepaalde instellingen zijn belangrijk waarop je de website toont, maar hoe bepaal je dat, die instellingen? 48. A. Dat is heel makkelijk, de computer moet snel genoeg zijn. Je moet daar natuurlijk niet een beest van een computer neerzetten dat de website sneller wordt. Zegmaar de internet snelheid moet gewoon goed zijn, een doorsnee internet verbinding. Het belangrijkste is de schermresolutie, we gaan nu uit van de schermresolutie die het meest gebruikt wordt 1024 * bij 768 op dit moment. En proberen de website zo veel mogelijk op die resolutie in te stellen, tenzij er specifieke argumenten zijn om het anders te doen.

77

49. F. En dat is dan vanuit de opdrachtgever? 50. A. Uuuhm, even kijken… ja je zou je kunnen voorstellen dat je hele specifieke doelgroep hebt waarvan je weet dat zij een andere resolutie scherm gebruiken. Bejaarden met een hele oude computer die een lage resolutie hebben. 51. F. Worden er tijdens het interview ook aantekeningen gemaakt? 52. A. Er wordt standaard genotuleerd. En het wordt opgenomen op DVD, wij werken altijd met twee onderzoekers op één project. Dat betekent dat zegmaar geïnterviewd wordt altijd één bij de opdrachtgever in de meekijk zit en die maakt over het algemeen ook aantekeningen en dat is wel handig als je het rapport gaat schrijven. 53. F. Maak jij als interviewer aantekeningen? 54. A. Nou dat doe ik bijvoorbeeld wel bij de verwachtingen dan zij de persoon in het begin dit zijn mijn verwachtingen en dan kan je later tijdens het interview daarop terugkomen, dat is de enige reden dat ik wat op schrijf. 55. F. En uhm, hoe bereid je je voor met betrekking tot de kennis over de website, je eigen kennis zegmaar. 56. A. Verkenning van de site, je bekijkt hem even… je bekijkt alle onderdelen van de site. Meestal stel je wat aanvullende vragen aan de opdrachtgever. Hoe zit dit en dat. Bij een concepttest heb je vaak de ideale situatie dat je naar de maker van een site toegaat en die presenteert het dan van kijk dit hebben wij gemaakt en dat wordt minutieus toegelicht. Dit is dat en dat en dat… dan zit hij goed in je hoofd. 57. F. Maak je achteraf ook aantekeningen in de vorm van een kort verslag? 58. A. Uuhm nou vaak in de debrief worden waarin je alvast de algemene indruk over de onderzoeksdag kort in een aantal punten verwoorden. Soms wordt de debrief ook nog teruggekoppeld de volgende dag naar de opdrachtgever. 59. F. Uuhm laat je ook een formulier invullen dat de respondent akkoord gaat met het maken van de opnames. 60. A. Het maken van de opnames niet, dat is een feit het tonen en gebruik van de opnames daar wordt voor getekend. 61. F. Perfect, jullie hebben een model… dit model, maar wat doen jullie eigenlijk met dit model. Gebruiken jullie het ook voor het opstellen van de checklist? 62. A. (4) Ja, je ziet behoefte en verwachtingen even kijken hoor dit kwadrant 1 / 2 worden bij de analyse eventueel gebruikt om verschillende subgroepen hebt om die bij elkaar te clusteren. Die gebruik je als extra vertaalslag om in de resultaten wat extra detail in aan te brengen. Verwachtingen en behoeften zitten natuurlijk standaard in de checklist vrij in het begin van het gesprek, van wat verwacht je van de site en wat eis je van de site? (ruis) Verder, standaard riedel van gebruiksgemak aanbod informatie aanbod, uitstraling en vormgeving. Wat je tijdens de rapportagefase als kapstop kan gebruiken inderdaad… vormgeving en gebruiksgemak. En positionering en communicatie gebruiken we in de tekst zie je dat terug van wat doet het nou voor het beeld wat men van de opdrachtgever heeft, veranderd dat beeld door de website die je ziet? Uh dus ja… achtergrond, komt ook wel terug in de checklist, niet altijd. 63. F. Je geeft nu aan dat alle punten terugkomen in de checklist en dus ook in de rapportage, maar hm is dat automatisme of vullen jullie dat aan de hand van het model zelf in? Zodat alles terugkomt? 64. A. uuuhm Even kijken. Die hoofdcategorieën worden automatisch in de tekst rapport gebruikt. En ervaring heeft geleerd dat het gewoon een handige manier is om te ordenen, gestructureerd opbouwen van je checklist. En die subpuntjes. Die … dat zijn de dingen die in je achterhoofd zitten tijdens het interview, zegmaar aandachtspunten. Triggers die je kunt uitdelen van goh hoe zit het met het logo, wat vind je van het kleurgebruik, goh wat vind je van de verhouding, deelaspecten om van het ene

78

hoofdthema een concreet beeld te krijgen wat ze daar van vinden. Die hebben we allemaal wel bekijken, dus die zitten vanaf de achtergrond wel in je hoofd. Die zegmaar een goed interview maken en die zegmaar bij de rapportage er voor zorgen dat je meer detail ziet. 65. F. Heb je nog een aantal punten waarvan je denkt dat het model tekort schiet? 66. A. Mag ik daar even voor kijken (30). Ik kan me voorstellen dat vooruit het model nog een soort pijltje gaat… wat ik niet 1,2,3 zie is gebruik. Toekomstig gebruik. Huidig gebruik: frequentie uuh welke sites kom je wel welke sites kom je niet. Staat hier trouwens, frequentie… (ruis). Het is niet heel goed uitgewerkt in ieder geval: huidige gebruik en zegmaar wat op basis van het zien van de site denkt te gaan doen. Gebruiksintentie zit er nog niet echt in. (ruis) 67. A. Nu ik meerdere rapporten heb geschreven merk ik steeds meer dat het wel erg abstract, hoge ordening is van inhoud en gebruiksgemak en vormgeving en dat in de praktijk zal het schrijven van een usability rapport echt een thema aanzitten op type pagina. Een bestel pagina, een informatie pagina over dit of over dat. En dat je aan de hand van losse pagina’s binnen de pagina’s inhoud, structuur en vormgeving opmerkingen maakt. 68. F. Begrijp ik het goed dat de site dan de structuur van het rapport aangeeft. 69. A. Ja, de site dat klopt helemaal. En niet dat van dat riedeltje van inhoud, gebruiksgemak en vormgeving. 70. F. Uhm heb je misschien andere suggesties hoe website onderzoek bij Ruigrok | NetPanel verbeterd zou kunnen worden? 71. A. Even denken uuhm (15). Het is altijd voor verbeteringen vatbaar (4). Je hebt het over usability onderzoek via interviews. 72. F. Ja…, zijn er zelf nog zaken waar je tegen aanloopt tijdens voorbereidingsfase, rapportage of veldwerk? 73. A. Nou nee ik ben op dit moment wel tevreden hoe ik zelf rapporteer. Uhm (4). 74. F. Er zijn helemaal geen problemen met de indeling van een rapport ofzo? 75. A. Nou ik ben zelf heel erg fan van uuh, het visuele. Geen lange teksten. Dat hangt weer af van degene die het rapport maakt. Ik zal zelf pleiten voor zo visueel mogelijk rapporteren. Uuh. Ik denk dat we wel een goede start hebben gemaakt door onze professionaliseren van de onderzoeksruimte, dan gaat het niet echt over de rapportage, maar wel over het beeld wat je achterlaat bij de opdrachtgever. Ja… Grappige is natuurlijk ook dat je zo lang bezig bent en gaande weg grote dingen met z’n allen bespreken. 76. F. Is er een probleem onderling van mensen die usability onderzoek uitvoeren? Doet iedereen het op zijn eigen manier? 77. A. Ik denk zelf dat het heel handig is om een achtergrond van het maken van websites te hebben. Dat je weet wat mogelijk en onmogelijk is. Dat geeft je ook een inzicht … Als mensen die geen ervaring hebben met website design en dat die dan usability onderzoek gaan doen, gebeurt Je moet wel enige feeling hebben met interaction design en design in het algemeen. Denk ik… 78. F. Ok, dan gaan we het hier bij afronden, hartelijk dank voor je medewerking!

79

Bijlage 6: Transcript van het interview met medewerker Ruigrok | NetPanel Locatie: Ruigrok | NetPanel Legenda F: Fernando McDougal (1e interviewer) A: Anoniem (3) (2.0): 2 seconde stilte (ruis): ruis 1. F. Ik begin eerst met wat achtergrond vragen. Uhhm wie bent u en wat is uw functie of vindt u het goed dat ik je zeg. 2. A. Ja, zeg maar gewoon ‘je’ hoor… Uuuh mijn naam is X X. Ik ben hier bij Ruigrok | NetPanel werkzaam als projectleider, en uuhm dat doe ik nou eeh drie jaar ofzo. En uuhm ik ben hier ooit begonnen als stagiaire ook en ik ben uuh eigenlijk na mijn stage ook uh blijven plakken. 3. F. Ok, wat voor studie heeft u gedaan? 4. A. Ik heb economische psychologie gestudeerd in Tilburg. Dat is eigenlijk de economische variant van psychologie. 5. F. Ok, en hoe lang heb je al ervaring met usability onderzoek? 6. A. Nou dat zal toch gauw 2.5 jaar. 7. F. Dus ongeveer half jaar nadat je was begonnen… 8. F. Ok nu volgen er wat vragen die wat meer betrekking hebben op de inhoud van usability onderzoek dus beginnen we met de voorbereiding- en introductiefase van UO. Mijn eerste vraag is dan ook aan de hand van welke criteria de respondenten worden geselecteerd. 9. A. uuhm Dat ligt er een beetje aan ook wat voor type website er onderzocht gaat worden. Ik denk dat de criteria zo goed mogelijk moeten aansluiten bij de doelgroep van de website ook. Uuh ja, dan kun je natuurlijk aan allerlei dingen denken waar je een doelgroep aan kan definiëren. Bijvoorbeeld leeftijd, geslacht en opleidingsniveau. Wat ook heel belangrijk is is de mate van internet gebruik en de ervaring met internet. En uuh ja… door de jaren heen heb ik ook wel geleerd dat daar wel wat verschil in kan zitten en dat het nogal wat uitmaakt voor je resultaten uiteindelijk. 10. F. Ok… en uuh je bent nu echt concreet ingegaan op het soort respondent en het aantal kan je daar ook wat over zeggen? 11. A. Uhhm het aantal… dat is eeh. Hangt ook deels af van de onderzoeksvraag en de doelgroep als je veel verschillende doelgroepen wilt benaderen dan zal je toch voor elke doelgroep een substantieel aantal mensen moeten benaderen. Uuhm ja dat hangt een beetje samen met de manier waarop wij dat onderzoek insteken als je puur alleen naar echte usability dingetjes zou kijken ja… dan uh dan kom je toch ook al gauw met hebben we… hoe die hoe heet die man ook alweer? 12. F. Ik denk dat je Nielsen bedoelt… 13. A. Ja..daar heb je dat schemaatje van inderdaad.. met die boog die aangeeft dat je bij een bepaald aantal respondenten gewoon niet zoveel rendement meer haalt uh dat je niet extra dingen gaat vinden ik denk dat aantal gewoon een soort combinatie is van de doelgroep eeh de doelgroepen die je wilt bereiken gewoon naar het aard van het onderzoek. Het usability stuk dat uh wat Nielsen aangeeft dan ja speelt daar ook een rol in. 14. F. Kan je een aantal noemen voor een echt gemiddeld usability onderzoek? 15. A. Nou… 80

16. F. Om en nabij? 17. A. Ergens tussen de 12 tot 16 zou ik zeggen ja maar het gebeurt ook wel met minder hoor. 18. F. Hoe worden de taken opgesteld. De respondenten moeten een aantal taken uitvoeren maar hoe worden die opgesteld? 19. A. Uuh ja hoe doen we dat ja.. (3). Je hebt altijd een aantal moeilijke en makkelijke taken er tussen zitten en uuhm dus ja ik denk dat je ook een aantal taken moet verzinnen die bij de website passen ook. Waar de mensen ook echt voor naar de website komen voor een reis site moet je de mensen een reis laten boeken, maar ik kan ook voorstellen dat je taken verzint op basis van problemen die je ondervindt op de website. Je kan je soms voorstellen dat je inderdaad iets niet handig is opgesteld in een site wat je van te voren eigenlijk wel weet… maar wat je bevestigd wil zien en dat je daarom een taakopdracht formuleert eeh daarop gewoon feedback op gaat krijgen, je hoeft ze niet te sturen en te zeggen natuurlijk maar meestal als ze dat soort taken aan het uitvoeren zijn, dan komen ze gauw zelf tot de conclusie dat het niet zo handig is. 20. F. Ok. Je gaf al aan dat je verschillende taken wilt hebben…dus moeilijke en makkelijke dus is dat ook speciaal voor beginnende en ervaren gebruikers? 21. A. Uuhm nou deels wel en deels niet natuurlijk als je hm inderdaad het boeken van een reis als het doel is van je site om traffic te genereren dat moeten ook minder ervaren mensen dat doen ik vind vaak dat een website moet een groter doel ondersteunen. En uuhm ja wat je vaak ziet is dat vaak traditionele kanalen als telefoon of schriftelijk dat soort dingen moet gaan vervangen natuurlijk, maar wel op de goede manier. Dus je moet eigenlijk elk type persoon die op die site kan komen moet je ook voor zorgen dat je… dat doel wat je voor ogen hebt dat dat ermee bereikt wordt en niet dat mensen alsnog gaan bellen of schrijven of gaan eh weet ik veel wat… of langs gaan komen of bij de balie of dus… wat dat aan gaat vind ik dat eh je kan je natuurlijk voorstellen dat bepaalde dingen meer kennis vereisen en als je dat weet hoef je niet een of ander persoon die bijna nooit op internet zit hoef je die taak niet te laten uitvoeren. Dit gaat het toch te moeilijk vinden 22. F. Hoe bepaal je welke taak je wanneer voorlegt? Is daar nog een bepaalde volgorde voor? 23. A. Hoe doen we dat eigenlijk dat is een goede vraag. Ik probeer zelf altijd van uuh je hebt tien taken ofzo en meestal heb je in die drie kwartier niet de tijd tien taken te gaan doen. Dus ik probeer altijd wel die tien taken over alle respondenten heen te verdelen. En ook niet steeds met dezelfde te beginnen, maar ik denk dat je wel uuh meestal moet beginnen met een wat makkelijkere taak en daarna een moeilijkere. 24. F. Hoezo begin je met een wat makkelijkere vraag? 25. A. Ja (5) god waarom zou je dat doen. Ik denk dat dat ook wel voor de respondent prettig is als je niet meteen bij de eerste taak van dat hoeft natuurlijk niet. Je doet het eigenlijk meer wel om mensen op hun gemak te stellen en ik denk het hoeft niet per se een makkelijke taak te zijn, maar een voor de hand liggende taak, dus als je op een kom ik weer met een reissite dan denk ik dat je het beste kan beginnen met boek eens een reisje of zoek eens een vakantie en niet dat je gaat zeggen achterhaal eens het email adres van de contactpersoon buitenlandse reizen verkoop. Waarvoor je heel diep in de site in zou moeten gaan. Mensen kunnen zich daar ook niet echt een voorstelling bij maken, hoe ze dat soort dingen zoeken. Terwijl hele makkelijke dingen die uuh god dan gaan ze meteen aan de slag, denk ik. 26. F. Je had het erover dat je dat doet om de respondent op zijn gemak te stellen zijn er nog andere dingen die je doet om de respondenten op zijn/haar gemak te stellen?

81

27. A. Naja je hebt natuurlijk je introductie steeds voor je interview start en uuh na ik denk uuh dat dat altijd een heel verhaal is maar dat het belangrijk is dat die dingen gezegd worden en ook de mensen duidelijk maken dat ze geen proefwerk zitten te doen, maar dat ze puur informatie geven dat dat de bedoeling is. Dat op basis op wat zij zeggen verbeteringen plaatsvinden op zo’n website. En niet dat dat is om botweg gezegd te kijken hoe stom mensen zijn. 28. F. Ok, zijn er nog andere dingen? 29. A. Uuuhm, ja ook tijdens het gesprek natuurlijk zelf moet je een beetje open houding aannemen. En niet tuh. Ja, maar goed dat zijn gewoon een paar dingetjes waar je je aan moet houden bij kwalitatief onderzoek, mensen uit laten praten. De juiste vragen stellen. En uuh ik probeer ook altijd wel een beetje met die mensen op gelijke voet, ze stellen vaak ook vragen als ze iets niet kunnen vinden dan vragen ze waar zit dat dan? Ik vind dat je daar geen antwoord op kan geven. Dat je moet zeggen weet ik ook niet, waar zou je het zelf verwachten? Dat je eigenlijk probeert zelf wat meer inzicht te krijgt. Dat mensen ook beetje het idee hebben dat jij niet de eigenaar van de site bent maar dat je ook maar iemand van buitenaf bent die ook maar op websites terecht komt op zo’n manier denk ik dat je mensen op hun gemak moet stellen. 30. F. Wordt er in de inleiding door jullie verteld dat er een opdrachtgever of een meekijker aanwezig is? 31. A. Ja, 32. F. En waarom? 33. A. Dat heeft ook te maken met gedragscodes waar je je aan moet houden. En ik vind het ook niet meer dan eerlijk. Mensen zijn ook niet stom, die zien hier allemaal appatuur hangen. En op zo’n manier breng je dat dan ook altijd van je ziet hier van alles hangen dat komt omdat we het altijd opnemen en omdat er mensen meekijken hiernaast, dan wordt erbij gezegd dat die het leuk en interessant vinden om uit eerst hand te zien en dat het beter is dat ze hiernaast zitten dan dat ze zich ermee gaan bemoeien. En uuh dus ja deels het is ook verplicht en ook terecht gewoon. 34. F. Ok, zijn er ook bepaalde eisen aan de onderzoeksruimte niet eisen maar hoe het eruit ziet zijn er bepaalde dingen waar jullie rekening mee houden. 35. A. Uuhm … (6) gewoon dingen die je bewust doet om uuh ik denk wel dat je moet nadenken over hoe de ruimte eruit ziet. Dat het niet te druk is dat het niet te ja.. (2) het moet gewoon goed functioneel zijn, het moet gewoon. Je camera moet erin, je microfoon, je computer moet er in. Voor de rest hoeft er ook niet zoveel in natuurlijk. Op locatie heb je nog wel eens dat je in een andere ruimte zit, maar in hotels bijvoorbeeld heb je ook niet echt veel afleiding in die conferentieruimtes. En bij opdrachtgever zelf op kantoor als daar een keer wat gedaan wordt dan uuh. Kijk je gewoon hoe het beste kan staan hoe het werkt en of het functioneel is. Enn uhm ja… wat moet ik er meer van zeggen. Ja ik denk gewoon dat het niet te druk moet zijn, dat dat heel belangrijk is. 36. F. Ok. Hoe bepaal je met wat voor computer en instellingen je de website toont? Je hebt natuurlijk verschillende monitoren… 37. A. Ja, dat is een interessant punt, is het ja (2). Ik denk wel dat dat iets is waar we goed over moeten nadenken wat we eigenlijk nog niet echt een beleid voor hebben. Maar ik denk dat het goed is dat je een snelle computer hebt, gewoon puur voor het proces wat je moet doorlopen, dat je niet een half uur loopt te wachten voordat de website geladen is. En voor de rest denk ik wel gewoon naar resoluties moet gaan die gangbaar zijn eeh die veel mensen gebruiken uuh ja wat ik ook wel eens gedaan heb bij usability onderzoek, de backbutton boven uit de browser gehaald, dat kan je instellen. Ja, mensen zijn toch heel erg geneigd met de back en forward te werken. Ja, op die manier

82

dwing je ze om met de tools die de site hun aanreikt om daar hun weg mee te vinden. Ik weet niet of je dat wel of niet thuis moet doen, want mensen hebben thuis ook een back button. Het beste is gewoon dat alles zo natuur getrouw afspeelt achter die PC zitten. Op die manier moet je die site dan tonen. Zoals ze dat thuis ook hebben. Maar je hoeft ook niet uuh aan mensen te vragen heb je thuis 800 * 600 of 1024 bij huppelepup, en dat je dat dan voor het interview gaat aanpassen dat je dat dan voor het interview gaat aanpassen, dat heeft geen zin. Je ziet ook wel dat veel sites gewoon op lage resolutie gebouw zijn, gewoon omdat er ook wat mensen zijn die dat soort beeldschermen gebruikt worden. Dus op veel sites zie je dat er niets aan de zijkanten zit, want dat is puur en alleen omdat op kleinere schermen valt dat buiten de pagina en dan missen die mensen niets van die site. 38. F. Worden er tijdens het interview vanuit de rol van de onderzoeker de interviewer ook aantekeningen gemaakt? 39. A. Uuuhm ja, dat doe ik wel eens, maar ehm ja… nou dat is niet echt standaard dat je dat doet. Het is meer van dat ik denk dat schrijf ik eventjes op, voor mijzelf dan. Omdat we altijd met twee op een project zitten en er altijd iemand meekijkt die maakt wel altijd aantekeningen. We hebben ook wel zo’n schemaatje wat we weleens gebruiken bij elk onderwerp gewoon dingen kunnen opschrijven. Dus uuhm ja. Dus het is niet standaard, maar het gebeurt wel. 40. F. Hoe bereid je je voor met betrekking tot kennis van de website? 41. A. Uuhm ja.. ik vind wel dat je van te voren de site zelf moet bekijken, lijkt me ook niet meer dan logisch als je daar een onderzoek naar doet dat je even helemaal uitpluist dat je in ieder geval weet welke mogelijkheden de site heeft. Dat je ook als je met iemand achter de computer zit weet wat hij aan het doen is. Niet dat je zelf ook nog uuuh moet zoeken, zeker met taakopdrachten. Ik vind dat je moet weten waar die dingen wel te vinden zijn. Maar wat denk ik nog veel belangrijker is.Dat je ook dat je begrijpt wat hij aan het doen is. Niet dat je zelf ook nog zou moeten zoeken. Je zit met taakopdrachten, je moet weten waar die dingen wel te vinden zijn. Uuhm maar wat ik denk ik nog veel belangrijker is is dat je met je opdrachtgever van te voren afstemt wat eigenlijk zijn doelstelling is met de website en eeh ja… vaak is die er ook niet echt een doelstelling, dat komt allemaal nog een beetje voort uit toen internet een beetje opkwam toen moest iedereen opeens een internet site hebben. En heel veel bedrijven hebben eigenlijk nooit echt of pas heel laat beleid op gemaakt of uuh er over gaan nadenken wat ze eigenlijk willen doen en ik denk dat dat een beetje de toekomst is om te kijken of jouw website ook voldoet aan die doelstelling. En uuh ja ook dat soort dingen wat de intentie is achter de website zulk soort dingen moet je goed weten en goed in je achterhoofd houden. Maar ik denk dat het eigenlijk meer iets voor het onderzoek zelf is, voordat je het gesprek ingaat uuh vind ik dat je goed moet weten wat je moet vragen. Je hoeft hem niet van buiten te kennen die checklist. Uuh maar je moet wel ja.. goed weten inderdaad van ok, je hoeft het niet regeltje voor regeltje te gaan doen. Want wat je vaak hebt natuurlijk, het is een open gesprek. Het kan alle kanten op. Ik kreeg wel eens het verwijt dat ik me nooit aan de checklist houd, maar ik denk wel aan het eind van het gesprek ik heb alles gehad. En dan gaat het ook van voor naar achter kris kras dat maakt natuurlijk niet uit, wat denk ik nog vervelender is als je tegen iemand moet zeggen tijdens het gesprek daar hebben we het zo nog wel over, ja… ik vind dat niet prettig om dat op die manier te doen. Ja, dus dan moet je goed weten wat er allemaal in zit, waar je het over moet gaan hebben. En uuh ik denk dat het heel erg belangrijk is dat je rustig bent van te voren dat je echt uuh uuhm nou ook gewoon, gewoon ook ff los niet dat je de laatste 10 minuten dat je een interview moet doen nog problemen hebt met de computer of de apparatuur, dat werkt gewoon

83

niet fijn voor jezelf, omdat je dan zelf ook een beetje opgefokt zo’n gesprek ingaat, dus ik denk dat dat heel erg belangrijk is dat je er zelf rustig onder bent. 42. F. Maak je achteraf na het interview ook aantekeningen in de vorm van een kort verslag ofzo? Van wat er die dag is gebeurd en wat de belangrijkste zaken zijn? 43. A. Ja…. Nou wat wij in een meest ideale situatie doen is na afloop van interviews een met de opdrachtgever een korte debrief doen uuh daarom maken we ook tussendoor aantekeningen als je het zelf niet zit te interviewen dan maak je aantekeningen en uuh ja, aan het eind van de dag dan bespreek je de aantekeningen met je opdrachtgever en ik denk dat dat ook goed is, dan zitten we met iedereen op één lijn als ie naar buiten loopt. De opdrachtgevers horen nog wel eens wat ze willen horen dingen die ze niet graag willen horen dat wordt nog wel snel vergeten zegmaar. Ik denk dat het wel goed is als je aan het eind van de dag met elkaar kortsluit wat is er goed en wat is er nou slecht, wat heb ik eigenlijk gehoord vandaag. Het liefst zet je dat dan ook op papier en stuur je dat de dag erna na en uuh, dat is dan voor jezelf handig, want dat is een soort van ja, startpunt voor je rapport, als je een goede debrief hebt gemaakt kun je het rapport eigenlijk gewoon zo invullen. Dan moet je dat alleen even uitschrijven in een twintigtal pagina’s in plaats van twee. Nou dan kun je dat ook met plaatjes en alles verduidelijken. Uuhm en voor die uuhm voor die opdrachtgever is dat ook prettig, want die leest we hebben aan het eind van de dag met z’n tweeën toe gekomen zijn, leest hij de andere dag nog een keer. En eeuh die krijgt een week later dat rapport daar staat eigenlijk hetzelfde in, maar dan uitgebreid. Die komt dus ook niet voor verrassingen te staan. Als hij weggaat na het interview en hij krijgt een twee weken later het rapport thuisgestuurd en dat is eigenlijk niet echt wat ik gehoord heb.. uuh je doet natuurlijk een soort van verslag van hetgeen wat je gehoord hebt natuurlijk, maar het is natuurlijk ook een soort van interpretatie van dingen die je hoort hoe dingen zijn, voor meerdere voor andere uitleggen vatbaar natuurlijk, dat is logisch, dat is bij alles. Op basis van expertise die we hebben opgebouwd op gebied van usability onderzoek weet je wel wat bepaalde dingen betekenen wat mensen zeggen en kun je ook aanbevelingen doen en uuhm ja als je dat gewoon helder hebt is zo’n debrief gewoon heel nuttig. Maar in de praktijk gebeurt het inderdaad nog wel eens dat zo’n respondent uuh opdrachtgever om 21u ’s avonds denkt van ja… ik moet nog helemaal naar Rotterdam toe. 44. F. Of er niet is… 45. A. Of er helemaal niet is, inderdaad. 46. F. Je zei zelf ‘het liefst’ uuh maak je een dag erna nog een debrief, dan stuur je de belangrijkste punten, maar gebeurt dat niet altijd dan? 47. A. In principe standaard wel, maar eh je hebt wel eens projecten waar dat niet op gebeurt omdat er drie dagen later dan een rapport moet liggen. Ja, ga ik niet nog een debrief zitten schrijven. 48. F. Laat je ook een formulier invullen door de respondent dat ze akkoord gaan met de opnames die gemaakt worden? 49. A. Ja, dat is ook verplicht eigenlijk. 50. F. Jullie hebben ook nog een model, gebruik je die ook bij het opstellen van de checklist. 51. A. Ja zeker 52. F. Die houd je er echt naast? 53. A. Uuuh, nee. Want uuh ik ken het model, ik hoef dat niet ernaast te houden. Ik heb het zovaak gezien. 54. F. Is het ook bij het rapporteren een leidraad die je gebruikt of..

84

55. A. Uuh nou ik denk dat het model veel eerder in het onderzoeksproces naar voren komt bij het voorstel dat je schrijft. Daar hangen we de hoofdvragen en de subvragen aan het model op, uuh is niet altijd zo dat de acht punten die in het model zitten hierin voorkomen, soms zijn er bepaalde dingen niet zo belangrijk. Je hebt ook onderzoek met concept websites die nog niet helemaal gevuld is, informatie aanbod. Heb je compleetheid, begrijpelijkheid, actualiteit kun je nog niets van zeggen natuurlijk. Dat krijgt dan ook nog wat minder aandacht. Maar als je dat dan al in je onderzoeksvoorstel meeneemt, dit soort dingen… dan uuh wil je ook in je rapport dat als leidraad moeten gebruiken, want dat rapport moet uiteindelijk gewoon antwoord opgeven op jouw onderzoeksvragen en uh ja veel van die rapporten hebben ook gewoon… dit stukje achtergrond vragen behoefte verwachting zit meestal in één hoofdstuk elke paragraaf. En gebruiksgemak, aanbod, uitstraling vormgeving dat heeft meestal ook een eigen paragraaf. Positionering en communicatie ja… ik denk niet zo zeer dat dat zo zeer in het interview naar voren moet komen ik denk dat dat meer zoiets is wat je met je opdrachtgever moet afstemmen wie de doelgroep is, wat je wilt communiceren naar de doelgroep. Wel hoe ziet de doelgroep jouw identiteit en imago is iets wat je in je rapport kan halen. En ook welke rol de site speelt tussen andere informatiebronnen is iets wat we in het interview zelf vragen nou ja… hoe of er nog andere manieren zijn hoe ze aan de informatie komen, kunnen komen en welke rol de website hierbij speelt. 56. F. Ok! Tot slot heb je nog suggesties hoe website onderzoek bij Ruigrok | NetPanel verbeterd zou kunnen worden. Je hebt zelf al het punt opgenoemd toen we het hadden over de instellingen van de computer. Zijn er ook nog andere? 57. A. Uuh (8) Ja, wat zou er beter kunnen. Wat ik gewoon denk is dat je gewoon wel op basis van de expertise die je hebt, dat je daarop verder moet bouwen en uuhm ook inderdaad zoals een benchmarks dat je meer lading kan geven aan hetgeen eeh wat je gehoord hebt zegmaar. Dat je eigenlijk gewoon de vertaalslag, de interpretatieslag van uuh de resultaten die je uit de interviews krijgt dat je daar wat meer in gaat investeren. Ik denk dat je dat alleen maar kan doen door veel met verschillende teams op dat usability onderzoek te zitten en veel met elkaar te praten daarover. En daar eh ook harde afspraken daarover maken hoe je bepaalde dingen doet en uhh ja… zo’n model kan dat kan daar een goede rol in spelen en misschien moet die nog eens kritisch bekeken worden om te kijken of daar nog wat in aangepast kan worden of dat er iets anders opgezet kan worden. Dat weet ik niet, daar zullen we met z’n allen goed over na moeten denken., uuh. Ja voor de rest denk ik dat we hier in de nieuwe onderzoeksruimte en de faciliteiten de we daarbinnen hebben sowieso gewoon al een goede start in maken. Uuh ja, ik zou het voor de rest niet weten… 58. F. Zijn er voor de rest nog zaken waar je af en toe tegen aanloopt gedurende de voorbereiding, opzet of rapportage. 59. A. Uuuhm (10). Nja, los van wat technische shit in de beurs wat niet werkte is er niet echt een groot struikelblok. Ik denk dat je alleen goed (5) goed moet hè communiceren met de opdrachtgever, waarom je bepaalde dingen doet en uuh dat ook moet kunnen bouwen met ervaring die je hebt. Wat ik zelf nog wel interessant zou vinden bedenk ik me nu dat we niet alleen het klikgedrag van de mensen opnemen, maar dat doe je altijd wel. Maar daar doe je gewoon niets mee, omdat dat gewoon een takkenwerk is om dat na te kijken. Dat je dat op één of andere manier toch in kaart gaan brengen. Ik weet het niet een moduletje op die computer die bijhoudt waar op geklikt wordt en dat dat opgeslagen wordt in een logfile, zoiets zou ik me wel kunnen voorstellen en voor de rest hoeft het voor mij niet verder te gaan, geen Eyetrack achtige dingen, dat zie ik helemaal niet zitten.

85

60. F. Waarom zie je dat niet zitten? 61. A. Uuhm (4) ja… wat je dus met het klikken zou moeten doen, uuhm ja… ik weet ook echt niet of dat technisch mogelijk is, maar met dat media center wat we nou hebben uuhm dat dat wel, daar zullen we ook wel uuh ja… je zou eigenlijk op het moment dat ze moeten klikken op een link zou je meteen moeten vragen waarom ze daar op klikken en wat verwacht je daar achter te vinden dan. Uuh dat je dan ook in je… als je iets terug wilt kijken ofzo dat je gewoon elke keer dat daar op geklikt is dat je die stukjes steeds achter elkaar kan zetten, weet ik veel zoiets. Dat je dan uuh gewoon puur de verwachting van die link meteen achter elkaar acht keer dat commentaar erop kan horen, want bij Eyetracking denk ik ook van eyetracking is wel leuk dat iedereen naar het rechterbovenhoek kijkt, als ik dat dan mooi op een uitdraai krijg, waarom doet hij dat dan. Moet ik het toch het hele track terug gaan kijken moet ik op die ogen gaan letten of die rechtsboven zit te kijken. Dat zou iets moeten zijn wat synchroon loopt zegmaar, met je beeld en je geluid dat hij markeringen maakt van doet hij dit doet hij dat doet hij zo. Want uit de notulen haal je dat ook niet uit, want dat is zo jammer dat je gewoon niet… dan heeft iemand een opmerking gemaakt en dan denk ik van ik wil toch weten wat hij aan het doen was, waar klikte hij dan op. Dat moet nu gewoon in je geheugen zitten als interviewer. Maar dat zou je op een of andere manier vast moeten kunnen leggen. Hoe weet ik ook niet, maar dat zou ideaal zijn. 62. F. Ok! Dan gaan we het hierbij afronden! Vriendelijk bedankt voor je tijd en moeite. 63. A. Krijg ik nu ook nog een vergoeding?

86

Bijlage 7: Resultaten inhoudsanalyse Resultaten inhoudsanalyse Interview Voorbereidingsfase Notulist Opdrachtgever Videocamera Introductiefase Verwachting van onderzoeker t.o.v. respondent Privacy Uitleg evaluatie Uitleg ontwerp Opnames - video Opnames - notulen Lengte interview Feedback Vragen Thinking Aloud methode Testfase Interactie Achtergrond vragenlijst

Gemiddelde score

1

2

3

4

5

6

7

8

9

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

2 0 0

0 0 0

0 0 0

0.2 0.0 0.0

2 0 2 2 0 0 2 2 2

0 2 0 2 0 0 2 0 0

0 2 2 2 0 0 2 2 0

0 0 2 2 0 0 2 0 2

2 0 2 2 0 0 2 0 0

2 2 0 2 0 0 2 2 0

0 0 2 2 0 0 2 0 2

0 0 2 2 0 2 2 0 2

0 0 2 2 0 0 2 0 0

0.7 0.7 1.6 2.0 0.0 0.2 2.0 0.7 0.9

1

0

0

2

0

2

1

1

1

0.9

0

0

2

2

0

0

0

0

0

0.4

0

0

0

0

0

0

0

0

0

0.0

Verwachting van respondent Eerste indruk website Meekijkers Interviewtechniek Interviewtechniek 1 Interviewtechniek 2 Interviewtechniek 3 Beantwoording vragen

2 2 0 0 0 0 2 0

2 0 0 0 0 0 0 0

2 2 0 0 0 0 0 0

0 0 0 1 0 0 2 1

0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0

0.7 0.4 0.0 0.1 0.0 0.0 0.4 0.1

Nabespreking Suggesties Structuur

0 2

0 2

0 2

2 2

0 0

2 0

0 0

0 0

0 0

0.4 0.9

Rapportage Omschrijving product Vaststellen doel test Aantal respondenten Selectiecriteria respondenten Taken Testopzet

0 0 0

0 0 0

0 0 0

0.0 0.0 0.0

0 0 0

0 0 0

0 0 0

0.0 0.0 0.0

87

Methode of proces hoe test uitgevoerd is Usability metingen en dataverzameling Resultaten Conclusies Aanbeveling Onderzoeksvragen in rapport beantwoord? Algemene Criteria Aantal respondenten Scenario’s Toestemmingsformulier

0

0

0

0.0

0 0 0 0

0 0 0 0

0 0 0 0

0.0 0.0 0.0 0.0

0

0

0

0.0

0 0

0 0

0 0

0.0 0.0

0

0

0

0.0

88