WEBSITES
●
KWALITEIT
EEN MODEL VOOR DE KWALITEIT VAN WEBSITES Drs. H. Marsman, Prof.dr. S.K.Th. Boersma en Prof.dr. R.J.J.M. Jorna*
Wat houdt kwaliteit van websites in? Een vluchtige blik op een website en op de actoren die erbij betrokken zijn, leert dat je kunt spreken over: 1. de bezoeker van een website, 2. de website zelf, 3. de organisatie die de website aanbiedt (zie figuur 1).
Bezoeker
Website
Organisatie
der klanten kunnen. Het is de klant die uiteindelijk de diensten afneemt, en dus een zwaartepunt vormt in de bedrijfsvoering: ‘de klant is koning’. Hoewel dit besef niet altijd aanwezig is geweest, is de huidige praktijk en theorie gericht op het centraal plaatsen van de klant. Met dit uitgangspunt krijgt de keuze voor de bestudering van de relatie tussen bezoeker en website de voorkeur. De kwaliteit van websites zal door ons dan ook uitsluitend worden beschreven in termen van de relatie tussen de bezoeker van de website en de website zelf. De relatie tussen de website en het bedrijf achter de website is onderwerp van later onderzoek.
hand even zoveel verschillende websites als bezoekers te zijn. Zijn er dan nog algemene uitspraken te doen over de kwaliteit van websites? Dit artikel geeft een theoretisch onderbouwde visie op de kwaliteit van websites. Het oriëntatiepunt is dat van de gebruiker. Met behulp van theoretisch onderzoek zijn criteria ontwikkeld die ondergebracht zijn in een checklist, waarmee wij de kwaliteit van websites kunnen meten. De checklist is getest en heeft interessante resultaten opgeleverd. Het onderzoek is verricht in samenwerking met het Ministerie van Volkshuisvesting, Ruimtelijke Ordening en Milieuzaken (VROM).
*Drs. H. Marsman studeerde bedrijfskunde aan de Rijksuniversiteit Groningen met als afstudeerrichting Informatie- en Kennismanagement. In de afstudeerfase heeft hij in het VROM-atelier onderzoek gedaan naar de kwaliteit van de websites.
nr. 2003
Veel ondernemingen hebben tegenwoordig hun eigen website. Het belang hiervan wordt met de dag groter. Het is echter niet alleen noodzakelijk een website te hebben, het is ook noodzakelijk een ‘goede’ website te hebben. Bezoekers van een website zijn kieskeurig en kritisch. Wil een bedrijf via de website verkopen dan moet het zorg besteden aan zo’n website. Een website mag de bezoekers, de potentiële kopers van producten of diensten, geen strobreed in de weg leggen. De kwaliteit van een website is cruciaal voor het al dan niet interesseren van bezoekers. Bezoekers kunnen zeer verschillend tegen een website aankijken. Bovendien blijken er langzamer-
75,
S A M E N V A T T I N G
jaargang
Taak en cognitie Voor het ontwikkelen van een algemeen kwaliteitsmodel moet er gezocht worden naar overeenkomsten tussen de bezoekers in relatie tot een website. Wat bezoekers gemeenschappelijk hebben in relatie tot de website die ze bezoeken, is dat er acties uitgevoerd worden. Of ze nu de site weg wil-
Bedrijfskunde,
We kunnen een website zien als een schakel tussen de bezoeker van de website en de organisatie achter de website. De website is de interface tussen organisatie en bezoeker. De bezoeker – die ook een (potentiële) klant is – vormt de basis voor de bedrijfsvoering, in die zin dat veel bedrijven niet zon-
2
Figuur 1. Twee perspectieven
Prof.dr. S.K.Th. Boersma is bijzonder hoogleraar Kennismanagement aan de Rijksuniversiteit Groningen. Prof.dr. R.J.J.M. Jorna is bijzonder hoogleraar Bedrijfskunde i.h.b. de Cognitiewetenschap aan de Rijksuniversiteit Groningen.
71
Bedrijfskunde,
jaargang
75,
2003
nr.
2
KWALITEIT
72
●
WEBSITES
len klikken of de site willen bestuderen of bekijken, bezoekers moeten altijd iets doen. Dit ‘iets’ kan worden opgevat als een taak die bezoekers moeten uitvoeren. Deze taak heeft uiteraard een doel. Het doel creëert in zekere zin de taak, of dit doel nu bewust of onbewust aanwezig is, of je nu iets gericht wil uitvoeren op de website, of dat je niet weet waar je terecht bent gekomen en er zo snel mogelijk weer weg wil. Meestal wordt relevante informatie als het gemeenschappelijke doel van bezoekers genoemd. De invulling van dit doel is echter subjectief. Het vergelijken van subjectieve zaken betekent in feite het vergelijken van appels met peren. Is alles wat een bezoeker doet dan subjectief? Is er niet een bepaalde mate van intersubjectiviteit of objectiviteit te vinden in hoe een bezoeker naar een website kijkt of zijn/haar taak kan uitvoeren? Volgens ons is dat wel degelijk het geval. Een bezoeker op een website is voornamelijk bezig met het verwerken van informatie. Dit is onderdeel van de taak die hij of zij uitvoert. Dit systeem van informatieverwerking werkt in principe voor iedereen hetzelfde. Er vindt informatie-uitwisseling plaats tussen de interne (mentale) en externe omgeving. De externe omgeving is datgene wat de mens waarneemt. Ook de website is een onderdeel van deze externe omgeving. Het waarnemen en het verwerken van de waargenomen informatie behoort tot de cognitieve vaardigheden. De menselijke cognitie is in grote lijnen voor iedereen hetzelfde. Deze cognitie is nodig voor het oplossen van problemen door mensen. Een taak uitvoeren betekent vaak een probleem oplossen. Dit leidt tot de vraag of de taakuitvoering op een website, die bepalend kan zijn voor de kwaliteit van de website, wel algemene karakteristieken bevat. De gemeenschappelijke noemer daarbij is te vinden in de cognitie van de mens. Dit zou de mogelijkheid kunnen geven voor een algemeen model. Immers, de cognitie wordt gebruikt voor het uitvoeren van de taak.
waarvoor bezoekers tenslotte op het internet aanwezig zijn?
Om een algemeen kwaliteitsmodel te ontwikkelen, kijken we naar de bezoekers van websites. Wat vinden de bezoekers van de website? De makkelijkste manier om dit te weten te komen is simpelweg de bezoekers te enquêteren. De grote vraag die dan ontstaat is of al die verschillende meningen met elkaar vergeleken kunnen worden. Als deze bezoekers echter worden gezien als informatieverwerkende systemen, is de manier waarop informatie bekeken, geïnterpreteerd en verwerkt wordt voor bijna alle bezoekers hetzelfde. Deze cognitieve vaardigheden bezit iedereen. Ze worden gebruikt om die taak uit te voeren waarvoor ze op die website zijn. Cognitie is dus de gemeenschappelijke noemer en vormt het perspectief voor het ontwikkelen van een algemeen kwaliteitsmodel. Vanuit de cognitie moet een antwoord worden gegeven op de vraag wat de kwaliteit van websites is. Met de menselijke cognitie als uitgangspunt kan de volgende vraag worden geformuleerd: hoe leent een website zich het best voor het uitvoeren van die taken
De hulpmiddelen moeten de gebruiker helpen zijn cognitieve vaardigheden goed te gebruiken. Ze mogen echter de gebruiker niet in de weg zitten. Volgens Norman functioneren de hulpmiddelen het best als ze voor de gebruiker niet zichtbaar zijn. Wat deze hulpmiddelen eigenlijk moeten veroorzaken bij de gebruiker is een ‘optimale mentale doorstroming: een optimal flow.
De website als cognitief artefact In zijn onderzoek naar de algemene rol van cognitie gaat Donald A. Norman in op de interactie tussen mens en machine, op mens en informatieverwerking, dat wil zeggen op de mens en zijn cognitie (Norman, 1993). Norman onderscheidt als belangrijkste vormen van cognitie: de ervaringscognitie en de reflectieve cognitie (Norman, 1993: 16). Door het onderscheiden en benoemen van vormen van cognitie maakt Norman duidelijk dat technologische hulpmiddelen (Norman spreekt ook wel over cognitieve artefacten) pas echt de mens goed kunnen dienen als deze worden afgestemd op de gebruiker. Voor de ervaringscognitie geldt dan dat de hulpmiddelen die de gebruiker voorhanden heeft vooral het waarnemingsvermogen van de gebruiker moeten stimuleren. Daarentegen moeten hulpmiddelen voor de reflectieve cognitie juist het onderzoeken en verkennen van ideeën ondersteunen. Immers, het vergelijken en evalueren van alternatieven moet vergemakkelijkt worden. Meestal vereist een adequaat hulpmiddel het ondersteunen van beide vormen van cognitie: de vormen zijn van elkaar afhankelijk. De twee vormen van cognitie en de manier waarop beide door (technologische) hulpmiddelen ondersteund moeten worden, zijn afgebeeld in figuur 2.
Bezoeker
Ervaringsdeskundige
Stimuleren van waarnemingen
Reflectieve cognitie
Exploreren van ideeën
Cognitie
Figuur 2. Cognitie en ondersteuning (Norman, 1993)
Optimal flow Bij het uitvoeren van een taak of bij het spelen van een spel kan men erg gemotiveerd en aandachtig bezig zijn. Soms kun je zo in iets opgaan dat je je niet bewust bent van wat er om je heen gebeurt. Experimenteel psycholoog Mihaly Csikszentmihalyi noemt dit een ‘piekervaring’, een ‘optimal flow’ (Csikszentmihalyi, 1988; 1992). Een optimale ervaring is het totaal opgaan in een activiteit. Deze ervaring is voor veel mensen plezierig. Je vergeet
Figuur 3. Eisen aan taakomgeving (Norman, 1993)
Eisen aan taakomgeving: • Intensieve interactie en feedback • Specifieke doelen • Gevestigde procedures • Motivatie • Creëer uitdaging • Directe verbondenheid • Géén afleidingen, onderbrekingen
ken: het is enerzijds een plezierige ervaring en anderzijds een lonende ervaring. Deze combinatie maakt een optimale ervaring mogelijk. Als een website dit bij een bezoeker kan bereiken, zal de bezoeker deze site ook waarderen. Dat wil zeggen, als een website, als hulpmiddel, bij de bezoeker een ‘optimal flow’ weet te bereiken dan zal de bezoeker deze site ook een kwalitatief goede website vinden. Hier zien wij dat de uiteindelijke relatie tussen de menselijke cognitie en de kwaliteit van een website vorm wordt gegeven. Vanuit een gebruikersgerichte benadering zien we dat, als een website voldoet aan de eisen van de taakomgeving – zoals afgeleid uit de menselijke cognitie – de bezoeker van de website een optimale ervaring kan bereiken. Daardoor heeft deze bezoeker veel meer plezier in de taak en kan daarmee deze taak beter uitvoeren met een beter resultaat. Dit bepaalt uiteindelijk de hoogte van de kwaliteit van de website vanuit het perspectief van de bezoeker (zie figuur 4). Doel Bezoeker
Website Taak
Gepercipieerde kwaliteit
Performance Optimal flow
Eisen aan taakomgeving:
Criteria geldend voor:
• • • • • • •
• •
presentatie inhoud navigatie
Exploreren van ideeën
Ervaringscognitie
Reflectieve cognitie
Cognitie
Figuur 4. Kwaliteitsmodel
In figuur 4 is het samenspel tussen bezoeker en website tot uitdrukking gebracht. Als er een goede ‘fit’ is tussen deze twee ‘actoren’, zal de taak goed uitgevoerd worden. Dat zorgt voor een hoge gepercipieerde kwaliteit van de website. Deze ‘fit’ wordt mogelijk gemaakt doordat de website voldoet aan de cognitieve eisen die aan de taakomgeving kunnen worden gesteld. Er is nu een aantal stappen gezet om tot een algemeen kwaliteitsmodel te komen. De relatie tussen bezoeker en website was het eerste uitgangspunt. De zoektocht naar overeenkomsten tussen bezoekers in relatie tot websites resulteerde in het perspectief van de menselijke cognitie. De schakel tussen
2003
Stimuleren van waarnemen
nr.
2
intensieve interactie en feedback specifieke doelen gevestigde procedures motivatie creëer uitdaging directe verbondenheid geen afleidingen, onderbrekingen
75,
Een algemeen kwaliteitsmodel Als een website voldoet aan de eisen van de taakomgeving kan een bezoeker een ‘optimal flow’ hebben, dat wil zeggen een optimale ervaring bereiken. De taak wordt goed uitgevoerd en het resultaat – de ‘performantie’ – zal hoog zijn. Om in bedrijfskundige termen te spreken: de taak wordt efficiënt, effectief en zingevend uitgevoerd. De taakuitvoering kan van twee kanten worden beke-
KWALITEIT
jaargang
alles om je heen en je gaat op in de activiteit. Ook is dit voor veel mensen een voorwaarde om een bepaalde baan te aanvaarden. Je wilt uitgedaagd worden en je wilt plezier hebben in je werk: je wilt opgaan in datgene wat je doet. Het moet een uitdaging zijn; zowel educatief als recreatief. Het voorbeeld dat Norman behandelt betreft de computerspelletjes. Computerspelletjes geven voortdurende stimuli, uitdagingen, interacties, terugkoppelingen en hulp. Dit is ook het geval bij bijvoorbeeld goede vormen van leren. In beide gevallen wordt gebruikgemaakt van zowel de ervaringscognitie als van de reflectieve cognitie. Bij een optimale ervaring – bij een ‘optimal flow’ – heeft men enerzijds een geconcentreerde ervaringscognitie en anderzijds een intens gefocusseerde reflectieve cognitie. Ook bij het uitvoeren van andere taken dan spelletjes op de computer is het mogelijk deze ‘optimal flow’ te bereiken. Toch is het nu vaak zo dat vooral de computer dit onmogelijk maakt. Norman spreekt over de vele – en onnodige – meldingen, berichten en aankondigingen (op de schermen) die het hebben van zo’n optimale ervaring onmogelijk maken. Het echt goed op de taak zelf zitten, ermee bezig zijn, wordt dan niet gehaald. Alle aandacht moet naar de taak zelf gaan. Directe verbondenheid is geboden. Er moet als het ware een versmelting zijn tussen persoon, taak en hulpmiddel. Wat we hier geformuleerd zien is dat het nodig is om een taakomgeving zo in te richten dat er een optimale ervaring wordt bereikt. Vanuit dit denken in termen van de cognitie van de mens en het hebben van een optimale ervaring is het mogelijk eisen aan de taakomgeving te stellen. Die kan het mogelijk maken een optimale ervaring te behalen. Volgens Norman kunnen de volgende eisen aan de taakomgeving worden gesteld (zie figuur 3).
●
Bedrijfskunde,
WEBSITES
73
KWALITEIT
cognitie en kwaliteit is de optimale ervaring. De eisen aan de taakomgeving vormen de sleutel voor het bepalen van de kwaliteit van websites. De gepercipieerde kwaliteit betekent dat vanuit het perspectief van de gebruikers is gedacht. Een stap van een andere orde betreft het operationeel maken van de kwaliteit van websites. De eisen aan de taakomgeving moeten daarvoor meetbaar worden gemaakt. De meetbaarheid heeft in eerste opzet betrekking op de website. De website wordt in het model opgesplitst in twee onderdelen: de presentatie van de inhoud van de website (hoe begrijpelijk zijn de termen en begrippen) en het navigeren door de inhoud (hoe ‘vaar’ ik door de website heen).
Meten van de kwaliteit van websites De eisen aan de taakomgeving moeten in het kwaliteitsmodel meetbaar worden gemaakt om de kwaliteit van websites te meten. Daartoe moeten criteria worden geformuleerd die van toepassing zijn op websites. De criteria kunnen meetbaar worden gemaakt door een checklist, een systematische lijst. In deze lijst zijn vragen opgenomen waarmee waarden aan de criteria kunnen worden toegekend.
Bedrijfskunde,
jaargang
75,
2003
nr.
2
Criteria – Presentatie inhoud Voor het opstellen van de lijst is gebruikgemaakt van bestaande criteria, verkregen uit de theorie over informatieverwerking en die over websites (Bemelmans, 1994; Nielsen, 1999). Een criterium is opgenomen als deze voor minstens de helft van de eisen aan de taakomgeving kon worden bevestigd. Voor de presentatie van de inhoud van een website zijn de volgende vijf criteria geformuleerd:
74
• Overzichtelijkheid. Overzichtelijkheid heeft betrekking op het overzicht van de structuur van een tekst. Veel mensen willen snel een indruk van een tekst krijgen. Hierdoor wordt een uitdaging gecreëerd; het werkt motiverend. • Consistentie. Consistentie houdt in dat er geen tegenstrijdigheden in de informatieve onderdelen staan. Verwachtingen moet je waarmaken. Als daar niet aan wordt voldaan, werkt dat demotiverend voor de lezer en is derhalve een onderbreking van de aandacht. • Actualiteit. Actualiteit heeft betrekking op het aspect of de informatieve onderdelen nog wel ‘bij de tijd’ zijn. Verouderde informatie is niet uitdagend om te lezen; is dus demotiverend en er is geen directe verbondenheid. • Controleerbaarheid. Controleerbaarheid slaat op bevestiging of onderbouwing. Worden er bronnen vermeld? Dit moet vertrouwen opwekken. Vertrouwen zorgt voor verbondenheid en dat werkt weer motiverend.
●
WEBSITES
• Nauwkeurigheid. Nauwkeurigheid heeft betrekking op de leesbaarheid van een tekst of op de tabellen en de grafieken. Zo leiden spellingsfouten af. Het brengt dus geen verbondenheid met zich mee en werkt daarom demotiverend. Criteria – Navigatie Enkele criteria zijn direct afkomstig uit de eisen die Norman aan de taakomgeving stelt (figuur 3). Deze zijn overgenomen vanwege het kwantitatieve karakter ervan. Voor het navigeren door de inhoud zijn vier criteria opgesteld: • Doelen. Hiermee worden de mogelijkheden bedoeld die aangeven waar men naartoe kan ‘surfen’. Doelen zorgen voor een uitdaging, ze motiveren en ze voorkomen afleidingen en onderbrekingen. • Procedures. Procedures hebben betrekking op de ‘normale’ gang van zaken omtrent het navigeren op internet, dat wil zegen of dit ordelijk of consistent gebeurt. Het afwezig zijn van deze procedures werkt namelijk onderbrekend en afleidend. • Controle. Controle slaat op het aantal mogelijkheden dat men heeft om door een website heen te ‘bladeren’. Hoe minder manieren om dit te doen, des te minder controle men hier zelf over heeft. Voor bezoekers van een website werkt het uitdagend en motiverend als er ‘sluiproutes’ en meerdere hoofdwegen binnen de structuur van de navigatie aanwezig zijn. • Geen afleidingen of onderbrekingen. Om de ‘flow’ tijdens het navigeren te behouden is het belangrijk afleidingen en onderbrekingen te voorkomen. Ze werken demotiverend en niet uitdagend. Checklisten Checklisten zijn een manier om de criteria te kwantificeren. De hiervoor genoemde criteria zijn nog niet direct te meten. Een checklist is een lijst met vragen waarmee de waarde van een criterium kan worden bepaald. De vragen hebben betrekking op het al dan niet aanwezig zijn van bepaalde aspecten en op het gebruik of misbruik van deze aspecten. Het resultaat van de checklisten mag niet afhangen van de persoon die de vragen beantwoordt. De checklisten zijn een resultante van een algemeen kwaliteitsmodel. De rol van de onderzoeker mag niet van invloed zijn op de waardetoekenning. Ook moet bij het toetsen van één website het resultaat van de checklisten bij herhaling hetzelfde beeld opleveren. De checklist is een instrument en bestaat uit twee onderdelen: het onderdeel ‘Presentatie inhoud’ en het onderdeel ‘Navigatie’. In de door ons gebruikte lijst zijn in totaal 100 vragen opgenomen. We hebben geprobeerd subjectieve elementen zoveel mogelijk buiten de ‘checklists’ te laten. Dit omdat het kwaliteitsmodel bouwt op intersubjectiviteit. Daarom is
Figuur 5. Alpha Cronbach coëfficiënten
VROM
N-items
N-cases
Alpha
Alpha na verwijdering vraag
Presentatie inhoud
61
12
0,6917
0,7396
Overzichtelijkheid
24
13
0,3264
0,5547
Consistentie
6
14
0,2118
0,6389
Actualiteit
5
14
0,3607
0,5227
4
15
0,4601
0,5739
Nauwkeurigheid
22
14
0,7242
0,7969
Navigatie
39
13
-0,2042
0,4965
Doelen
8
13
-0,2286
0,1775
Procedures
2
x
x
X
Controleerbaarheid
2 nr.
Het testen van het instrument, de checklist, heeft de bedoeling te kijken waar tekortkomingen ten aanzien van de websites liggen en waar verbeteringen kunnen plaatsvinden. Ook is de betrouwbaarheid van het instrument, de checklist, onderzocht. Dit heeft betrekking op de vraag of de door ons opgestelde vragen consistent zijn. We willen nagaan of er geldige uitspraken door gebruik van het instrument kunnen worden gedaan. Het onderzoek is exploratief van aard. We willen vooral een valide (meet datgene wat we meten willen) en betrouwbaar instrument vorm geven. De betrouwbaarheid – de interne consistentie – is gemeten met Cronbach’s Alpha. Met Cronbach’s Alpha worden de items – de vragen – die een construct bevat vergeleken en wordt de samenhang tussen de items beoordeeld. Cronbach’s Alpha berekent de samenhang tussen de vragen die een criterium bevat. Hieronder staan de Alpha-coëfficiënten voor de website van VROM weergegeven per onderdeel en per criterium. Ook is de Alpha-coëfficiënt gegeven na het verwijderen van vragen
2003
Voor dit onderzoek is gebruikgemaakt van een selecte steekproef. De proefpersonen vallen in dezelfde leeftijdscategorie en hebben allen hetzelfde opleidingsniveau. Vijftien studenten van de Rijksuniversiteit Groningen zijn benaderd de vragenlijsten voor verschillende websites in te vullen. De studenten vallen in de leeftijdscategorie 20 tot 25 jaar.
Alle 15 personen hebben de website van het Ministerie van VROM bekeken. Daarnaast, met het oog op vergelijking, zijn de websites van nog twee ministeries onderzocht, namelijk het Ministerie van Sociale Zaken en Werkgelegenheid en het Ministerie van Defensie. Ook is een aantal websites van gemeenten bekeken, namelijk van de gemeente Groningen en van de gemeente Katwijk. Een overheidsgerelateerde website die ook bekeken werd, is die van de Informatie Beheer Groep. Deze vijf websites werden elk zes maal bekeken. Daarnaast zijn nog vijf andere websites bekeken. Deze websites werden drie keer aan een vragenlijst onderworpen. Dit zijn de websites van de Telegraaf, de faculteit Bedrijfskunde van de Rijksuniversiteit Groningen, Startpagina, F1racing en Deloitte & Touche. In totaal zijn 11 websites tezamen 60 keer bekeken.
Controle
11
15
0,3429
0,5050
Géén afleidingen
18
12
0,3411
0,7297
75,
Het empirisch onderzoek van websites
KWALITEIT
jaargang
gekozen voor vragen waarop slechts positief of negatief gescoord kan worden. Vanuit het kwaliteitsmodel is bepaald welk antwoord een ‘gunstige’ score met zich meebrengt. Bij volledige invulling kan zo een maximumscore worden berekend. Daarmee kan een score worden toegekend aan een website. Dit kan dan eventueel weer worden gerelateerd aan een theoretisch maximum. De vragen die een criterium bevat behoren tezamen een beeld te geven van het criterium. In principe zijn de vragen van een criterium samenhangend. Alle vragen zijn gesloten vragen. De vragen kunnen alleen met ‘ja’ of ‘nee’ worden beantwoord. In geval van onduidelijkheden of gebrek aan informatie is het ook mogelijk ‘niet van toepassing’ (n.v.t.) te antwoorden. De bijdrage van een vraag aan een criterium kan positief of negatief zijn. Van de 100 vragen is bij 87 vragen ‘ja’ een positief antwoord. Voor de overige 13 vragen geldt dat ‘nee’ een positief antwoord is. Theoretisch kan een website dus een score van 100 halen. Het instrument kan voor elke website gebruikt worden. Het is niet gebonden aan een bepaald soort websites. Wel kan het zo zijn dat sommige vragen niet van toepassing zijn of dat bepaalde elementen niet op de onderzochte website aanwezig zijn. Afhankelijk van de vraag wordt dat positief of negatief opgevat. De checklist is ook dan van toepassing.
●
Bedrijfskunde,
WEBSITES
75
KWALITEIT
●
WEBSITES
inhoud van de website van VROM scoort zelfs als tweede van de elf webomgevingen. De navigatie van de website van VROM scoort als derde van alle webomgevingen. De website van VROM scoort een eerste plaats met ‘consistentie’. Verder zijn er drie tweede plaatsen voor ‘controleerbaarheid’, ‘nauwkeurigheid’ en ‘controle’. Voor een overheidssite zijn dit juist criteria waar hoog op gescoord moet worden. Het gaat immers om betrouwbare informatie die geen tegenstrijdigheden mag bevatten en nauwkeurig moet zijn weergegeven. Aan de andere kant scoren onder ‘Presentatie inhoud’ de criteria ‘overzichtelijkheid’ en ‘actualiteit’ slechter. Deze behalen respectievelijk een zesde en een zevende plaats in relatie tot de andere websites. Onder ‘Navigatie’ blijft alleen het criterium ‘procedures’ wat achter. Deze scoort een vijfde plaats in de lijst van onderzochte websites. Hoewel ‘Presentatie inhoud’ bij VROM hoger in de rangschikking eindigde dan ‘Navigatie’ is de spreiding van het eerste onderdeel hoger dan van het tweede onderdeel. Bij nadere bestudering is dit bij bijna alle andere webomgevingen ook het geval. Het aantal vragen en het feitelijke gehalte van deze vragen even daargelaten, lijkt het dat de meeste websites het navigatiegedeelte beter op orde hebben. Voor VROM geldt dat op ‘Presentatie inhoud’ gemiddeld 39,3 punten worden gescoord op een maximumscore van 61, dat is 64%. ‘Navigatie’ komt op een percentage van 74. Feitelijk is het dus zo dat de website van VROM in relatie tot andere sites beter scoort op het onderdeel ‘Navigatie’ dan op het onderdeel ‘Presentatie inhoud’. VROM doet er dan ook beter aan om ter verbetering van haar site vooral te kijken naar de presentatie van de inhoud
die negatief zijn voor de samenhang. Een Alpha groter dan 0.70 geeft een goede samenhang aan (Cronbach, 1947). Uit figuur 5 blijkt dat het toetsen met behulp van de Alpha Cronbach heeft opgeleverd dat de (interne) betrouwbaarheid van de checklist laag is. In eerste instantie haalt slechts één criterium de eis van 0.70. Maar deze betrouwbaarheid bleek sterk verbeterd te kunnen worden door enkele vragen die zorgen voor een slechte samenhang te verwijderen. De ‘Presentatie inhoud’ heeft als geheel een goede samenhang. De criteria zitten tegen de eis van 0.70 aan en een enkele zit er zelfs boven. ‘Navigatie’ scoort na de itemverwijdering als geheel nog niet goed, maar heeft wel een flinke verbetering laten zien. Deze verbetering is echter nog niet genoeg. Een enkel criterium blijft een lage betrouwbaarheid vertonen. De betrouwbaarheid van de checklisten lijkt daarmee desalniettemin redelijk te zijn.
Resultaten De resultaten van het gebruik van de checklisten laten voor de verschillende websites interessante bevindingen zien. Vanwege de kleine en selecte steekproef moeten de resultaten wel met de nodige voorzichtigheid worden geïnterpreteerd. Wel kan een eerste algemene vergelijking van de bevindingen worden gegeven. Er is vooral gekeken naar de resultaten van de website van het Ministerie van VROM (zie ook figuur 6). VROM
2
De website van VROM laat goede resultaten zien in relatie tot de andere webomgevingen. De presentatie van de
Presentatie inhoud
2
10
4
3
5
9
7
11
tte
F1R
Del oi
acin
tpag
g
ina 7
Star
BDK
Tele g
raaf
roep IB-G
Gro
Katw ijk
ning
en
Zak iale Soc
Def
VRO M
75, jaargang Bedrijfskunde,
76
ensi
e
2003
en
nr.
Figuur 6. Rangschikking webomgevingen
1
6
Overzichtelijkheid
6
10
1
1
8
4
9
5
11
5
3
Consistentie
1
9
2
6
5
4
10
8
11
6
6
Actualiteit
7
11
6
3
2
9
1
8
4
4
10
Controleerbaarheid
2
5
9
7
1
6
3
3
7
10
11
Nauwkeurigheid
2
5
4
3
7
10
8
9
11
1
5
Navigatie
3
8
2
4
5
10
Doelen
4
9
Procedures
5
10
2
6
6
Controle
2
4
3
6
7
Géén afleidingen
4
8
1
1
5
10
1
4
4
10
11
1
9
7
8
2
11
9
8
1
8
10
1
11
1
6 3
7
10
2
4
9
10
5
9
7
6
Literatuur
Cronbach, I.J., ‘Test “reliability”: Its meaning and determination’, Psychometrika, 12,
• Mochten de verschillende ministeries op het gebied van websites een voorbeeldrol hebben willen vervullen, dan is dat voor een aantal ministeries gelukt. VROM en Sociale Zaken scoren op beide onderdelen goed. Defensie daarentegen is het lelijke eendje onder de drie onderzochte ministeries. Deze website scoort een tiende en een achtste plaats. De lagere overheden volgen de twee goedscorende ministeries op de voet. De gemeenten Groningen en Katwijk scoren redelijk. De Informatie Beheer Groep als overheidsgerelateerde website scoort daarentegen beduidend lager.
Conclusies De doelstelling van dit onderzoek was het ontwikkelen van een algemeen kwaliteitsmodel. Tijdens dit onderzoek bleek dat ‘algemeen’ een onhaalbaar doel vormde. Een kwaliteitsmodel moet, alleen al vanwege het begrip kwaliteit, vanuit één
p. 1-16, 1947. Csikszentmihalyi, Mihaly, Optimal experience: psychological studies of flow in consciousness, Cambridge University Press, Cambridge, 1988. Csikszentmihalyi, Mihaly, Flow: the psychology of optimal experience, Harper & Row, New York, 1992. Nielsen, Jacob, Designing web usability, Riders, Indianapolis, 1999. Norman, Donald A., Things that make us smart: defending human attributes in the age of the machine, Addison-Wesley, Reading MA, 1993.
nr.
2
Bemelmans, T.M.A., Bestuurlijke informatiesystemen en automatisering Kluwer Bedrijfsinformatie, Deventer, 1994.
2003
• Liggen de meeste websites met hun scores dicht bij elkaar, Startpagina blijft juist ver achter. Deze website scoort een elfde plaats op ‘Presentatie inhoud’. Ze ligt met deze elfde plaats ver achter op de rest. Op het onderdeel ‘Navigatie’ scoort Startpagina in de laatste regionen. Samen genomen ligt Startpagina onderaan. Dit heeft waarschijnlijk te maken met de aard van deze website. Zij verschilt in grote mate van de andere webomgevingen: de site is een ‘linkpagina’ en bevat alleen links naar andere sites en lijkt dus niet geschikt te zijn als onderwerp van de checklist.
perspectief ontwikkeld worden. In dit onderzoek is gekozen voor het perspectief van de bezoeker van een website. Bezoekers zijn de potentiële klanten voor een onderneming. Het ‘algemene’ in dit kwaliteitsmodel hield in dat er binnen het gekozen perspectief moest worden gezocht naar algemeenheden, naar een zekere mate van objectiviteit. Dat is niet gehaald, want diezelfde bezoeker is een subject. Wat restte was het zoeken naar intersubjectiviteit. De menselijke cognitie is de gemeenschappelijke noemer waaronder verschillende bezoekers zijn te plaatsen. Cognitieve vaardigheden zijn benodigd voor het verwerken van informatie. Dit is dé taak die wordt uitgevoerd op een website. Het zodanig stimuleren van deze cognitie dat de website optimaal wordt ervaren en aangewend is onze invulling van de kwaliteit van een website. Bedrijfskundig gezien betekent dit: help, motiveer en daag de bezoeker zodanig en zonder afleidingen en onderbrekingen uit dat deze de site als efficiënt, effectief en zingevend zal ervaren. Om te meten of een site aan deze aspecten voldoet zijn criteria ontwikkeld die ondergebracht zijn in vragenlijsten. Deze vragenlijsten hebben een eerste toetsing op betrouwbaarheid redelijk doorstaan. De resultaten laten zien dat de vragenlijsten zowel algemene bevindingen alsmede specifieke opmerkingen over de site kunnen opleveren.
75,
Wat verder opvalt… • Voor de meeste websites geldt dat in de rangschikking de beide onderdelen weinig verschillen. VROM staat op 2 en 3, Sociale Zaken op 4 en 2, Groningen op 3 en 4. Onderaan staat Defensie op 8 en 10, de Informatie Beheer Groep op 9 en 10 en Startpagina op 11 en 9. De twee uitzonderingen hierop zijn de websites van de faculteit Bedrijfskunde en van F1racing. De eerste scoort een zevende plaats op ‘Presentatie inhoud’ en een eerste plaats op ‘Navigatie’. Daarentegen scoort F1racing een eerste plaats op ‘Presentatie inhoud’ en een zevende plaats op ‘Navigatie’. Deze twee websites zijn dus uitgesproken goed op één onderdeel, terwijl op het andere onderdeel matig tot slecht wordt gescoord. Over het algemeen lijken de beide onderdelen echter hand in hand te gaan.
KWALITEIT
jaargang
van haar site. En dan met name naar de criteria ‘overzichtelijkheid’ en ‘actualiteit’.
●
Bedrijfskunde,
WEBSITES
77
