Performance Scan UWV.nl en Werk.nl in opdracht van FNV
Uitgevoerd door:
Performance rapportage FNV, april/mei 2013
Inhoudsopgave 1. Werk.nl, het belang van beschikbaarheid 2. Performance Scan Werk.nl
3. Performance score card
4. Performance per dag
5. Performance trends
6. Availability trends
7. Availability heatmap
8. Vaak getoonde fouten
9. Over MeasureWorks
3
4
5
6
7
8
9
10
11
2
Performance rapportage FNV, april/mei 2013
Werk.nl, het belang van beschikbaarheid Als werkzoekende is de website van Werk.nl HET online platform waar je vacatures zoekt, solliciteert en een uitkering aanvraagt. Het gebruik van Werk.nl is echter niet vrijblijvend, wijzigingen in de situatie van de werkzoekenden kunnen impact hebben op bijvoorbeeld een WW-uitkering. Een goed werkende en beschikbare website is derhalve van groot belang voor de werkzoekende gebruiker van Werk.nl.
Helaas is na een aanhoudende stroom van klachten en topics in TV programma’s zoals Kassa gebleken dat de beschikbaarheid van Werk.nl te wensen overlaat vanuit het oogpunt van de werkzoekende gebruiker. Een greep uit de klachten op social media:
3
Performance rapportage FNV, april/mei 2013
Performance Scan UWV.nl en Werk.nl De FNV heeft de aanhoudende stroom aan klachten over de prestaties van Werk.nl als aanleiding gezien om nader onderzoek te doen naar de prestaties van Werk.nl en in dit kader MeasureWorks gevraagd om vanuit haar expertise, web performance, objectieve data te verzamelen over de online prestaties van Werk.nl en UWV.nl
De opzet van de door MeasureWorks uitgevoerde performance scan is om inzicht te krijgen in de performance zoals deze door de eindgebruiker thuis wordt ervaren. Hiertoe is in de periode van 1 april t/m 31 mei 2013 dagelijks de performance gemeten, middels een synthetische monitoring tool.
Figuur 1: Visuele weergave van testopzet
Middels de synthetische monitoring tool zijn op basis van een echte browser (Firefox), transacties zoals een eindgebruiker deze uitvoert gesimuleerd. Voor de performance scan hebben we de volgende testopzet gebruikt: § Meetperiode: 1 april tot en met 31 mei 2013 § Meetfrequentie: elke 5 minuten, tussen 6.00 en 24.00 (om onderhoudsperiodes te vermijden) § Gemeten pagina’s (UWV.nl is tevens gemeten ter controle): § Werk.nl homepage § Werk.nl vacature zoeken § UWV.nl homepage § UWV.nl inloggen
Deze vorm van performance monitoring levert metrieken op over performance en availability. Performance is in dit kader de tijd die nodig is om de volledige pagina te laden in een browser. Availability wordt berekend als ratio van succesvolle t.o.v. totaal aantal uitgevoerde transacties.
Op verzoek van FNV is er gekozen voor het meten van enkele pagina’s en geen volledige transacties, mede doordat er geen testaccounts beschikbaar zijn voor werk.nl. Met deze pagina’s als basis is er onderzocht op welke wijze de eindgebruiker van Werk.nl de performance ervaart. De website van UWV.nl is hierbij als benchmark gebruikt.
4
Performance rapportage FNV, april/mei 2013
Performance Score card Werk.nl
Benchmark: UWV.nl
Gemiddelde snelheid
1,84 sec.
Gemiddelde snelheid
1,39 sec.
Gemiddelde beschikbaarheid(1,2)
90,8% Gemiddelde beschikbaarheid(1,2)
86,8%
Beschikbaarheid van Werk.nl per week, zowel in % als minuten downtime: Availability Week Werk.nl -‐ Homepage Werk.nl -‐ Vacatures zoeken Outage (in minutes) Week Werk.nl -‐ Homepage Werk.nl -‐ Vacatures zoeken
14 15 16 17 18 19 20 21 22 95,1% 99,9% 99,5% 79,4% 75,7% 98,9% 97,0% 96,5% 73,1% 96,3% 100,0% 99,5% 79,4% 76,5% 99,7% 97,0% 96,8% 73,3%
14 5:15 4:00
15 0:10 0:00
16 0:35 0:40
17 25:55 25:55
18 30:35 29:35
19 1:20 0:20
20 3:50 3:45
21 4:25 4:05
22 14:30 14:25
Gedurende de meetperiode zijn er diverse DDOS attacks geweest welke de beschikbaarheid en performance negatief hebben beïnvloed: https://www.clientenraad-uwv.nl/0/nieuws/artikel/2549/problemen-met-inloggen-op-uwvnl-en-werknldoor-d-dos-aanval-op-digid
Toelichting Werk.nl:
§ De beschikbaarheid van Werk.nl wordt slechter gedurende de dag tot aan de avond (12-23 uur), ten opzichte van UWV.nl; § De snelheid is gemiddeld trager dan UWV.nl, maar wel stabieler en blijft rond de 2 seconden; § Qua snelheid zijn de Homepage en Vacature pagina gelijk, zowel in trend als absolute waarden; § De snelheid spreiding is goed: 78% binnen 2 sec, 93% binnen 3 sec.
Werk.nl vs. UWV.nl:
§ De website van UWV.nl is gemiddeld sneller dan Werk.nl, maar is per saldo minder beschikbaar dan de website van Werk.nl; § 76% van de geteste pagina’s van UWV.nl wordt binnen 2 sec afgehandeld en 87% binnen 3 sec.
Note: 1. Als referen6ekader: Gemeente websites hebben de eis 99,99% beschikbaar te zijn 2. De gemiddelde beschikbaarheid van een webwinkel uit de Twinkle100 is 99,78%, zie ook hGp://www.measureworks.nl/download/PDF/Measureworks_twinkle100.pdf
5
Performance rapportage FNV, april/mei 2013
Performance per dag Availability
In de loop van de dag verslechtert de beschikbaarheid van Werk.nl
Performance distributie De distributie geeft de performance-spreiding weer, m.a.w. hoeveel pagina’s (in %) worden binnen bepaalde tijd afgehandeld? De grafiek bevat alle succesvol geteste pagina’s in april en mei 2013.
Snelheid telt voor de eindgebruiker(1). Uit beide grafieken valt af te leiden dat voor zowel UWV.nl als Werk.nl de website snel laadt, met bijna 90% van alle transacties binnen 3 seconden:
UWV.nl: Werk.nl: 35% binnen 1 sec 11% binnen 1 sec 76% binnen 2 sec 78% binnen 2 sec 87% binnen 3 sec 93% binnen 3 sec 92% binnen 4 sec 96% binnen 4 sec
Note: 1. Uit onderzoek van Jacob Nielsen blijkt dat de snelheid van de website binnen 1 seconde geladen moeten zijn, indien het langer dan 3 seconden duurt haken gebruikers af: hGp://www.nngroup.com/ar6cles/website-‐response-‐6mes/
6
Performance rapportage FNV, april/mei 2013
Performance trends In onderstaande grafieken wordt de snelheid van Werk.nl en UWV.nl getoond over de gehele meetperiode. Door de grafiek op deze wijze te tonen is het mogelijk om patronen te ontdekken, bijv. door toenemend verkeer op de website. De grafieken laten zien dat de snelheid redelijk stabiel is over de gehele meetperiode, waarbij er tevens maatregelen ten behoeve van stabiliteit en snelheid zijn gemeten door het inzetten van een content delivery netwerk van Akamai. Wellicht mede naar aanleiding van de DDOS attacks?
Werk.nl Switch naar Akamai CDN gedetecteert op 17 mei?
UWV.nl
Switch naar Akamai CDN gedetecteert op 17 mei?
7
Performance rapportage FNV, april/mei 2013
Availability trends In onderstaande grafieken wordt de beschikbaarheid van Werk.nl en UWV.nl getoond over de gehele meetperiode. Door de grafiek op deze wijze te tonen is het mogelijk om patronen te ontdekken, bijv. door toenemend verkeer op de website. De grafieken laten zien dat de beschikbaarheid van beide websites grillig is (met name UWV.nl), met regelmatig verstoringen tot wel 60 minuten per week.
Werk.nl
UWV.nl
Onderhoud op van 27/4 t/m 28/4
8
Performance rapportage FNV, april/mei 2013
Availability heatmap De heatmap laat de trend per per geteste pagina zien. Hiermee worden mogelijk performance incidenten uitgelicht die mogelijk te herleiden zijn naar infrastructurele of applicatieve issues.
Opmerking: voor Werk.nl is er geen performance op 27 en 28 april ivm downtime.
22-‐25 april: DDoS aGacks op DigID. hGp://www.bnr.nl/nieuws/ tech/143261-‐1304/digid-‐niet-‐ bereikbaar-‐door-‐cyberaanval
9
Performance rapportage FNV, april/mei 2013
Vaak getoonde fouten Storingspagina
Connection error
10
Performance rapportage FNV, april/mei 2013
Over MeasureWorks MeasureWorks zorgt voor snelle en betrouwbare websites en mobile applicaties.
Voor onze klanten meten wij real time hoe bezoekers de kwaliteit en snelheid van hun online diensten ervaren. Door het slim combineren van data uit meerdere bronnen, analyseren en identificeren wij de impact van performance op business drivers. Wij creëren altijd een actiegerichte strategie voor het verbeteren van de snelheid, usability en beschikbaarheid. Samen met onze klanten werken we aan een continue optimalisatie van hun online omgeving(en), van service levels tot applicatiecode.
Klanten zoals Bol.com, Exact en Globalcollect managen, mede dankzij MeasureWorks, real time de impact van performance op hun business doelstellingen en leveren een user experience die de online verwachtingen van de bezoekers overtreft.
Contact Naam: Jeroen Tjepkema Functie: CEO Adres: Katernstraat 10d, 1321NE, Almere Mailadres:
[email protected] Telefoon: 036-5465881 Web: www.measureworks.nl Twitter: @jeroentjepkema LinkedIN: linked.com/in/jeroentjepkema
11
Performance rapportage FNV, april/mei 2013
MeasureWorks Katernstraat 10d 1321NE, Almere Nederland
web: www.measureworks.nl
Telefoon: 036-5465881
E-mail:
[email protected]
Twitter: @measureworks