Testen = Monitoren Hoe de werkzaamheden van de ‘boodschapper van de koning’ gaan veranderen.
Spreker: Datum:
Ide Koops 30April 2015
1
2
Agenda ● ● ● ● ●
Testrapportages in het verleden Impact nieuwe ontwikkelingen Testrapportages nu Monitoring als toekomst? Toegevoegde waarde testers
● Vragen
3
IK Ide Koops 30 jaar, trotse vader
• • • • • •
Sinds 2008 werkzaam bij KZA Test Expert Complexe omgevingen en ketens Scrum, Agile, DevOps Test Automatisering & Continuous Delivery Finance, Overheid, Nuts en Zorg
4
Rapportages bij het V-model Voortgangsrapportage
Vrijgaveadvies?
Risicorapport
Eindrapportage Testrapport Testrapport Testrapport Testrapport Testrapport Testrapport
5
Inhoud Rapportage ● Breed publiek
● Veel inhoud
● Momentopname
6
Rapportages in de knel ● In een traditioneel project zit testen snel op het kritische pad.
● En binnen de testfase, waar vindt de rapportage dan vooral plaats?
7
Als je testrapportage (feedback naar opdrachtgever) al vaak in de knel zit in traditionele langdurige projecten,
Hoe gaat dat dan nu bij kort cyclische ontwikkelmethodieken?
8
Impact Agile/Scrum ● Testuitvoer vaak onderdeel van Definition of Done
● Testvoorbereiding meestal ook
● Testafronding echter…
9
Impact Continuous Delivery ● Kwaliteit ontwikkelstraat nog belangrijker
● Downtime testomgeving heeft dus direct impact
● Feedback op beschikbaarheid en kwaliteit ontwikkelstraat wenselijk
10
Impact DevOps ● Team verantwoordelijk voor ontwikkelen en beheren. ● Ops down is hold the line on Dev ● Grip op Ops met behulp van monitoring essentieel
11
Bestaande manier van rapporteren over testen ongeschikt want: ● Ontwikkelcyclussen korter: Eerder en direct feedback
● Fasering verdwijnt
● Acceptanten binnen het team
12
Maar hoe communiceren we dan nu over de voortgang en kwaliteit van een team wat werkt met Agile/Scrum of een DevOps aanpak?
13
Testrapportages nu ● Afleiden van scrumboard: o Grote bevindingen zijn impediments o Testen nog bezig is taak nog niet done
● Dagelijkse rapportages o Zijn we al klaar? o Hoever zijn we? o Waarom zijn we nog niet klaar?
14
Monitoring nu? ● Focus op continuïteit productie
● Veelal beperkt tot een technisch niveau
● Soms performance
● En binnen de business soms monitoring op klachten of bijvoorbeeld social media 15
Testen ≠ Monitoring?
Overeenkomst! Testen ● Geeft feedback over kwaliteit bouw tov requirements ● Op diverse niveau’s: o Unit o Functioneel o Performance o Keten
Monitoring ● Geeft feedback over werking systeem ● Meestal alleen Productiesystemen ● Veelal alleen technisch en gericht op foutsituaties en performance ● Realtime
● Momentopname op een testomgeving
16
Hoe gaan we in de toekomst, met kortcyclische ontwikkelmethodieken continu feedback krijgen over: ● De kwaliteit van de software? ● En de benodigde omgevingen? ● En ons ontwikkelproces?
17
Monitoren Kwaliteit Software Bijvoorbeeld: ● Unittesten ● Functionele paden ● Scannen op Errors ● Performance
18
Monitoren Kwaliteit Omgevingen ● Technische stabiliteit
● Externe afhankelijkheden o If service down, then deploy stub
● Consistentie Testdata
19
Monitoren Kwaliteit Ontwikkelproces ● Monitoren succesvolle deploys ● Monitoren testen en bevindingen op verschillende niveaus ● Monitoren Velocity ● Impediments Let op: Draagvlak team!
Bron: Steve Denning 20
Monitoren in de DoD ● Waardevol hulpmiddel in je ontwikkelproces ● Expertise opbouwen in hele team ● Vraagt soms om aanpassingen in design/bouw ● Borgt afronding en creëert draagvlak vanuit stakeholders ● Keuze PO / Team 21
Informatie op de monitoring ● Welke informatie voor wie?
22
De testachtergrond bij inrichten van monitoring ● De belangrijkste dingen eerst doen (Risk Based) ● Voorspellen verwachte resultaat ● Resultaten en informatie vaak met bestaande testtooling te triggeren ● Testen van de monitoring, ook daar zitten risico’s en aannames!
23
Is monitoring een risico voor testers? ● Meer automatisering! o A fool with a tool…
● Testen als losse fase verdwijnt o Klopt, wordt onderdeel van elke fase, onderdeel van je Definition of Done. Continu en realtime.
Het vraagt wel om een aanpassing! 24
Conclusie ● Testrapportages verliezen hun toegevoegde waarde onder invloed van diverse ontwikkelingen ● Realtime monitoring van productkwaliteit, omgeving en proces is de toekomst. ● Afgestemd op degene die om informatie verlegen zit
● Ide Koops ● Twitter: @djidee ● KZA Stand 25
