Test Process Improvement Benchmark
SPIder Conferentie 23 september Wim van Uden
Agenda
• Korte inleiding TPI®-model • TPI® benchmark overall • Vergelijking branches • DO’s & DON’Ts
Test Process Improvement “Optimaliseren van de kwaliteit, kosten en doorlooptijd van het testproces, in relatie met de totale informatievoorziening” • Kwaliteit
Inzicht Dekkingsgraad Diepgang
• Kosten
Goedkoper Beheerst
• Doorlooptijd
Korter
Het TPI®-model
Aandachtsgebieden
Niveaus
Controlepunten
Test Volwassenheid Matrix
Verbetersuggesties
Internationale survey
• 66% -> betere kwaliteit van de software, (minder fouten in productie) • 81%: -> (veel) beter beheersbaar testproces • 88%: -> return on investment is (erg) goed Overall beeld: Bijdrage TPI-model aan veranderingsproces is (erg) goed (81%)
Test Volwassenheid Matrix S chaal A andachtsgebied Teststrategie Toepassing fasering M om ent van betrokkenheid Begroting en Planning Specificatie technieken Statische testtechnieken M etrics Testautom atisering Testom geving Testw erkplek C om m itm ent en m otivatie Testfuncties en opleidingen Toepassingsgraad v.d. m ethodiek O verleg R apportage Bevindingen beheer Testw are beheer Testproces beheer Toetsen W hite-box testsoorten
Aandachtsgebieden
0
1
2
3
A A
4
5
6
7
8
9
10 11 12 13
B
C
D
B
C B
D
B A A B
A
A
B A
B
A A A
C
B B
C C
Hogere volwassenheid A
B A
C B
C
A A
B B
A A A
B
C C D
C
B C Niveaus B
A
C
B
D C
A
D
A B
B C
Huidige situatie - voorbeeld A a n d a c h ts g e b ie d / s c h a a l 0
1
1
T e s t s t r a t e g ie
A
2
T o e p a s s in g f a s e r in g
A
3
M o m e n t v a n b e t r o k k e n h e id
4
B e g r o t in g e n p la n n in g
5
S p e c if ic a t ie t e c h n ie k e n
6
S t a t is c h e t e s t t e c h n ie k e n
7
M e t r ic s
8
T e s t a u t o m a t is e r in g
A
B
9
T e s t o m g e v in g
A
B
2
6
7
8
9
10 11 12 13
B
C
D
B
C
D
A A
B
B A
B A
B
C
D
C C
A A
B A
1 3 T o e p a s s in g m e t h o d ie k
C B
C
A
1 4 O v e r le g
A
1 5 R a p p o rta g e
A
1 6 B e v in d in g e n b e h e e r
A
1 7 T e s tw a re -b e h e e r
C C
B
C B
A A
B
B
D C
B
C
B
D C
1 9 T o e ts e n 2 0 W h it e - b o x t e s t s o o r t e n
5
A
1 2 T e s t f u n c t ie s e n o p le id in g e n
1 8 T e s tp ro c e s b e h e e r
4 B
1 0 T e s t w e r k p le k 1 1 C o m m it m e n t e n m o t iv a t ie
3
A A
B
B C
Gewenste situatie - voorbeeld A a n d a c h ts g e b ie d / s c h a a l 0
1
1
T e s t s t r a t e g ie
A
2
T o e p a s s in g f a s e r in g
A
3
M o m e n t v a n b e t r o k k e n h e id
4
B e g r o t in g e n p la n n in g
5
S p e c if ic a t ie t e c h n ie k e n
6
S t a t is c h e t e s t t e c h n ie k e n
7
M e t r ic s
8
T e s t a u t o m a t is e r in g
A
B
9
T e s t o m g e v in g
A
B
2
6
7
8
9
10 11 12 13
B
C
D
B
C
D
A A
B
B A
B A
B
C
D
C C
A A
B A
1 3 T o e p a s s in g m e t h o d ie k
C B
C
A
1 4 O v e r le g
A
1 5 R a p p o rta g e
A
1 6 B e v in d in g e n b e h e e r
A
1 7 T e s tw a re -b e h e e r
C C
B
C B
A A
B
B
D C
B
C
B
D C
1 9 T o e ts e n 2 0 W h it e - b o x t e s t s o o r t e n
5
A
1 2 T e s t f u n c t ie s e n o p le id in g e n
1 8 T e s tp ro c e s b e h e e r
4 B
1 0 T e s t w e r k p le k 1 1 T e s t a u t o m a t is e r in g
3
A A
B
B C
Test Volwassenheid Matrix S ch aal A an d ach tsg eb ied T eststrategie T oepassing fasering M om ent van betrokkenheid B egroting en P lanning S pecificatie technieken S tatische testtechnieken M etrics T estautom atisering T estom geving T estw erkplek C om m itm ent en m otivatie T estfuncties en opleidingen T oepassingsgraad v.d. m ethodiek O verleg R apportage B evindingen beheer T estw are beheer T estproces beheer T oetsen W hite-box testsoorten
0
2 3 4 Project
1
A A
5
6
7
9 10 11 12 13 Organisatie
B
C
D
B
C B
D
B A A B
A
A
B A
A A Beheerst A A B A A A
B B
A A
B
C
B B
C
Efficiënt B
C C C D
C C C
B
D C
A
D
Opti-C maliserend C
B
B B
A A
8
A B
B C
Agenda
• Korte inleiding TPI®-model • TPI® benchmark overall • Vergelijking branches • DO’s & DON’Ts
100 90 80 70 60
0 A B C
50 40 30 20 10 0
1 2 3 4 5
1
2
3
4
5
Teststrategie Toepassing fasering Moment van betrokkenheid Begroting en planning Specificatietechnieken
6
7
8
9
10
6 Statische testtechnieken 7 Metrieken 8 Testautomatisering 9 Testomgeving 10 Testwerkplek
Conclusies ‘op ‘t eerste oog’ De noodzaak van een weloverwogen teststrategie wordt nog onvoldoende onderkend (81% niveau 0: alleen tijd en budget zijn sturend). Toch wordt het belang van testen over het algemeen ingezien (bij 58% van de cases worden de testers in een vroeg stadium betrokken). Metrieken (95% 0-niveau) hebben nog nauwelijks de aandacht. Testautomatisering krijgt bovengemiddelde aandacht maar lijkt zijn ‘tijd wat vooruit’. De noodzaak van dedicated testomgevingen wordt onderkend. Testwerkplekken zijn over het algemeen beschikbaar (89% niveau A)
100 90 80 70 60
0 A B C
50 40 30 20 10 0
11 12 13 14 15
11 12 13 14 15 16 17 18 19 20 Commitment en motivatie Testfuncties en opleidingen Toepassing methodiek Overleg Rapportage
16 17 18 19 20
Bevindingenbeheer Testware beheer Testprocesbeheer Toetsen White-box testsoorten
Conclusies ‘op ‘t eerste oog’ De relatief hoge score bij commitment bevestigd de stelling dat het belang van testen over het algemeen wordt ingezien. Testen wordt nog onvoldoende als specialisme onderkend (slechts 25% van de cases onderkent specifieke testfuncties) Bevindingenbeheer wordt belangrijk geacht en goed ingericht (75% gestructureerde opzet). Rapportage over de (status van) bevindingen is ook in de meeste gevallen redelijk geregeld (54% A+) De betrokkenheid bij projectoverleg blijft wat verder achter (41% A+). Toetsen (82% 0-niveau) en white-box testen (95% 0-niveau) hebben nog nauwelijks de aandacht.
Effectief én efficiënt
Test Proces Improvement is gericht op: Voortdurende verbetering van de effectiviteit van het testproces (vinden we de fouten die we moeten vinden) Voortdurende verbetering van de efficiency van het testproces (doen we dat in zo kort mogelijke tijd en tegen zo laag mogelijke kosten)
Effectiviteit 70 60 50 0 A B C
40 30 20 10 0
3
03 11 14 15 16
11
14
15
16
Moment van betrokkenheid Commitment en motivatie Overleg Rapportage Bevindingenbeheer
Effectiviteit • Testen wordt serieus genomen. • Testers worden vroegtijdig betrokken. • We gaan professioneel om met bevindingen en de rapportage daarover. • Testen is vaak een vast agendapunt in het programma/projectoverleg. Kortom: met de effectiviteit van het testen zit ‘t wel goed. Kanttekening: meer aandacht voor metrieken (b.v. testbevinding versus fouten in productie) zou welkom zijn.
Efficiency 90 80 70 60
0 A B C
50 40 30 20 10 0
1
2
5
01 Teststrategie 02 Toepassing fasering 05 Specificatietechnieken
6
8
06 08 17 19
17
19
Statische testtechnieken Testautomatisering Testwarebeheer Toetsen
Efficiency Met de efficiency van testen hebben we nog een weg te gaan, maar de tijd (economie) is er rijp voor. Teststrategie: weloverwogen keuze tussen risico’s en kosten Testtechnieken: variatiemogelijkheden in dekking en diepgang Fasering, statisch testen en toetsen: In een zo vroeg mogelijk stadium problemen opsporen voorkomt hogere herstelkosten Testwarebeheer: Hergebruik bij nieuwe releases & regressietesten
Agenda
• Korte inleiding TPI®-model • TPI® benchmark overall • Vergelijking branches • DO’s & DON’Ts
Basis aandachtsgebieden S ch aal Aan d ach tsg eb ied T eststrategie T oepassing fasering M om ent van betrok k enheid B egroting en P lanning S pecificatie techniek en S tatische testtechniek en M etrics T estautom atisering T estom geving T estw erk plek C om m itm ent en m otivatie T estfuncties en opleidingen T oepassingsgraad v.d. m ethodiek O verleg R apportage B evindingen beheer T estw are beheer T estproces beheer T oetsen W hite-box testsoorten
0
1
2
3
A A
4
5
6
7
8
9
B
C
D
B
C B
D
B A A B
A
A
B A
B
A A A
C
B B
A
C C
B
C
A A
B
B B
A A
C C D
C B B
A
C C
B
D C
A
D
C
B A
A
10 11 12 13
A B
B C
Teststrategie
100 90 80 70 60 50 40 30 20 10 0
0 A B C
All
Fin
Ind
Ovh
Toepassing Fasering
80 70 60 50
0 A B C
40 30 20 10 0
All
Fin
Ind
Ovh
Specificatietechnieken
100 90 80 70 60 50 40 30 20 10 0
0 A B C
All
Fin
Ind
Ovh
Commitment & Motivatie
70 60 50 0 A B C
40 30 20 10 0
All
Fin
Ind
Ovh
Rapportage
60 50 40
0 A B C
30 20 10 0
All
Fin
Ind
Ovh
Bevindingenbeheer
70 60 50
0 A B C
40 30 20 10 0
All
Fin
Ind
Ovh
Testprocesbeheer
70 60 50
0 A B C
40 30 20 10 0
All
Fin
Ind
Ovh
Agenda
• Korte inleiding TPI®-model • TPI® benchmark overall • Vergelijking branches • DO’s & DON’Ts
Don’ts • Uitsluitend top-down of bottom-up • Volstaan met opleiden • Ongebalanceerde verbetering • Ongeschikte pilot • Alleen black-box tests structureren • (Te) hoge verwachtingen wekken
Survey: Grootste DON’T (26%): - onrealistische verwachtingen
Do’s • Noodzaak voor verandering • Duidelijkheid over te bereiken doelen • Management-commitment • Samenstelling veranderteam • Weerstand serieus nemen • Rekening houden met going concern
Survey: Grootste DO (26%): - management commitment
