TestNet Thema-avond
Planning en begroting van testtrajecten Jurian van de Laar 25 januari 2007 1
Agenda O Goede voornemens! O Nut van plannen en begroten? O Toepassingen in de praktijk O Testverbetering O Tips en aandachtspunten
2
Ter introductie O
Jurian van de Laar – – –
O
Quality Consultant (TMM, CMMI …) Docent (ISTQB / ISEB …) BNTQB, Working Party Syllabi
Improve Quality Services – Dienstverlener Testen & Kwaliteitsmgt. – Advisering, Detachering en Opleidingen – Opgericht januari 1998, 30 medewerkers 3
Goede voornemens …
4
Goede voornemens … O Het volgende project is wèl op tijd … O We gaan leren van het verleden … O Dit jaar starten we met procesverbetering! O Elke mijlpaal komt een update van het plan O Volgende keer meer aandacht voor kwaliteit
5
Goede voornemens …
6
Wat is het nut … O Inkt is nog nat … en alles is weer anders O Ontwikkeling levert toch niet op tijd … O Requirements onvolledig … te laat … O Ik krijg toch niet voldoende mensen en tijd O Onmogelijk om nauwkeurig te schatten O Welk project is ooit op tijd ?? 7
Wat is het nut …
8
Wat is het nut … O Voorspelbaarheid (tijd, geld, kwaliteit)
– Marketing, product introductie – Afspraken toeleveranciers – Budget aanvraag, resources O Discussie!
– Beter nu dan later – Stakeholders, team, klanten, toeleveranciers O Input monitoring & control testtraject 9
Klassieke fouten … O Onrealistische verwachtingen O “Wishful thinking” O Over-optimistisch O Geen risico management (project / product) O Planning ontbreekt O Geen onderhoud planning onder tijdsdruk
Bron: Steve McConnell, Rapid Development, Microsoft press
10
Hoe dan wel ? 1. Teststrategie – – –
V-model / Ontwikkelmodel / Methode Product risico analyse, risico matrix Gedifferentieerde testaanpak
2. Test planning – – –
Testplan hierarchie Documentatie / template (IEEE829) Afstemming andere partijen die testen 11
Hoe dan wel ? 3. Test begroting (onderdeel van planning) – – – O
Team effort ;-) Technieken (Wide Band Delphi, TPA …) Consensus
Vervolgens: – –
Monitor & control Metrieken, historische data 12
Praktijkvoorbeeld
O
Philips Medical Systems, Cardio / Vascular
O
2e Grootste Healthcare leverancier
O
Professionele testorganisatie (45 pers.)
O
Testverbetering TMM
O
CMMI 13
PRISMA®
1) Test strategie O Testen = risico management O Goede afweging tijd, budget, kwaliteit
Technische stakeholders
Kans (technisch risico)
O Test grootste risico’s eerst 100
I
8 3
7
4
2
50 9
5
6
II
IV 0 0
Business stakeholders
1
III
50
100
Impact (business risico)
14
2) Test planning O Master Test & Release plan O Uitwerking strategie in testaanpak O Decompositie van testen O Afspraken (entry / exit criteria) O Test Level plannen
15
3) Test Begroting O Work Breakdown Structure (WBS) O Wide Band Delphi O 10% nauwkeurigheid O Urenregistratie O Post Mortem Analyse
16
Begroting en urenregistratie Effort verdeling System Test RB2 project (System Team)
Support CM/QA (5%)
Project Mgt (13%)
Reviews (3%)
Application Release Test (5%)
Functionele Acceptatie Test ( 13%)
Test Uitvoering (4%)
Systeem Acceptatie Test (24%) Test Design (20%) Systeem Vrijgave Test (1%)
Bron: W. van Rooij Philips Medical Systems B.V.
Verificatieplan (7%)
17
Begroting en urenregistratie 100%
Not catagorized Not productive Support (CM/QA) Project Mgnt PR solving CR implement. Not planned Reviews Test Execution Test Design Verification Plan SRT SAT FAT ART SSAT General Testing MT/UT (VS/VR) Coding Design Requirements
90%
Effort verdeling
80% 70% 60% 50% 40% 30% 20% 10% 0%
RA-2
RA-3
RB1-2
RB1 - 3
RB1
RB2
Projecten 18
Bron: W. van Rooij, Philips Medical Systems B.V.
Testverbetering O Capability Maturity Model Integration » “Estimate the scope of the project” (PP, SP1.1-1): Task descriptions, Work package descriptions, WBS » “Establish estimates of work product and task attributes” (PP, SP1.2-1): number of functions, requirements, pages, technical risk items » “Determine estimates of effort and cost” (PP, SP1.41): estimation rationale, project effort/costs estimates Bron: Chrissis/Konrad/Shrum, CMMI Guidelines etc, Addison Wesley
19
Testverbetering O Testing Maturity Model (TMM) » “Well-founded estimates are established for use in planning and monitoring testing” (L2-G3) » “Risk analysis and test approach determination are carried out according to a documented procedure” (L2-A2) » “Test estimation data is recorded; it includes the associated information needed to reconstruct the estimates” (L2-A5.3) Bron: TMM Guideline V1.1, Level 2: Phase Definition
20
TMM Werkinstructie
Size
Effort
21
TMM Werkinstructie O In de tijd …
– WBS Decompositie diepte gedetailleerder – Onzekerheden nemen af O … wordt bandbreedte gereduceerd
22
TMM Werkinstructie O Technieken
– Matrix Sizing methode » Risico (L/M/H) en Omvang (S/M/L) » Historische data nodig Ris k: Size: Sm all Medium Large
Low R is k Average effort Count 3 20 9 40 1 80
Medium R is k Average C ount effort 7 50 17 120 6 240
H igh R is k Average C ount effort 4 100 8 300 2 600 Grand total
Total 810 4800 2720 8330
– Wide Band Delphi techniek » Consensus techniek
– Analogie methode » Factor software effort Æ test effort
23
TMM Werkinstructie O Technieken
– … en elementen Test Punt Analyse (TPA): » Beschikbaarheid test tools, test automatisering » Hoeveelheid geplande/uitgevoerde ontwikkeltesten » Beschikbaarheid en kwaliteit testbasis » Ontwikkelomgeving en tools (bijv. platform, talen) » Testomgeving (nieuw / hergebruikt) 24
Praktijkvoorbeeld: voortgang
O O
Gespendeerde uren (effort) Schatting nog benodigde tijd (ETC) Waarde (EV)
TE CM Tool Earned Value Chart
220
Baseline Planning
200
Current Planning
180
Actual Spent Earned Value
160
Proposed Planning
Value (hours)
O
140 120 100 80 60 40 20 0 wk 36
wk 37
wk 38
wk 39 wk 40 wk 41 Weeknumbers
wk 42
wk 43
wk25 44
Tips en aanbevelingen O Gebruik (eenvoudige) technieken O Bespreek testbasis, leg aannames vast O Bewaak, bewaar en (her-) gebruik data O Testen toch vaak op kritieke pad, dus…
– risico’s veranderen (strategie dus ook!) – rapporteer in termen van risico’s O Tot slot: 26
Vragen?
27
TMMI O http://www.tmmifoundation.org
O Management van TMM
O Proces voor accreditatie en certificering
28
