titel
Monitoring en control op uitbestede testwerkzaamheden
Kees Blokland Juni 2004
[email protected]
www.polteq.com
Regievoering uitbestede testwerkzaamheden
Uitbestede testen door de leverancier Acceptatie
GMTP
Monitoring en control door de uitbestedende organisatie scorecard, metrics, healthcheck
The outsourcing docking station™ www.polteq.com
© Polteq IT Services
1
titel
Drie-eenheid monitoring en control
Test proces bij leverancier Rappor -tage
Test producten
Scorecard
Metrics
Gesprekken
Health check
www.polteq.com
de figuranten
de Leverancier (testcoördinator)
de Testregisseur
de Klant (opdrachtgever)
Testregisseur als bruggenbouwer
© Polteq IT Services
2
titel
Testregisseur • • • • • •
Voert controles uit Houdt een scorecard bij Houdt metrics bij Voert healthchecks uit Adviseert de projectleider Escaleert zonodig bij grote risico’s
www.polteq.com
Kader voor monitoring en control • Regievoering wordt afgesproken met de leverancier • En vastgelegd in een Generiek Master Test Plan • Dit zet het kader - voor de scorecard - voor de metrics - voor de health check
• Schaalbaarheid: nuancering naar projectgrootte
www.polteq.com
© Polteq IT Services
3
titel
Drie-eenheid monitoring en control
Test proces bij leverancier Rappor -tage
Test producten
Scorecard
Metrics
Gesprekken
Health check
www.polteq.com
Scorecard • Controle op de aanwezigheid van testproducten • Inhoudelijke controle op de testproducten - testplan - testgevallen - testrapport - weekrapporten
• Gebruik makend van checklists uit TMap® • De status uit de scorecard wordt met de projectleider •
besproken Geconstateerde grote risico’s zonodig escaleren
www.polteq.com
© Polteq IT Services
4
titel
De testcoördinator
De testcoördinator
De testregisseur
De testregisseur
De testcoördinator
De testregisseur
De testregisseur
De testregisseur
Scorecard
Drie-eenheid monitoring en control
Test proces bij leverancier Rappor -tage
Test producten
Scorecard
Metrics
Gesprekken
Health check
www.polteq.com
© Polteq IT Services
5
titel
Metrics Deel 1: gedurende het project • Kwantitatieve gegevens over testvoortgang en testobject - Testgevallen - Bevindingen - Uren • Wekelijks gerapporteerd door de leverancier • De testregisseur verwerkt gegevens naar metrics • Analyse van de trends door de testregisseur • De metrics worden wekelijks met de projectleider besproken • Geconstateerde grote risico’s zonodig escaleren www.polteq.com
De testcoördinator
Tijdsdruk
De testregisseur kijkt naar de ernstcategorieën
De testregisseur kijkt naar de planning
De testregisseur denkt mee
De testregisseur kijkt naar de trends
Aan het eind is iedereen blij!
Metrics - 1
© Polteq IT Services
6
titel
Metrics Deel 2: balans opmaken aan het eind van het project • Op basis van uren Ook bij beoordelen - verhouding (bouw+ontwerp)/test offerte leverancier - onderlinge verhouding testfases (planning, uitvoering, etc) - aantal testgevallen per uur uitvoering - aantal bevindingen per uur uitvoering • Trend in testproces effectiviteit en efficiency • Trend in relatieve testkosten • Rapportage aan het managementteam
www.polteq.com
De testcoördinator levert het testrapport
De relatieve testkosten worden bekeken
De testregisseur verzamelt alle informatie
Zijn de kwaliteitsdoelstellingen gehaald?
Metrics worden bepaald
Rapportage naar senior management
Metrics - 2
© Polteq IT Services
7
titel
Drie-eenheid monitoring en control
Test proces bij leverancier Rappor -tage
Test producten
Scorecard
Metrics
Gesprekken
Health check
www.polteq.com
Health check • Snapshot testproces/testproject • Uitgevoerd door • • • • •
- de testregisseur of - een externe partij Project bevindingen bespreken met de projectleider Proces bevindingen bespreken met de leverancier Trends rapporteren aan management team Geconstateerde grote risico’s zonodig escaleren Bijvoorbeeld op basis van de structuur van testverbetermodellen (zoals TPI® of TMMSM)
www.polteq.com
© Polteq IT Services
8
titel
De testcoördinator en de testregisseur
Niet goed?
De testregisseur beoordeelt
Maar: niet zo
Geef dat aan!
Is het goed? Zeg dat ook!
Maar, ook hier kan je overdrijven…
Healthcheck
Samenvatting • De 3-eenheid van test control bestaat uit: - Scorecard, kwalitatieve gegevens over het testen - Metrics, kwantitatieve gegevens over het testen - Healthcheck, een snapshot van het testen
• De testregisseur - Voert de controles uit - Adviseert de projectleider - Escaleert zonodig bij grote risico’s
www.polteq.com
© Polteq IT Services
9
titel
Met dank aan: de Klant de testcoördinator de testregisseur
Test control op uitbestede testwerkzaamheden
Vragen?
Bedankt… en tot ziens!
[email protected]
www.polteq.com
© Polteq IT Services
10
titel
Reserve: voorbeelden metrics, scorecard en healthcheck
www.polteq.com
www.polteq.com
© Polteq IT Services
11
titel
Voorbeeld metrics deel 1: testproject Openstaande bevindingen open urgent
open normaal
open cosmetisch
leverdatum
45 40 35 30
Testvoortgang succesvol
niet succesvol
gepland
25
leverdatum
20 bevindingen
800 700 600 500
15 10 5 0 week wk2
400
wk3
wk4
testgevallen
300
wk5
wk6
wk7
wk8
wk9
Bevindingen
200
openstaand
100 0 wk3
wk4
wk5
wk6
wk7
wk8
wk9
opgelost
vervallen
leverdatum
180 160 140 120 100 80 60 40 20 0
bevindingen
week wk2
release
week wk2
wk3
wk4
wk5
wk6
wk7
wk8
wk9
www.polteq.com
Voorbeeld metrics deel 2: testproces
www.polteq.com
© Polteq IT Services
12
titel
Voorbeeld healthcheck aandachtsgebieden
www.polteq.com
© Polteq IT Services
13
