TPI Next – Business Driven Test Process Improvement Een introductie
Algemene informatie voor medewerkers van SYSQA B.V.
Organisatie Titel Onderwerp
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
Pagina Versie Datum
2 van 13 1.1 15-12-2009
Inhoudsopgave 1
INLEIDING....................................................................................................................................... 3 1.1 1.2
ALGEMEEN ................................................................................................................................ 3 VERSIEBEHEER .......................................................................................................................... 3
2
TESTEN EN TPI NEXT ................................................................................................................... 4
3
HET BUSINESS DRIVEN TPI MODEL........................................................................................... 6 3.1 MODEL ...................................................................................................................................... 6 3.2 KEY AREAS (AANDACHTSGEBIEDEN)........................................................................................... 6 3.3 MATURITY LEVELS ..................................................................................................................... 8 3.3.1 Initial (Initieel)....................................................................................................................... 8 3.3.2 Controlled (Beheerst) .......................................................................................................... 8 3.3.3 Efficient (Efficiënt)................................................................................................................ 8 3.3.4 Optimizing (Optimaliserend) ................................................................................................ 9 3.4 CHECKPOINTS EN CLUSTERS ...................................................................................................... 9 3.5 BUSINESS DRIVEN TPI................................................................................................................ 9 3.5.1 Business driver .................................................................................................................... 9 3.5.2 Stappen ............................................................................................................................. 10
4
BDTPI VOLGT DE STAPPEN VAN EEN GENERIEK VERBETERPROCES ............................. 12
Almere © 1999
Test, beheerst en verbetert ICT
Organisatie Titel Onderwerp
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
Pagina Versie Datum
3 van 13 1.1 15-12-2009
1 Inleiding 1.1 Algemeen In de jaren 90 zijn er diverse testmethoden ontwikkeld aan de hand waarvan organisaties gestructureerd testen kunnen uitvoeren. Voor organisaties die al een testproces hebben zijn er zogenaamde testverbetermethoden ontwikkeld. Eén van de testverbetermethoden is Test Process Improvement wat in 1998 gepubliceerd is. In 2009 is TPI Next gepubliceerd, de opvolger van TPI. De kenmerken van het TPI Next zijn: • Het model zelf met aangescherpte aandachtsgebieden en gedefinieerde volwassenheidsniveaus; • Stapsgewijze verbetering en een mogelijkheid deze aan te passen aan de behoefte de organisatie; • Onafhankelijk, het model kan gebruikt worden met elke testmethode; • Verbetersuggesties, TPI Next geeft hints en tips over de manier van verbeteren; • Het model is business driven door gebruik van clusters en enablers. In deze intro wordt TPI Next kort beschreven
1.2 Versiebeheer Versie 0.1 1.0 1.1
Datum 30-11-2009 09-12-2009 15-12-2009
Opmerkingen Initieel Aanpassingen na review Bart Fessl Aanpassingen na review Jan Jaap Cannegieter
Almere © 1999
Auteur Pascal Smeets Pascal Smeets Jan Jaap Cannegieter
Test, beheerst en verbetert ICT
Organisatie Titel Onderwerp
2
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
Pagina Versie Datum
4 van 13 1.1 15-12-2009
Testen en TPI Next
In dit hoofdstuk wordt een aantal begrippen en kaders rond het testen toegelicht. Testen is een proces dat inzicht geeft in en advies over kwaliteit en gerelateerde risico’s. Het vinden van fouten is niet het doel van testen, maar een manier om inzicht in de kwaliteit van de software of het proces te krijgen. Het aantal gevonden fouten is geen pure indicatie van de diepgang van het testen. Bij weinig gevonden fouten is het mogelijk dat de meest belangrijke fouten niet zijn gevonden, of dat het testobject geen kritieke fouten meer bevat. Veel gevonden fouten betekent niet automatisch dat de meest kritieke fouten zijn gevonden. Testen is een van de instrumenten die bijdragen aan de algehele kwaliteitsverbetering van IT systemen. Er zijn drie categorieën kwaliteitsmaatregelen: 1. Preventieve maatregelen – met het doel om onvoldoende kwaliteit te voorkomen, bijvoorbeeld documentatiestandaarden, implementatie van methoden, technieken, etc.; 2. Detectieve maatregelen – met het doel om onvoldoende kwaliteit op te sporen, bijvoorbeeld reviews, walkthroughs en testen; 3. Correctieve maatregelen – met het doel om onvoldoende kwaliteit te verhelpen, bijvoorbeeld het corrigeren van fouten die gevonden zijn tijdens het testen. Productrisico is de kans dat een product faalt in relatie met de verwachte schade bij falen (risico = kans x schade). Met de requirements en de productrisico’s als basis probeert een testteam de kritieke fouten zo vroeg mogelijk te vinden op de meest efficiënte manier. Het boek beschrijft kort het V-model en definieert test level als volgt: “Een test level is een groep van testactiviteiten die samen georganiseerd en uitgevoerd worden.” De onderdelen aan de rechterkant van het V-model worden gezien als test levels. Veel organisaties zien de noodzaak van testprocesverbetering. Testprocesverbetering geeft de mogelijkheid tot het aanpassen van de test investering aan de business driver (zie paragraaf 3.5.1). De voordelen van een gestructureerd testproces zijn: • Een gestructureerd proces kan gebruikt worden in elke situatie; • Een gestructureerd testproces geeft inzicht in de kwaliteit van een systeem; • Als een gestructureerd testproces wordt gebruikt worden de belangrijke fouten vroeg in het proces gevonden. Testprocesverbetering is nauw verbonden met softwareprocesverbetering. Als er problemen zijn in een softwareontwikkelingsproces worden de effecten voornamelijk zichtbaar in de testfase. Er zijn drie mogelijke situaties: 1. de testvolwassenheid is groter dan de volwassenheid van de hele software ontwikkeling levenscyclus; 2. de testvolwassenheid is lager; 3. beide processen zijn op elkaar afgestemd. De beste aanpak is het verbeteren van de levenscyclus van softwareontwikkeling in zijn geheel en te beginnen met het zwakste onderdeel. TPI Next kan gebruikt worden om de volwassenheid van het testproces te meten en om zo te bepalen of het testproces als onderdeel van de levenscyclus van softwareontwikkeling op dit moment met worden verbeterd. In vergelijking met het originele TPI model heeft het TPI Next model: • Het aantal aandachtsgebieden is teruggebracht van 20 naar 16, nu key areas geheten.
Almere © 1999
Test, beheerst en verbetert ICT
Organisatie Titel Onderwerp
• • • • • • • • •
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
Pagina Versie Datum
5 van 13 1.1 15-12-2009
Meer nadruk op de volwassenheidsniveaus, de originele volwassenheidscategorieën uit het oude model zijn nu niveaus geworden. Er is een initieel niveau toegevoegd. De originele niveaus A, B, C en D per aandachtsgebied zijn verdwenen uit het model. De niveaus zijn wel hetzelfde, controlled, efficiënt en optimizing. Elk aandachtsgebied bevat alle drie niveaus, elk niveau is gedefinieerd voor ieder aandachtsgebied. Alle controlepunten worden getoond in de test volwassenheidsmatrix. Ze zijn niet meer verwerkt in de oorspronkelijke categorieën A,B,C en/of D. Afhankelijkheden en prioriteiten tussen aandachtsgebieden zijn vervangen door clusters. De aandachtsgebieden zijn gereviseerd en aangescherpt. Het model ondersteunt het definiëren van verbeterdoelen aan de hand van business drivers. Enablers laten zien hoe testprocessen en software verbeterprocessen (CMMI, SPICE) in de levenscyclus van softwareontwikkeling van elkaars best practices kunnen profiteren. Het model ondersteunt testen in een iteratief of agile ontwikkelproces.
Almere © 1999
Test, beheerst en verbetert ICT
Organisatie Titel Onderwerp
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
Pagina Versie Datum
6 van 13 1.1 15-12-2009
3 Het business driven TPI Next model 3.1 Model Een testproces kan worden onderverdeeld in een combinatie van samenhangende onderdelen. In het model worden dit key areas genoemd. De 16 key areas van het model worden hieronder kort besproken. Iedere key area heeft verschillende Maturity Levels, zie paragraaf 3.3 hieronder. Deze niveaus worden gedefinieerd met behulp van checkpoints. Een checkpoint is omschreven als een stelling die kan worden bevestigd met ‘ja’ of ‘nee’. Per niveau zijn er twee, drie of vier checkpoints. Een key area is op een bepaald Maturity Level wanneer alle gerelateerde checkpoints behaald zijn, dat wil zeggen wanneer alle stellingen met ‘ja’ zijn beantwoord. . Test maturity matrix Key areas (Aandachtsgebieden) Clusters
Maturity levels (Niveaus)
Checkpoints (Controlepunten)
Improvement suggestions (Verbetersuggesties)
Enablers
Figuur 3.1 Het Business Driven TPI model
Het model ondersteunt stapsgewijze groei in niveau van initial, controlled of efficiënt tot optimizing. Iedere stap wordt aangegeven door een cluster van checkpoints. Een cluster is een groep van checkpoints uit meerdere key areas die samen leiden tot een verbeterstap. Een cluster wordt geïdentificeerd door een letter van het alfabet waarbij cluster A altijd staat voor de eerste verbeterstap, cluster B altijd staat voor de tweede verbeterstap en cluster M altijd als laatste verbeterstap De overige elementen geven aanvullende informatie om de groei in Maturity Level te versnellen. Improvement suggestions kijken specifiek naar het testproces zelf. Enablers laten zien waar het testproces en andere processen uit de softwareontwikkeling levenscyclus voordeel kunnen behalen uit elkaars best practices.
3.2 Key areas (Aandachtsgebieden) Stakeholder commitment: Toegewijde en proactieve stakeholders zorgen voor goede voorwaarden voor efficiënte communicatie en samenwerking. De voornaamste stakeholder zorgt voor de nodige tijd, geld en middelen (kwantitatief en kwalitatief) om een goede test uit te voeren. Degree of involvement: Nauwe betrokkenheid van testers in het project draagt bij aan de kwaliteit van het product vanaf het begin en helpt bij het testen activiteiten te weren van het kritieke pad van het project. In een vroeg stadium ondersteunt het testteam de analyse van projectrisico's, de review van requirements en ontwerpen.
Almere © 1999
Test, beheerst en verbetert ICT
Organisatie Titel Onderwerp
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
Pagina Versie Datum
7 van 13 1.1 15-12-2009
Test strategy: De test strategie leidt het testproces naar een optimale toewijzing van de inspanningen en middelen. De teststrategie is gericht op de belangrijkste fouten zo vroeg en goedkoop mogelijk te vinden. De kwalificatie 'belangrijkste' wordt bepaald door de testdoelen zoals business processen, kritische succesfactoren of vermeende risico's van producten. Test organization: Een testorganisatie voorziet in de behoeften van projecten voor test resources, testproducten en testdiensten. Testen is mensenwerk. Elke medewerker heeft eigen vaardigheden, taken, verantwoordelijkheden, autoriteit, competenties en belangen. Dit moet helder zijn voor alle betrokkenen. De test organisatie houdt rekening met al deze aspecten en relaties met het oog op een goede werking van communicatie en processen. Communication: Eenduidige communicatie zorgt voor gemeenschappelijk begrip en onderlinge afstemming van de verwachtingen tussen de betrokken partijen. Communicatie vindt plaats in verschillende richtingen, van, naar en binnen het testteam. Goede communicatie stimuleert interactiviteit en feedback. Reporting: Rapportage is gericht op het bieden van advies en onderbouwd inzicht in de kwaliteit van zowel het product als het testproces. Test process management: Voor het beheer van het testproces zijn de stappen van de Deming cirkel belangrijk: plan – do – check – act. Goed testprocesbeheer zorgt voor een effectief en efficiënt testproces. Estimating and planning: De testplanning en begroting geven aan welke activiteiten moeten worden uitgevoerd en wanneer ze nodig zijn. Goed gebruik van de ramings- en planningstechnieken maakt het testproces voorspelbaar en betrouwbaar. Metrics: Metrics zijn gekwantificeerde en objectieve waarnemingen van de kenmerken van een product of proces. Ze worden gebruikt om het testproces te controleren, de test adviezen te staven en systemen en / of processen te vergelijken. Voor de verbetering van het testproces zijn statistieken van belang om gevolgen van bepaalde verbetermaatregelen te evalueren door het vergelijken van de gegevens vóór en na het uitvoeren van de maatregel. Defect management: Defect management behandelt gebreken op individueel niveau en op groepsniveau waarbij onderliggende oorzaken worden geanalyseerd. Hoewel het administreren en beheren van gebreken in feite een zaak is van het gehele software ontwikkelproces en niet specifiek voor de test team, zijn testers de meest betrokken personen. Een goede administratie is in staat om de levenscyclus van een defect te monitoren en biedt verschillende (statistische) overzichten en rapporten. Testware management: Testware management zorgt voor samenhang tussen testproducten, en tussen testproducten en hun verwante ontwerp documenten. De input producten (zoals ontwerp, testobject) en de output producten (zoals testcases, scripts, test plannen, rapporten) van testen moeten onderhoudbaar en herbruikbaar zijn en moeten worden beheerd. Methodology practice: Voor elke test activiteit of testproces wordt een bepaalde werkwijze gebruikt, bestaande uit acties, procedures, voorschriften, technieken, enz. Deze testmethode moet voldoende generiek zijn om van toepassing te zijn in elke situatie, maar moet genoeg detail bevatten om de dagelijkse testwerkzaamheden te ondersteunen en te sturen.
Almere © 1999
Test, beheerst en verbetert ICT
Organisatie Titel Onderwerp
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
Pagina Versie Datum
8 van 13 1.1 15-12-2009
Tester professionalism: Tester professionaliteit omvat de juiste mix van de verschillende skiIIs, competenties, disciplines, functies en kennis die nodig zijn om testactiviteiten uit te voeren op het verwachte niveau. Testen vereist een grote reeks vaardigheden: bekendheid en begrip van de business en de organisatie, kennis van het testobject, algemene IT kennis en technische vaardigheden. Bovendien hebben testers specifieke test vaardigheden nodig, van expertise op het gebied van methoden tot het vermogen om effectief met belanghebbenden te communiceren (sociale competentie). Test case design: Testgevallen worden via een gestandaardiseerde manier gemaakt op basis van de broninformatie (testbasis) volgens de gebruikte teststrategie. Deze aanpak geeft inzicht in de reikwijdte en diepgang van de tests en maakt het (her)ontwerp en de (her)uitvoering van testcases gemakkelijker. Test tools: Testtools zijn geautomatiseerde hulpmiddelen voor het testproces. Testtools ondersteunen of versnellen specifieke testactiviteiten, wat resulteert in kortere doorlooptijd, meer test diepgang, een betere motivatie van testers enz. Test environment: De testomgeving is expliciet ontworpen, geïmplementeerd en wordt onderhouden naar de doelstellingen van het beoogde testniveau. De testomgeving heeft een grote invloed op de kwaliteit, doorlooptijd en kosten van het testproces. Belangrijke aspecten van de testomgeving zijn de verantwoordelijkheden, het beheer, op tijd en voldoende beschikbaarheid, representativiteit en flexibiliteit.
3.3 Maturity Levels TPI Next heeft vier Maturity Levels die de testvolwassenheid beschrijven: • Initial; • Controlled; • Efficiënt; • Optimizing.
3.3.1 Initial (Initieel) Ad-hoc activiteiten. Een testproces op dit niveau bestaat uit een verzameling van niet of summier gedocumenteerde testactiviteiten. Deze worden uitgevoerd op een ad-hoc manier en zijn vooral gefocust op “(hoe) werkt het?” in plaats van “werkt het zoals gevraagd en gespecificeerd?” Een testproces op het initiële niveau geeft onvoldoende inzicht in de kwaliteit van het testobject en het testproces zelf. De testactiviteiten bevinden zich op het kritieke pad van het project.
3.3.2 Controlled (Beheerst) De goede dingen doen. Een testproces op dit niveau heeft manieren en de middelen om het proces te controleren en te sturen, het geeft voldoende inzicht in de kwaliteit van het testobject. Het testproces geeft eerder en beter inzicht in de kwaliteit zodat er eerder corrigerende maatregelen genomen kunnen worden en er een kleinere kans is op vertraging door onvoldoende productkwaliteit. De checkpoints van het TPI Next model voor het Controlled niveau reflecteren het feit dat activiteiten worden aangewezen als belangrijk, maar niet op welke manier activiteiten worden uitgevoerd.
3.3.3 Efficient (Efficiënt) Dingen op de goede manier doen. De volgende stap na de goede dingen doen is het verbeteren van de manier waarop activiteiten worden uitgevoerd. De verschillende elementen en aspecten van het testproces worden gecontroleerd en gestuurd zodat de
Almere © 1999
Test, beheerst en verbetert ICT
Organisatie Titel Onderwerp
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
Pagina Versie Datum
9 van 13 1.1 15-12-2009
kosten en voordelen zijn geoptimaliseerd. De belangrijkste fouten worden tegen de laagste kosten en in een minimum van tijd gevonden. De focus wordt verbreed naar meer interactie met softwareontwikkeling. In het algemeen zijn er extra eisen aan de manier waarop key areas worden uitgevoerd. Onafhankelijk van de situatie moet er een planning zijn met een baseline van de uit te voeren activiteiten en de op te leveren mijlpalen.
3.3.4 Optimizing (Optimaliserend) Continu aanpassen aan veranderende omstandigheden. Als de goede dingen op de goede manier worden gedaan verschuift de focus naar de zorg dat dit ook in de toekomst zo blijft. Op het Optimizing niveau wordt het proces van continue verbetering (Deming cirkel) steeds weer doorlopen. checkpoints op dit niveau onderkennen de noodzakelijke meetpunten die nodig zijn om de kwaliteit op niveau te houden.
3.4 Checkpoints en clusters Figuur 3.2 laat alle checkpoints zien van het TPI Next model per key area. Een checkpoint wordt vertegenwoordigd door een stelling die met ‘ja’ of ‘nee’ kan worden beantwoord. Initial 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Stakeholder commitment Degree of involvement Test strategy Test organization Communication Reporting Test process management Estimating and planning Metrics Defect management Testware management Methodology practice Tester professionalism Test case design Test tools Test environment
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
Controlled (Beheerst) 2 3 2 3 2 3 2 3 2 3 2 2 3 2 3 2 2 3 2 3 2 2 3 2 2 2 3
4 4 4 4 4
1 1 1 1 1 1 1
3 4 4 3 4 4 3 4 3 3 4
1 1 1 1 1 1 1 1 1
Efficient (Efficiënt) 2 2 2 2 3 2 2 2 2 3 2 3 2 3 2 2 3 2 3 2 3 2 3 2 3
3 3 3
Optimizing (Optimaliserend) 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1
4 3 3 3 4 4 4 3 4 4 4 4 4
3
3
3 3 3 3 3 3 3
Figuur 3.2 Test volwassenheids matrix met checkpoints per key area en Maturity Level
De checkpoints zijn ingedeeld in clusters. Figuur 3.3 laat de standaard clusterindeling zien, deze is gebaseerd op de aanname dat het complete testproces moet groeien via Controlled en Efficient naar het Optimizing niveau. Cluster A staat voor de eerste verbeterstap, cluster B voor de daaropvolgende enz. Initial 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Stakeholder commitment Degree of involvement Test strategy Test organization Communication Reporting Test process management Estimating and planning Metrics Defect management Testware management Methodology practice Tester professionalism Test case design Test tools Test environment
A A A A B A A B C A B C D A E C
Controlled (Beheerst) B B B C A B D D C C C A B B C C A B B D D D E A E D D
C E E E D
F H F I F F G
C B C D D E E E E E E
G G F I F G F F G
Efficient (Efficiënt) H H F I J F G H H I H H F H I H J G I I I G G H J
H J H
Optimizing (Optimaliserend) M M L L K L K L L M M K K K M K L L K K K L L L L L M M K K M K K M L M M L M M K
J J G J I I J J J I J I J
Figuur 3.3 De standaard Clusters
3.5 Business driven TPI 3.5.1 Business driver Het TPI Next model definieert business drivers daar waar het zich richt op de business, zoals de ondertitel zegt: Buisiness Driven TPI. Dit zijn management richtlijnen, meestal direct gerelateerd aan de visie of strategie van een bedrijf, met gewenste specifieke resultaten. Het
Almere © 1999
Test, beheerst en verbetert ICT
Organisatie Titel Onderwerp
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
Pagina Versie Datum
10 van 13 1.1 15-12-2009
zijn redenen, motivaties of uitdagingen voor testprocesverbetering, algemeen aangegeven als een (combinatie van) resultaat, risico, tijd en kosten. In de standaardindeling van clusters is geen specifieke business driver toonaangevend. Voorbeelden van business drivers zijn: • Time to market; • Kostenreductie; • Verhoogde effectiviteit; • Verbetering van de transparantie; • Continuïteit van de bedrijfsvoering. Testprocesverbetering heeft altijd een bepaald doel, dit kan een algemeen doel zijn of een specifiek bedrijfsdoel. Wanneer het model ‘business driven’ gebruikt wordt zijn er verschillende key areas die meer bijdragen aan het bereiken van dit bedrijfsdoel. Het is noodzaak om sneller te voldoen aan de checkpoints van de meest belangrijke key areas. Dit is de kern van de ‘business driven’ aanpak. Dit wordt vertaald in het herverdelen van checkpoints over de clusters. Checkpoints van belangrijke key areas schuiven één cluster naar voren (van cluster B naar cluster A, enz.), checkpoints van neutrale key areas blijven in het originele cluster en checkpoints van minder belangrijke key areas schuiven één cluster naar achteren (van cluster D naar cluster E, enz.). Checkpoints kunnen geen hogere prioriteit krijgen dan cluster A en geen lagere prioriteit dan de laagste prioriteit van dat cluster. Het is ook mogelijk om op basis van de business driver geheel nieuwe clusters te bepalen. De plaats van de checkpoints zelf in het model verandert niet, alleen de verdeling over de clusters wordt aangepast.
3.5.2 Stappen De stappen van business driven TPI zijn: 1. Identificeer de business driver; 2. Vertaal de bedrijfsdoelen in IT doelen; 3. Identificeer de belangrijkere en de minder belangrijke key area’s om de IT doelen te bereiken; 4. Pas de verdeling van checkpoints over de clusters aan. Figuur 3.4 laat de nieuwe verdeling van clusters zien wanneer er als business driver gekozen is voor het verbeteren van de kostenefficiëntie van IT. Een aantal key areas heeft een hogere (h) prioriteit gekregen, een aantal is neutraal gebleven (n) en een aantal heeft een lagere (l) prioriteit gekregen. Door afhankelijkheden tussen checkpoints is het mogelijk dat checkpoints wel / niet verschuiven. TPI Next definieert de afhankelijkheden tussen checkpoints in de standaard clusterindeling. Maar alleen die afhankelijkheden die geschonden worden door het verschuiven van checkpoints. Om dit weer te geven kan de korte checkpoint notatie worden gebruikt: • 4.C.3 refereert aan key area 4, Test organization; het Controlled niveau en checkpoint 3; • 3.E.1 refereert aan het eerste checkpoint van het Efficient niveau van de key area Test strategy. Voor het onderstaande voorbeeld gelden de volgende afhankelijkheden: 1.C.1 hangt af van 2.C.1; 1.C.1 hangt af van 3.C.1; 1.C.1 hangt af van 7.C.2; 1.E.1 hangt af van 3.E.1.
Almere © 1999
Test, beheerst en verbetert ICT
Organisatie Titel Onderwerp
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
Stakeholder commitment Degree of involvement Test strategy Test organization Communication Reporting Test process management Estimating and planning Metrics Defect management Testware management Methodology practice Tester professionalism Test case design Test tools Test environment
h n l x x x x x x x x x x x x x x x x
A A A A B B A B D A B C D A D D
Controlled (Beheerst) C C A B A A C C C C D A B B C D A A B D D D E A D E E
D D D D D
F G E H F G G
D B C E C E E E E D F
G H E I F G F E H
Efficient (Efficiënt) I G E H I F H H H I I I E G I H J G I I I D D I L
Pagina Versie Datum
I I G
11 van 13 1.1 15-12-2009
Optimizing (Optimaliserend) M M K K J K J K K M M L L K M K L L L L J K K L L L M M K K M K K M K L L M M M L
I J H J I J I J J I J H L
Figuur 3.4 Clusterverdeling bij business driver 'verbeteren van de kostenefficiëntie van IT'
Het TPI Next boek geeft voor een aantal business drivers een uitwerking van de nieuwe clusterverdeling, te weten: • BDTPI om zeker te stellen dat IT services betrouwbaar en veilig zijn; • BDTPI om effectieve geautomatiseerde oplossingen te ondersteunen; • BDTPI om de time to market te verkorten; • BDTPI om de kostenefficiëntie van de van IT te verbeteren; • BDTPI om de transparantie van en het begrip voor IT te verbeteren.
Almere © 1999
Test, beheerst en verbetert ICT
Organisatie Titel Onderwerp
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
4 BDTPI
volgt verbeterproces
de
stappen
van
Pagina Versie Datum
een
12 van 13 1.1 15-12-2009
generiek
Het verbeteren van het testproces is niet wezenlijk anders dan elk ander verbeterproces. De activiteiten van een verbeterproces worden getoond in onderstaand figuur. Verkrijgen bewustwording
Bepalen doel, scope en aanpak Bepaal huidige situatie Definieer verbeteracties Uitvoeren evaluatie
Opstellen plan Implementeren verbeteracties
Figuur 4.1 Verbeterproces
De bewustwordingsfase is feitelijk geen aparte stap in het veranderingsproces. Het is meer een essentiële preconditie. De reden om het testproces te verbeteren ligt meestal in het ondervinden van een aantal problemen rondom het testen, die men opgelost wil zien. Betrokkenen moeten bewust worden van: 1. De noodzaak om het testproces te verbeteren, het doel en de (mogelijke) voordelen. 2. Bevestigen dat het BDTPI model de manier is om in dit verbetertraject te werken. 3. Onderkennen dat een verbeter project vereist is en leidt tot een verandering van de manier waarop mensen werken. Doel, scope en aanpak. Een doel kan gesteld worden in termen van tijd, geld en/of kwaliteit, voor kortere of langere termijn. Door gebruik te maken van het BDTPI model is het belangrijk te onthouden dat specifieke doelen de focus kunnen leggen op bepaalde key areas van het model door het gebruik van business drivers. Doelen moeten opgesteld worden op een meetbare manier. De keuze van zogenaamde Indicators hangt af van de business driver. Bijvoorbeeld bij de business driver: tijd, kunnen onder andere indicatoren: ‘wachttijd van testers als percentage van de totale testtijd’ of ‘aantal testuren per fase’ gebruikt worden. De scope varieert van één specifieke test binnen een project tot alle testsoorten in de organisatie. Op basis van het doel en de scope wordt een aanpak opgesteld, waarin wordt vastgelegd hoe het veranderingsproces wordt georganiseerd, wie verantwoordelijk is, hoe de voortgangsbewaking gaat plaatsvinden, e.d. Het assessment is een onderzoek om de sterke en minder sterke kanten van de huidige situatie te bepalen. Een assessment bestaat uit de volgende stappen: 1. Informatieverzameling door interviews en het bestuderen van documentatie; 2. Analyse van de informatie met het BDTPI model als referentiekader; 3. Beschrijven van de sterke en minder sterke kanten, kansen en bedreigingen en het formuleren van conclusies. Een manier om de huidige situatie weer te geven is het invullen van de test volwassenheids matrix.
Almere © 1999
Test, beheerst en verbetert ICT
Organisatie Titel Onderwerp
SYSQA B.V. TPI NEXT – Business Driven Test Process Improvement Een introductie
Pagina Versie Datum
13 van 13 1.1 15-12-2009
De stappen om van het assessment naar verbeteracties te komen zijn: 1. Laat de belangrijkste stakeholder, sponsor en/of andere stakeholders de beoogde doelsituatie bepalen. Het bepalen van deze doelsituatie beperkt de scope van de volgende stappen; 2. Bepaal de manier van verbeteren. Dit kan zijn: de standaard clusterindeling, aanpassen van de standaardindeling op basis van een uitgewerkte business driver of het maken van een nieuwe clusterindeling op basis van een business driver; 3. Controleer elk cluster (beginnend bij cluster A) op checkpoints die met ‘nee’ worden beantwoord; 4. Stel passende maatregelen vast voor ieder niet behaald checkpoints in clusters die als eerste verbeterd moeten worden; 5. Controleer of er genoeg commitment aanwezig is voor acceptatie van de te nemen maatregelen; 6. Schat de moeite in die implementatie van de maatregelen gaat kosten; 7. Prioriteer de te nemen maatregelen. Denk onder andere aan de clusterindeling, quick-wins, korte en lange termijn. Een plan van aanpak wordt opgesteld om op korte termijn (een deel van) de verbeteracties te implementeren. In dit plan zijn de doelen vastgelegd en is aangegeven welke verbeteringen wanneer dienen worden te geïmplementeerd om deze doelen te realiseren. Het plan gaat in op zowel de inhoudelijke activiteiten om het testproces te verbeteren als op de activiteiten die nodig zijn om het veranderingsproces in goede banen te leiden (kick-off meeting, overleg, presentatie, publicatie, etc.). Na het implementeren van de verbeteracties worden de acties geëvalueerd. In deze fase wordt bekeken in welke mate de acties succesvol zijn geïmplementeerd en in hoeverre de oorspronkelijke doelen zijn gehaald. Dit kan leiden tot het starten van de volgende verbetercyclus, het bijstellen van de verbeteracties, het uitvoeren van een nieuw assessment of eventueel het stoppen met verdere verbetering van het testproces.
Almere © 1999
Test, beheerst en verbetert ICT