Risk & Requirements Based Testing Tycho Schmidt PreSales Consultant, HP
© 2006 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice
Agenda Introductie Achtergrond Risk Based Testing Risk Based Testing in Quality Center
2
16 May 2008
De ideale wereld
Fully tested
3
16 May 2008
100%
Full coverage
Test Ontwerp en Uitvoering
1. A Ontwerp condition or capability by a user to solve a problem Test Test needed Uitvoering Prioriteiten or achieve an objective
Uitvoeren van alle tests Kritisch Ontwerpen gebaseerd 2. A condition or capability that must be met orComplex possessed by a voor alle modellen op het voorspellen system or system component to satisfy a contract, standard, Foutgevoelig van zwakheden in de specification, or other formally imposed document software
4
16 May 2008
Realiteit Upgrade/migratie implementatie
Emergency patch
??? 100% ???
Test fase
Onvoldoende kwaliteit
5
16 May 2008
Test omgevingen
Scope change
Dialoog zonder Betekenis Testers
We hebben 65% van de testen uitgevoerd
6
16 May 2008
Business
En dat betekent?
Application Failures Put Business Outcomes at Risk
•TSE
managing director Tomio Amano blamed the glitch on a software upgrade for processing data from securities companies which was introduced in October
7
16 May 2008
Wat is Nodig?
Prioriteren
8
16 May 2008
Framework waarin beslissingen genomen kunnen worden
Business
Risk Based Testing Risico analyse op de requirements
Legt relaties tussen requirements, risico’s en tests
Test coverage op basis van risico’s
9
16 May 2008
QA Voordelen In een vroeg stadium prioriteiten stellen Prioriteiten uitgedrukt in business georienteerde risico’s Tests in volgorde van risico (van hoog naar laag) De kosten om een risico te testen worden inzichtelijk gemaakt Beslissing om te stoppen of door te gaan met testen gebaseerd op de nog aanwezige risico’s
10
16 May 2008
IT Voordelen Testen gaat een actief onderdeel vormen in het verkleinen van risico’s De toegevoegde waarde van testen wordt beter begrepen Makkelijker om voldoende resources te verkrijgen
11
16 May 2008
Maar… •
Overige manieren van ontwerpen en plannen van tests nog steeds noodzakelijk: − Requirements-based − Security-based − Coverage-based
•
Let op: − Neemt tijd in beslag (vooraf) − “Alles is een groot risico”
12
16 May 2008
Risico model Risico = Impact * Faalkans Het model : - Moet makkelijk te begrijpen zijn - Moet voldoende informatie verschaffen
13
16 May 2008
Business Impact Test Strategie
Structuring Test Requirements Analyzing Business Impact Result
Application 1
A High Risk
B Medium Risk
C Low Risk
Type of Process
Calculation / validation
change of data
display
Business Impact
legal
wrong information
none
Frequence of use
very often
often
rare
Number of Customer affected
large number / very important
group
some
Criteria
Main Activity 1.1 Activity 1.1.1 Requirement Requirement Requirement Requirement Activity 1.1.2 Requirement Requirement
Analysing Probability
Main Activity 1.2
Result
Activity 1.2.1 Requirement
• • •
Business Impact Analyse Faalkans Analyse Bepaal Risico (Impact * Faalkans)
14
16 May 2008
III Unlikely
II Possible
I Likely
Change Rate
Unchanged
Plattform OS
HOST
Changed Func. UNIX or Windows
New Func Unix, Windows, Host combination
Defects Rate
Low
Medium
High
Criteria
Determining the Risk Prob. III Un-Likely
II Possible
I Likely
A
B
A
A
B
C
B
A
C
C
C
B
Impact
Business Impact Analyse Criteria
A High Impact
B C Medium Impact Low impact
Type process
Calculatie Validatie
Data wijziging
Read only
Business implicatie Juridisch
Verkeerde informatie
Geen
Frequentie
Zeer vaak
Vaak
Zelden
Aantal users
Groot
Groep
Weinig
Risico = Impact * Faalkans
15
16 May 2008
Faalkans Analyse Criteria
3 Niet waarschijnlijk
2
Wijzigingen
Niet gewijzigd
Gewijzigde functie Nieuwe functie
Volwassenheid
Volwassen
Progressie
Onvolwassen
Defect rate
Laag
Medium
High
Risico = Impact * Faalkans
16
16 May 2008
Waarschijnlijk
1 Zeer waarschijnlijk
Bepaal het Risico Impact
Faalkans 3
Niet waarschijnlijk Waarschijnlijk
1 Zeer waarschijnlijk
A High impact
B Medium risk
A High risk
A High risk
B Medium impact
C Low risk
B Medium risk
B Medium risk
C Low impact
C Low risk
C Low risk
B Medium risk
Risico = Impact * Faalkans
17
16 May 2008
2
Uitdagingen • Managen
• Waar
18
van beschikbare tijd
leggen we prioriteiten?
• Hoe
bereiken we overeenstemming tussen QA en Business?
• Hoe
communiceren we de risico’s van implementatie/uitrol?
16 May 2008
HP Risk Based Quality Management
19
16 May 2008
Risk Based Testing Proces 1.
Verzamel Requirements, Risico’s en Doelen
2.
Inschatting van Risico
3.
Inschatting van Inspanning
4.
Aanpassingen (iteratief proces)
5.
Sign Off tussen Business en QA
6.
Test Uitvoer
7.
Review & Verbeter
20
16 May 2008
Requirements Management
21
16 May 2008
Inschatting van Risico • Business
Impact (Kritisch: A tot C) • Faalkans (Waarschijnlijkheid: 1 tot 3) • Risico
22
16 May 2008
categorie: A1 t/m C3
Risico Portfolio
23
16 May 2008
Leg Relatie met Beschikbare Resources
24
16 May 2008
Inschatten Benodigde Testtijd
25
16 May 2008
Aanpassingen • Schrap
testen voor risico categorie
• Verminder
voor specifiek risico
• Verminder
risico categorie voor 1 of meerdere
risico’s
26
16 May 2008
Aanpassen binnen “Resource Budget”
27
16 May 2008
Genereer Testcontract en Sign Off
28
16 May 2008
Samenvatting • Formaliseer • Bereik
de requirements types
overeenstemming over de criteria
• Gebruik
objectieve algoritmen
• Gebruik
de resultaten voor een formeel contract
• Verbeter
het model continu na iedere iteratie
29
16 May 2008
Q&A
