Agile Testing isn’t Risking IT! Bram Bronneberg Test Manager Logica - CGI
B.W.F.P.M. BRONNEBERG TEST MANAGER REQUIREMENT & QUALITY MANAGEMENT
Introductie
Q&A
Achtergrond
Agile Testing isn’t Risking IT! Probleemstelling
Van Strategie naar Tactiek Risico Analyse Proces
Introductie
Q&A
Achtergrond
Agile Testing isn’t Risking IT! Probleemstelling
Van Strategie naar Tactiek Risico Analyse Proces
Agile in een vogelvlucht
Product Owner
Team
Scrum Scrum Master 24 u Sprint 2-4 wk
Demo
Planning Meeting
Product Backlog
Sprint Backlog
Retrospective
RRBT in een vogelvlucht Risk & Requirement Based Testen Risico’s vergelijken met requirements
Analyseer Requirements
Analyseer Productrisico’s
Requirements vergelijken met risico’s
Risico zonder requirement: • Toevoegen requirement (vroegtijdig gevonden fout) • Risico verwijderen (geen zorgen om niets) Requirement zonder risico: • Toevoegen productrisico (verbeterde dekkingsgraad van de test) • Requirement verwijderen (geen onnodige dingen maken)
PRA in een vogelvlucht “Een proces of methode welke de risico’s van/voor het product analyseert met als doel de test effort op de meest waarde toevoegende manier in te zetten.” Feature Productrisico Risicoklasse: Hoog Risicoklasse: Middel
Risicoklasse: Laag
De kans dat het product faalt in relatie tot de verwachte schade wanneer het falen van het product optreedt in de productie omgeving.
Introductie
Q&A
Achtergrond
Agile Testing isn’t Risking IT! Probleemstelling
Van Strategie naar Tactiek Risico Analyse Proces
Probleemstelling 1/5 Risicoanalyses werden niet vertaald naar de Backlog waardoor een risico gebaseerde aanpak lastig is.
High Medium Low
Probleemstelling 2/5 Risicoanalyses werden niet iedere iteratie herijkt, waardoor ze binnen een sprint verouderd waren.
Probleemstelling 3/5 Risicoanalyses werden alleen gedaan vanuit requirements, waardoor sommige productrisico’s gemist werden. Analyse User Stories
Analyse User Stories
Analyse risks
Order User Stories
Order User Stories
Determine risk impact
Analyse risk Specify test cases
Specify test cases
Probleemstelling 4/5 Risicoanalyses werden gedaan, maar de gevolgen werden niet meegewogen in planning sessies.
Team Velocity = 7 Story Points High = n * 4
Medium = n * 2 Low = n * 1
Probleemstelling 5/5 Risicoanalyses worden gedaan, maar men baseerde de strategie op de productrisico’s met MoSCoW wat niet zomaar past in Agile. Sprint 1
Sprint 2
Sprint 3
Introductie
Q&A
Achtergrond
Agile Testing isn’t Risking IT! Probleemstelling
Van Strategie naar Tactiek Risico Analyse Proces
Verzamel Risico Items
Verzamel Risico Items
Calculeer Risico Items
Plot Risico Items
• Verzamel & Order Requirements • Verzamel Productrisico’s
• Bepaal Impact & Kans Factoren • Weeg & Calculeer Risico Item/Factoren
• Map Requirements & Productrisico’s
Verzamel & Order Requirements Rank #
REQ 01
1
REQ 03
REQ 02
2 3
REQ 04
REQ 05
4 5 6
REQ 06 REQ 08
7 8
REQ 07 REQ 09
9 REQ 10
10
Verzamel Productrisico’s
PR 02
PR 01
PR 04
PR 07
PR 03
PR 05 PR 06
PR 08
PR 09
Verzamel Risico Items
Calculeer Risico Items
Plot Risico Items
• Verzamel & Order Requirements • Verzamel Productrisico’s
• Bepaal Impact & Kans Factoren • Weeg & Calculeer Risico Item/Factoren
• Map Requirements & Productrisico’s
Bepaal Impact & Kans Factoren Impact factoren e.d. • Gebruik • Zichtbaarheid • Faalkosten • …
Kans Factoren e.d. • Complexiteit • Hergebruik • Koppelingen • Afhankelijkheden • Grootte • …
𝐼𝑚𝑝𝑎𝑐𝑡 = 𝐺𝑒𝑏𝑟𝑢𝑖𝑘 ∗ 𝑍𝑖𝑐ℎ𝑡𝑏𝑎𝑎𝑟ℎ𝑒𝑖𝑑 ∗ 𝐹𝑎𝑎𝑙𝑘𝑜𝑠𝑡𝑒𝑛 𝐾𝑎𝑛𝑠 = 𝐶𝑜𝑚𝑝𝑙𝑒𝑥𝑖𝑡𝑒𝑖𝑡 ∗ 𝐻𝑒𝑟𝑔𝑒𝑏𝑟𝑢𝑖𝑘 ∗ 𝐾𝑜𝑝𝑝𝑒𝑙𝑖𝑛𝑔𝑒𝑛 ∗ …
Weeg & Calculeer Risico Item/Factoren KANS
REQUIR EMENT
RISICO KLASSE
Factor A
Factor B
Factor C
TOTAL
High
High
High
High
REQ 01
Low
Medium
Medium
Low
Medium
Medium
Low
High
High
High
IMPACT TOTAL
Factor A
Factor B
Factor C
Medium
Low
Low
Low
Low
REQ 02
Medium
Medium
High
High
Low
Medium
REQ 03
Medium
Medium
Medium
Low
Low
Medium
High
REQ 04
High
Medium
High
Medium
High
Low
Low
Medium
REQ 05
Medium
Medium
Low
Medium
Low
Medium
Low
Low
Low
REQ 06
Low
Low
Low
Low
Medium
Medium
Medium
Medium
Medium
REQ 07
High
High
Medium
High
High
Low
Medium
High
Low
REQ 08
Low
Low
Medium
Low
Low
Low
Low
Low
Low
REQ 09
Low
Low
Medium
Low
Low
Medium
Medium
Medium
Medium
REQ 10
Medium
Medium
Low
Medium
Medium
Plot Risico Items
Verzamel Risico Items
Calculeer Risico Items
Plot Risico Items
• Verzamel & Order Requirements • Verzamel Productrisico’s
• Bepaal Impact & Kans Factoren • Weeg & Calculeer Risico Item/Factoren
• Map Requirements & Productrisico’s
Map Requirements & Productrisico’s 1/3 Requirements
Productrisico’s
REQ 01 REQ 03
REQ 02
REQ 04
PR 01 REQ 05 PR 04
REQ 06 REQ 08
PR 02
REQ 07 REQ 09
PR 07 REQ 10
PR 03
PR 05 PR 06
PR 08
PR 09
Map Requirements & Productrisico’s 2/3 Requirements
Productrisico’s
REQ 01 REQ 03
REQ 02
REQ 04
PR 01 REQ 05 PR 04
REQ 06 REQ 08
PR 02
REQ 07 REQ 09
PR 07 REQ 10
PR 03
PR 05 PR 06
PR 08
PR 09
Map Requirements & Productrisico’s 3/3 Productrisico Requirement
PR 01
REQ 01
●
REQ 02
●
PR 02
PR 03
PR 04
●
REQ 04
●
PR 07
PR 08
PR 09
●
●
●
●
●
REQ 05
●
REQ 06
● ●
●
● ●
REQ 08
●
REQ 09 REQ 10
PR 06 ●
REQ 03
REQ 07
PR 05
● ●
●
●
● ●
Introductie
Q&A
Achtergrond
Agile Testing isn’t Risking IT! Probleemstelling
Van Strategie naar Tactiek Risico Analyse Proces
Risicoklasse tactiek High
Medium
Low
Testbasis toetsen middels
Inspectie
Walkthrough
Peer review
UT testgeval review
Testlead
Tester
-
ST testgeval Review
Testlead
Tester
-
Testgeval opnemen in regressieset
Sprint + release
Release
-
Testgeval automatiseren?
CodedUI
Record & Playback
-
Testuitvoer op browsers
Top 3
Top 2
Top 1
High = testwerk * 4 Medium = testwerk* 2 Low = testwerk* 1
Sprint aanpak 1/3
1 2 3 4 5 6 7 8 9 10
Sprint 1
Rank #
Test Scope Sprint 1 REQ 03 - Medium REQ 07 - High PR 01 PR 02 PR 06
Sprint aanpak 2/3
Rank #
1
3 4 5 6 7 8 9 10
Sprint 2
2
Test Scope Sprint 1 REQTest 03 -Scope Medium Sprint 2 REQREQ 07 -08 High - Low PR 01 REQ 01 - Medium PR 02 REQ 05 - Medium PR 06 PR 01 PR 04 PR 07 PR 08 PR 09
Sprint aanpak 3/3
Rank #
1 2 3
5 6 7 8 9 10
Sprint 3
4
Test Scope Sprint 1 REQTest 03 -Scope Medium Sprint 2 REQREQ 07 Test -08 High -Scope Low Sprint 3 PR 01 REQREQ 01 -09 Medium - Low PR 02 REQPR 0503 - Medium PR 06 PR 01 PR 08 PR 04 PR 07 PR 08 PR 09
Inzicht in risico en requirement dekking Productrisico Requirement
PR 01
REQ 01
2
REQ 02
●
PR 02
PR 03
PR 04
1
REQ 04
●
PR 07
PR 08
PR 09
2
2
2
●
●
REQ 05
2
REQ 06
2 ●
1
● 1
REQ 08
2
REQ 09 REQ 10
PR 06 ●
REQ 03
REQ 07
PR 05
3 ●
●
●
2 3
Introductie
Q&A
Achtergrond
Agile Testing isn’t Risking IT! Probleemstelling
Van Strategie naar Tactiek Risico Analyse Proces
B.W.F.P.M. BRONNEBERG TEST MANAGER REQUIREMENT & QUALITY MANAGEMENT
[email protected] WWW.BRAMBRONNEBERG.NL @BRAMBRONNEBERG +31 6 55 11 35 10
