Test Automatisering? Mislukken Slagen gegarandeerd! Ruud Teunissen - Polteq Test Services BV
Mislukken Slagen gegarandeerd…
2
Mislukken Slagen gegarandeerd… – Management verwacht onmiddellijk R.O.I. – Doel: “Automatiseer alles” – Resultaat niet meetbaar
– Communicatie (ook hier!) – Huidige testaanpak: ad-hoc & ongedocumenteerd – Tool is leidend – Focus op testen van componenten
3
Mislukken Slagen gegarandeerd! – Management verwacht onmiddellijk R.O.I. – Doel: “Automatiseer alles” –
–
Testautomatisering Resultaat niet meetbaar = Communicatie (ook hier!) van het testen Automatisering
– Huidige testaanpak: ad-hoc & ongedocumenteerd – Tool is leidend – Focus op testen van componenten
4
Mislukken Slagen gegarandeerd!
5
Mislukken Slagen gegarandeerd! • Optimale toepassing van testautomatisering • In lijn met de doelstellingen en mogelijkheden • Passend in de context
6
Mislukken Slagen gegarandeerd!
7
Plan • Doel – Wat wil men bereiken? – En op welke termijn?
Kosten
Tijd • Garantie voor succes? – Is het doel haalbaar? – Zijn de beoogde tijdlijnen realistisch?
8
Kwaliteit
Plan • Scope • –Leverancier Welke testsoorten/vormen/…? Focustestactiviteiten? op “works as designed” – •Welke • Componenten • (Systeem) Integratie • Bottom-up • Garantie voor succes? • –Business Sluit dit aan bij het doel? Focus purpose” – •Sluit dit op aan“fit bij for de mogelijkheden? • •End-to-End Proces, organisatie, omgeving • Business processen • Top-down 9
“Assess” • Analyse – Testware? – Testobject?
• Garantie voor succes – Breder dan “de tool” – “Big picture” of detail?
10
“Assess” Testorganisatie
Testproces
Testware Testscripts – Testcases – Testdata – Testomgeving
Automatiseerbaarheid van de testgevallen
11
Voorbeeldvragen • Coverage • Are the test scenarios linked to business processes? • Are all business processes covered by at least one test scenario? And how intense/extensive? • To what extend is “negative” testing included?
• Sustainability • Are the test scenarios durable and future-proof? • What business and/or application knowledge is needed to execute the test scenarios?
• Extendibility • How easy is it to update and/or extend the test scenarios?
• Automation Readiness • Is there a clear division between “actions”, required test data and expected result? 12
“Assess” Testorganisatie
Testproces
Testware Testscripts – Testcases – Testdata – Testomgeving Beheer
Rapportage
Automatiseerbaarheid van de testgevallen Inpasbaarheid in de context Automatiseerbaarheid van het testobject Projecten Changes
Patches Fixes
Testobject Software – Service – Platform - Infrastructuur Ontwikkelorganisatie 13
Ontwikkelproces
“Assess” Testorganisatie
Testproces
Testware Testscripts – Testcases – Testdata – Testomgeving Beheer
Rapportage
Test automatisering
Projecten Changes
Patches Fixes
Testobject Software – Service – Platform - Infrastructuur Ontwikkelorganisatie 14
Ontwikkelproces
Architectuur van de oplossing
Interpretatie
Context
Tool(s) Infrastructuur Abstractie
15
Context
Scripts
Architectuur Testorganisatie
Testproces
Testware Testscripts – Testcases – Testdata – Testomgeving Beheer
Rapportage
Projecten Changes
Context
Context
Interpretatie Scripts Tool(s) Test automatisering Infrastructuur Abstractie
Patches Fixes
Testobject Software – Service – Platform - Infrastructuur Ontwikkelorganisatie 16
Ontwikkelproces
“Assess” in detail Cluster
Essential
Testware
Testware (Scripts, Scenario’s, Cases, …) Test Environment Test Data Test Process Test Organization Test Automation
Scripts (Test Automation Software) Tools (Test Automation Platform) Infrastructure Link to Testware Link to System Under Test Link to Surrounding Tools Test Automation Process
17
System Under Test
Test Automation Organization Application/Software/Service Platform Infrastructure Development Process Development Organization
Sustainable
Efficient
Optimizing
“Assess”
18
Huidige situatie Cluster
Essential
Testware
Testware (Scripts, Scenario’s, Cases, …) Test Environment Test Data Test Process Test Organization Test Automation
Scripts (Test Automation Software) Tools (Test Automation Platform) Infrastructure Link to Testware Link to System Under Test Link to Surrounding Tools Test Automation Process
19
System Under Test
Test Automation Organization Application/Software/Service Platform Infrastructure Development Process Development Organization
Sustainable
Efficient
Optimizing
“Assess” • Verbeteringen / oplossing – Welke tools? Selectie? PoC? – Welke skills? Aanpak? Organisatie?
Test Automation Plan 1. 2. 3. 4. 5. 6. 7.
Goal & Scope Approach Input Deliverables TPI SPI Resources a. Budget b. People c. Material
8. Schedule 9. Business case 10. ...
• Garantie voor succes – Aansluiting op testware, testobject, context – Test Process Improvement – Software Process Improvement
20
Voorbeeld aanpak testware
21
Implementeer • Automatiseer en organiseer – Onderhoudbaar, overdraagbaar – Verankering in de organisatie
• Garantie voor succes – – – – 22
Aansluiting op testware, testobject, context Specialisten en Testers Test Process Improvement Software Process Improvement
Voorbeeld Test Process Improvement
23
Optimalizeer • Innoveer en renoveer – Changes, Updates, Patches, Fixes – Redesign, Refactor, Rewrite
• Garantie voor succes – Up-and-running zijn en blijven – Doorgroei naar die volwassenheid van testautomatisering die past in de context
24
Mislukken Slagen gegarandeerd! • Optimale toepassing van testautomatisering • In lijn met de doelstellingen en mogelijkheden • Passend in de context
25
Mislukken Slagen gegarandeerd! • Optimale toepassing van testautomatisering • In lijn met de doelstellingen en mogelijkheden • Passend in de context • Testautomatiseringsniveaus – Alle testers gebruiken tools • Testers automatiseren zelf het grootste deel van hun werk
– Specialisten weten – technisch - hoe tests betrouwbaar en herbruikbaar te automatiseren • Specialisten zijn nodig in speciale situaties
– Testconsultants helpen organisaties succesvol testautomatisering toe te passen
26
Toekomstvaste Architectuur Testorganisatie
Testproces
Testware Testscripts – Testcases – Testdata – Testomgeving Beheer
Rapportage
Projecten Changes
Context
Context
Interpretatie Scripts Tool(s) Test automatisering Infrastructuur Abstractie
Patches Fixes
Testobject Software – Service – Platform - Infrastructuur Ontwikkelorganisatie 27
Ontwikkelproces
Toekomstvaste Architectuur Testorganisatie
Testproces
Testware Testscripts – Testcases – Testdata – Testomgeving Beheer
Rapportage
Projecten Changes
Context
Context
Interpretatie Scripts Tool(s) Test automatisering Infrastructuur Abstractie
Patches Fixes
Testobject Software – Service – Platform - Infrastructuur Ontwikkelorganisatie 28
Ontwikkelproces
Toekomstvaste Architectuur Testorganisatie
Testproces
Testware Testscripts – Testcases – Testdata – Testomgeving Beheer
Rapportage
Projecten Changes
Context
Context
Interpretatie Scripts Tool(s) Test automatisering Infrastructuur Abstractie
Patches Fixes
Testobject Software – Service – Platform - Infrastructuur Ontwikkelorganisatie 29
Ontwikkelproces
Mislukken Slagen gegarandeerd! Testorganisatie
Testproces
Testware Testscripts – Testcases – Testdata – Testomgeving Beheer
Rapportage
Projecten Changes
Context
Context
Interpretatie Scripts Tool(s) Test automatisering Infrastructuur Abstractie
Patches Fixes
Testobject Software – Service – Platform - Infrastructuur Ontwikkelorganisatie 30
Ontwikkelproces
Test Automatisering? Mislukken Slagen gegarandeerd! Ruud Teunissen - Polteq Test Services BV
