Testen, een vak voor het leven!
Gastcollege UU, 3 december 2012 Egbert Bouman,
[email protected] 1
Even testen … Wat is jullie beeld van softwaretesten?
2
Testanekdotes uit ‘mijn’ praktijk • • • • • • • •
Walrus OZB vaart met testparameters Test haalt telefooncentrale down Testteam Transavia annuleert echte vluchten Geslacht = Ja Project Schadeverzekeraar: 15 mln weg 6 pallets polisprints Heathrow terminal 5 Security 4
We do have a reputation … Ron Tolido over IT types
5
1
Even testen… 2
An excellent tester’s attitude. Constructive maliciousness: Make things fail… …to make things better
What’s the difference? The developer … The user … The tester …
Testers zijn ook maar mensen…
8
Walrus class submarines
Testing: a matter of survival
Traffic Aid Control Room System First release: - Way too slow. - Total crash upon heavy load.
Bad Test? “Wegenwacht out of business” Performance tests: - 7 bottlenecks - Repaired and now OK
ING Bank datawarehouse
Testing: strategic importance
Insurance companies
Testing for survival
CRISC certified ‘risk controller’ Business-IT Risk management in all it’s respects
13
Over Valori
Proces
Tools Proces Tools Syner gie
People
Business IT optimization
People
• Test & Acceptatie • Business Architecture & Requirements • IT mgt & Value Chain Improvement
120+ top professionals > 23 jaar in business Top-200 klanten • RABO, Achmea, Interpolis, ING, NIBC, ASR, SNS, Menzis, KPN, Randstad, Tweede Kamer, Prov. Utrecht, etc.
Training partner (Valori Academy) www.valori.nl , www.smartest.nl
SmarTEST aanpak, EXIN-preferred
Complexiteit
15
Einstein maakte het simpel
16
Make it as simple as possible, but not simpler (Einstein)
17
Make IT as simple as possible, but not simpler (Valori)
18
Wat kun je testen aan een pen?
19
Wat is kwaliteit? Een relatie attribuut? Objectiveerbaar?
20
Verandering
Kwaliteit is meer dan een mooi systeem Kwaliteit Het resultaat voor de business, als het project er niet meer is.
I
P
360º kwaliteits perspectief
S
Informatie
Processen
Systemen
Gegevens in en naar het systeem
Organisatie en Processen
Het opgeleverde informatiesysteem
Een SmarTEST model. Zie boek en www.smartest.nl voor definities
Extended ISO-Model Functionality
Reliability
Usability
Suitability Accuracy Interoperability Compliance Security Traceability
Maturity Fault tolerance Recoverability Availability Degrability
Understandability Learnability Operability Explicitness Customisability Attractivity Clarity Helpfulness User-friendliness
Efficiency
Maintainability
Portability
Time behaviour Resource behaviour
Analysability Changeability Stability Testability Manageability Reusability
Adaptability Installability Conformance Replaceability
24
FURPS Functionality •
Features, Mogelijkheden, Beveiliging
Usability •
Human factors, Esthetische eigenschappen, Consistentie, Documentatie
Reliability •
Faalfrequentie, Faalimpact, Recoverability, Predictability, Accuracy, Mean time to failure
Performance •
Snelheid, Efficiëntie, Resourceverbruik, Throughput, Responsetijd
Supportability •
Testbaarheid, Uitbreidbaarheid, Aanpasbaarheid, Onderhoudbaarheid, Compatibility, Configurability, Serviceability, Installeerbaarheid, Localizability, Portability
25
IT Governance en testen Veel IT-projecten falen Grip en inzicht essentieel: feitelijke stuurinformatie In control zijn vergt risicobeheersing Testen = strategisch instrument voor risicobeheersing
Gebruikt zoals geleverd Gebruikt na wijziging
29%
fundamenteel gewijzigd Nooit gebruikt
2%
3%
19% 47%
Nooit afgemaakt Bron: ButlerBloor Computer Research 26
Met testen verdien je geld. Hoeveel? Veel, blijkbaar !! Zie www.nist.gov voor het volledige NIST rapport (pas op: 500 bldz.)
In Europa vergelijkbaar
27
De “Kromme van Boehm” Voorkomen is beter dan genezen
28
Een goede testaanpak …. 1/10
Planned:
Plan
Analyse
Realisatie
Test
Dead line
Actual:
Plan
Analyse
Realisatie
Te st
… houdt testen uit de kreukelzone 29
Een goede testaanpak ….. WAT testen? Vandaag HOE testen?
testobject, kwaliteitsaspecten, testbasis, acceptatiecriteria, risico’s teststrategie, testscenario’s testtechnieken
WIE test?
testers, materiedeskundigen, ICT'ers, beheerders, leveranciers, ..
WANNEER testen?
planning, testfasering
WAAR testen ?
testomgevingen, werkplekken
WAARMEE testen ?
testtools, rekentools
… geeft antwoord op o.a. deze vragen 30
Lots of books on testing
Methods for structured testing
You need a “handy” approach
The 5 conditions for smart testing 1. Think strategic
Strategic
2. Make people important Men over Machine 3. Be adaptive
Adaptive
4. Target on risks
Risk based
5. Create transparancy
Transparent
Thats why: SmarTEST
2004: SmarTEST gelanceerd
! ! ! ! ! ! ! !
No risk, No test
Geen risico, geen test
39
Testsoorten Ketentesten
Gebaseerd op te onderzoeken aspecten Gebaseerd op fasen 40
Het W-model, het testmodel Requirements , acceptatiecriteria en risico’s
Exploitatietest
Bedrijfseisen, gebruikerseisen
Acceptatie test
Systeem eisen
Systeem- en ketentest
Ontwerp, bouw en ontwikkeltesten Onderkant : ontwerp, bouw en test gecombineerd.
Past bij moderne, ‘agile’ ontwikkelmethoden zoals RUP, DSDM en SCRUM.
De oerversie: het V-model definitie studie
accept. test
functioneel ontwerp
systeem test
technisch ontwerp
integratie test
constructie
unit test unit test
Maar het Waterval tijdperk is voorbij
integratie test systeem test accept. test 42
RAR en Scrum product backlog Daily scrum
Business reqts
Product owner
Sprint = 30 dagen
43
Geautomatiseerd testen HP Quick Test Pro HP Loadrunner Rational FT Tosca Citratest Parasoft
Selenium Fitnesse Jmeter SoapUI
44
Geautomatiseerd testen: twee werelden! Requirements , acceptatiecriteria en risico’s
Testtools voor eindgebruikers HP-QTP, Citratest ?!
Gebruikers testen
Never the twain shall meet? Testtools voor techies Selenium, JMeter, TFS-tooling?!
Ontwikkel testen 45
46
Ontwerpen van testen: vak apart 60 verschillende testontwerptechnieken Structuur van een testgeval
47
Hoe ziet een goede test eruit? Structuur van een goed testgeval: • Uitgangssituatie • Actie • Resultaat
Voorbeeld: grenswaarde test 18 jaar
48
Eyewitness How test parameters can sneak into life environment
Was testing forgotten here ?
Bevindingen Acceptatietest met testinspanning in FTE 's
70
totaal lopende bevindingen
deze week nieuw geconstateerd
10
Testinspanning
9
60 8 47
7 44
42
42
43
41
41 39
40
6
38
37
36
35
34
32
32
32
5
31
30
4
24 20 19
20
19 14
13
12
10
8
8 6
4
9
3 13
12
8
2
Gewogen totalen per week 11
10
7
5
9
9
8
7
5
5
3
0 1
14
2
3
4
120
5
6
7
8
9
Testinspanning in FTE
Aantal bevindingen
50
10
11
12
13
14
15
1
Getallen zeggen weinig, het gaat om de trend. Status 4/9 16:00
Normal=1, Minor=0,5 Weging: Block=4, Major=2, 0
16
17
18
19
20
21
22
Week
100 80 Nieuw deze week Gesloten deze week
60
Totaal nog open 40
Trendlijn 3e orde
20 Acceptatiegrens
0 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
51
Iedereen kan testen? Professionaliteit Communicatie Spelbreker durven zijn Kritisch vermogen
52
Het karakter van de tester Constructieve kwaadaardigheid: Make things fail… …to make things better
Wat is het verschil? The developer … The user … The tester …
Een goede tester: vier competenties Iedereen kan testen, hetzelfde geldt voor klompenmaken
Takt, sensitiviteit, overtuigen, analyseren, presenteren, rapporteren
Verzekeren, banken, telecom, overheid, zorg, omroepen, industrie, media, software engineering, …
Architectuur, programmeren, (internet)technologie, ontwikkelmethodieken,
Spin in web
TestOrganisatie TestManagement
TestInfrastructuur
Voorbereiding Beheer Testware
Afronding
Specificatie Uitvoering
Valori thema avonden Een begrip in Grip op IT!
Depersonaliseren productiedata Creëren Maskeren Migreren Beheren Converteren Integreren Tools en toolsupport
Geweest, o.a.:
Grip op MicroSoft Dynamics De nieuwe generatie testtools Test Data Management Getting Things Done Solvency II Scrum en onafhankelijk testen Tools voor Test Management Stretch & Move (met KPN) Moderne systeemontwikkeling: RUP, agile Risicomanagement in de echte wereld Model Based Testen Politiek op de werkvloer Testen en auditing SOA en ketentesten Bevindingenbeheer en SmarTRACK Zorg en ICT Performance testen Usability revisited SEPA Datawarehousing en BI De Vrijgavekaart Datakwaliteit Wat bracht Eurostar Zorgverzekeraars Etcetera…
?? Requirements = Product Backlog ??
Bedrijfseisen, gebruikerseisen
Acceptatie test
Systeem eisen
Keten test
?? SCRUM ??
A great test support site with free tools www.smartest.nl
Conferenties EuroSTAR TestNet Nederlandse Testdag Dutch Testing Conference Belgium Testing Days Test Automation Day Agile Testing Days
58
Waarom testen zo leuk is Alle aspecten van IT komen aan bod • People • Process • Tools
Je mag overal wat van vinden Je ontwikkelt een breed perspectief Je zit snel op een goed niveau • Junior testers voor de Raad van Bestuur!
Het is de beste start in IT land • Maar “tester van wieg tot graf” is geen probleem!
Het is recessiebestendig 59
Wees slim, word een slimme tester!
60
61
62
Bedankt voor uw aandacht! BEDANKT VOOR UW AANDACHT
[email protected] www.valori.nl www.smartest.nl www.echtewereld.nl Met dank aan verschillende vakbroeders en vooral aan alle bevlogen Valori consultants en test managers in de echte wereld
64
