your reference in testing services
Test Coördinatie Introductie
1
Gent, 4 april 2011
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Wat verstaan jullie onder testen?
Beheren
Rapporteren
Evaluatie
Ondersteuning
En testcoördinatie?
Hoe zien jullie het?
2
Inleiding
Testen bestaat uit activiteiten die uitgevoerd worden om één of meerdere kenmerken van een product, proces of dienst vast te stellen volgens een gespecifieerde methode
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Testen is een proces dat inzicht geeft in- en adviseert over de kwaliteit en de daaraan gerelateerde risico’s
3
Definities volgens TMAP Next®
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Een test level is een groep van testactiviteiten die gezamenlijk worden uitgevoerd en aangestuurd
4
Beheren
Rapporteren
Evaluatie
Ondersteuning
Definities volgens TMAP Next®
Inleiding
Johan Symons, “Introductie tot de psychomotoriek”
-
coördinatie = het harmonisch en economisch samenwerken van spieren, zenuwen en zintuigen om doelgerichte, stabiele bewegingsakties en snelle situatie - aangepaste reacties (reflex) tot stand te brengen. Voor een optimale samenwerking dienen volgende aspecten in acht te worden genomen :
‣
een juiste krachtmaat (bewegingsomvang en snelheid)
‣
een juiste spierkeuze (bewegingsuitvoering en richting)
‣
een vlot wisselspel tussen spierspanning en ontspanning voor een goede motorische aanpassing
5
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Wat is coördinatie - in het menselijk lichaam?
Inleiding
Coördinatie van de testen voor een specifiek project van één of meerdere test levels
Coördinatie van alle activiteiten en processen die daaraan gelinkt zijn voor een specifiek project van één of meerdere test levels
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Coördinatie van mensen die bezig zijn met de activiteiten die gelinkt zijn aan testen voor een specifiek project van één of meerdere test levels
6
Wat is coördinatie binnen testen?
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Testen is toch enkel het uitvoeren van testen...
Beheren
Rapporteren
Evaluatie
Ondersteuning
... of hebben we toch nood aan een meer gestructureerde aanpak?
Gestructureerd testen
7
Inleiding
Nadelen van ongestructureerd testen
-
testinspanning kan niet voorspeld worden
-
resultaten kunnen niet gemeten worden
-
geen correcte selectie van test cases
-
komt meestal onder tijdsdruk omdat er geen plan bestaat
-
geen inzicht in de stand van zaken rond kwaliteit
-
inefficiënt en niet effectief
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Gestructureerd testen
8
Voordelen van gestructureerd testen
-
het kan gebruikt worden in de meeste situaties
-
het geeft een correct inzicht in de risico’s en de kwaliteit van het test object
-
defects worden in een vroeg stadium gevonden
-
defects worden voorkomen!
-
aangezien testen onderdeel is van het kritisch pad wordt het hele traject geoptimaliseerd
-
test producten zijn herbruikbaar
-
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Gestructureerd testen
het test proces is beheersbaar
9
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Kick Off
10
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Formuleren van de testopdracht en testdoelstellingen
Beheren
Rapporteren
Evaluatie
Ondersteuning
Waar gaat dit hoofdstuk over?
11
Inleiding
Inzicht krijgen in de doelstellingen van
-
het project
-
de projectorganisatie
-
de opzet van het systeemontwikkelproces
-
het te testen systeem
-
de eisen waaraan het systeem moet voldoen
Al deze informatie is nodig om de verdere stappen in het testproces te zetten
12
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Wat is het objectief hiervan?
Inleiding
Wat valt binnen en buiten de testopdracht?
Kick off
Om dit te weten moeten we de grenzen kennen/definiëren
Grenzen van
-
-
testobject
‣
welke systemen of systeemonderdelen?
‣
interfaces - “Tot?” of “Tot en met?”
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
testactiviteiten
‣
welke testsoorten vallen in de scope?
‣
hoort unit testen hierbij?
‣
zijn er externe testactiviteiten?
‣
reviews van tussenproducten onderdeel van de scope?
Een figuur zegt meer dan 1000 woorden!!
13
Hoe bepalen we de scope van de testopdracht?
Wat is een testdoelstelling?
-
Inleiding
Kick off
een testdoelstelling is een in de taal van de opdrachtgever of belanghebbende gespecifieerd succescriterium van de testopdracht
‣
taal van de opdrachtgever
•
niet in IT-Termen (tenzij de opdrachtgever zich in de IT bevindt)
•
vertaling/mapping naar IT terminologie is nodig om naar testproject te rapporteren
•
succescriterium van de testopdracht
•
indien alles goed gaat - OK!
•
indien afwijking - bijschaven op Resultaat, Tijd, Risico of Kosten
14
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Wat is een testdoelstelling?
Testdoelstellingen
1 1 a
1 b
1 c
2 2 a
2 b
3 3 a
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Toon aan dat de nieuwe functionaliteiten volgens verwachtingen werken
Beheren
Rapporteren
Evaluatie
Ondersteuning
Nieuwe klanten moeten kunnen aangemaakt worden
Marketingacties moeten gericht kunnen gevoerd worden
Facturen moeten correct geprint worden
Toon aan dat systeem X voldoet aan het veiligheidsbeleid
Enkel de gebruikers met de correcte authorisaties mogen aanloggen op het systeem
Aanloggen van buitenaf kan enkel via het afgesproken protocol
Lever inzicht in het gevoel dat de organisatie heeft t.o.v. de migratie van de huidige gegevens
Huidige klanten en hun producten moeten gekoppeld blijven
15
Een voorbeeld
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Teststrategie
16
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Wat is een teststrategie?
-
een teststrategie is de verdeling van de testinspanning en dekkingsgraad over de te testen delen of aspecten van het testobject, met als oogmerk de belangrijkste fouten zo vroeg en goedkoop mogelijk te vinden. Deze verdeling is afhankelijk gemaakt van risico’s op het gebied van business, systeemontwikkeling en testen
17
Beheren
Rapporteren
Evaluatie
Ondersteuning
Definities volgens TMAP Next®
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Welke activiteiten voeren we uit bij het opstellen van de teststrategie?
-
opstellen risicomatrix
-
bepalen van testzwaarte
Beheren
Rapporteren
Evaluatie
Ondersteuning
Onderdelen teststrategie
18
Inleiding
Kick off
Geen onbeperkte tijd en budget
Beperking voor het halen van het testresultaat dat vastgelegd is in de doelstellingen
We moeten de tijd en het geld optimaal verdelen
Risicomatrix helpt ons bij het maken van deze keuzes
19
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Wat is een risicomatrix?
-
de risicomatrix is het resultaat van de analyse van het te testen product met als doel dat de test coördinator en de verschillende betrokken partijen tot een gezamenlijk beeld komen van wat de meer of minder risicovolle kenmerken en onderdelen zijn van het te testen product, zodat de grondigheid van de testen hieraan kan gerelateerd worden
20
Beheren
Rapporteren
Evaluatie
Ondersteuning
Definities volgens TMAP Next®
Inleiding
Kick off
5 stappen voor het opstellen van de risicomatrix
‣ Stap 1 - Voorbereiden & bepalen relevante elementen
‣ Stap 2 - Bepalen van de schade
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
‣ Stap 3 - Bepalen van de faalkans
‣ Stap 4 - Bepalen van de risicoklasse
‣ Stap 5 - Volledigheidscontrole
5 stappen
21
Wat is het uiteindelijke resultaat?
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Volledig systeem X
B Bij uitval van het volledige verkoopproces verlies van inkomsten maar de kans dat de deelsystemen uitvallen is uiterst klein
Deelsysteem 1
A Als deze functionaliteit niet of niet juist werkt krijgt het bedrijf zware boetes en negatieve pers. Dit deelsysteem wordt dagelijks honderden keren opgestart en wordt gebouwd met een voor het bedrijf nieuwe technologie
Deelsysteem 2
C Een onjuiste premie kan verlies van omzet betekenen maar is gebouwd in bekende en betrouwbare technologie
Externe interface
B Als niet wordt voldaan aan de beveiligingseisen kan vertrouwel klantinformatie openbaar worden en leidt het bedrijf zware imagoschade. De externe interface wordt gerealiseerd met een binnen het bedrijf al lang bekende en beproefde technologie zodat de faalkans als laag wordt ingeschat
Beheren
Rapporteren
Evaluatie
Ondersteuning
Het uiteindelijke resultaat
22
Risicomatrix is een momentopname
Matrix moet regelmatig doorlopen worden
-
inventariseer de (nieuwe) beschikbare informatie
-
beoordeel de actuele situatie
‣
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
pas indien nodig de matrix aan
-
volg de uitvoering van de maatregelen
-
neem indien nodig aanvullende maatregelen
Niet afschrikken om de strategie aan te passen!
23
Onderhoud risicomatrix
Als we alle gekende risico’s in kaart hebben gebracht, moeten we bepalen hoe zwaar we deze gaan testen
Hiermee moeten we wel nog andere aspecten mee in kaart brengen:
-
tijd
‣
-
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
einddatum van het project blijft er staan
kosten
‣
we hebben slechts een beperkt budget (in de meeste gevallen)
Daarom gaan we de test levels bepalen
24
Moet het altijd zo uitgebreid?
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Wat is een test level?
Een test level is een groep testactiviteiten die gezamenlijk wordt uitgevoerd en aangestuurd
25
Definities volgens TMAP Next®
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Algemeen principe
-
Beheren
Rapporteren
Evaluatie
Ondersteuning
zo vroeg mogelijk testen
‣
goedkoper
‣
de hersteller moet zo snel mogelijk leren van de gemaakte fouten
Welke test levels?
26
Inleiding
Kick off
Welke test levels zijn er standaard voorzien?
-
Reviews van tussenproducten
-
Unit Testen
-
Unitintegratie Testen
-
Systeem Testen
-
Systeemintegratie Testen
-
Acceptatie Testen
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Welke test levels?
27
Inleiding
Kick off
Niet beperken tot deze test levels!
Welke testsoorten te kiezen is afhankelijk van drie aspecten
-
tijd
-
risico
-
kosten
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Welke test levels?
28
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Wat is de volgende stap?
Combinatie van keuze van test levels en de risicomatrix die we eerder opgesteld hebben
Hoeveel effort per test level?
29
Link met de risicomatrix
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Volledig systeem X
B
x
x
xx
xxx
Deelsysteem 1
A
x
xx
xxx
xx
Deelsysteem 2
C
x
Externe interface
B
x
Beheren
Rapporteren
Evaluatie
Ondersteuning
x
xx
x
Aantal x-en bepalen hoe zwaar iets getest moet worden
Hoeveel effort per test level?
30
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Testaanpak
31
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Na het opstellen van de teststrategie brengen we alles een niveau van detail lager
-
Testontwerptechnieken
-
Concrete criteria per test level opzetten
Beheren
Rapporteren
Evaluatie
Ondersteuning
Wat houdt dit hoofdstuk in?
32
Test technieken zijn moeilijk en tijdrovend!
Is de enige manier om de strategie aantoonbaar te maken!!
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Zonder testtechnieken kan men niet de juiste zwaarte geven aan de testen die uitgevoerd worden als gevolg van de strategie
Vormt de link tussen testdoelen en testgevallen
Waarom testtechnieken?
33
We mogen de doelstelling van testtechnieken niet vergeten
-
met zo weinig mogelijk testgevallen een zo hoog mogelijke foutvindkans creëren
-
alleen in geval van zeer hoog risico testen we alle gevallen
-
het komt erop aan van de juiste techniek te kiezen in het kader van de te testen objecten
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Doelstelling testtechnieken?
34
Welke testtechniek is de juiste voor ons?
Veel variabelen om rekening mee te houden
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
-
kenmerk
-
testzwaarte
-
testbasis
-
kennis en kunde van de testers (zeker rekening mee houden in de acceptatietesten)
-
arbeidsintensiviteit van de techniek
35
Welke gebruiken we?
Hoe doen we dit concreet?
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Volledig systeem
B
xx
functionele test
Proces cyclus test
Deelsysteem 1
A
xxx
functionele test
Beslissingstabel
Deelsysteem 2
C
Externe interface
B
xx
security test
Data cycle test
X
Risicoanalyse
Beheren
Rapporteren
Evaluatie
Ondersteuning
Teststrategie
Dit doen we per test level
36
Welke gebruiken we?
Wanneer kunnen we beginnen met een bepaald test level en wanneer zijn we ermee klaar?
Kan tijdsgebonden zijn
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Bij voorkeur wordt dit afhankelijk gemaakt van criteria die op voorhand bepaald worden
Wanneer starten/stoppen?
37
Wat zijn Entry & Exit criteria?
-
Entry criteria geven aan wanneer er kan begonnen worden met een bepaald test level
‣
Voorbeelden
• •
-
de test cases voor dit test level zijn voor minstens 50% afgerond
bij de niet-afgeronde test cases zijn er geen componenten met risicoklasse A
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Exit criteria geven aan wanneer er kan gestopt worden met een bepaald test level
‣
Voorbeelden
•
minstens 85% van de testen zijn succesvol afgerond
•
bij de niet-succesvol afgeronde testen is er geen priorititeit 1
38
Criteria per test level
Waarom stellen we deze op?
De start en het einde van een test level mogen niet enkel afhankelijk zijn van de tijd
Indien dit toch gebeurt door bijvoorbeeld een verkorting van de voorziene tijd kunnen we aan de hand van deze criteria de risico’s beter inschatten naar de volgende test levels toe
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Om de planning onder controle te houden
Criteria per test level
39
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Organisatie
40
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Bepalen van de benodigde infrastructuur
Beheren
Rapporteren
Evaluatie
Ondersteuning
Opzetten van overlegstructuur
Wat houdt dit hoofdstuk in?
41
Wat verstaan we onder infrastructuur?
-
testomgeving(en)
-
test tools
-
setup van testruimte
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Infrastructuur moet ook ingepland en gebudgetteerd worden!!
Infrastructuur
42
Testomgevingen - Algemeen principe - OTAP
-
Ontwikkeling
-
Test
-
Acceptatie
-
Productie
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Kunnen eventueel samen gebruikt worden
Testomgevingen
43
Testomgevingen - Specifiek
-
afhankelijk van de gekozen test levels
-
dus ook afhankelijk van de gekozen testdoelen
-
voorbeelden zijn
‣
performantie testomgeving
‣
migratie testomgeving
‣
demo omgeving
‣
preproductie omgeving
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Testomgevingen
44
Welke soorten testomgevingen kennen we?
-
fysieke testomgevingen
‣
-
eigen hardware en software
‣
onafhankelijk van anderen
‣
duur
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
virtuele testomgevingen
‣
1 server met meerdere omgevingen
‣
afhankelijkheid met meerdere omgevingen van de operaties op deze eneOrgan server
‣
goedkoper
Testomgevingen
45
Belangrijk bij het bepalen en vastleggen van testomgevingen
-
wees realistisch - een tester heeft altijd meerdere omgevingen nodig
-
zorg dat er resources zijn voor de opzet en he tonderhoud van deze omgeving(en)
-
overweeg eventueel virtuele omgevingen
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Infrastructuur Testomgevingen
46
Welke vragen moeten we ons stellen rond test tools?
-
hebben we test tools nodig?
‣
test management tools
‣
defect Management tools
‣
functionele test tools
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
-
dienen we deze aan te kopen?
-
dienen deze nog opgezet te worden?
-
moeten we specifieke tools zelf bouwen?
Test Tools
47
Als gevolg van de antwoorden op de vorige vragen, moeten we
-
budgetteren
-
plannen
-
manieren van werken afspreken met alle betrokken partijen
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Test Tools
48
Wanneer is een testruimte nodig?
-
vooral bij acceptatietesten door eindgebruikers
-
om systeem- en acceptatietesters samen te brengen
-
om eventuele opleidingen te geven aan testers alvorens zij hun testopdracht starten
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Is niet altijd mogelijk
Indien wel mogelijk moet ook deze ingepland worden!
Setup testruimte
49
Waaraan voldoet een goede testruimte?
-
alle benodigde hard- en software is aanwezig
-
afgesloten van de normale werkomgeving
-
testcoördinator is ‘eigenaar’ van deze ruimte
-
mogelijkheid aparte meeting room
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Setup testruimte
50
Wat en waarom?
-
de overlegstructuur geeft de communicatielijnen aan tussen de verschillende betrokken partijen
-
bij deze communicatielijnen staat er ook hoe vaak en op welke manier er gecommuniceerd wordt - in grote lijnen
-
op die manier weet iedereen wanneer en hoe ze over de testen gebriefd worden
-
op voorhand vastleggen om miscommunicatie te voorkomen
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Opzet overlegstructuur
51
Waar op letten bij het vastleggen van de overlegstructuur?
-
werk met SPOCs per partij
-
niet te zwaar maken, haalt de aandacht weg van de essentie - testen
-
haalbare meetings plannen qua
-
‣
tijd
‣
aanwezigen
schematisch en duidelijk weergeven
52
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Opzet overlegstructuur
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Beheren
Wat houdt dit hoofdstuk in?
53
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Opvolgen van de voortgang
Behandelen van afwijkingen
Wat houdt dit hoofdstuk in?
54
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Wat doen we in deze fase?
-
we geven inzicht in en hebben controle over:
Beheren
‣
de voortgang van het test proces
‣
de kwaliteit en de risico’s van het test object
‣
de kwaliteit van het test proces
Rapporteren
Evaluatie
Ondersteuning
Het is de rol van de test coördinator om het totale test proces te controleren in een optimale manier en hierover te rapporteren
Onderdelen van controleren
55
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Is een van de moeilijkste taken voor de test coördinator, aangezien er verschillende factoren in meespelen:
Beheren
-
medewerkers
-
betrokken partijen
-
verwachtingsmanagement
Rapporteren
Evaluatie
Ondersteuning
Vereist de nodige communicatie en sociale vaardigheden die vanuit de test coördinator moet komen
Monitoring
56
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Waar halen we de informatie vandaan?
-
intern beheerde data over het gehele proces
-
data die voorzien wordt vanuit de verschillende test levels
-
informatie van buiten het test proces
‣
meeting minutes
‣
gesprekken
‣
project meetings
‣
stand-up meetings
‣
...
Beheren
Rapporteren
Evaluatie
Ondersteuning
Monitoring
57
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Wat doen we met deze informatie?
-
Beheren
we analyseren mogelijke trends
‣
gaan we de goede richting uit of niet?
-
‘gevaren’ kunnen op tijd gedetecteerd worden
-
‘opportuniteiten’ kunnen ook op tijd gedetecteerd worden!!!
Rapporteren
Evaluatie
Ondersteuning
Monitoring
58
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Wat doen we als we een ‘gevaar’ of een opportuniteit zien?
-
-
stap 1
‣
analyse van de gebeurtenis
‣
inschatten van de risico’s
‣
maatregelen voorstellen
Beheren
Rapporteren
Evaluatie
Ondersteuning
stap 2
‣
coördineren met de opdrachtgever en eventueel andere betrokken partijen indien nodig
Monitoring
59
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Rapporteren
60
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Het belang van rapportage
Rapporteren
Opstellen van tussentijdse rapportage
Evaluatie
Ondersteuning
Opstellen van een eindrapport
Waar gaat dit hoofdstuk over?
61
Als we niets rapporteren, hebben we niets getest!
Rapporten geven inzicht in de kwaliteit van het testobject en van het testproces
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Informatie mag niet enkel bij de test coördinator blijven
De klant/opdrachtgever op hun gemak stellen
Beslissingen triggeren om het proces bij te sturen
Waarom rapporteren?
62
We kunnen een oneindig aantal tussentijdse rapporten genereren, maar dit mag uiteraard niet in de weg staan van de essentiële testopdracht
Rapportage dient afgestemd te worden met de belanghebbenden
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Zoveel mogelijk de eisen samenbrengen rond 1 of enkele rapporten
Welke zijn mogelijk?
63
Het is de taak van de test coördinator om aan te tonen dat
-
het verwachte resultaat bereikt wordt
-
de risico’s van het systeem in productie te nemen zo klein mogelijk zijn, gegeven alle voorwaarden
-
dit alles plaats heeft gevonden binnen het afgesproken budget en tijdsframe
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Waarom een eindrapport?
64
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Structuur
-
gelijkaardig met het test level rapport
-
entry & exit criteria worden nu acceptatiecriteria
-
er zijn geen over te dragen defects meer - wel nog openstaande defects
Beheren
Rapporteren
Evaluatie
Ondersteuning
Bevat ook het advies over het al dan niet in productie brengen van de test coördinator
Wat vermelden we hierin?
65
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Ondersteuning
66
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Voordelen van tools als ondersteuning
Beheren
Rapporteren
Evaluatie
Ondersteuning
Soorten tools
Waar gaat dit hoofdstuk over?
67
Welke zijn de belangrijkste voordelen van het inschakelen van tools?
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
-
hogere productiviteit
-
hogere kwaliteit testen
-
hogere arbeidsvreugde (minder manuele regressietesten bijvoorbeeld)
-
uitbreiding testmogelijkheden
-
rapportagemogelijkheden
Waarom hebben we tools nodig?
68
Er zijn niet echt nadelen, echter wel valkuilen
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
-
setup is arbeidsintensief
-
hoge onderhoudseisen
-
upgrade van de tool vereist de nodige aandacht
-
a fool with a tool is still a fool
Zijn er ook nadelen?
69
Er zijn verschillende soorten tools aanwezig die je job als testcoördinator kunnen vereenvoudigen
-
tools voor het plannen en het beheren van de testen
-
tools voor het ontwerpen van de testen
-
tools voor het uitvoeren van de testen
-
tools voor het debuggen en het analyseren van de code
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Welke tools zijn er?
70
Niet blijven bij de traditionele tools
Er zijn meer tools dan Quality Center
-
Jira - defect tracking
-
Mantis Bug Tracking
-
MS Excel
-
Notepad
-
CSV editors
-
...
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
Beheren
Rapporteren
Evaluatie
Ondersteuning
Concreet
71
Inleiding
Kick off
Teststrategie
Testaanpak
Testbegroting
Organisatie
We kennen de opdracht en alle betrokken partijen
We kennen de doelstellingen van de testopdracht
We weten wat we gaan testen
We weten hoe we dat gaan testen
We weten wat onze criteria zijn waar we naartoe gaan werken
Beheren
Rapporteren
Evaluatie
Ondersteuning
We weten hoeveel ons dit kost en wanneer we deze activiteiten zullen uitvoeren
We zijn praktisch georganiseerd om al het voorgaande te kunnen uitvoeren
We zijn met de uitvoer begonnen en we proberen deze onder controle te houden
We hebben gerapporteerd over de voortgang en hebben op het einde van de testen een finaal testrapport opgesteld
De evaluatie van de testopdracht is afgerond en wordt meegenomen naar de volgende opdracht
72
We kunnen het makkelijker maken voor onszelf
Online informatie
-
www.tmap.net - veel bruikbare checklists
-
www.testforum.nl - bijzonder actief forum
-
www.erikboelen.be - mijn eigen testblog
Boeken
-
Lessons learned in software testing, Cem Kaner
-
TMAP Next, Michiel Vroon, Tim Koomen
-
Testen 2.0, Anko Tijman
Veel informatie beschikbaar
73
www.erikboelen.be
Twitter - @destruise
Contact
Erik Boelen
+32 (0) 486 39 45 73
[email protected]
www.erikboelen.be
@destruise
74
