Risicogebaseerd Testen Seminarie Oostende, 14 Oktober 2009

Hand-outs Valori seminar PRIMA risicoanalyse Voor KHBO en KU Leuven Oostende, Oktober 2009

Risico’s

Projectrisico’s

Productrisico’s

Risicogebaseerd Testen Seminarie Oostende, 14 Oktober 2009 Door: Egbert Bouman, Valori Voor: KHBO-EP

Agenda Welkom en opening (Wim Haegeman, Jeroen Boydens, KHBO) Inleiding risicomanagement Kwaliteitsmodellen voor risicoanalyse, ISO9126, IPS Risicoanalyse en de PRIMA aanpak Break met broodjes (ca 30 minuten)

Demonstratie PRIMA: workshop en tool Van risicoanalyse naar teststrategie Samenvatting, discussie, vragen Afsluiting (circa 20:30u). 2




Even voorstellen...

4


Over Valori…

Proces

Tools Proces Tools Syner gie

People People

Grip op IT projecten: Overzicht, Inzicht, Sturing Veel tevreden klanten:

 Grote organisaties  Vooral Nederland, beetje België

Al > 20 jaar in business

 Toonaangevend: Eurostar, TestNet, Q-society, …  Met eigen visie en methodiek

Compleet palet opleidingen Professionals

 100+ SmarTEST consultants, alle niveaus  Valori heeft voldoende omvang

www.valori.nl www.smartest.nl 5

Van Walrus onderzeeboten ….

De risico’s zijn vele …

6


… tot suffe verzekeraars

… en testen is van levensbelang!

7

Los daarvan: slim testen = geld verdienen Veel, blijkbaar !! In Europa vergelijkbaar

Zie www.nist.gov voor het volledige NIST rapport (pas op: 500 bldz.)

8


De “grote vragen” WAAROM testen?

bedrijfsdoelstellingen, opdracht

WAT testen?

testobject, vereisten („requirements‟) en

Vandaag

acceptatiecriteria, risicoanalyse

HOE testen?

teststrategie, testtechnieken

WIE test?

gebruikers, materiedeskundigen, ICT‟ers, beheerders, leveranciers, …?

WANNEER testen?

planning, testfasering

WAAR testen ?

testomgevingen, werkplekken

WAARMEE testen ?

infrastructuur, testtools, rekentools

PRIMA: high level afbakening van testobject en risico’s. 9

SmarTEST: slim testen in de echte wereld 1. Denk strategisch 2. Maak mensen belangrijk

3. Wees flexibel 4. Focus op risico’s 5. Bied transparantie

Strategisch Mensgericht Adaptief Risicogebaseerd Transparant

Geen risico, geen test !!! En bovendien: alles testen is onmogelijk. 10


Waarom risicoanalyse?

Kosten 

Optimum A

Test- en preventiekosten

B

Herstelkosten en (commerciële ) schade

Totaal A

B

Inspanning  Slim testen: vind het kostenoptimum! 11

Risico‟s horen er gewoon bij

Geen risico, geen leven!

12


Definitie van risico Definitie van een Risico: Elke gebeurtenis die zich op enig moment in de toekomst kan voordoen (maar zich niet noodzakelijkerwijs zal voordoen) en daarbij een negatief Effect heeft op het projectproces of het (de) projectresulta(a)t(en). Definitie van een Opportunity: Elke gebeurtenis die zich op enig moment in de toekomst kan voordoen en daarbij een positief effect heeft op het projectproces of het (de) Projectresulta(a)t(en).

Bron: werkgroep risicomanagement van het PMI

13

Risicomanagement in IT Governance frameworks SAS 70 COSO ISO 27001 CobiT !! PO9: Assess and Manage IT Risks

Zie ook SmarTEST hoofdstuk 20 “Testen en Auditing” 14


Risicomanagement in projectmethodieken PMBOK (PMI)

 Risicomanagement is één van de negen „kennisgebieden‟

PRINCE2

 Risicomanagement is één van de acht „componenten‟

15

Risicomanagement volgens PRINCE2 Risk analysis

 Identification  Estimation  Evaluation

Actions

 Prevention  Reduction  Transference  Contingency  Acceptance

16


Risicomaatregelen in gewoon Vlaams

Niets doen – risico accepteren Kans verkleinen – indien kans > 50% Effect verkleinen – indien effect schadelijk of fataal Reactietijd vergroten – als tijd krap of onvoldoende Een combinatie van bovenstaande maatregelen

17




Project en productrisico‟s

Risicomanagement Analyse en mitigatie

Projectrisico’s

Productrisico’s

Planning, voortgang, budget, politiek, people issues, etc.

Voor het eindresultaat, als het project er niet meer is.

19

Breed perspectief: 360 graden

Productrisico’s Het resultaat voor de business, als het project er niet meer is.

I

P

S

Informatie

Processen

Systemen

Gegevens in en naar het systeem

Organisatie en Processen

Het opgeleverde informatiesysteem

Kwaliteit is meer dan een mooi systeem 20


Het SmarTEST IPS model

IPS IDQ

ISO 9126

Informatiekwaliteit

POQ

Juistheid Tijdigheid Doeltreffendheid Exclusiviteit Controleerbaarheid Onderhoudbaarheid

Proceskwaliteit Doelmatigheid Organisatie Werkbaarheid Flexibiliteit Bestuurbaarheid efficiëntie

Systeemkwaliteit Functionaliteit Betrouwbaarheid Bruikbaarheid efficiëntie Onderhoudbaarheid Overzetbaarheid

21

Systeemkwaliteit: ISO 9126 (nederlands!) ISO 9126 Betrouwbaarheid

efficiëntie

Overzetbaarheid

Volwassenheid Beschikbaarheid Foutbestendigheid Degradeerbaarheid Herstelbaarheid

Tijdsbeslag Middelenbeslag

Aanpasbaarheid Installeerbaarheid Techn. Standaardisatie Inpasbaarheid

Functionaliteit Geschiktheid Juistheid Koppelbaarheid Func. Standaardisatie Beveiligbaarheid Traceerbaarheid Localiseerbaarheid

Bruikbaarheid Gebruikersvriendelijkheid Overzichtelijkheid Leerbaarheid Bedienbaarheid Duidelijkheid Instelbaarheid Aantrekkelijkheid Behulpzaamheid

Onderhoudbaarheid Analyseerbaarheid Wijzigbaarheid Stabiliteit Testbaarheid Beheerbaarheid Herbruikbaarheid Schaalbaarheid

22




Risicodenken kan contraproductief zijn

Risico analyse is een risico op zichzelf

24


Wat is Risico? Risico = Belang * Faalkans

25

Wat is Belang? Belang voor:

 De business  De gebruikers, de organisatie, de opdrachtgever  De stakeholders en acceptanten

Ook te zien als de Schade, als het misgaat

 Intern en Extern

26


Wat is Faalkans? Kans op niet goed functioneren van het product…

 Problemen met de software, het systeem, de keten  Inadequate processen of organisatie  Slechte data

…als die risico‟s niet goed bewaakt zouden worden…

 Vooral d.m.v. testen  Tijdens het project / programma

… zodat je er (te) laat tegenaan loopt

 In late testfasen  In gebruik en beheer

27

Twee manieren van risico-analyse Een-dimensionaal

 Bepaal de productonderdelen  Bepaal het risico per onderdeel  Dit is de klassieke Testrisico-analyse aanpak

Twee-dimensionaal

 Bepaal de productonderdelen  Bepaal ook de relevante kwaliteitsaspecten  Zet deze uit in een matrix  Bepaal het risico per combinatie onderdeel/kwaliteitsaspect  met de PRIMA matrix

28


Eendimensionale risico-analyse

Compact: 1 A4

29

Wat bereik je hiermee? WEL: Afbakening testobject: wat wel, wat niet

 Onderverdeling: 

behapbare brokken Relatieve verdeling testinspanning

NIET: Aandacht voor kwaliteitsaspecten:

NIET

50% 5%

10%

10% 5%

1%

WEL 8%

3%

5%

3%

1%

 functionele en niet-functionele aspecten:

performantie, beheerbaarheid, veiligheid, gebruikersvriendelijkheid, … 30


Tweedimensionale risicoanalyse: PRIMA 1. Onderdelen: welke dingen?

 Producten, deliverables, testobjecten  Systeemdelen, maar zo nodig ook processen en informatie

2. Kwaliteitsaspecten: welke eigenschappen van die dingen

 Functionaliteit  Gebruiksvriendelijkheid  Onderhoudbaarheid  Enzovoort

Dit zijn de twee assen van de PRIMA matrix

31

Complete toolkit

Een populaire tool ! 32


Wie bepaalt die risico‟s? Acceptanten en stakeholders

 Zij hebben de deskundigheid  Help ze met een gestructureerde workshop

Uitgangspunt: stakeholders met ideeën!

 Deelnemers kunnen met elkaar het risico inschatten  Ze zijn niet voor niets uitgenodigd!

Niemand te vinden met gevoel voor risico‟s?

 Dan heeft een risicoanalyse geen zin  Doe het desnoods zelf (straks meer over de risico‟s daarvan) 33

Stakeholders = Acceptanten acceptantr ol Gebruikers

Makers

Beheerders

acceptatiecriteria klanten (extern) eindgebruikers opdrachtgever informatiemana ger ICT architect ontwerper, programmeur functioneel beheerders technisch beheerders, componentbehe er operators

eenvoud, toegankelijkheid functionaliteit, snelheid, beschikbaarheid en gebruiksvriendelijkheid maximale prestaties, minimale “Total Cost of Ownership” passen binnen het bedrijfsgegevensmodel qua toegepaste technologien en opbouw passend binnen de infrastructuur en het architectuurmodel van de organisatie ontwerp, bouw en onderhoud met de beschikbare en nieuwe ontwikkelomgevingen en gereedschappen configureerbaarheid, prestaties zichtbaar en stuurbaar robuustheid, beheerbaarheid

Zie SmarTEST boek helpdesk Bewakers

auditors, certificeerders, accountants security officer kwaliteitsmanag ers

aansluiting bij de explotatie-normen, overzetbaarheid, installeerbaarheid overzicht, robuustheid, goede documentatie, optimale gebruikersondersteuning een controleerbaar en aan juridische en financiële normen en standaarden tegemoet komend proces van informatiebewerking beveiliging tegen inbraak en ongeautoriseerd gebruik bewaken de kwaliteit van het ontwikkelproces, en nemen soms (een deel van) de verantwoordelijkheden van andere acceptanten over

34


Kostbare uren optimaal benutten Waarom?

 Testen is duur  Niet testen waar geen risico zit en vice versa

Hoe?

 PRIMA aanpak in een workshop met alle acceptanten  Efficient, want de uren van de stakeholders zijn ook duur!

Denk aan:

 Dit is geen exacte wetenschap  Subjectief, maar wel gedeelde subjectiviteit 35

Waarom risicoanalyse workshop? Snelheid en efficiëntie

 Met een goede toolkit rondom de PRIMA Product Risico Matrix  In een workshop van een halve dag, met de acceptanten  Plus voorbereiding door test manager en 1 of 2 experts

Samenwerking

 Mensen  Methoden  Middelen

Strategisch niveau

 Van uitvoerend testen naar 

strategisch testen Positionering op niveau

36


De stappen in het PRIMA proces Voorbereiding workshop, dossier opstellen

 Wie uitnodigen?  Uitgangsdocumenten inventariseren  Voorzet onderdelen (decompositie) met enkele specialisten  Voorzet kwaliteitsaspecten met idem

Workshop

 Introductie  Vaststellen welke kwaliteitseigenschappen en onderdelen  Debat: elke stakeholder zet standpunt uiteen, discussie  Ranking, risicoschatting  Kruisjes zetten per combinatie

Rapportage Meer details in Instructie in de tool 37

Stappenplan, Samenspel Communicatie en samenspel

  

Visualiseren is belangrijk Communiceren in workshops, en daarbuiten Testmanager met opdrachtgever en acceptanten

Workshop

  

Voorbereiding en eerste invulling met enkele deskundigen Workshop met de acceptanten inhoud Follow-up met rapportage

Langszij komen!!



kwaliteit

Het Duivelsvierkant

Stap samen met projectleider en acceptanten in het duivelsvierkant! doorlooptijd

middelen

38







Wat bereik je hier mee? Een helder antwoord op lastige vragen

 “Heb je wel aan performantie gedacht”  “Zijn de eisen van het rekencentrum ook meegenomen?”  “Kijk je nog wat breder dan functionaliteit alleen?”  “Waarom heb je mij er niet bij betrokken?”  “Wat is nu precies de scope van risicomanagement en testen?”

Serieuze plaats van (test)team in het project

 Opdrachtgevers vragen erom of willen het graag zien  Acceptanten praten met elkaar, dankzij de testmanager  Een breed gedragen basis voor de teststrategie  En voor jezelf: heldere scope afbakening 41

De weg is het doel? JA…. Stakeholders met elkaar in gesprek brengen Vroegtijdig met elkaar nadenken over risico‟s is preventief …EN… Een concreet resultaat

 Ingevulde Risicomatrix  Lijst met concreet benoemde risico‟s 42


Samenvatting risicoanalyse Wat we nu weten: Twee soorten risico‟s Focus op productrisico‟s



Strak geleide workshop belangrijk!

Product = Systeem, Proces, Informatie

Drie modellen Wat we daarmee kunnen: Risicoanalyse Met alle belanghebbenden (stakeholders, acceptanten) Draagvlak: “gedeelde subjectiviteit” Efficient: liefst in een workshop

43




Wat nu? Met de ingevulde PRIMA matrix is het antwoord op de vraag “Wat testen” geleverd. Wat nu? NIET:

 Testen met de risicomatrix in de hand  Systematisch verfijnen en uitwerken van de cellen in de matrix

WEL:

 Basis voor teststrategie  “Geweten” van het testtraject: toetsen van vereisten 

(„requirements‟) en acceptatiecriteria. Tooling beschikbaar.

45

Showstoppers first please……

46


Van risicomatrix naar testscenario‟s Testbasis

Testware

Globaal en hoog niveau business eisen, architectuurkeuzes

Wat

gewetensfunctie Concrete bedrijfs-, gebruikersen systeemeisen

Acceptatiecriteria

Functionele en aanvullende specificaties

Testscenario’s

Hoe Testscripts (geautomatiseerd testen)

47

De risicomatrix als geweten (1)

PRIMA Matrix Kwaliteits aspecten

Onderdelen

?

?

Concrete risicolijst

Testscenario’s

(met testgevallen waar nodig)

48


De risicomatrix als geweten (2) De risicomatrix view wordt vergeleken met de PRIMA matrix en discrepanties worden zichtbaar.

Gewetensfunctie !

Uit de lijst van acceptatiecriteria kan een risicomatrix achtige VIEW worden gegenereerd. 49

Risk & Requirements based testing Risico’s, Requirements en Acceptatiecriteria

Exploitatietest

ICT eisen

Bedrijfseisen, gebruikerseisen

Acceptatie test

Systeem eisen

Het SmarTEST

Systeem test

Ontwerp, bouw en ontwikkeltesten

W-model 50


Risico‟s zijn de requirements van de angsthaas

51

De “Grand Unifying List” Context: Productrisico’s Risico‟s, requirements en acceptatiecriteria zijn „views‟ op dezelfde lijst. Een risico kan ook als requirement geformuleerd worden en een requirement als een acceptatiecriterium. En vice versa, het is slechts een kwestie van taal. Werk dus met een (1) lijst! 52


RAR lijst: Risico‟s, Requirements en AC‟a

Risico’s

Requirements

1 RAR lijst

Acceptatie criteria

Integraal beheer van risico’s, requirements en acceptatiecriteria

53

Voorbeeld: RAR lijst bij KPN

54


Transparantie: rode draad

55

PRIMA: onderdeel van de SmarTEST toolkit

Recent vernieuwd

56


Te downloaden van www.smartest.nl

57

Wat kan Valori betekenen? Volledige PRIMA risicoanalyse voor ca 4000,-

 Voorbereiding, benoemen en uitnodigen stakeholders  Begeleiding workshop, met alle stakeholders  Zeer compleet rapport  Succesgarantie!

Tool: gratis op www.smartest.nl

 Met uitvoerige instructie

Training risicoanalyse Hulp bij het vervolg:

 Integratie Risico‟s, Acceptatiecriteria en Requirements  Testrategie en Testplan  Testuitvoering en rapportage

SmarTEST: slim testen in de echte wereld

58


Nog vragen?

59

Bedankt, trossen los en behouden vaart!

Gewoon (laten) doen! 60


Extra slides

61

SmarTEST

SmarTEST is ontstaan in het nieuwe tijdperk

62

Risicogebaseerd Testen Seminarie Oostende, 14 Oktober 2009

Recommend Documents