Talking about risk …
… de 2e ronde. deB Project & Risk Groningen Dr. Karel de Bakker PMP
[email protected]
1
Programma van vandaag 1. In vogelvlucht door het onderzoek: 1. Literatuuronderzoek 2. Case studies 3. Experiment
2. Discussie aan de hand van de gestelde vragen
2
4 jarig full-time promotieonderzoek • Artikelen: • International Journal of Project Management (2x) • Project Management Journal • Int. Journal of Project Organization & Management • Conferenties: • PMI Research, juli 2008, Warschau • PMI EMEA, mei 2009, Amsterdam • IRNOP IX, oktober 2009, Berlijn 3
Doel van het onderzoek “Vaststellen of er een relatie bestaat tussen de toepassing van risicomanagement binnen een project en het succes van dat project, en zo ja, welke kenmerken die relatie heeft.” Het onderzoek kijkt naar IT projecten, in het bijzonder ERP-implementaties.
4
Literatuuronderzoek IT project risicomanagement en de relatie met succes in de literatuur
5
Een nadere beschouwing Risicomanagement: “evaluation approach” Input for next project
Known Risk factors
Project Risk Management
Current project
6
New Risk Factors
Evaluation approach • De bijdrage hiervan aan het project succes – Is (op zijn minst) discutabel, omdat: • We weten intussen veel over risicofactoren, maar • We weten niet of die kennis ook gebruikt wordt – Onderzoek heeft aangetoond dat het hebben van de kennis nog niet betekent dat deze ook gebruikt wordt
– Misschien dat de kennis intussen zijn weg gevonden heeft in de toepassing van nieuwe methoden van project management (b.v. Agile)
7
Een nadere beschouwing Risicomanagement: “management approach”
Information
collecting
Project Risk Management
Current project
8
using
Managing
Management approach Vertrekpunt van het onderzoek: Risk Management
Parameters (T, B, Q) set in the project plan
Rational problem solving Success of the project Instrumental action
9
Waarom risico management NIET bijdraagt aan project succes • In relatie tot de management approach: • Deze approach is gebaseerd op rationele probleemoplossing, hetgeen betekent dat alle risico’s gekend kunnen worden en beheerst kunnen worden. • Onderzoek* heeft aangetoond dat niet alle risico’s op deze wijze beheerst kunnen worden, omdat niet voor alle risico’s een kansverdeling bekend is *: Pender, 2001; Loch et al., 2002; Holt, 2004
10
Waarom risico management NIET bijdraagt aan project succes • In relatie tot de management approach: • Deze approach gaat uit van rationeel handelende projectmanagers • Onderzoek* geeft aan dat project managers de neiging hebben om risico’s en risicomanagement: uit te stellen, te vermijden, te ontkennen en te negeren. Soms is dit gedrag bewust en doelgericht, soms is het onbewust en gestuurd door bv. cultuur, ritueel gedrag of angst. *: Kutsch & Hall, 2005
11
Waarom risico management NIET bijdraagt aan project succes • In relatie tot de management approach: • Om een effect te hebben moeten alle stappen van het risicomanagement proces worden uitgevoerd. • Onderzoek* heeft aangetoond dat in de praktijk niet alle stappen worden uitgevoerd, en dat ze ook niet in de voorgeschreven volgorde worden uitgevoerd. *: Bijvoorbeeld: Raz et al., 2002; Voetsch et al., 2004
12
Waarom risico management NIET bijdraagt aan project succes • In relatie tot de management approach: • Onderzoek* heeft aangetoond dat aan het begin van het project stakeholders bewust de benefits van het project overschatten (strategic misrepresentation), en onbewust de risico’s van het project onderschatten (optimism bias).
• Risicomanagement repareert ten hoogste wat fout ging aan het begin van het project *: Flyvbjerg et al., 2003
13
Niets positiefs te melden? •
Jawel, maar het is nogal beperkt – RM activiteiten hebben een positieve invloed op: 1. Het juist inschatten van het moment van oplevering 2. Het juist inschatten van de benodigde hoeveelheid resources voor het uitvoeren van een taak 3. Het aantal fouten dat wordt gemaakt binnen een taak 1. Cooke-Davies, 2000 2. Ropponen & Lyytinen, 1997 3. McGrew & Bilotta, 2000
14
Wanneer werkt RM wel? • RM werkt onder de volgende voorwaarden; er moet sprake zijn van de volgende zaken: • • • •
Een niet-politiek project (= belangen lopen gelijk), en Duidelijke specificaties (requirements), en Een gestandaardiseerde ontwikkelmethode, en Voldoende (en – goede) historische data.
– Het mag duidelijk zijn dat de meeste (IT/ERP) projecten niet aan deze voorwaarden voldoen
15
Voorlopige conclusie • Risico management draagt, onder specifieke condities, bij aan het bereiken van project succes (Tijd, Geld, Kwaliteit) • Daarbij wordt risico management beschouwd als een methode van rationele probleem oplossing • Maar wat nu als we eens wat dieper in het proces kijken? • Waarbij we een aantal aannames loslaten/aanpassen?
16
2. Een andere kijk op hetzelfde Risicomanagement, is dat: een verzameling activiteiten om te komen tot betere plannen en beslissingen? (instrumental effects, C&W, 1997)
Of is het misschien ook: een verzameling activiteiten die daarnaast andere effecten genereren? (social effects, C&W, 1997) 17
Het aanvullende model Risk Management activities « Communicative » effects Success of the project (an individual stakeholder opinion) Instrumental effects
Onderzocht in een aantal case studies (ERP implementatie projecten) 18
3. Onderzoek; case studies Deel 1 van het onderzoek in de praktijk Onderzoek het aanvullende model: • in (afgeronde) ERP implementatie projecten • 7 projecten (cases), verschillende sectoren
19
Projectsucces: • Succes hangt af van aan wie je het vraagt – Daarom: succes = perceptie van succes – De mening van verschillende stakeholders telt – Tijd, geld en kwaliteit kunnen belangrijk zijn – Maar ook andere elementen kunnen meetellen, bv: • • • •
20
Tevredenheid van gebruikers Toekomstige gebruiksmogelijkheden van het IT systeem Klant-leveranciers relatie (partnership) Tevredenheid van projectmedewerkers
21
Risk Management Practice
Description of the practice
Risk Management Planning
Writing a plan or writing a paragraph in the project plan about how risk management will be executed on the project (NOT an initial list of risks!)
Risk Identification
Naming and identifying risks with the use of e.g. filling out questionnaires, consulting experts, doing brainstorm sessions, conducting interviews
Risk Registration
Recording and maintaining the list of risks in e.g. a database, one or more documents, spreadsheets
Risk Analysis
Analyzing risks, e.g. by estimating probability and impact, doing simulations (e.g. Monte Carlo), root cause analysis
Risk Allocation
Appointing a person to be responsible for taking care of one particular risk
Risk Reporting
Distributing information about risks and the status of risks to other people, e.g. by dedicated risk status reports or as part of project progress reports
Risk Control
Holding meetings with various people in which status and actions of risks are discussed
Hoe beïnvloeden deze RMP’s het succes van een project? • Interviews met stakeholders van diverse ERP implementatie projecten: project managers, leveranciers, opdrachtgevers
• Onderwerpen: het project, hun idee van project succes, wat zij deden met RM, hoe zij vinden dat RM het succes beïnvloed • Hun uitspraken vormen de basis voor de resultaten van het onderzoek 22
Voorbeelden van uitspraken: projectmanagers – Over risico identificatie: » “Ik gebruik risico identificatie om awareness te creëren” » “Risico’s meer objectief maken, een gezamenlijk beeld creëren” – Over risico registratie: » “Het gaat erom dat je het continu aandacht geeft; de lijst helpt je daarbij” » “Om er voor te zorgen dat iedereen alert blijft” – Over risico analyse: » “Je geeft aan wat de impact is, en daardoor realiseren mensen zich de consequenties en gaan ze actie ondernemen” » “Door de analyse wordt duidelijk wat werkelijk belangrijk is, en dat beinvloedt de wijze waarop je handelt”
23
Voorbeelden van uitspraken: projectmanagers
– Over risico allocatie: » “Mensen weten dan dat ze iets moeten gaan doen; het is hun actie” » “Hierdoor ben je in staat om mensen te managen; je kan de persoon aanspreken waarvan je weet dat hij of zij verantwoordelijk is” – Over risico reporting: » Rapporteren zorgt enerzijds voor vertrouwen, en anderzijds kan je hiermee om acties of richting vragen van de stuurgroep” » “Het is nodig om mensen bewust te maken van het risico” – Over risico control » “Als een eigenaar van een risico tijdens de vergadering zegt dat hij iets gaat doen en het gebeurt niet, dan kan je hem daarop aanspreken” » Als je laat zien dat je een risico serieus neemt, dan draagt dat bij aan de tevredenheid van de klant” 24
Voorbeelden van uitspraken: leveranciers – Over risico identificatie: » “De brainstormsessies zorgen ervoor dat mensen zich bewust worden van de risico’s, en dit kan leiden tot het opstarten van acties” » “Het zorgt voor duidelijke verwachtingen” » “Je probeert ervoor te zorgen dat de groepen op één lijn komen te zitten met betrekking tot de doelen van het project” – Over risico registratie: » “We proberen de stakeholders aan te geven dat we serieus en professioneel aan het werk zijn met het project en de risico’s” » “Als mensen beter weten wat de risico’s zijn dan krijg je betere resultaten”
25
Voorbeelden van uitspraken: opdrachtgevers – Over risico identificatie: » “Als je dit in een grote groep doet, dan worden mensen zich meer bewust van wat er zich om hen heen afspeelt” » “Ik heb mensen gevraagd om hun risico’s uit te spreken, omdat ik aan wilde geven dat openheid op dit project gewaardeerd werd” – Over risico reporting: » “Als ik gedurende het project zie dat de risico’s afnemen, dan geeft me dat een veilig gevoel” » “Het informeert mensen over hetgeen belangrijk is, en welke acties zullen worden ondernomen”
26
Samengevat • • • • •
27
In totaal 7 projecten onderzocht 19 interviews gehouden Alle projecten: ERP implementaties Verschillende sectoren 127 statements, 178 indicaties
Resultaten: project succes Project success
Project success
Objective
Stakeholders’ grade (scale: 1 – 7)
Time Budget Quality
Project
IT Supplier Customer
Manager
Case average
Case 1
+/-
+/-
+/-
7
6
6
6.3
Case 2
+
?
+
6
6
6
6
Case 3
+
?
+
6
6
6
6
Case 4
-
-
-
4
4
NA
4
Case 5
-
-
-
5
6
3
4.7
Case 6
+
+
+
6
6
6
6
Case 7
+
+/-
+
7
6
NA
6.5
Legend: + = no issues, +/- = minor issues, - = serious issues, ? = unable to determine NA = not available 28
Resultaten: gebruik RM Case
Risk Management Practices used* Planning Identification Registration
1
X
Analysis Allocation Reporting
X
X
X
X
X
X
2
X
X
X
X
X
X
3
X
X
X
X
4
X
X
X
X
X
X
5
X
X
X
X
6
X
X
X
X
X
7
X
X
X
X
X
* = according to the project manager of the project
29
Control
X
Resultaten: Meten invloed • Invloed van risico management activiteiten op project succes wordt gemeten op 3 manieren: 1. Hoe vaak geven stakeholders aan dat een activiteit een positief effect heeft? 2. Hoeveel indicaties geven stakeholders mbt de effecten van een activiteit op succes? 3. Hoeveel typen indicaties geven stakeholders mbt de effecten van een activiteit op succes? 30
Resultaten: Hoe vaak? Risk Management Activity
Stakeholder
All
(score)
(P+S+C)
Relative
Rank
P
S
C
Planning
1-1
0-0
0-0
1-1
NC
NC
Identification
7-7
5-6
4-4
16-17
.94
1
Registration
5-6
1-5
1-2
7-13
.54
4
Analysis
3-5
1-4
1-2
5-11
.45
5
Allocation
6-6
3-6
2-2
11-14
.79
2
Reporting
5-7
2-5
2-4
9-16
.56
3
Control
2-6
1-5
1-2
4-13
.31
6
Legend: P = Project manager, S = Supplier (IT), C = Customer. NC = Not Calculated.
31
Resultaten: Hoeveel indicaties? Number of statements relating to success by: All Project IT Supplier Customer stakeholders Manager
Practice: Risk Management Planning
2
2
0
0
Risk Identification Risk Registration Risk Analysis Risk Allocation Risk Reporting Risk Control
48 19 7 14 26 11
20 8 3 6 11 7
17 7 2 5 9 3
11 4 2 3 6 1
127
57
43
27
Total
32
Resultaten: Welke typen? RM Activity:
Stakeholder group indicating category of effect: Project Manager (P)
33
IT Supplier (S)
Customer (C)
Planning
A, P
-
-
Identification
A, P, E, R
A, P, E, R
A, P, R
Registration
A, E
P, R
A, P, R
Analysis
A, P
A, P, E
A, P
Allocation
A, P, E
A, E
A
Reporting
A, P, E, R
A, P, E, R
A, P, R
Control
A
A, E
E
Typen effecten 1. A = Action - Triggeren of stimuleren van actie van individuen - Afstemmen van actie (waardoor effectiever) 2. P = Perception - Beinvloeden van individuele percepties - Synchroniseren van percepties 3. E = Expectation - Verwachtingen betreffende het resultaat of het proces 4. R = Relation - Opbouwen/onderhouden relaties tussen stakeholders
34
Resultaten: Welke typen? RM Activity:
Stakeholder group indicating category of effect: Project Manager (P)
35
IT Supplier (S)
Customer (C)
Overall rank
Planning
A, P
-
-
NC
Identification
A, P, E, R
A, P, E, R
A, P, R
1
Registration
A, E
P, R
A, P, R
3
Analysis
A, P
A, P, E
A, P
4
Allocation
A, P, E
A, E
A
5
Reporting
A, P, E, R
A, P, E, R
A, P, R
1
Control
A
A, E
E
6
Resultaten Overall ranking: Welke risicomanagement activiteit heeft het meeste invloed op project succes? 1. 2. 3. 4. 5. 6. 36
Risico identificatie Risico reporting Risico registratie Risico allocatie Risico analyse Risico control
Resultaten: succes per project # Indications 40
Cluster 2
2 1
30
7
6
20 4 5 10
low
37
3
Cluster 1
high
Project Success
Resultaat en conclusie Er lijkt een verband te zijn tussen aantallen en typen indicaties en projectsucces De minder succesvolle projecten kennen: • Kwantitatief: minder indicaties (gem. 14 vs. 34) • Kwalitatief: minder typen (bv. Relation ontbreekt)
38
Conclusies deel 1 Case studies tonen aan dat: - Er communicatieve effecten bestaan - Deze effecten hebben een invloed op succes - Deze effecten zijn theoretisch te duiden - Risico identificatie is van allen het “sterkst” - Maar: de bewijsvoering is (nog) zwak
39
4. Onderzoek; experiment Deel 2 van het onderzoek in de praktijk Bekijk één van de relaties uit het model, en test deze relatie in een experimentele context Risico identificatie
40
Project succes
Waarom een experiment? 1. Om bewijs te vinden in aanvulling op de resultaten uit de case studies 2. Omdat een experiment mogelijkheden biedt om zeer precies waar te nemen en te meten 3. Omdat deze multi-method approach de verbinding legt tussen rigor en relevance
41
Experimentele opzet 53 projectgroepen van 4 personen (totaal 212 personen); uitvoering van een eenvoudig project 17 projectgroepen: risico identificatie met gebruik van een prompt list: projectleden overleggen met elkaar 18 projectgroepen: risico identificatie met gebruik van een prompt list; projectleden overleggen NIET 18 projectgroepen: geen risico identificatie, maar direct project uitvoering 42
Experimentele opzet Preparation phase
Experimental phase
Instructing participants in joint session
Creation of project groups at random
Groups go to different rooms t=1
43
NO Risk Identification (Type 1)
Project execution
Informing project on their result
Risk Identification (Type 2)
Project execution
Informing project on their result
Risk Identification + discussion (Type 3) t=2
Project execution
Informing project on their result t=3
t=4
When?
Topic measured:
What is measured and how?
t=1
Q1
Expression of an expectation of an individual project member Expression of an expectation of an individual project member Indicated by the individual project member
Before Risk Identification
T1 G1
t=2
After Risk Identification
No measuring
t=3
After Project Execution
Q3
T3 G3
P3
t=4
44
How many good solutions the project will deliver How much time is needed for solving all tasks? A grade for the overall result, if the outcomes (Q1, T1) become true
After announcement of the actuals
G4
The actual number of correct solutions The actual time used A grade for the overall result, given by the individual project member
Check the number of correct solutions
Measure/check time used with a stopwatch Based on individual experience from project execution (actuals are unknown to project members) Indicator if changes had been made to Project teams are asked if they have adjusted the original project plan the project plan A grade for the overall result, given by Based on individual experience from project the individual project member execution (actuals of their own project are known to project members)
Als gevolg van bewust geïntroduceerde risico’s verandert het precedence diagram
Task 1 Task 2 Task 3 Task 4 Begin
Task 1
End Task 5
Task 2 .. 5 Task 6
Task 6 .. 19
Task 8 Task 10
Task 20
Task 12
VOOR
Begin
End
Task 13 .. 15 Task 16 Task 17
Task 11
Task 18
Task 7
Task 19
Task 9 Task 20
45
NA
Hypotheses Op basis van de theorie en de resultaten van de cases: H1: Projecten die risico identificatie uitvoeren scoren beter op het aantal goede antwoorden dan controle H2: Projecten die risico identificatie uitvoeren gebruiken daarvoor minder tijd dan controlegroepen H3: Leden van projecten die risico identificatie uitvoeren geven een hoger rapportcijfer voor hun projectresultaat dan controlegroepen 46
Resultaten H1: Projecten die risico identificatie uitvoeren scoren beter op het aantal goede antwoorden dan controlegroepen Groepen die risico identificatie uitvoeren, scoren beter dan controlegroepen, maar dit verschil is niet statistisch significant Groepen die risico identificatie uitvoeren waarbij overlegd wordt, scoren significant beter dan controlegroepen De trendlijn volgt de theorie, maw: type 1 < type 2 < type 3 (en ook de trendlijn is statistisch significant)
47
Resultaten H2: Projecten die risico identificatie uitvoeren gebruiken daarvoor minder tijd dan controlegroepen Er is geen enkel verband aan te tonen in het experiment tussen het gebruik van risico identificatie (met of zonder onderling overleg) en de hoeveelheid tijd die daarvoor wordt gebruikt Mogelijke verklaringen: - Homogene groepen - Wet van Parkinson
48
Resultaten H3: Leden van projecten die risico identificatie uitvoeren geven hun projectresultaat een hoger rapportcijfer dan controlegroepen Grade difference Type 1 projects Grade difference Type 1 project (no RI) and Type 2 projects (RI)
(no RI) and Type 3 projects (RI + comm.)
t=3
t=4
49
Project members not informed Not significant
Significant
about their own project results U= 2440.50, r = .05, p > .05,
U = 2061.00, r= .14, p < .05,
(G3)
(n1 = 72, n3 = 68)
(n1 = n2 = 72)
Project members informed about Not significant
Not significant
their own project results (G4)
U= 2363.50, r = -.03, p > .05,
U = 2168.50, r = .05, p > .05,
(n1 = 68, n2 = 72)
(n1 = n3 = 68)
Conclusies deel 2 Het experiment toont aan dat risico identificatie als afzonderlijke activiteit, dus zonder de overige activiteiten van het project risicomanagement proces, in staat is het succes van het project positief te beinvloeden. De invloed betreft zowel het objectieve succes (kwaliteit), als het gepercipieerde succes (rapportcijfer). Het effect van risico identificatie op project succes is alleen significant indien projectleden tijdens de risico identificatie met elkaar overleggen. Welke van de 4 effect(en) (A, P, E, R) verantwoordelijk is voor de invloed, is op basis van de gegevens niet eenduidig vast te stellen (dat is namelijk niet gemeten) 50
Eindconclusies Het eerste deel van de onderzoeksvraag: “Vaststellen of er een relatie bestaat tussen de toepassing van risicomanagement binnen een project en het succes van dat project, en zo ja, welke kenmerken die relatie heeft.” … kan op basis van de onderzoeksresultaten bevestigend worden beantwoord. 51
Eindconclusies Het tweede deel van de onderzoeksvraag: “…, en zo ja, welke kenmerken die relatie heeft.” Voor de beantwoording van dit deel van de vraag moet een onderscheid gemaakt worden tussen twee soorten effecten die het gevolg zijn van risicomanagement; instrumenteel en communicatief
52
Eindconclusies Instrumenteel: onder strikte condities (o.a. nonpolitiek, voorspelbaar proces, requirements, historische data) draagt risicomanagement bij aan project succes. Communicatief: individuele RM activiteiten zijn in staat tot het genereren van Actie, Perceptie, Verwachting of Relatie effecten, en die effecten dragen bij aan project succes 53
De vragen Ik lees de begrippen projectrisicomanagement en risicomanagement. Waarom worden deze twee begrippen gebruikt?
Welke elementen van het risicomanagement proces hebben een grote resp. een lage bijdrage aan het succes van IT projecten?
54
De vragen In hoeverre is in het onderzoek rekening gehouden met de verschillende typen stakeholders en kan er een uitspraak worden gedaan dat voor beiden communicatie een positief effect heeft op projectsucces?
Geconcludeerd wordt dat risicomanagement een positief effect heeft op het projectsucces ervaren door stakeholders vaak vanwege communicatieve effecten en in mindere mate de instrumentele kant van risicomanagement. Is dit een conclusie die alleen ICT-projecten betreft of gaat er ook een generaliserend effect van uit? Zo ja, zijn dit de belangrijkste factoren voor succes of is het gerechtvaardigd te stellen dat er meerdere factoren zijn die kunnen bijdragen aan projectsucces, e.e.a. afhankelijk van het type project? 55
1. Heb je bij de promotiestudie onderscheid kunnen maken tussen projectsucces door de inzet van een risicomanagementsystematiek enerzijds en anderszijds projectsucces doordat de projectmanager simpelweg de risico's goed heeft ingeschat en daar impliciet al naar handelt (dus zonder expliciet de toepassing van een systematiek)? 2. In hoeverre is er een relatie te leggen tussen het gebruik van een expliciet risicomanagementsystematiek en de onzekerheid van de projectmanager? Of te wel: wordt RM meer ingezet bij onzekere projectmanagers dan bij projectmanagers die zelfverzekerd in hun project staan? Of juist andersom? 3. Is het niet zo dat met de toepassing van risicomanagement er een illusie ontstaat van controle, terwijl de uitkomst per definitie onzeker is, waardoor er een schijnzekerheid ontstaat die weer leidt tot miscommunicatie en verkeerde verwachtingen? 56
Wat waren je verwachtingen van je onderzoek voordat je begon? Welke nieuwe (onverwachte) inzichten heb je opgedaan (die misschien ook niet zijn opgeschreven)? Is je conclusie ook dat een beter voorspelbaar project ook per definitie een succesvoller project is/wordt? Kun je uitweiden waaraan voldaan moet zijn om maximale communicatieve effecten te scoren? Vermoed je dat dit ook verschilt in verschillende culturen? Zo is mijn verwachting dat in Angelsaksische organisaties er minder moeite gedaan hoeft te worden om de communicatieve effecten te krijgen dan in een cultuur die verwacht te kunnen inspreken en mee denken en daarmee het effect minder snel bereikt wordt. Zou je kunnen stellen dat de maximale waarde gecreëerd wordt als de principes, aanpak en processen toegespitst zijn op het creëren van maximale communicatieve effecten? Is dit synoniem met Mindfullness? 57
Je geeft aan dat het sociale proces van risicomanagement belangrijk is voor het succes van IT projecten. Hoe belangrijk is de risico management rapportage daarbij uiteindelijk, m.a.w. maakt het in het resultaat uit of je samen schat dat een risk 'high' is of dat je samen het risico tot drie cijfers achter de komma berekent? Een van de belangrijkste conclusies uit het onderzoek is dat project risicomanagement bijdraagt (of kan bijdragen) aan project succes vanwege de communicatieve aspecten. Uit de studie van Karel blijkt ook dat het reduceren en beïnvloeden van onzekerheid (en een verbeterde voorspelbaarheid van het gedrag van belanghebbenden) een belangrijke bijdrage levert aan project succes. Zou de conclusie dan niet moeten zijn dat project risicomanagement zich vooral moet richten op het verminderen van onzekerheid, c.q. het verbeteren van de voorspelbaarheid van het gedrag van stakeholders? Zijn de bevindingen uit het onderzoek ook op andere vakgebieden toepasbaar, bijvoorbeeld in de bouw?
58
