English Title: Systematic Comparative Project Evaluation: Learning from the Project Database
Systematische Vergelijkende Projectevaluatie: Leren uit de Projectendatabase Stefan Verweij Afdeling Bestuurskunde Erasmus Universiteit Rotterdam Contact: www.stefanverweij.eu Network Meeting Directorate of Production and Project Management Rijkswaterstaat Major Projects and Maintenance Nieuwegein, January 27th, 2015
Pressman & Wildavsky ∞ Expectations and good intensions in planning can easily fail in subsequent implementation ∞
Bekende voorbeelden, zie: Flyvbjerg, Bruzelius & Rothengatter (2003)
∞ Daarom: evaluatie!
∞ “Learning is the key to both implementation and evaluation. We evaluate to learn, and we learn to implement” (1984[1973], xviii)
Infrastructuur-evaluatie literatuur: twee perspectieven ∞ Accountability ∞ Learning
Infrastructuur-evaluatie literatuur: twee perspectieven ∞ Accountability ∞ Learning ∞ Risico-perspectief ∞
Planning als calculatie: er kunnen objectieve waarschijnlijkheden worden toegekend aan implementatie-processen van projecten …
∞
… Er kan dus (strategisch) worden ge-miscalculeerd
∞
Focus: partijen worden verantwoordelijk gehouden voor negatieve prestaties in/van projecten
∞ Zie Sanderson (2012), Lehtonen (2014)
Infrastructuur-evaluatie literatuur: twee perspectieven ∞ Accountability ∞ Learning ∞ Onzekerheid-perspectief ∞
De werkelijkheid is wezenlijk onzeker: er kunnen geen objectieve waarschijnlijkheden worden toegekend aan implementatie-processen van projecten …
∞
… Want de werkelijkheid is complex en dus beperkt stuurbaar/beïnvloedbaar
∞
Focus: hoe kunnen partijen leren in/van projecten
∞ Zie Sanderson (2012), Lehtonen (2014)
Evalueren en leren ∞ Het slechte nieuws ∞
Er wordt te weinig geëvalueerd, met name wat betreft project implementatie ∞
∞
Er wordt niet systematisch (consequent) geëvalueerd ∞
∞
Mogelijke verklaring: de angst voor accountability
Mogelijke verklaring: te weinig middelen (geld, tijd, methodologische kennis)
Er wordt weinig vergelijkend geëvalueerd (patronen over projecten heen) ∞
Problematisch:
∞
Hoe kunnen projecten dan van elkaar leren?
∞
En hoe worden geleerde lessen geïnstitutionaliseerd?
∞
Zeker in een steeds dynamischere context (uitbesteding van management, projectificatie)
Evalueren en leren ∞ Het slechte nieuws ∞
“The implementation of transportation infrastructure projects therefore continues to be based on personal though unsystematically analyzed preferences, experiences and expectations, that are possibly inefficient, ineffective or obstructive to project implementation, without practitioners knowing or acknowledging this”
∞
Zie Pfeffer & Sutton (2006), Rousseau (2006), Proefschrift Verweij (verwacht 2015)
∞ Het goede nieuws: de projectendatabase (PDB) ∞
Schat aan informatie: (1) veel projecten, (2) veel ‘variabelen’ en (3) meerdere ‘meetmomenten’ per jaar
∞
Kansen voor vergelijkende en longitudinale analyses
Onderzoek met de PDB ∞ Gastonderzoeker bij de afdeling PM (GPO) van november 2013 t/m juni 2014 ∞ Onder de hoede van Freek Wermer ∞ Twee analyses tot dusver 1. Meerwerk en contractveranderingen in project implementatie 2. Management en publiek-private samenwerking in project implementatie
∞ Analyse in de maak 3. Zwaarte en allocatie van risico’s in DBFM-projecten
Meerwerk en contractveranderingen ∞ Onderzoeksvragen 1. Is er een relatie tussen lage aanbiedingen van aannemers, en de omvang van contractveranderingen (met meerwerk als gevolg) in de implementatie? 2. Wat zijn de omvang en redenen voor contractveranderingen in de implementatie?
∞ Kwantitatieve vergelijkende analyse van 45 projecten ∞ Methoden: ‘Shapiro-Wilk’ toets en ‘Kruskal-Wallis ANOVA’ toets ∞ Auteurs: Stefan Verweij, Ingmar van Meerkerk en Iris Korthagen ∞ Status: gepubliceerd in Transport Policy
Meerwerk en contractveranderingen ∞ Is er een relatie tussen lage aanbiedingen van aannemers, en de omvang van contractveranderingen in de implementatie? ∞
Gemiddelde contractwaarde bij ondertekening is 24% lager dan de verwachte waarde voor de aanbesteding (N=36)
∞
Dus: een positief aanbestedingsresultaat van 24%
∞
Er is geen relatie tussen het aanbestedingsresultaat en meerwerkkosten door contractveranderingen (N=36)
∞
Conclusie: er is geen bewijs voor ‘opportunistisch gedrag’ van aannemers die aanbestedingskosten willen terugverdienen in de uitvoering
∞
Beperking: lage N, ontbrekende data in de PDB
Meerwerk en contractveranderingen ∞ Wat zijn de omvang en redenen voor contractveranderingen in de implementatie? ∞
Aantal contractveranderingen per project: 62,61
∞
Kosten contractveranderingen per project k€ 25,452
∞
Kosten contractveranderingen per project, als % contractwaarde: 22,37%
∞
Kleine projecten hebben relatief hogere meerwerkkosten dan grote projecten (maar geen significante verschillen)
∞
Gemiddelden, N=45
Meerwerk en contractveranderingen ∞ Wat zijn de omvang en redenen voor contractveranderingen in de implementatie? ∞
Meerwerk door scopewijzingen komt het meest voor en brengt % de meeste kosten met zich mee, gevolgd door technische noodzaak, omissie, en weten regelgeving (dit patroon is niet significant voor alle groepen)
∞
Veranderingen door wet- en regelgeving komen weinig voor, maar als ze voorkomen dan zijn er hoge meerwerkkosten
∞
Meerwerkkosten door omissies zijn relatief hoog in kleine projecten vergeleken met grotere projecten (significant)
Meerwerk en contractveranderingen ∞ Enkele implicaties / voer voor discussie ∞
Dominantie van scopewijzigingen en technische noodzaak in meerwerkkosten door onzekerheden die optreden in de uitvoering: op zoek naar flexibelere contractvormen? (Cruz & Marques, 2003)
∞
Er moet meer aandacht zijn voor het contractmanagement van kleinere projecten, vooral met betrekking tot meerwerkkosten door omissies in de contracten ∞
∞
Maar: omissies in kleine projecten groot % van de contractwaarde, maar lagere absolute waarde (€) dan in grotere projecten
Enkele beperkingen onderzoek: lage N, definitie en meting van de vier meerwerk-categorieën
Management en publiek-private samenwerking ∞ Onderzoeksvragen 1. Wat voor een type management en publiek-private samenwerking draagt bij aan satisfactie van managers in de project implementatie? 2. Vragen verschillende typen projecten om ander management en publiekprivate samenwerking?
∞ Kwalitatieve vergelijkende analyse van 27 projecten ∞ Methode: fuzzy-set Qualitative Comparative Analysis (fsQCA) ∞ fsQCA geschikt voor het combineren van kwal/kwan data ∞ Auteurs: Stefan Verweij ∞ Status: paper, in-review
Management en publiek-private samenwerking ∞ Data ∞
Gemiddelde ‘completeness-level’ van de projecten: 73% (M 74%, SD 17%)
∞
Gemiddelde satisfactie van managers: 13,16 op een schaal van 0 tot 16
∞
Contracten: 4 x DBFM, 23 x D&C
∞
Gemiddelde projectomvang: k€ 386,206
∞
Gebruikte gegevens ∞
Kwantitatief: PDB-tabbladen ‘budget’, ‘financiën’, ‘mijlpalen’ en ‘dashboard’
∞
Kwalitatief: emailcontacten en PDB management-rapportages (totaal 202 pagina’s) over ‘markt’, ‘omgeving’ en ‘algemeen’
Vergelijking 27 projecten ∞ Stap 1: kwal/kwan data prepareren voor vergelijking (kalibratie) ∞ Samenvatting van gekalibreerde condities ↓ Lage fuzzy-set waarden (0.00 en 0.33)
Hoge fuzzy-set waarden (0.67 en1.00)
Management
Intern-georiënteerd
Extern-georiënteerd
Samenwerking
Meer contract-georiënteerd
Meer coöperatie-georiënteerd
Satisfactie
Lager
Hoger
Contract type
DBMF
D&C
Scope
Enge scope
Brede scope, integrale projecten
Project grootte
Kleiner
Groter
Management en publiek-private samenwerking ∞ Stap 2: een data-matrix construeren … (gedeeltelijke weergave)
Management en publiek-private samenwerking ∞ Stap 3: de 27 projecten groeperen … (gedeeltelijke weergave)
Management en publiek-private samenwerking ∞ Stap 4: de 27 projecten vergelijken (gedeeltelijke weergave)
Management en publiek-private samenwerking ∞ Enkele implicaties / voer voor discussie ∞
Extern-georiënteerd management en/of een coöperatieve publiek-private oriëntatie dragen bij aan satisfactie
∞
Kleinere projecten kunnen worden gemanaged met een minder coöperatieve oriëntatie, en meer door scheiding van verantwoordlijkheden o.b.v. het contract
∞
Grotere projecten met een brede scope hebben extern-georiënteerd management nodig en een meer intensieve coöperatieve publiek-private oriëntatie
∞
Geen belangrijke verschillen tussen D&C en DBFM voor wat betreft het type management en publiek-private samenwerking dat nodig is
Evaluatie: meer, systematischer en vergelijkend. Hoe? ∞ Evaluatie-partnerschappen tussen wetenschap en praktijk ∞
Wetenschap: middelen (tijd, methodologische kennis) maar weinig data
∞
Rijkswaterstaat: data maar weinig middelen
∞
Evaluatieresultaten zichtbaar en relevanter maken voor de praktijk (i.t.t. academische ivoren toren)
∞ Praktijk = Rijkswaterstaat + aannemerij ∞
‘Samen implementeren’ (PPS) dus ‘samen evalueren’ 1. ‘Twee weten meer dan één’ 2. ‘Samen evalueren’ kan zorgen voor meer vertrouwen, consensus etc. in PPS (Bryson, Crosby & Stone, 2006; Greene, 2001)
3. Co-creatie van kennis kan zorgen voor een directer gebruik van evaluatie uitkomsten (Patton, 2008, 2011)
Recente publicaties (ENG) ∞ Verweij & Gerrits (2015). How satisfaction is achieved in the implementation phase of large infrastructure projects: A qualitative comparative analysis into the A2 tunnel project. Public
Works Management & Policy. ∞ Verweij (2015). Achieving satisfaction when implementing PPP transportation infrastructure projects: A qualitative comparative analysis of the A15 highway DBFM project. International Journal
of Project Management. ∞ Verweij, Van Meerkerk & Korthagen (2015). Reasons for contract changes in implementing Dutch transportation infrastructure projects: An empirical exploration. Transport Policy.
Recente publicaties (NL) ∞ Reynaers & Verweij (2014). Kritisch kijken naar kansen: De schaduwzijden van DBFMO. ROmagazine. ∞ Pattyn & Verweij (2014). Beleidsevaluaties tussen methode en praktijk: Naar een meer realistische evaluatiebenadering. Burger,
Bestuur & Beleid. ∞ Verweij (2013). Ingewikkeld? Kijk goed om je heen! Sociale complexiteit in de uitvoering vraagt om een blik naar buiten. Infra.
Extra slides
Meerwerk en contractveranderingen ∞ Tabel 1: operationalisering van de variabelen
Meerwerk en contractveranderingen ∞ Tabel 2: beschrijvende
statistiek van de variabelen
Vergelijking A2 en A15 Configuratie
A
Condities
Bron van het event
Management oriëntatie
Sociaal
Intern
Satisfactie
Events
Cooperation
Laag
9 (A15 MaVa)
B
Intern
Private actor autonoom
Laag
6 (A2 Maastricht) 7 (A15 MaVa)
C
Intern
Publieke actor autonoom
Hoog
2 (A2 Maastricht)
D
Fysiek
Intern
Coöperatie tussen de partners
Hoog
1 (A2 Maastricht)
E
Fysiek
Intern
Publieke partner intermedieert
Hoog
1 (A15 MaVa)
F
Sociaal
Extern
Hoog
9 (A2 Maastricht) 7 (A15 MaVa)
Vergelijking A2 en A15 Configuratie
A
Condities
Bron van het event
Management oriëntatie
Sociaal
Intern
Satisfactie
Events
Cooperation
Laag
9 (A15 MaVa)
B
Intern
Private actor autonoom
Laag
6 (A2 Maastricht) 7 (A15 MaVa)
C
Intern
Publieke actor autonoom
Hoog
2 (A2 Maastricht)
D
Fysiek
Intern
Coöperatie tussen de partners
Hoog
1 (A2 Maastricht)
E
Fysiek
Intern
Publieke partner intermedieert
Hoog
1 (A15 MaVa)
F
Sociaal
Extern
Hoog
9 (A2 Maastricht) 7 (A15 MaVa)
Vergelijking A2 en A15 A2 Maastricht
A15 MaVa
Events
Voornamelijk sociaal (12 van de 18 – 67%)
Voornamelijk fysiek (16 van de 20 – 80%)
Management
Intern georiënteerd: 50% of events Extern georiënteerd: 50% of events
Intern georiënteerd: 65% of events Extern georiënteerd: 35% of events
Coöperatie
Meer coöperatie, samenwerken om events te managen
Meer autonoom, benadrukken van publiek-private scheidingen
Satisfactie
Lager
Hoger
Contract type
D&C en alliantie-achtige elementen
DBFM
Scope
Integraal project
Transportation infrastructuur
Project grootte
Kleiner
Groter
Vergelijking 27 projecten Kalibratie
Events
Niet beschikbaar
Management
1. Coderen van management rapportages (totaal 202 pagina’s) 2. Kwalitatieve cross-project vergelijking, scoren
Coöperatie
1. Coderen van management rapportages (totaal 202 pagina’s) 2. Kwalitatieve cross-project vergelijking, scoren
Satisfactie
1. Kalibratie van dashboard data met de ‘Tosmana Threshold Setter’ 2. 0.00 (8.67-10.17), 0.33 (10.18-12.34), 0.67 (12.35-13.50) en 1.00 (13.51-16.00)
Contract type
Scope
Project grootte
1. Data uit de database en emailcontacten met managers 2. Directe codering 1. Data uit de database en de MIRT projectenboeken 2. Directe codering 1. Kalibratie meest recente projectkosten met de ‘Tosmana Threshold Setter’ 2. 0.00 (9.488-75.566), 0.33 (76.567-242.894), 0.67 (242.895-584.061) en 1.00 (584.062-2.268.904)
Vergelijking 27 projecten ∞ Voorbeeld van kalibratie: project omvang en satisfactie ∞
Gelijke cases worden gegroepeerd, verschillende cases worden gescheiden
∞
Cluster analyse met Tosmana Threshold Setter
