Performance meten volgens de ProRail methode

P5 Afstudeerscriptie

23062010

Performancemetenvolgensde ProRailmethode ‘EENBOUWSTEENTOTPRESTATIEMETEN’

| Dick Lemans | Performance meten volgens de ProRail methode | 23 juni 2010 PERSONALIA

Naam: Studentennr:

Dick Lemans 1380907

Email: Telefoon:

[email protected] niet openbaar

Hoofdstuk: Inhoudsopgave

TU Delft, Faculteit Bouwkunde Master Real Estate & Housing Lab: Design & Construction Management Hoofdmentor: 2e mentor:

Ir. R.P. Geraedts Prof. mr. dr. M.A.B. Chao‐Duivis

1

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 INHOUDSOPGAVE

Hoofdstuk:Inhoudsopgave

Voorwoord.........................................................................................................................................................4 Summary............................................................................................................................................................5 Context......................................................................................................................................................................5 Researchintroduction...............................................................................................................................................5 TheProRailinstrument.............................................................................................................................................8 AnalyzingtheProRailinstrument..............................................................................................................................9 Thenewinstrument................................................................................................................................................11 Implementation......................................................................................................................................................12 Legalcontribution...................................................................................................................................................13 Conclusionsandrecommendations........................................................................................................................14 1.Inleiding.......................................................................................................................................................16 1.1Achtergrondenaanleiding................................................................................................................................16 1.2Probleemanalyse...............................................................................................................................................17 1.3Probleemstelling...............................................................................................................................................17 1.4Doelstelling........................................................................................................................................................18 1.5Onderzoeksvragen............................................................................................................................................18 1.6Resultaat...........................................................................................................................................................18 1.7Werkwijze&Onderzoeksmethodiek.................................................................................................................18 1.7.1Onderzoeksvolgorde..................................................................................................................................18 1.7.2Methode.....................................................................................................................................................19 10.8Maatschappelijkerelevantie...........................................................................................................................20 10.9Wetenschappelijkerelevantie.........................................................................................................................20 1.10Leeswijzer........................................................................................................................................................21 2.HetProRailinstrument.................................................................................................................................22 2.1Inleiding.............................................................................................................................................................22 2.2Kaderenerkenningsregeling.............................................................................................................................22 2.3HetProRailprestatiemeetinstrument..............................................................................................................23 2.4Hetinterview/DeMeetaspecten.....................................................................................................................24 2.5Veiligheid...........................................................................................................................................................26 2.6Beschikbaarheid................................................................................................................................................28 2.7Verwerkingengebruikvanresultaten..............................................................................................................28 2.8Bijzonderheden.................................................................................................................................................30 2.9Conclusie...........................................................................................................................................................31 3.AnalyseProRailinstrument...........................................................................................................................32 3.1WaaruitblijkthetsuccesvanhetProRailinstrument.......................................................................................32 3.2WaaromishetProRailinstrumentsuccesvol?..................................................................................................33 3.3Tweezijdigheid..................................................................................................................................................34 3.4Transparantievangegevens.............................................................................................................................35 3.5Verwerkingstijd.................................................................................................................................................36 3.6Antwoordstructuurvragenlijst..........................................................................................................................37 3.7Bewijsbijantwoorden.......................................................................................................................................38 3.8Toepassingbijgunning......................................................................................................................................39 3.9Conclusie...........................................................................................................................................................39

2

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010

Hoofdstuk:Inhoudsopgave

4.Aanpassingvragenlijstvoorcivieleaannemers..............................................................................................41 4.1Inleiding.............................................................................................................................................................41 4.2Hetuitgangspunt...............................................................................................................................................41 4.3Analysevragenlijsten........................................................................................................................................42 4.4Devragenlijst.....................................................................................................................................................44 4.5Bewijsbijvragenlijst..........................................................................................................................................44 4.6Praktijktest........................................................................................................................................................45 4.7Conclusie...........................................................................................................................................................45 5.Implementatieplan.......................................................................................................................................46 5.1Samenwerkingsproces......................................................................................................................................46 5.2Vernieuwdesamenwerking...............................................................................................................................47 5.3Implementatiebijdedriediensten...................................................................................................................48 5.4Conclusie...........................................................................................................................................................50 6.Toepassingvanuitjuridischoogpunt.............................................................................................................51 6.1Aanbestedingenprestatiemeten......................................................................................................................51 6.2HetgebruikvanprestatiegegevensbijaanbestedingdoorProRail..................................................................56 6.3HetgebruikvanprestatiegegevensbijRWSendeRGD...................................................................................59 6.4Prestatiemetenalsbonus/malus......................................................................................................................59 6.5Denieuwevragenlijst........................................................................................................................................61 6.6Conclusie...........................................................................................................................................................62 7.ConclusiesenAanbevelingen........................................................................................................................63 7.1Kortesamenvatting...........................................................................................................................................63 7.2Conclusies..........................................................................................................................................................63 7.3Aanbevelingen...................................................................................................................................................65 8.NabeschouwingenReflectie.........................................................................................................................66 9.Literatuur.....................................................................................................................................................68 9.1.Publicaties........................................................................................................................................................68 9.2.Rapporten........................................................................................................................................................69 9.3.Afstudeeronderzoeken....................................................................................................................................69 9.4.Aangehaaldeaanbestedingswetgeving............................................................................................................69 Afkortingen......................................................................................................................................................70 BIJLAGEI:ProRailvragenlijst–Spooraannemers...............................................................................................71 BIJLAGEII:Onderzoeksvoorstelmeetsysteemcivieleaannemers......................................................................76 Handleidingbijmeetsysteem..................................................................................................................................76 Devragenlijst..........................................................................................................................................................78 Debewijsdocument................................................................................................................................................82 BIJLAGEIII:DevragenlijstvandeRijksgebouwendienst....................................................................................88

3

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 VOORWOORD VooruligtmijnP5rapportmethierinhetafstudeerwerkwaarinikmijnonderzoeknaarprestatiemetenvolgensde ProRail methode toelicht. Bij het doen van dit onderzoek heb ik veel te danken aan de organisaties (ProRail, RijkswaterstaatendeRijksgebouwendienst)waarmeeiksamenhebgewerkt.Mijndankgaatdanookuitnaaralle personendiebetrokkenzijngeweestindewerkgroeptothetkomenvanéénprestatiemeetinstrument.Speciale dankgaatuit naar ‘de Gé’met wie ik veel gesprekken heb gehad over het gebruik en mogelijketoepassing van prestatiemeten. Ookmijnbegeleiders,RobGeraedtsenMonikaChaoDuiviswilikgraagbedankenvoordegebodensteunenhet evaluerenvanmijnafstudeerwerk. Het zijn drukke tijden geweest voor mij. Mijn vriendin, familie en vrienden hebben mij hierin goed gesteund. Hiervoorwilikzegraagbedankten. Alle steun heeft gezorgd voor een goed fundament voor mijn afstudeerwerk. Hierdoor kan ik spreken van een geslaagdeindresultaat,welkehopelijkdepraktijkenwetenschapzalbedienenindezoektochtnaeenbruikbaar prestatiemeetinstrument. Dick,23juni2010

Hoofdstuk:Voorwoord

4

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 SUMMARY

CONTEXT PerformancemeasurementaccordingtotheProRailmethodisthesubjectofthisresearch.Thecontextwillexplain themeaningofPerformancemeasurementandintroducesProRailasacompany. ProRail The Dutch railway infrastructure is managed by ProRail. ProRail is working in a concession with the Ministry of Transport,PublicWorksandWaterManagement,withinthemeaningofSection16oftheRailwayAct.ProRailisa privatecompanyunderDutchlaw.ThesoleshareholderistheStateoftheNetherlands(throughRailinfratrustBV). ProRailistakingcareofthequality,reliabilityandavailabilityoftherailinfrastructure.ProRailisnotundertaking theinfrastructuralworksthemselves,butassignscontractorsandadvisorstocarryoutthejob. Whatisperformance? In this research the best translation for performance can be found in the description by Heintz and Volker (Wamelink,etal.,2009);‘theperformancethatisdelivered,theresultoftheeffort.’ Whatisperformancemeasurement? Whenacontractorperformsanassignmenttheywillworkaccordingtothecontract.Whentheworkisdelivered as described in the contract, the contractors performance is good. But this ‘good’ performance doesn’t tell anythingabouttheprojectprocess.Theclientcouldhavehadtroublemanagingthecontractor.Inthiscasethe clientissatisfiedwiththecontractorsendresult,butnotwiththecontractorprocess.Soacontractorcanperform onthesubject,aswellontheprocess.Thisresearchwillfocusontheprocessperformance. Agoodprocessperformancetellssomethingabouthowtheclientsthinksaboutthecontractor.Anotherclientcan haveadifferentopinion.Inordertotellwhatisagoodandwhatisabadperformance,thereisaneedforasetof rules which are the same for each client/evaluator. These rules can be translated in measurements on various aspects(e.g.time, quality and environment). Aperformance measurement is a set of measurements on various aspectstoratethecontractors(process)performance. WhatisPastandPresentPerformance? There are two kinds of performance measurements, the Past1 and the Present Performance. The difference betweenthetwomeasurementscanbefoundinthemomenttheresultsarepublished/reported.Aperformance measurement can be taken on a current project, either to stimulate the progress or to give an end result. This currentmeasurementiscalledPresentPerformance.Aperformancemeasurementthathasbeentakenearlier(an Present Performance end result measure), is called Past Performance. The weighted average of multiple Past PerformancescoresresultinonecompanybasedPastPerformancescore.

RESEARCHINTRODUCTION

Hoofdstuk:Summary

Background ClientsandcontractorintheNetherlandsaretryingtofindnewwaysforcollaboration.Thisisnotaneasytask because the market is used to old working methods (PSI Bouw, 2007). Performance measurement could be a useful tool to measure a successful collaboration. The fist exploring research (Ang, et al., 2004) by the PSIB research program (Process and System Innovation in the Build environment) concluded that the use of ‘Past Performance’cancontributetoabettercollaborationandjudgmentonthecontractorsquality.Worldwidethere 1

PastPerformanceisanamegivenbytheTUDelfttoaninstrumentwhichismeasuringthePastPerformanceson projectbasis.

5


Hoofdstuk:Summary

areacoupleofcounties(e.g.Australia,HongkongandSingapore)whoareusingPastPerformancemeasurements (Ang,etal.,2004).IntheNetherlandsthereisalsoaninterestinusingPastPerformance.Governmentalclientslike Rijksgebouwendienst and the Rijkswaterstaat both started to develop a Past Performance measurement instrument. Both developments could not get enough support. A larger collaboration between parties should deliverawidelysupportedperformancemeasurementinstrument. WhatisPastPerformance? The word performance means according to Volker and Heintz (Wamelink, et al., 2009); ‘the delivered performance,theresultoftheeffort.’Aperformancedeliveredinthepast,isthe‘PastPerformance’. ThedevelopmentofPastPerformance Between2004and2006therewasadevelopmentonthePastPerformanceconceptinthebuildenvironment:this is a system for measuring the performances of executing contractors in projects and use the scores at procurement for new contracts. Important parties in this development where Rijkswaterstaat, the Rijksgebouwendienst, PIANOo, IBR and the TUDelft (Bakens, 2008). This collaboration delivered the PiANOo measurementinstrument.AccordingtoBakens(2008)thisinstrumentisscientificallycorrect,practicalusableand hasthesupportofallinvolvedparties. UsageofthePIANOoinstrument RijkswaterstaatconductedapilotwiththePIANOoinstrument,whichisevaluatedbyPRC(2008).Concludedisthat thePIANOoinstrumentingeneralgivesagoodfeeling,butneedmultiplechangestobefullyimplemented.During thisresearchquestionswereaskedtoRijkswaterstaatentheRijksgebouwendienstaboutthepracticalusageofthe instrument.Theyrepliedthatthemeasurementaretootimeconsumingandprobablytoscientific. TheProRailinstrument BothRijkswaterstaatandtheRijksgebouwendienstdidnotfindenoughbearinggroundforthePIANOoinstrument en went looking for alternatives. A instrument developed and successfully used by ProRail seemed to work and mightbeagoodbasisfortheirinstrument.Thesuccessoftheinstrumentbringsacoupleofquestions: WhyistheProRailinstrumentsuccessful? Can the ProRail instrument be used for measuring projects from Rijkswaterstaat en the Rijksgebouwendienst? ThosequestionsgavetheintentionfordoingaresearchabouttheusageoftheProRailinstrumentandthepossible transformation to an instrument for Rijkswaterstaat and the Rijksgebouwendienst. The three clients started a collaborationforthedevelopmentofoneinstrumenttomeasurecivilengineers. Problemanalyses 2 ProRail is a public utility client, working under special (European) public utility legislation , different from the 3 legislation for Rijksgebouwendienst and Rijkswaterstaat. The difference in legislation, but also the difference in type of client means that each client need a different instrument. All three parties want an instrument for civil engineers(theonlycommontypeofcontractorforallthreeparties).Theuseofthisinstrumentforprocurement highlydependonthepossibilitiesthedifferentlegislationsofferforeachclient.ProRailhasexperienceusingthe ProRail instrument, there is a risk that they are unwilling to change the method. This could lead to a stiff collaboration.Thedifferenceintypesofclientsandthelegislationcanleadtoadifferent(partsofthe)instrument foreachclient. Problemformulation Thecentralresearchquestionforthisresearchis: HOW CAN THE PRORAIL INSTRUMENT BE ADJUSTED SO THAT CLIENTS CAN DO (PAST) PERFORMANCE MEASUREMENTSANDUSETHEMASQUALITYINDICATORSFORPROCUREMENTS? 2004/17/EG,Europeanrulesforpublicutilitytenderprocedures 3 2004/18/EG,Europeanrulesforpublicworkstenderprocedures 2

6


ProRail questions (stack)

RWS questions (stack)

RGD questions

questions 3thparty

(stack)

(stack) Hoofdstuk:Summary

Goal Thisresearchhastwogoals,toinformandtodesign/solve. Informing There is little information available on the ProRail instrument. The goal is to describe and analyse the ProRail instrument.AlsoadescriptiononthecollaborationbetweenProRail,RijkswaterstaatandtheRijksgebouwendienst isadded. Design/solve Anewinstrumentisneededtomeasuretheperformanceofcivilengineers.Thisresearchdesignsasolutionfor this problem. The result is a instrument that can be used for performance measurement by ProRail, RijkswaterstaatandtheRijksgebouwendienst,withpossibilitiestoimplementtheinstrumentintothecompany. Researchquestions WhyistheProRailinstrumentsuccessful? Whichmeasuringaspectscanbeusedandwhichofthemisspecificforoneparty? Howcannewmeasurementaspectsbemeasured? How can the new developed instrument generate enough support to implement it in the public works sector? Result Theresultsforthisresearchare: AdescriptionoftheProRailinstrument AnalysesoftheProRailinstrument Anew/improvedinstrumenttomeasurecivilengineers Animplementationplan Workingmethod TheresearchisimportantforProRail,RijkswaterstaatandtheRijksgebouwendienst,thegoalforthesepartiesis developing one instrument for measuringcivil engineers. All parties have to be equally evaluated. This research willbeindependently,theresearcherwillstandinbetweenthethreeparties. Thethreepartiesstartedasteerandworkgroupforthedevelopmentoftheinstrument.Thesteeringgroupmakes generaldecisionsonthecollaboration,whiletheworkgroupresearchesthepossibilitiesoftheactualinstrument. Duringthisresearchtheworkgrouphasbeenfollowedandresultsareusedasinputfortheresearch. Proposedstartsolution The three parties are different from each other. There can be assumed that developing one and the same instrumentishardtoaccomplice.Thatiswhyasupport/stacksolution(figure1)isproposed.Thestackisageneral setofagreements,themethodofworking.Thedifferentstacksareclientsspecificmeasurementsoragreements. Thesupportplusastackmakesoneperformanceinstrument.

ProRailmethod (support) Figure1support/stack

7


THEPRORAILINSTRUMENT

Hoofdstuk:Summary

ThenewdevelopedinstrumentisbasedontheProRailinstrument.Thatiswhyitisimportanttounderstandhow theProRailinstrumentcurrentlyisworking. Context ProRail works for the Ministry of Transport, Public Works and Water Management on the maintenance and improvementofrailinfrastructure.TheworkisnotexecutedbyProRailitself,butbymarketparties.Publicworks ontherailwayinfrastructuredeliverinconveniencetothesociety(becauseitoftendelaystrainservices).Toavoid problemstothesocietyProRailhastokeepacontinuoushighlevelofperformancefortheircontractors.ProRail developedaperformancemeasurementinstrumentasatooltomaintainahighperformancelevel. Qualificationsystem Not all contractors can perform assignments for ProRail. ProRail makes a preselection through a qualification system. This system is based on economic, financial and technical capabilities4. In a normal procurement these criteriaaremeasuredassdisqualificationcriteria5.OnlyaqualifiedcontractorcanjointheprocurementofProRail. Becausethecontractorisalreadycheckedoneconomic,financialandtechnicalcapabilities,theprocurementwill consumelesstime.Thequalificationwillbereconsideredafterthreeyearsorafterweakperformancescores. PerformanceIndicators TheProRailinstrumentismeasuringtheprocessperformanceofitscontractors.Themeasurementsarebasedon differentmeasurementaspects,thesocalledindicators.ProRailmeasuresdifferenttypesofcontacts(e.g.advising engineeringfirms,railwaycontractors,etc.).ThischapterdescribestheProRailinstrumentformeasuringRailway contractorsTheindicatorsforthisinstrumentare: 1. Workingaccordingtoplan 2. Expertiseandquality 3. Collaborationandcommunication 4. Environment 5. Safety 6. Finishingoff Each indicator is measured through a couple off performance measurements. Every measurement has its own weight.Themeasurementaspectsandweightareprojectedintable1(fullDutchlistinenclosureI). Qnr. Weight Indicator Measurementaspect (%) 1 5 Working Planningquality/milestoneoverview accordingtoplan Actualprogression 2 5 3 5 Deliveringdocumentsintime 4 5 Delayingtheoutofservicetime 5 5 Expertiseand Qualityoftheworkingplanand/orqualityplan quality 6 5 Implementingtheworkingplan and/or qualityplan 7 5 Tidinessworkingterrain 8 20 Multidisciplinaryknowledge 9 5 Qualityofriskanalysis 10 5 Implementationoffallbackscheme 4

Art51,2004/17/EG

5

Art45,2004/18/EG,Art55,sub4,BASSreferstoarticle45.

8

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 11 12 13 14 15 16 17 Total

5 5 5 5 5 5 5 100

Collaborationand communication

Environment Safety Finishingoff

Reportingproblemsandsolutions Collaboration Communicationwiththeenvironment Coordinationofsubcontractors Levelofattentiontoenvironmentalaspects Levelofattentionforsafeworkingconditions RevisiondrawingsandSafetyandHealthfiles.

Table1–MeasurementaspectsforProRailinstrument.

Interviews Eachquartereverycurrentcontractgetsmeasured.AtrainedauditorfromProRailinterviewsaProRailmanager responsibleforthecontract.Duringtheinterviewthequestionmentionedintable1areasked.Themanagerneed toanswerwithoneofthefourmultiplechoiceanswers.Theseanswersaremadespecificforeachquestion,with eachpossibleanswerdescribingasituationthatbestfitstheanswer.Thegeneralanswerstructurecanbefoundin table 2 below. The ‘C’ answer is the expected answer when working according to contract. For each deviant answer(A,BorD)theauditorwillaskthemangertoexemplifytheanswerwithasituationdescriptiontoproofthe divergence. Report Eachquarterthemeasuredcompanieswillreceiveareportwiththecompanyresults.Thereportcontainsonlyone company performance score, for the last five quarters. Also the results of the competitors are given, so a contractorcanseehowitperformsincomparisonwithitsrivals.

ANALYZINGTHEPRORAILINSTRUMENT

Hoofdstuk:Summary

WhatisthesuccessoftheProRailinstrument? ProRailistheonlyclientintheDutchrailwaysector.Therailwaysectorisaspecificmarketwithonlyafewparties who can perform railway related assignments. The parties who can performance the assignments need special equipment and specially trained personnel. These parties have made a large investment and need a lot assignmentstocoverthecosts.Notallmarketpartiesarewillingtomakesuchaninvestment.Thatiswhythere are only a few parties to perform assignments for ProRail. ProRail have implemented the performance measurementinstrumentintherailwaysector.Todothissuccessfullyappointmentshavetobemadewitheach performingparty.Thisispossiblebecausetherailwaysectorissmallandall(qualified)partiessupporttheuseof performancemeasurements. AnotherfactorthathelpedthesuccessoftheimplementationisthefactthatProRailjuststartedmeasuringthe performances before the instrument was fully developed. The errors showed themselves while using the instrument.Alsothewayofmeasuringhelpedthesuccess.ProRailismeasuringinasubjectiveway,thistakesjust a small amount of time for each performance measurement. Because a measurement is not a large load, it is acceptedbytherespondents(mostofthetimeproject/buildmanagers) Bilateralsystem ProRailismeasuringthecontractors.Thecontractorsdonothaveanyinfluenceonthemeasurements.Insciencea discussioncanbeheldabouttheuseofabilateralsystem.Theproofabilateralsystemisthatbothpartiesagree withtheeventualscore,thereisnoneedfordiscussionsafterwards.Aconisthepracticalusabilityofabilateral system,becauseplanninganddoingthemeasurementstakesalotoftime. ProRailisnotusingabilateralsystembutarguestheuseofadialogwiththecontractorsontwolevels: Companylevel:discussiononthebasisandmethodoftheperformancemeasurementandadiscussionon theresultofthemeasurement:companyscorearespecifiedandtransparent(e.g.theaveragescoreof onequestion).Notice:thereisnoprojectspecificinformation,onlyafteranagreementwiththemanager incharge.

9


Project level: a discussion per project by the project managers (active of passive after request by the contractor)onlywhenisprovidesinformationtolearn/improvetheperformance.

Fortheusabilityoftheinstrumentitisbetternottouseatotalbilateralsystem,becauseabilateralsystemtakes toomuchplanning/measuringtime.Whenlookingatprocurementlawabilateralsystemisstronger,becausethe judgement is supported by the client and the contractor. Usability is the key to a successful (widely supported) instrument,soaonesidedmeasurementisprobablythebestmethod. Transparency A capability of performance measurement is steering on the construction process. A weak performance can be indicatedtoacontractor,whoisthenabletosteertheprocesstodeliverabetterperformance.Thisisaprofor theclientandthecontactor.ProRailisnotusingthiscapabilityofperformancemeasurement.ProRailmeasures eachquartereverycurrentcontractandgivesonlyonecompanyresult. Making available more data stimulates the contractors to perform better on weak areas. There are a couple of possibilities. Providing company scores per indicator, project scores per indicator and scores on each individual measurement.Itisuptoeachclienttodecidewhethertogiveallorjustpartialinformationonthemeasurements. Processingtime ProRail measures every quarter each contract that is in force. The processing time from start measuring to publicationoftheresultstakesatleast910weeks(ProRail,2009).Thecontractorthenonlyhasthreeweeksto correctaweakscoreuntilthenextmeasurementtakesplace.Iftheinstrumentisusedasatooltosteeronproject basis the processing time needs to drop. A possible solution is to automate the processing. ProRail is using MS exceltoprocesstheresultsbuttthisformneedsalotofmanualwork.Abetterform,thatautomaticallygenerates rapportswillspeeduptheprocessingtime.Whenlookingatfutureuse,ainternetapplicationwouldbethebest investment,becauseitismobile. Answerstructure TheProRailinstrumentprovideseveryquestionwithfouranswerpossibilities.Ingeneraltheseanswerslooklike this: 25% 50% 75% 100%

Despitemultiplerequestsrequirementsdonotmeet. Afteronerequesttherequirementsaremet. Therearenorequestsneededtomeettherequirements Thereissignificantlymoredeliveredthanisaskedfor Table2fouranswerscale Inchapter3.6isexplainedthatthisanswerstructureresultsinperformancescoresaround75%.Alcontractors scorealmostthesameanddon’tdistinctfromeachother.Therecanbearguedthata75%isaboutthesameasa 73%score.Togetmoredistinctionbetweenthescoresafiveanswerstructureisintroduced: A 20% Manynotasrequested+almostnocommitment B 40% Noteverythingasrequested+neededalotsteering C 60% Contractorworkedasrequested,butneededalotofsteering|contractorworkednottotally asrequestedduetotheclient D 80% Contractorworked(exactly)asrequested,onlylittlesteeringwasneeded.(sameanswerasC ontheProRailmethod) E 100% Contractdidevenmorethanrequestedandperformedverywell,withaproactiveattitude.

Hoofdstuk:Summary

A B C D

Table3fiveanswerscale

Theextraanswerisa‘just’positiveone,tosaytoacontractorthattheydiditwellbutitneedmoreefforttogeta goodresult.Itisuptoeachclienttodecidewhethertouseafourorafiveanswerscale.

10

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 Evidencepermeasurement Atameasurementinterviewforeachquestiontheintervieweecanchoosefouranswers(AtoD).The‘C’answer (75%)istheexpectedanswerforacontractordoingitsjobaccordingtocontract.Iftheanswerdiversfrom‘C’an explanation is asked by the ProRail auditor. The explanation is a situation description which explain why the contractorperformedworseorbetterthanC.ThisexplanationistheevidenceforProRail,butitcan’tbemeasured objectively.ThisisnotabigproblemforProRailbecausetheyonlygiveresultsoncompanybasis.Whenresultsare givenonprojectbasisabetterevidencesystem(see‘subquestions’under‘thenewinstrument’)isneeded.

THENEWINSTRUMENT

Hoofdstuk:Summary

TheProRailinstrumentisanalysedwhatresultedinacoupleofpointsforimprovement.Themainproblemofthe ProRailinstrumentisthelackofevidencetoproofthemeasurements. This research resulted in a new instrument based on the ProRail method. For the development of this new instrument (see enclosure II) the collaboration between ProRail, Rijkswaterstaat and the Rijksgebouwendienst gave the input. The three parties formed a workgroup and a steering committee. This research supported the workgroup.Thetargetofthisgroupwastothinkaboutthemeasurementinstrument. Basis for the development of the new instrument was the existing ProRail instrument. During the process Rijksgebouwendienst developed an own set of measurements (enclosure III). A result of this research is a new instrument for measuring civil engineers (enclosure II), the measurements in this new instrument are based on boththeProRailinstrument,assthenewmeasurementsbytheRijksgebouwendienst. Combiningindicators Allinstrumentsuseasetofindicatorsfortheirmeasurements.Thepurposefortheindicatorsistoshowhowa contractor scores on each indicated area. The new instrument combines the indicators from the ProRail instrumentandtheRijksgebouwendienstinstrument.Thenewindicatorsare: 1. Workingaccordingtoplan 2. Expertiseandquality 3. Collaboration,communicationandorganisation 4. Safety 5. Environmentanddurability Improvedpoints TheanalysesoftheProRailinstrumentshowedacoupleofweakspots.Themainimprovementpointisthelackof evidencetoproofeachmeasurement.DuringtheProRailinterviewsthereisjustaminordescriptiontoproofeach measurement.Theanswerandeachdescriptionaresubjective.Inthelegalsystemsubjectivityshouldbeavoided. To objectively rate the measurements a lot of evidence is needed from contracts and documents. Proving the evidence takes a lot of time and makes the instrument unpractical. If a measurement takes too much time the respondentswillnotsupporttheinstrument. Subquestions Thenewdevelopedinstrumentstriestogiveananswertotheabovementionedproblem.Thesolutionistoadd three subquestions to each main question. The subquestions can only be answered with a positive ‘yes’ or a negative‘no’.Thesubquestionsareintendedintwoways: 1. Tohelptherespondentansweringthemainquestion 2. Togiveproofforthegivenansweratthemainquestion Proofdocument Answeringthemeasurementquestionsshouldnottakealotoftime.Thatiswhythesubquestionsareaddedto proof the main question. The respondent doesn’t have to proof the answers to the subquestions during the interview.Whenacontractorhascomplaintsagainstthescoresofthemainquestionhewillbegiveninsighttothe answers of the subquestions. If the contractor thinks a answer is answered wrongly, he should proof it. The evidencethecontractorshoulddeliverisstatedintheproofdocument(enclosureII).Therespondentcanproofhis

11

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 own right by also delivering the evidence stated in the proof document. The responded and contractor should delivertheevidencestatedattheanswerhethinksisright. Manual ForusingtheinstrumentamanualhasbeenwrittenandaddedtoenclosureII.

IMPLEMENTATION

Hoofdstuk:Summary

ProRail, Rijkswaterstaat and the Rijksgebouwendienst are working together to create a joint performance measurement instrument for civil engineers. During this research the collaboration between the three partners often showed the different interests of each party. A couple of times the collaboration showed cracks. These cracksforcedtheRijksgebouwendiensttogotheirownwaywiththeirownnewlydevelopedinstrument(enclosure III). Workshop Thecollaborationisgivenanewboostbygivingaworkshopinthefirstquarterof2010.Theworkshopmembers (fromProRail,Rijkswaterstaat,theRijksgebouwendienstandtheresearcherfromtheTUDelft)wheredividedin threegroups: 1.Qualitystatute This is a document which describes the core value’s and rules of conduct for performance measurement. The document should describe the purpose of performance measurement and convince new and existing parties to useit.Theresearcherjointedthisgroupduringtheworkshoptosharetheresearchedknowledgeonperformance measurement. 2.Reporting Thisgroupdidabrainstormsessiononthewaystoreporttheperformanceresults.Theymadeafirstproposalon reportagegroups: Projectprogress Projectresultsandsatisfactionagreement Companyresults Managementcommunication PerformancePremierLeague(alistofthebestperformingcompanies) 3.Measurements Ingeneralthispointhasthemostincommonwiththisresearch.Themeasurementgroupshouldgiveidea’show themeasurementsandwhichmeasurementscanbetaken. Prospectsforcollaboration During the research some cracks where shown between the three developing parties. There is an intention to develop ‘one instrument’ for all three parties, but a prospection can be made that the parties will not get an agreementonallissues.Ananswertothisproblemcanbethe‘inthisresearchproposed’support(drager),stack (oplegger)construction(seefigure1orfiguur6). Support/stack Thisconstructioninitiatesawidebasis(thesupport)inwhichallthreepartieswillhaveanagreement.Thisbasis willcontaintheworkingmethod.Theworkingmethodisthesetofagreementsmadeinthequalitystatute,the way/methodtodoaninterviewandpublicationoftheresults(onsomelevels,thiswilldependontheagreements betweentheclientwiththecontractors).Thestack’scanbeplacedontopofthesupport,togethertheywillform one measurement instrument. Each client can/will have a different stack. Each stack contains client specific measurements,specifiedontheclientstypeofworks.

12

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 Implementationsteps It is important to have a wide supported basis for the measurement instrument. Only if the instrument is supportedwithintheownorganization(byallusers)andbyallcontractors,theinstrumentwillbeasuccess.Todo sothisresearchresultedinasteppingplanforimplementation. Thegeneralideaforthethreepartiesistoseparatelygainexperienceontheusageoftheinstrument,exchange the experience with each other (on multiple moments during the pilot phase) and ifpossible come to one joint instrument.Thekeywordsduringimplementationshouldbegainingawidesupportedbasis. Step1 The same working method for all three parties should be determined (the support) and each client should determinetheirownstack. Step2 Itisimportanttocollectdatafromthebeginningontherightway.Alistofimportantdatashouldbedetermined andthedatashouldbecollectedinawayitcanbeanalyzedyearsafteritwascollected. Step3 The performance measurements should be tested in practice by a pilot project. The measurements should be evaluatedwiththeprojectmanagers,sochangescouldbemade.Measurementexperienceshouldbeexchanged withtheotherpartiestodevelopgeneralknowledge. Step4 Aautomatedprogramtoprogressthemeasurementresultsshouldbedeveloped.Forfutureusagethisprogram shouldbedevelopedforusageontheinternet. Step5 Before the pilot phase ends the users of the measurement instrument should be informed on the usage of the instrument. A good way is to organize a workshop, important is to show the importance of the measurement instrument.Thisstepisakeysteponcreatingawidesupportedbasis. Step6 Whentheinstrumentissettledintheorganizationand(almost)everybodyissupportingit,theresultscanbeused to promote or demote contractors. Further legal research should give a decisive answer on the way the measurementresultscanbeused. Step7 Theultimategoaliscreatingonejointinstrumenttomeasurecontractors(civilengineers).

LEGALCONTRIBUTION

Hoofdstuk:Summary

Atprocurement,performancemeasurementislinkedtothesuitabilityofthecandidate/tenderertocarryoutthe contract. The suitability of the candidate/tenderer is linked with selection criteria in procurement law. It is not allowed to use award criteria to evaluate the suitability of the candidate/tenderer to carry out the contract, instead the award criteria need tobe linked to the subject of the contract.Research by ChaoDuivis (2005) and Petit (2010) concluded that performance measurements can be used as selection criteria, but not as award criteria. ProRail is using its performance measurements for awarding its contacts. The performance measurements are used to provide the tender fee with a fictional deduction or raise. ProRail claimed using the basic principles of procurementlaw,whicharetransparencyandnondiscriminatory.BecauseProRailisworkingwithaqualification system–whereinagreementswithqualifiedcontractorsaremadeovertheuseofperformancemeasurementsfor awardingcontracts–hastheuseofperformancemeasurementsnotledtolegalmatters.Ajudgeneedtodecide whethertheProRailinstrumentisobjectiveenoughtouseitforawardingcontracts.

13

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 ThewayProRailisusingperformancemeasurementsforprocurementisonlypossibleifRijkswaterstaatandthe Rijksgebouwendienst can make arrangements with all possible (European) market parties. This is almost impossible,alsobecauseofthelegaldisability(2004/18/EG)forRijkswaterstaatandtheRijksgebouwendienstto useaqualificationsystem.Thetwopartiesshouldfocusonusingperformancemeasurementsasselectioncriteria or/andprocessstimulation. With a possible bonus system (that needs further research) the performance results can indirectly effect the tenderfee.Thecandidate/tenderercandecideiftheycalculatethepossiblebonus(onlywhenagoodperformance is delivered in the coming project) in the tender fee. The candidate/tenderer will receive the bonus when het Prestent Performance (on the current project) and the Past Performance (on past projects) are better than the score in demand. The bonus system is interesting when it indirectly influences the procurement, butt a better researchisneededtofindthelegalpossibilities. Thenewinstrument(enclosureII)hasabetterobjectivitythantheProRailinstrument,becauseoftheaddedsub questionswhichcan(whenaskedfor)beproved.Thenewinstrumentbetterusablethanthelegalandscientifically correctPIANOoinstrument.Forthenewinstrumentthequestionremainswhetherthereisenoughobjectivityto usetheresultsassselectioncriteriaofforabonussystem.Itisuptoajudgetodecidewhetherthisisthecase.

CONCLUSIONSANDRECOMMENDATIONS

Hoofdstuk:Summary

Conclusions ClientsandcontractorsintheNetherlandsstandpositivetowardperformancemeasurement.Inthepastyearsa couple of Past Performance measurement (PaPer) instruments where introduced. None of these PaPer instruments got successful. Successes will not come when we consider the upcoming development of Present Performance,orperformancemeasurementinstruments.Themainreasonforthelackofsuccessisthefactthat the PaPer instruments failed to get wide spread support. The PIANOo instrument is a good example of a instrumentwheremultipleimportantparties6helpeddeveloping.Thisresultedinalegallyandscientificallycorrect instrument, but a pilot (at Rijkswaterstaat) showed that the practicality failed. PRC (2008), who evaluated the pilot,concludedthattheinstrumentneedtobetransparentandsimpleinuse.Becausethiswasnotthecaseonall subjectsRijkswaterstaatandtheRijkswaterstaathavelookedforotherpracticalusablepossibilities. ProRailisusingaperformancemeasurementmethodthatispracticallyusable.Measuringaprojectcostrelatively ashortamountoftimeforprojectmanagers,thisisapositivepointforcreatingsupport.ProRailquicklystarted usingtheirinstrumentintopractice,thishelpedshapingtheinstrumentandintegratingitintothecompany.The ProRailmethodofmeasuringcanbeusedbyRijkswaterstaatandtheRijksgebouwendienstbutneedadjustments on different parts. ProRail is using performance results for procurement, the way ProRail does it is not legally possibleforotherclients.ItiseventoajudgetodecideiftheProRailmethodislegallypermitted. Onewaytheinstrumentcanbeusedistostimulatecontractorsperformances.Forthistoworkmoreresultshave tobereportedtothecontractors,especiallyoncontractbasis. Implementation For Rijkswaterstaat and the Rijksgebouwendienst it is important to gradually implement the system into the companiesprocesses.Atfirstasmallsampleshouldbemeasured,asapilot.Learningbydoinghelpsdeveloping the instrument. Creating a widely supported basis is the key for a successful instrument. The proposed implementationplan(seeunderimplementation)canhelptofulfilthisgoal. Thenewinstrument The ProRail method will provide a general basis for ProRail, Rijkswaterstaat and the Rijksgebouwendienst. The exchangeofexperienceswiththeinstrumentwillmakethejointmethodstronger.Nexttothejointmethodeach clientneedanownsetofmeasurements.Theproposedinstrument(enclosureII)canbehelpfulasastartingpoint fordevelopingaclientspecificinstrument.Theobjectivesubquestionsintheinstrumentwillhelpasevidenceand 6 PIANOo,Rijkswaterstaat,Rijksgebouwendienst,IBR,PSIBouwandTUDelft

14


Hoofdstuk:Summary

answerguideforthemainquestion,butisstillpracticalusable.Thequestionedevidenceisonlyneededwhena contactor makes a complaint against the results. Because there is no need to search for evidence at each interview,theinterviewwillonlytakearelativelysmallamountoftime. Theproposedinstrument(enclosureII)isnotadefiniteproduct.Apilotisneededtoprooftheusefulnessofthe askedmainandsubquestions,foreachtypeofproject(e.g.civilengineering)orateachclient.Thereisagood chancethateachclientwillcomewiththeirownmeasurements,theproposedinstrumentcanthenbeusedasa firststeppingstone. Asteppingstonetoperformancemeasurement Therealizationofaperformancemeasurementinstrumentisadifficulttask.Duringthisresearchmanydifferences in opinion (e.g. the four of five answer scale) appeared between ProRail, Rijkswaterstaat and the Rijksgebouwendienst. Conformity is not easy to create.Also the development onthePIANOo instrument shows thattherealisationofausableperformancemeasurementinstrumentisnoteasy. Thisresearchexpectsnottodeliverthesolutionforthecurrentproblems.Itcanbeseenasasteppingstoneto performancemeasurement.Itisonefurtherstepinthedevelopmentofausableperformanceinstrumentforthe Dutchbuildingpractice. Recommendations Acoupleofrecommendationsforfurtherresearchcanbemade: Testingthenewinstrumentinpractice,togainexperienceandfititinthemarket. Theproofdocumentneedinformationfromthepracticetomakeitausabledocument. Thesupport/stacksystemcanbeworkedoutforaspecificclient. Thementionedbonussystemneedfurtherlegalresearchforfurtherimplementation. Making the instrument suitable for other working field (e.g. measuring clients, architect, engineering firms,etc.)

15

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 1.INLEIDING 1.1ACHTERGRONDENAANLEIDING

Hoofdstuk:1.Inleiding

Opdrachtgevers en opdrachtnemers in de bouwwereld zoeken momenteel naar nieuwe vormen van samenwerking.Erisduseendrukopvernieuwing,tegelijkertijdookmoetwordengeconstateerddatditvoorde meeste betrokkenen niet gemakkelijk is. Men is gewend aan oude werkwijzen en er zijn onvoldoende breedgedragen of “bewezen” hulpmiddelen. Zowel opdrachtgevers als opdrachtnemers zijn zoekende. Men experimenteertenontwikkeltinstrumentengedurendeeenproject.Opdezemanierwordtveelenergieverspild: veelmensenzijntegelijkertijdbezigomhetwieluittevinden.(PSIBouw,2007p.7) PastPerformance Een hulpmiddel om te kijken of een samenwerking succesvol is, kan het ‘meten op prestaties’ zijn. Het eerste verkennendonderzoekinhetkadervanhetPSIBonderzoekprogramma(ProcesenSysteeminnovatieindeBouw), PP1 (Ang, et al., 2004), heeft onder meer tot de conclusie geleid dat de selectie van aannemers op basis van geleverdeprestatiesuithetverleden(PastPerformance)mogelijkkanbijdragentoteenbeteresamenwerkingen beoordelingvanopdrachtnemersopkwaliteit.InhetonderzoekvanAng(2004)isgekekennaarvelebuitenlandse voorbeelden (o.a. Australië, Hongkong en Singapore), waar Past Performance succesvol wordt toegepast. In Nederland is men ook geïnteresseerd geraakt in het gebruik van Past Performance. Opdrachtgevers, als de RijksgebouwendienstenRijkswaterstaatzijnbeideeeneigenPastPerformancemeetinstrumentgaanontwikkelen. Deze ontwikkelingen hebben niet tot een breed gedragen instrument geleid. Een grotere samenwerking tussen verschillendepartijenmoetertoeleidendatereenbreedgedrageninstrumentgerealiseerdwordt. WatisPastPerformanceprecies? Indeliteratuurstudie‘Hetontstaanengebruikvanprestatiemeten’isergekekennaardedefinitievanhetwoord prestatie of performance. De beste vertaling in het kader van dit onderzoek kan gevonden worden in de NederlandsevertalingdoorVolkerenHeintz(Wamelink,etal.,2009);‘deprestatiediegeleverdis,hetresultaat vandeinzet’.Wanneerwesprekenoverprestatiesdieeenopdrachtnemerinhetverledenheeftgeleverd,hebben wehetover‘PastPerformance’.Hetgaaterhierbijomhoeeenopdrachtnemerpresteertopeencontract. DeontwikkelingvanPastPerformance Tussen 2004 – 2006 is er gewerkt aan de ontwikkeling van het Past Performance concept in de Bouw: een systematiek voor het meten van de prestaties van uitvoerende bouwbedrijven in projecten en het laten meewegenvandescoresuitdiemetingenbijdeaanbestedingvannieuweprojecten.Belangrijkepartijenhierbij warenrespectievelijkRWS,deRGD,PIANOo,PSIBouw,IBRendeTUDelft.(Bakens,2008p.3)Dezesamenwerking heeft geleid tot, het hierna te noemen, PIANOo meetinstrument. Dit instrument is volgens Bakens (2008) wetenschappelijkverantwoord,praktischgoedtoepasbaarenheeftdesteunvanallebetrokkenen. Pilot Het instrument is gereed om op grote schaal toegepast te worden, maar dit is tot op heden (januari 2010) niet gebeurd. Aanknooppunten voor het (nog) niet slagen van het PIANOo instrument zijn te vinden in het rapport geschrevendoorPRC(2008),waarineenpilotvanRijkswaterstaatmethetPIANOoinstrumentgeëvalueerdwordt. Hierinstaatdatdeontwikkeldemethodiekeengoedgevoelgeeft,maaromersolidewerkendemethodiekvante maken zijn nog wel diverse aanpassingen nodig. Opmerkelijk is dat geconcludeerd wordt dat de PIANOo methodiekmeergerichtisop“Design&Construct”contractendanoptraditionele,terwijlW.Bakens(2008p.4)in zijn toekomstvisie vermeld dat de PIANOo methodiek juist nog ontwikkeling behoeft t.o.v. geïntegreerde contracten. Tijdens gesprekken (in 2009) met betrokkenen van Rijkswaterstaat en Rijksgebouwendienst kwam naarvorendatdezepartijendePIANOometingentetijdsintensiefvindenenookwerdgenoemddathetPIANOo instrumentmisschienweltewetenschappelijkis. HetProRailinstrument Het PIANOo instrument is tot op heden (2010) niet veel verder ontwikkeld en heeft voor partijen als RijkswaterstaatenRijksgebouwendienstnietvoldoendedraagvlakontwikkeldvooreenimplementatiebinnende organisatie.Indeloopvan2009ismenbijRijkswaterstaatenRijksgebouwendienstgaanzoekennaaralternatieven

16

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 en hebben ze vernomen dat ProRail met succes een prestatie meetinstrument gebruikt. Het succes van dit instrumentroepteenaantalvragenop: WaaromisditinstrumentintegenstellingtothetPIANOoinstrumentwelsuccesvol? IshetinstrumentooktegebruikenvoorprojectenvandeRGDenRWS? DezevragengevenaanleidingvoorhetdoenvaneenonderzoeknaardewerkingvanhetProRailinstrumentende eventuele vertaling naar een instrument bruikbaar voor de RGD en RWS. De drie opdrachtgevers zijn een samenwerkingbegonnenomtotééninstrumentvoorcivieltechnischewerkentekomen.

1.2PROBLEEMANALYSE ZonderhetProRailinstrumentbestudeerdtehebben(ziehiervoorhoofdstuk2.HetProRailinstrument)kaneral eenaantalproblemenvoorhetgebruikvanhetProRailinstrumentaanhetlichtgebrachtworden. ProRailalsopdrachtgever ProRail is een opdrachtgever die werkt voor de overheid. Hierdoor heeft ProRail te maken met de Europese aanbestedingsreglementen,ditzelfdegeldtvoorRWSendeRGD.EchterisProRaileenopdrachtgevervoorNUTS opdrachten (uitgewerkt inhoofdstuk6. Toepassing vanuit juridisch oogpunt), in decategorie vervoer. Dit is een specifieke sector waar voor aanbesteding andere Europese regelgeving geldt dan voor RWS en de RGD. Dit zal problemen met zich meebrengen bij het beoogde gebruik (bij aanbesteding) van de prestatiemetingen, de volledigeProRailmethodekannietbijRWSendeRGDgebruiktworden. Civieltechnischewerken ProRailheeftanderetypewerkenineenanderesectordanRWSendeRGD,ditkaninhoudendatereenander type instrument nodig is voor het meten van de werken van RWS en de RGD. Het enige overeenkomstige type werkbijalledriedeopdrachtgeverszijncivieltechnischewerken.Desamenwerkingtussendedrieopdrachtgevers isdaaromookgerichtopdittypewerk. DeervaringvanProRail ProRailwerktalmeteeneigenprestatiemeetinstrument.Dezeervaringkangebruiktwordenbijdeontwikkeling van het nieuwe/aangepaste instrument. Het risico bestaat dat ProRail de eigen vertrouwde methode, boven de nieuwe invloeden van de twee nieuwe partijen (RWS en de RGD) zet. Dit kan zorgen voor een stroeve samenwerking. Conclusieprobleemanalyse Het huidige ProRail instrument is door de praktijkervaring een goede bouwsteen voor de ontwikkeling van een instrument voor zowel ProRail, RWS en de RGD op het gebied van civiel technische aannemers. De nieuwe invloedenvanRWSendeRGDkunnentotweerstand(opveranderingvanhetvertrouwde)stuitenbijProRail. VoordeverschillendesoortenopdrachtgeversisandereEuropeseregelgevingvantoepassing,watkanleidentot verschillendemethodiekenbijiedereopdrachtgever.

1.3PROBLEEMSTELLING


Deprobleemstellingvoorditonderzoek,decentralevraag,luidtalsvolgt: Hoe kan het ProRail meetinstrument aangepast worden, zodat opdrachtgevende partijen (Past) Performance metingen kunnen doen en deze vervolgens kunnen gebruikenvoordekwaliteitsmetingent.b.v.deaanbestedingen?

17

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 1.4DOELSTELLING Hetdoelvanditonderzoekistweeledig: Informeren Dit onderzoek zal het huidige ProRail instrument beschrijven en analyseren. Tevens zal er informatie verstrekt wordenoverhetontwikkelingsprocestotdetotstandkomingvanhetnieuwe(meet)instrument.Hetisbelangrijk deverhoudingentussenProRail,RWSendeRGDweertegeven.Ditmoetervoorzorgendatbijvervolgonderzoek ditverslagalsnaslagwerkkanwordengebruiktenzodanigalsbouwsteenkandienen. Ontwerpen/oplossen Depraktijkvraagtomoplossingenenresultaten,waarbijvoornamelijkhetnieuwteontwikkelenmeetinstrument vanbelangis.Uitdeanalysesdieinditonderzoekzijngedaan,washetvanbelangeeninstrument/’vragenlijstvoor hetinstrument’teontwikkelen,voorcivieleaannemers.HetinstrumentkangebruiktwordendoorzowelProRail, RWS en de RGD. In iedere geval dient dit onderzoek een verdere stap in de ontwikkeling van een prestatiemeetinstrumentvoordeNederlandsebouwmarkttezijn. Tevens is het van belang een oplossing te geven voor de verdere ontwikkeling en implementatie van het instrument.

1.5ONDERZOEKSVRAGEN Omopdehoofdvraageenantwoordtekrijgenendedoelstellingentehaleniseenaantaldeelvragennodig: WaaromishetProRailinstrumentsuccesvol?(Hoofdstuk3.2) Welke meetwaardes kunnen gebruikt worden en welke zijn specifiek voor één partij van toepassing? (Hoofdstuk4) Hoekunnennieuwemeetwaardenmeetbaargemaaktworden?(Hoofdstuk4) Hoekanhetteontwikkeleninstrumentgenoegdraagvlakcreërenomgeïmplementeerdtewordeninde GWWenB&Uwereld?(Hoofdstuk5)

1.6RESULTAAT Hetresultaatvanditonderzoekis: BeschrijvingvanhethuidigeProRailinstrument AnalysevanhethuidigeProRailmeetinstrument Eennieuw/aangepastmeetsysteemvoorhetmetenvandeprestatiesvancivieleaannemers Eenimplementatieplanvoorhetmeetsysteem

1.7WERKWIJZE&ONDERZOEKSMETHODIEK


1.7.1ONDERZOEKSVOLGORDE Inditonderzoekiseenaantalstappenondernomenomtekomentotheteindresultaat. HetanalyserenvanhetProRailinstrument OnderzoekenvandedoorProRailgesteldemeetwaardes Aandragenvanalternatieven/uitkomsten Implementatieplan

18

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 HetanalyserenvanhetProRailinstrument Er is nog maar weinig geschreven over de werking van het ProRail instrument. Dit rapport zal daarom een hoofdstuk (2. Het ProRail instrument) bevatten dat de werking van dit instrument beschrijft. Om dit punt te onderzoeken is vooral bij ProRail gekeken naar de werking van het instrument. Intern is er gesproken met de personendiebetrokkenzijngeweestbijdeontwikkelingvanhetinstrument.Ookrapporten(overdewerkwijze) geschreven door ProRail zijn gebruikt in de analyse. Het instrument zelf, dat een vragenlijst (BIJLAGE I: ProRail vragenlijst–Spooraannemers)enrekenmodelbevat,isookgeanalyseerd. OnderzoekenvandedoorProRailgesteldemeetwaardes/aspecten GekekenisofdedoorProRailgesteldevragenookbijprojectenvanRWSendeRGDgesteldkunnenworden.Om ditteonderzoekenisereenvragenlijstopgesteld.VoorelkevraagdieProRailinzijnvragenlijstheeftopgenomen werdgekekenofdezevantoepassingzoukunnenzijnbijRWSofdeRGDenwatereventueelnogaanaangepast moetworden.Tevenswerdergevraagdofdevraagkanwordentoegepastbijtraditioneledanwelgeïntegreerde contracten. Aandragenvanalternatieven/uitkomsten Alle analyses en vergelijkingen leiden tot een aantal alternatieven voor de vragenlijst uit het ProRail meetinstrument en tevens voor de manier waarop de vragen worden beoordeeld. Bij het opstellen van de alternatievenisergoedgekekennaardeinputvandeverschillendepartijen.Ookisergekekennaardevragenen onderwerpendieinhetPIANOoinstrumentgebruiktworden. Implementatieplan Er zal voor gezorgd moeten worden dat de nieuw ontwikkelde vragenlijst en methode van meten op de juiste manier geïmplementeerd wordt binnen de organisaties. Er is een implementatieplan (Hoofdstuk 5. Implementatieplan)geschreven,welkestapsgewijsdeprocedurevoorimplementatiebeschrijft.

1.7.2METHODE Het onderzoek is van belang voor ProRail, de RGD en RWS. Deze partijen werken samen, om zo mogelijk tot één meetinstrument te komen. Deze samenwerkinggeschiedtoptweeniveaus;namelijkeenstuurgroepeneen werkgroep. Voor het verdere onderzoek, heeft het onderzoek deel uit gemaakt van de werkgroep die het eigenlijke instrument ontwikkelt/onderzoekt. Er is voor een onafhankelijke positie (figuur 1) tussen deze partijen gekozen, waarbij de belangen van elke partij even zwaarwegen.Infiguur1staatProRailbovenaanindedriehoek.Hiervooris Figuur1 Partijen gekozenomdatditdepartijismethetbestaandeinstrument.Dezepartijis belangrijk in de verschaffing van informatie over het instrument en de uitwisseling van ervaringen met het instrument. In de werkgroep werd de huidige werkwijze met en werking van het ProRail instrument besproken. Kritische vragenzijngesteldenzulleninditverslagbehandeldworden.InditverslagzalduidelijkwordenwaaromProRail bepaalde keuzes heeft gemaakt. Verder zijn verbetervoorstellen en mogelijkheden besproken. Tevens is er gesprokenoverhoedesamenwerkingeruitmoetkomentezien.


Bij aanvang van dit onderzoek was de verwachting dat er te grote verschillen tussen de drie opdrachtgevers zouden zijn om tot één uniform meetinstrument te komen. In dit onderzoek is als mogelijke oplossing voor de problematiekeendrager/opleggerprincipe(Figuur2)aangedragen.Dedragerzalhierbijbijallepartijenuniform zijnenvoornamelijkafsprakenbevattenoverhoetemeten,detemetenhoofdaspectenendeverwerkingvande gegevens. De oplegger kan door iedere partij afzonderlijk bepaald worden. De oplegger bevat de subaspecten waaropgemetenwordtenorganisatiespecifiekafspraken.

19


ProRail vragenlijst (oplegger)

RWS vragenlijst (oplegger)

RGD vragenlijst (oplegger)

Vragenlijst derden (oplegger)

ProRailmethodiek (drager) Figuur2Drager/opleggerprincipe

10.8MAATSCHAPPELIJKERELEVANTIE Zoalsinallelanden,heeftookinNederlanddebouwindustrieeengrootaandeelindeeconomie.Jaarlijksgaater indesectorongeveer60miljardeuroom,watneerkomtop7%vanhetBrutoLandelijkProduct(Ang,etal.,2004). Ondanksdegrotesector,waarveelgeldinomgaat,wordtdebouwwereldvaakverwetenweiniginnovatieftezijn. Deontwikkelingvandesector,ophetgebiedvanprestatiesenproductiviteit,ligtachterinvergelijkingmetandere industriëlesectoren.DaarnaastheeftNederland(doornieuweEuropeseregelgevingin1992)ooktemakengehad metfraudebijoverheidsopdrachten.Defraudeheeftgeleidtoteenparlementaireenquêtein20022003(Ang,et al.,2004).Ditallesheeftgeleidtoteennegatiefimagovoordebouwindustrie. Doordatdebouwwereldslechtinbeperktemateinnovatieskentzijnmethodesvaakverouderd.Ditleidtvaaktot inefficiëntwerken.Eengroteretransparantieopdemarktkanervoorzorgendatdekwaliteitvandebouwwereld omhooggaatendatermindersturingnodigis.Eensterkerebouwwereldheeftdirectinvloedopdemaatschappij, doorbeterewerkzekerheidenminderkostenopsturingenkwaliteit.Hetmetenopprestatieszorgtervoordatde opdrachtnemers systematisch inzicht krijgen in hun eigen prestaties op verschillende aspecten. Daarnaast biedt prestatiemeten de mogelijkheid opdrachtnemers met elkaar te vergelijken en hiermee de concurrentie te verhogen. Dit zal leiden tot een betere prijs/kwaliteit verhouding. Slecht presterende bedrijven zullen door de transparante markt zichtbaar worden, waardoor deze bedrijven uit de markt zullen verdwijnen. Prestatiemeten kanerdusvoorzorgendatdebouwwereldzichsaneert.

10.9WETENSCHAPPELIJKERELEVANTIE


IndewetenschapiserdoordeTUDelftreedsonderzoek(ChaoDuivis,etal.,2005)gedaannaareeninstrument voor het meten van de Past Performance. Dit ‘PIANOo instrument’ is in samenwerking met organisaties uit de praktijk (oa. RWS en de RGD) tot stand gekomen. Dit instrument is volgens Bakens (2008) wetenschappelijk verantwoord,praktischgoedtoepasbaarenheeftdesteunvanallebetrokkenen.IneenrapportdoorPRC(2008) over een pilot met het instrument bij RWS, wordt opgemerkt dat het instrument niet altijd even praktisch toepasbaarenwellichttewetenschappelijkis. Dit afstudeeronderzoek richt zich in eerste instantie op de problematiek (het ontwerpen van een bruikbaar meetinstrument) uit de praktijk. Het oplossingsgericht onderzoeken is het speerpunt van dit onderzoek. Als het nieuweinstrumentindepraktijkmoetwerken,moetendepotentiëlegebruikersermeeomkunnengaanener tevenshetnutvaninzien. DitonderzoekisheteerstedatinhoudelijkingaatophetProRailinstrument.Debeschrijvingenanalysevanhet instrumentzullenbijdragenaandewetenschappelijkekennisoverhetProRailinstrument.Debeschrijvingtothet komentothetnieuweinstrumentzalbijdragenaandekennisvoorontwikkelingvaneenprestatiemeetinstrument. Dit onderzoek geeft inzicht in de discussiepunten tijdens de ontwikkeling van het instrument. Het inzicht in het ontwikkelingsprocesisvangrotewaardebijverderonderzoeknaarhetmeetinstrument.Uitditonderzoekkunnen deknelpuntengehaaldwordenentevenswordtinzichtelijkwaarombepaaldekeuzesgemaaktzijn.

20

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 1.10LEESWIJZER


In dit onderzoek is het ProRail meetinstrument het hoofdonderwerp. Om een duidelijk beeld te geven wat dit instrument precies inhoudt is er een beschrijvend hoofdstuk (2. Het ProRail instrument) geschreven. Dit instrument is vervolgens geanalyseerd (Hoofdstuk 3. Analyse ProRail instrument) op mogelijk knelpunten voor verdere ontwikkeling. Hierbij wordt regelmatig een vergelijking gemaakt met het PIANOo instrument. Dit instrument is nader toegelicht in de literatuurstudie ‘Het ontstaan en gebruik van prestatiemeten’. In deze literatuurstudieistevensmeerinformatieoverprestatiemeteninhetalgemeentevinden. Uitdeanalysesvolgteenaangepastmeetsysteemvoorcivieleaannemers(hoofdstuk4)eneenimplementatieplan (hoofdstuk5)voorhetinvoerenvanprestatiemetenbinnendeorganisatie.Tevensisergekekennaardejuridische toepasbaarheidvanprestatiegegevens.Dezeistevindeninhoofdstuk6. Uithetonderzochteenontworpenwerkzaleenaantalconclusies(hoofdstuk6)getrokkenworden.Waarininhet kort een duidelijk beeld wordt gegeven over de uitkomsten van het onderzoek. Er zijn tevens een aantal aanbevelingen(hoofdstuk6)gedaan.Ditzijnpuntenwaarverderonderzoekopgedaankanworden. Erzijndriebijlagenopgenomen: BijlageI:HierwordteenvragenlijstvanProRailvoorhetmetenvanspooraannemersgetoond. BijlageII:Hetinstrumentdatresultaatisvanditonderzoek. BijlageIII:EendoordeRijksgebouwendienstaangedragenvragenlijstvoorhetmetenvancivieleaannemers.

21

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 2.HETPRORAILINSTRUMENT

2.1INLEIDING In 2004 is men bij ProRail begonnen met de ontwikkeling van een systeem waarbij de prestaties van de voor ProRail werkende bedrijven meetbaar werden gemaakt. Het systeem draait nu een paar jaar, en dit volgens ProRail, naar volle tevredenheid van allepartijen. Dit“succes” zal vraagtekens oproepen bij mensen die bekend zijn met het PIANOo instrument. Logischerwijs zullen er vragen zijn over vraagstukken die bij het PIANOo instrumentnogonduidelijkzijn.Tenoemenzijn: Hoeomtegaanmetnieuwkomers? Hoebeoordeeltmenpartijcombinaties? HoepastProRailprestatiemetingentoebijdeaanbesteding? OmdezevragentebeantwoordenishetvanbelanginzichttekrijgeninhetProRailinstrument.Metwelkevisieis hetinstrumentgemaakt,hoewordthetinstrumenttoegepastenhoewerdendebeoordelingenenhetinstrument ontvangendoordeopdrachtnemers? BijhetschrijvenvandithoofdstukisgebruikgemaaktvaneentweetalrapportenvanProRail: ProRail.(2009).BasisrapportPrestatiemetenAlgemeenDeel.Utrecht:ProRailAKI. ProRail.(2009).BasisrapportPrestatiemetenDeelBSpooraannemers.Utrecht:ProRailAKI.

2.2KADERENERKENNINGSREGELING

Hoofdstuk:2.HetProRailinstrument

ProRailwerktinopdrachtvanhetMinisterievanVerkeerenWaterstaat7aanhetonderhoudendeverbeteringvan despoorinfrastructuur.ProRailvoertwerkzaamhedennietzelfuit,maarschakeltmarktpartijenin.Aangezienhet werk aan de spoorinfrastructuur verstorend werkt voor de maatschappij is het voor ProRail van belang om de opdrachtnemers te stimuleren de prestaties voordurend op een hoog peil te houden en waar mogelijk te verbeteren. Om dit te bereiken heeft ProRail een prestatiemeetinstrument ontwikkeld. Dit instrument dient als maatstaafvoordeerkenningsregelingdieProRailhanteertvoorzijnopdrachtnemers. Erkenningsregeling Bijaanbestedingdienteenopdrachtnemeraanbepaaldeeisentevoldoen.Zomoetdeopdrachtnemervoldoende financiële en economische draagkracht8 hebben en technisch en organisatorisch bekwaam9 zijn. Deze punten zullen bij elke aanbesteding getoetst moeten worden. Aangezien ProRail regelmatig met dezelfde partij een contract heeft, is er besloten om de opdrachtnemers vast te leggen in een erkenningsregeling10. Een opdrachtnemende partij krijgt, indien deze voldoet aan de in de erkenning gestelde eisen11, een erkenning toebedeelt. De erkenning geeft een partij het recht om mee te doen bij een aanbesteding. Hierbij zijn de aanbestedende partijen dus geschikt bevonden voor het uitvoeren van opdrachten voor ProRail. Een erkenning wordteensindedriejaarherzien.Ookkandezeherzienwordenopverzoekvaneenerkendeopdrachtnemer,bij wijzigingvandejuridischestructuurvandeerkendeopdrachtnemerofophetogenblikdatProRailkanbewijzen dat de opdrachtnemer niet meer voldoet aan de gestelde eisen. ProRail heeft een erkenningsregeling voor contractenindevolgendecategorieën: 7 HetspoorleverteenbelangrijkebijdrageaandemobiliteitinNederland.Daaromstreeftdeoverheidnaareen veiligenbetrouwbaarspoorsysteemdattegemoetkomtaandevervoerswensenvandegebruikers.Hetministerie vanVerkeerenWaterstaatbepaalthetbeleidvoorhetgebruikvanhetspoor.Alsopdrachtgever,beleidsmakeren wetgever stelt ze het kader vast waarbinnen spoorinfrabeheerder ProRail samen met de vervoerders opereert. www.verkeerenwaterstaat.nl(datum:25052010) 8 Zieartikel8,lid1,suba,richtlijnARN2006 9 Zieartikel8,lid1,subb,richtlijnARN2006 10 EP2006,ErkenningsregelingvanProRail2006 11 ZiehoofdstukIIIErkenningscriteria,EP2006

22


Ingenieursbureaus Spooraannemers(voorhetprojectmatiguitvoerenvannieuwbouwengrootonderhoudswerk) Onderhoudsaannemers(voordeuitvoeringvandagelijksonderhoud) PreferredSuppliers KabelaannemersenBoorbedrijven WerkplekbeveiligingsbedrijvenenPersoneelstellers12

Voorcivieleaannemersis(nog)geenerkenningsregelingvankracht.Erwordtwelgewerktaaneenprestatiemeting vandezecategoriebedrijven. Eenbedrijfdatinmeerdanéénvandebovengenoemdecategorieënopdrachtenwiluitvoerenmoetvoorelkevan dezecategorieëneenerkenninghebben.Alsdeopdrachtnemerinmeerderecategorieënerkenningenheeftener wordterééningetrokken,zullendeandereerkenningenwordenherzien. Toetsingsgegevens Bijhettoetsenvandeerkenningzijnfinanciële,economischeenmaatschappelijketoetsingspunteneenvoudigop tevragenentevergelijken.Zokanerinveelgevallenbijcentraleinformatiebronnen(bijvoorbeeldeenverklaring van een RegisterAccountant of een bevoegde AccountantAdministratieconsulent) nagevraagd worden of de aangeleverde gegevens van de inschrijvers wel kloppen. Ook wordt er naar de technische en economische bekwaamheidgekeken,degegevensoverdetechnischebekwaamheidzijnechternietzoeenvoudigoptezoeken. Deze bekwaamheid moet door de opdrachtgevende partij bewezen worden, aan de hand van referenties. Een persoonofbedrijfdieeenreferentieafgeeftkandeprocesgangheelandersbeoordelendandatProRailditzou doen,waarbijdevraagisofeenreferentieietsmeldtoverdeprocesgang.DaarnaastisProRaildeenigepartijin Nederlanddiewerkzaamhedenaanhetspoorlaatuitvoeren.Erzijndussimpelweggeenreferentiesvanandere opdrachtgevendepartijentevinden.Devraagofeenbedrijfvoldoetaandegeldendeerkenningseisen13wordtdan ookuitgebreidgetoetst,ondermeerinbedrijfsbezoekendoorProRailAKI14. Procesprestatie NaastdeerkenningsregelingheeftProRaileenprestatiemeetinstrumentontwikkeld(opditmomentoperationeel voordeingenieursbureaus,despooraannemersendeonderhoudsaannemers).Hetinstrumentmeethet‘proces’ ennietde‘kwaliteit’vanhetgeleverdewerk.Erwordtéénprocescijferperkwartaal,percategorie(aannemer, ingenieursbureau,etc.)gegevenoverhethelebedrijf.Ditcijferwordtgevormddoorperkwartaalopprojectbasis te meten. Men heeft voor één cijfer op bedrijfsbasis gekozen, omdat met bij ProRail vindt dat de ON zelf moet onderzoeken op welke contract er slecht wordt gescoord. De resultaten van de periodieke (per kwartaal) prestatiemetingen van alle actuele contracten met erkende bedrijven zijn naast andere indicatoren relevant voordemonitoring(ofbewaking)vandeerkenning.

2.3HETPRORAILPRESTATIEMEETINSTRUMENT


ProRail meet prestaties in meerdere categorieën opdrachtnemers. De verdere omschrijving van het ProRail instrumentzalbetrekkinghebbenophetmeetsysteemvoorspooraannemers,aangeziendezehetmeesteverband heeftmethetteontwikkelenmeetsysteemvoorcivieleaannemers. Past Performance (PaPer) is de naam die door de TUDelft (ChaoDuivis, et al., 2005) gegeven wordt aan een instrument dat de prestaties van een aannemer meet. PaPer meet voornamelijk de reeds geleverde prestaties. ProRailmeetmethetinstrumentdehuidigeprocesprestatiesengeefthetinstrumentdaaromnietdenaamPast

12 Werkgeversmoetenzichlatenopnemenineenerkenningsofcertificeringssysteemalszijpersoneelhebbendat veiligheidstakenuitvoert.Hetkandangaanomdefunctiesvanveiligheidsmanenleiderwerkplekbeveiliging.Het ideeachterdezestelselsisdatorganisatiesinprincipemogenvertrouwenopelkaarscertificering. 13 Zievoordeerkenningsregelingendeeisen: http://www.prorail.nl/Zakenpartners/Aanbesteden%20en%20inkoop/Pages/Erkenningsregeling.aspx (datum: 25 052010) 14 Aanbestedingszaken,Kostenmanagementeninkoop

23

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 Performance, maar ,,(proces)prestatiemeten”. ProRail meet de prestaties van hun spooraannemers op drie gebieden,dezezijninTabel1weergegeven. Interviewresultaten(hoofdstuk2.4) 40% Op kwartaalbasis wordt er per contract een vragenlijst voorgelegd aan de projectmanager van het project. Deze vragenlijst bevat vragen over de procesvoortgang van het contract en bestaat uit de volgendehoofdaspecten(indicatoren): Planmatigwerken Deskundigheidenkwaliteit SamenwerkenenCommunicatie Milieu Veiligheid Afronding Veiligheid(hoofdstuk2.5) 30% Bijveiligheidwordendeopdrachtnemersafgerekendopveiligheidsincidentenophetwerk.Ditmoeter voorzorgendatON’sbewustomgaanmetdeveiligheidtijdensdewerkzaamheden. Beschikbaarheid(hoofdstuk2.6) 30% Werkzaamhedenaanhetspoorverstorendeinfrastructuur.Wanneerwerkzaamhedenuitlopenheeft demaatschappijhierlastvan.Deoverlastdoorhetuitlopenvanwerkzaamhedenwordttoegerekend aandeopdrachtnemerindiendezeaantoonbaaraansprakelijkis. Tabel1Dedriemeetgebieden


Dedriemeetgebiedenbijanderecategorieënopdrachtgevers Deoptelsom(100%)vandedriemeetgebiedengeeftdescorevaneenopdrachtnemerindatkwartaalaan.ProRail gebruiktzijnmeetinstrumentvoorallecategorieën15opdrachtnemers.Inelkecategoriewordteeneigenlijstmet interviewvragen voorgelegd. Niet voor elke categorie is naast interviewresultaten, veiligheid en beschikbaarheid van belang. Bij ingenieursbureaus wordenalleen interviewresultaten meegenomen voor de beoordeling van het proces. Aangezien elke categorie een eigen vragenlijst heeft zijn de resultaten alleen maar binnen dezelfde categoriemetelkaartevergelijken. ProRail verwerkt de meetgegevens in een rapport. Hierin wordt er één proces cijfer over de opdrachtnemer gegeven.HierbijwilProRaileenopdrachtnemernietafrekenenopéénkwartaal,daaromwordenderesultatenvan devijflaatstekwartalengebruikt.Devijfkwartalentellenalsvolgtmee: Jongstemeting 100% Kwartaal4 80% Kwartaal3 60% Kwartaal2 40% Oudstemeting 20%

2.4HETINTERVIEW/DEMEETASPECTEN Hetbelangrijksteonderdeelvanhetmeetinstrument(40%bijaannemerstot100%bijingenieursbureaus)is‘het interview’. Het interview wordt gehouden aan de hand van een vaste vragenlijst16 die op kwartaalbasis per contract beantwoordt wordt. Elk kwartaal wordt er een lijst samengesteld met actuele (lopende) contracten en welkemedewerkervanProRaildaarvoorcontractverantwoordelijkis.ProRailheefteenteamvanauditorsopgeleid omdeinterviewsaftenemen.Elkeauditorkrijgtperkwartaaleenaantalcontractentoegewezenzodanigdatde auditor(bijna)nooittweemaalachterelkaarbijdezelfdecontractverantwoordelijk(veelaleenbouwmanager)een Ingenieursbureaus, spooraannemers, onderhoudsaannemers. Voor preferred suppliers wordt wel een prestatiemetinggehoudenmaarerisgeenerkenning;voordepreferredsuppliersiseenraamcontractopgezet. 16 VoordevragenlijstvoorspooraannemerszieBijlageI 15

24

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 interviewhoudt.Erzijnuitzonderingenmogelijkalsditorganisatorischbeterteregelenis,bijvoorbeelddoormeer interviewsmetdezelfdebouwmanagertegelijktehouden. Devragenlijst Bij het interview wordt een vragenlijst (zie bijlage I voor een vragenlijst voor spooraannemers) aan de bouwmanager(ofprojectmanager)voorgelegd.Dezevragenlijstbevateenaantalalgemeneprojectgegevens,zoals projectnummer,starteneinddatumenhetgunningsbedrag.Daarnaastzijnereenaantalmeerkeuzevragenwelke vallenonderdevolgendeindicatoren: Planmatigwerken Deskundigheidenkwaliteit SamenwerkenenCommunicatie Milieu Veiligheid Afronding Elke indicator bevat een aantal vragen, passend binnen het onderwerp (zie Figuur 3). Dit zijn allemaal vragen, waarbij de antwoorden vast staan. Elke vraag kent vier antwoordmogelijkheden waarbij voor elk van de vier antwoordeneenanderscoringspercentagegeldt.Dealgemeneinvullingvandeantwoordenenscoringspercentage staan in Tabel 2. Wanneer een vraag niet te beantwoorden is kan deze ook als ‘niet van toepassing’ ingevuld worden. Vraag Nr.

Gewicht

De vraag heeft betrekking op de/het …

1

5

2

5

werkelijk e voortgang

3

5

tijdigheid van inleveren van buitendiensts tellingsdocumenten

4

5

5

5

6

5

7

5

netheid van het werk terrein

8

20

multidisciplinaire kennis

Planmatig werk en

kwaliteit van planning / mijlpalenoverzicht

niet oversc hrijden van de buitendienststelling Deskundigheid en Kwaliteit

kwaliteit van draaiboek en/of kwaliteitsplan toepassen van draaiboek en/of kwaliteitsplan

9

5

kwaliteit van risico-inventarisatie

10

5

toepassen van terugvalsc enario (uit risico-inventarisatie)

11

5

Samenwerking

melden van problemen en oplossingen

12

5

en Communicatie

samenwerking

13

5

14

5

15

5

communicatie met omgeving coördinatie met nevenaannemers Milieu

mate van aandacht voor milieu-aspecten

16

5

Veiligheid

mate van aandacht voor veilig werken

17

5

Afronding

revisietekeningen en V&G dossier

Totaal

100

Figuur3Wegingspooraannemers

A B C D

25% 50% 75% 100%


Ondanksmeerdereverzoekenwordtnogsteedsnietvoldaan Naéénherinneringwordtaandeeisvoldaan Erisgeenherinneringofverzoeknodig; aandeeiswordtvoldaan (werkvolgensafspraak) Erwordtsignificantmeergeleverddangevraagd

Tabel2Antwoordmogelijkheden

Deantwoordenindetabelzijnalgemeengemaaktenzullenpervraagverschillen. Interviewprocedure Tijdenshetinterviewwordtdevraagdoordeauditoraaneenbouwmanagervoorgelegd.Dezebeschiktovereen lijstmetdemogelijkeantwoordenenmaaktzijnkeuze.Deauditorzalnahetgevenvanhetantwoord,aandehand

25

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 vandoorvragen,proberenteachterhalenofditantwoordcorrectis.Hierbijzaldebouwmanagerzijnafwegingen naarvorenbrengen.Deauditorkandaninoverlegmetdebouwmanagerbeslissenwathetbesteantwoordis.Een bedrijfdatzijnwerkvolgensafspraakdoet(zoalsverwachtdoorProRail)krijgteenCantwoord(75%).Bijantwoord Czaldeauditor(meestal)nietombewijsvragenwelkehetantwoordonderbouwt.WijkthetantwoordafvanC, dan zal altijd gevraagd worden aan de bouwmanager, om zijn keuze toe te lichten. Deze toelichting zal op het notatieformulier genoteerd worden. Als alle vragen doorgenomen zijn zal het notatieformulier ondertekend worden door de bouwmanager en de auditor. De auditor zal de vragen vervolgens verwerken in een MS Excel sheet,diedoorProRailontwikkeldis. Nietallevragenkunnenaltijdelkkwartaalbeantwoordtworden.Indieneenvraagnietbeantwoordkanworden, zal n.v.t. ingevuld worden. Als het aantal niet beantwoorde vragen, een per vragenlijst vastgestelde waarde overschrijdt, zal deze meting niet meegenomen worden. Wanneer er sprake is van een onvoldoende aantal bedrijfsbeoordelingenineenkwartaal,krijgtdeaannemergeencijferofeengewogencijferoverdeafgelopen5 kwartalen(zievoordeverhoudinghoofdstuk2.3). Weging ProRailkaneenvraagdiezebelangrijkvindtzwaarderlatenwegen.Dezegewichtenzijneenmaligvastgestelden zullen niet zomaar wijzigen. De gewichten voor spooraannemer zijn weergegeven in Figuur 3Figuur 3 Weging spooraannemers.Deoptelsomvanallevragen(gewicht*antwoordpercentage)geefthetresultaataanvanhet onderdeelinterview. Opmerkelijk is dat bij de weging voor spooraannemers slechts één vraag zwaarder weegt. Dit is vraag 8 met betrekking tot multidisciplinaire kennis: ,,Toonde de aannemer een ruime kennis op alle terreinen die benodigd zijnvoorditwerkenwisthijdezeookgoedopelkaaraftestemmen?” ProRailzegthieroverdathetspoorsysteemeencomplexsamenhangendgeheelis,hetisdaarombelangrijkdatde aannemerbeschiktoverdeskundigheidopraakvlakkenmetanderedisciplines.Ditiszobelangrijkdatdezevraag zwaarderweegtdananderevragen. Een andere opdrachtgever kan zijn eigen gewichten per vraag toekennen, aangezien iedere opdrachtgever prioriteit/waardelegtbijanderemeetwaardes.

2.5VEILIGHEID


Voor de meting op veiligheid worden het aantal veiligheidsincidenten gemeten. “Veiligheidsincident” is een verzamelnaam van een uiteenlopende verzameling van ongewenste (dan wel niet met het spoor te maken hebbende)gebeurtenissen,zoalsongevallen,botsingen,ontsporingen,onterechtepassagestoptonendsein(sts)17, branden,milieuincidenten,gevaarlijkesituatiesenbijnaongevallen. Eengebeurteniswordtalsveiligheidsincidentaangemerktalsdezegeleidheeftofhadkunnenleidentotmateriële schadeen/ofletsel,indiendezetewijtenisaanongewensthandelenofgedragvaneenaannemer(datwilzeggen datdeaannemerheeftgehandeldinafwijkingvandebepalingeninhetcontractofdewetenregelgeving). Hetisnietalleenvanbelangomtekijkenofietsweleenveiligheidsincidentis,ookmoetergekekenwordenof dezewelaandeaannemertoeterekenenis,eventueleschuldzalbewezenmoetenworden. Vooralleincidentenwordteenweginggehanteerdwelkeafhankelijkisvandeomvangvandeschadeofhetletsel. Een incident dat zowel tot schade als tot letsel heeft geleid, telt voor beide gevolgcategorieën mee, met de daaraanverbondenweegfactor.ProRailhanteertvoordetoerekeningTabel3.

17

ErissprakevaneenSTSwanneereenmachinisteenseinpasseertwelkehetsein‘stop’weergeeft.Demachinist isindatgevaldusonrechtmatigdoorgereden,watgevaarlijkesituatieskanveroorzaken.

26

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 Lichamelijkletsel/doden Geen Lichtletsel Ernstigletsel Meerdereernstigletsel Ééndode Meerderedoden

Materiële schade/Milieuschade Geen Minderdan15.000, euro Minderdan150.000, euro Minderdan1.500.000, euro Meerdan1.500.000, euro

Weging 0,5 1 2 3 4 5

Tabel3Toerekeningincidenten

Metdezewegingkandevolgendeberekeninggemaaktworden: ‫ כ‬ ൰ ‫ ݄݈݀݅݁݃݅݅݁ݒ‬ൌ ͹ͷሺൌ ‫݁݀ݎܽܽݓ݂݁݁ݐݏ‬ሻ െ ൬ ሺͳͲሻ Bijvoorbeeld: Eris1keerernstigletselopgetredenbijeentotaleomzetvan5miljoeneuro. ͳ‫ʹכ‬ ൰ ൌ ͹ͳΨ ͹ͷ െ ൬ Ͳǡͷ Erisgekozenomdemaximalescoreop75%vasttestellen.Netalsbijdevragen,isditdescorewaarbijervanuit wordtgegaandatdeaannemerexactvolgensafspraakwerkt. De prestaties van de aannemers worden vergelijkbaar gemaakt door het aantal incidenten te relateren aan de kwartaalomzetvandebedrijven(alsschalingsfactorwordtdeomzetgedeelddoor10mln). Kwartaalomzet Omdeprestatiesvanbedrijvenvergelijkbaartemakenwordtbijdeberekeningvandescoresopbeschikbaarheid en veiligheid gebruik gemaakt van de kwartaalwaarde. Deze waarde wordt gebruikt als een indicator voor de omzet van een bedrijf en hoeft niet met de werkelijke omzet in een kwartaal overeen te komen. De indicator wordtvoorallebedrijvenopuniformewijzevastgesteld. De kwartaalwaarde wordt gebaseerd op een berekening waarin per contract het gunningbedrag wordt gedeeld door het aantal kwartalen tussen startdatum contract en einddatum contract. Voor specifieke contracten (zeer langelooptijdenzeergrootgunningbedrag)kaneenafwijkendeverdelingoverdekwartalenwordenvastgesteld.


Dekwartaalwaardewordtbijhetbeginvaneencontractvastgesteldendaarnanietmeergewijzigd.Indientijdens een interview blijkt dat een contract 1 of meer kwartalen langer doorloopt wordt de oorspronkelijk berekende kwartaalwaardeookindiekwartalenmeegenomen.Alseencontractlaterstartwordtdekwartaalwaardenogniet meegenomen. Indien tijdens het interview blijkt dat in een kwartaal nauwelijks of geen werkzaamheden zijn uitgevoerdwordtdekwartaalwaardenietmeegenomen.

27

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 2.6BESCHIKBAARHEID Bijdeuitvoeringvanprojectmatigewerkzaamhedenkunnenzichvoorvallenvoordoendieleidentothindervoorde treindienst(TAO:TreindienstAantastendeOnregelmatigheid).Bijvoorbeeld:uitloopvaneenbuitendienststelling. Deongeplandenietbeschikbaarheidwordtuitgedruktinuren(gewogen)storingstijd. ProRail maakt voor de duur van het voorval gebruik van de herstelduur uit eigen registratie door de ProRail Verkeersleiding.Hierbijwordenalleendeurengeteld,waarbijwerkelijkeentreindienstgeplandis. De ernst van het voorval wordt weergegeven door het aantal spoorzones dat hinder ondervindt en aan de baanvakwaarde(diekanvariërenvan1totenmet15). Deformulediegebruiktwordtvoorhetberekenenvandebeschikbaarheidscoreis: ൰ ܾ݁‫ ݄݀݅݁ݎܾ݄ܽܽ݇݅ܿݏ‬ൌ ͹ͷ െ ൬ ሺͳሻ Erisgekozenomdemaximalescoreop75%vasttestellen.Netalsbijdevragen,isditdescorewaarbijervanuit wordtgegaandatdeaannemerexactvolgensafspraakwerkt. De prestaties van de aannemers worden vergelijkbaar gemaakt door het aantal incidenten te relateren aan de kwartaalomzetvandebedrijven(alsschalingsfactorwordtdeomzetgedeelddoor1mln). Het aantal aan de aannemers toegerekende uren storingstijd, staat gelijk aan het aantal uren storing x de baanvakwaardexhetpercentagedattoegerekendisaandeaannemer. De aannemer hoeft niet alle schuld voor het uitlopen van werkzaamheden te krijgen. Na onderzoek van het voorvalendegevolgendaarvankandebouwmanagerbesluitentoteenlagerpercentage(66%,33%of0%)voor detoerekeningaandeaannemer. Debaanvakwaardeiseenindicatievandedrukteophetspoorineenbaanvak.ProRailberekenteensinde5jaar de baanvakwaarde. De baanvakwaarde wordt bepaald door alle treinbewegingen in een week bij elkaar op te tellenendittedelendoor7.Ditgetalwordtvervolgensgebruiktindevolgendeformule: െ ͵Ͳ ൅ ͳ ܾܽܽ݊‫ ݁݀ݎܽܽݓ݇ܽݒ‬ൌ ͸Ͳ

2.7VERWERKINGENGEBRUIKVANRESULTATEN


InterviewresultatenengegevensoverveiligheidenbeschikbaarheidwordendooréénProRailmedewerkerineen MS Excel rekenbestand verwerkt. Uit dit rekenbestand zal een rapport worden gegenereerd voor iedere aannemer.Hetrapportbevat: eenoverzichtvanhetaantalvalideinterviewsendekwartaalomzetperbedrijf; de scores van de aannemers voor veiligheid, beschikbaarheid en het interviewresultaat en de daaruit resulterendekwartaalperformances; een overzicht van de performances over vijf kwartalen en de daaruit resulterende uitvoeringsperformances; decorrectiefactorenvoorgunning,gebaseerdopdeuitvoeringsperformances; gemiddeldescoreenactuelescoreperinterviewvraagvanallebedrijven; ontwikkelingperindicator(interviewresultaat,veiligheidenbeschikbaarheid)overvijfkwartalen; diversegrafiekenwaarinbovenstaandeontwikkelingenovervijfkwartalenwordengepresenteerd; detailuitwerkingperbedrijf

28



Relatiemeterkenning Ditrapportwordtopkwartaalbasisaanalleerkendebedrijvenverstrekt.Opdezemanierismenopdehoogtevan hun eigen prestaties, maar ook hoe men presteert ten opzichte van de concurrentie. Deze publicatie moet een prikkel vormen voor de bedrijven om beter te presteren. De bedrijven kunnen de rapportage gebruiken als monitoromtezienofverbeteractieshebbengeleidtotbetereprestaties. Omdebedrijvennogbeterteinformerenoverdegeleverdeprestatieswordterjaarlijkseengesprekgehouden met alle erkende bedrijven. Tijdens dit gesprek zal de prestatiemeting dieper worden geanalyseerd, waardoor bedrijven gerichter verbeteracties kunnen ondernemen. Ook de erkenningstatus van het bedrijf zal tijdens dit gesprek behandeld worden. Voorafgaande aan het jaargesprek krijgt het bedrijf een verkorte vragenlijst opgestuurd.Hetdoelhiervanis,vasttestellenofhetbedrijfnogsteedsvoldoetaandeerkenningseisen.Ookkan eengesprekplaatsvindenopverzoekvandebedrijvenzelf. Relatiemetaanbesteding(gunning) Deresultatenvandeprestatiemetingwordenookgebruiktbijdegunningvannieuwecontracten.Vooreengoede (hoge)beoordelingwordthetbedrijfbeloondmeteenfictievekortingophetgunningsbedrag.Ditbedrijfmaakt dusmeerkansomeenopdrachtbinnentehalen.Alsdeopdrachtaanhetbedrijfmetfictievekortinggegundis,zal deze de opdracht krijgen voor het “daadwerkelijk” ingeschreven bedrag. Deze zelfde regeling geldt ook voor bedrijvendieslechtpresteren.Dezekrijgeneenfictieveverhoging,i.p.v.eenverlagenophetingeschrevenbedrag enmakendusminderkansopeenopdracht. De hoogte van het kortings/verhogingspercentage wordt gegeven in de correctiefactor voor gunning. Deze correctiefactor wordt bepaald aan de hand van de uitvoerperformance van het bedrijf over de afgelopen 5 kwartalen(vooreenberekeningziehetvoorbeeldhieronder). Als een bedrijf zijn werk goed doet en dus ook een goede score krijgt kan het hoger inschrijven om toch een opdrachtteverwerven.DehogerekostenvoorProRailwordengecompenseerddoordeverwachtingdatProRail mindertijdengeldkwijtisaandeprojectbeheersing. De berekening van de correctiefactor is eenvoudig. Als eerste wordt de waarde (75%) genomen die ProRail verwacht van een bedrijf die volgens afspraak zijn werk uitvoert. Van deze waarde wordt de uitvoeringsperformance van het bedrijf, over de afgelopen 5 maanden, afgetrokken, hetgeen de correctiefactor oplevert.Totvoorkortwerddezecorrectiefactornoggedeelddoor2,ditheeftmengewijzigdomeengrotereffect ophetfictievegunningsbedragtekrijgen Voorbeeld Steleenbedrijfheefteenuitvoeringsperformancevan76,8%.Decorrectiefactorwordtdan: ܿ‫ ݎ݋ݐ݂ܿܽ݁݅ݐܿ݁ݎݎ݋‬ൌ ͹ͷሺൌ ሻ െ ͹͸ǡͺ ൌ െͳǡͺ% Alseenbedrijfvoor100.000euroinschrijftwordtdecorrectiefactoralsvolgtgebruikt: ݂݅ܿ‫ ݃ܽݎܾ݂݆݀݁݅ݎ݄ܿݏ݊݅݁ݒ݁݅ݐ‬ൌ ൫ͳͲͲΨ ൅ ሺെͳǡͺΨሻ൯ ‫ͲͲͳ̀ כ‬ǤͲͲͲ ൌ ̀ͻͺǤʹͲͲ ALS DE FICTIEVE 98.200 EURO HET LAAGSTE INSCHRIJFBEDRAG BLIJKT TE ZIJN KRIJGT HET BEDRIJF DE OPDRACHT VOOR 100.000 TOEGEWEZEN. HET LOONT DUS VOOR DE BEDRIJVEN BETER TE PRESTEREN DAN GEVRAAGD EN DAARDOOR HUN KANS OP EEN OPDRACHT TE VERGROTEN TEGEN EEN HOGER VERGOEDINGSTARIEF. Bij de inschrijving van een opdracht zal het gebruik van correctiefactoren op de aanbesteding aangekondigd wordenindeuitnodiging.

29

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 2.8BIJZONDERHEDEN


Er is een aantal bijzondere situaties te noemen waarbij er afspraken nodig zijn en die vragen oproepen. Deze wordenhieronderbesproken: Implementatievanhetinstrument ProRailissinds2004begonnenmetdeontwikkelingvanprestatiemeten.Bijdezeontwikkelingkwamalsnelnaar voren dat niet alle zwakke punten uit het instrument te halen zijn, zonder dat het instrument in praktijk getest wordt.MenisbijProRailookvanmeningdaterniettelangaanhetinstrumentontwikkeldmoetworden,maardat dit gewoon gebruikt moet worden. De eventuele fouten komen dan vanzelf naar voren en kunnen vervolgens aangepastworden.HetManagementTeamvandeProRailbedrijfseenhedenheeftdemethodeenwerkwijzeende berekening van de correctiefactoren goedgekeurd. Ook hebben de betrokken bedrijven ingestemd met de door ProRail voorgestelde prestatiemeting. Feedback van de betrokken bedrijven is en wordt geëvalueerd en meegenomenindeontwikkelingvanhetinstrument.Metnamevanafheteerstekwartaalvan2008isdemethode aanzienlijkverbeterd.Medeopbasisvandefeedbackvandebedrijvenzijnin2008verdereaanpassingen(waar nodigenmogelijkmetterugwerkendekracht)doorgevoerd. De correctiefactoren voor de spooraannemers zijn in gebruik vanaf 2009 Q1 (Q staat voor kwartaal). Bedenk daarbijweldatdezezijngebaseerdopdeprestatiesvandeaannemersindekwartalen2007Q3totenmet2008 Q3. Combinaties Het kan voorkomen dat er op een opdracht wordt ingeschreven door een combinatie van partijen. Bij de beoordelingvandezecombinatiewordterdoorProRailgestelddatdepartijenerzelfvoorhebbengekozenom een combinatie aan te gaan. Daarom krijgt iedere partij dezelfde beoordeling. Indien een beoordeling in een kwartaalmaarbetrekkingheeftopéénvandecombinanten(ditmoetaangegevenwordendoordebouwmanager vanProRail)danwordterslechtséénpartijbeoordeeld. Wanneer een nieuwe combinatie meedoet bij een nieuwe gunning wordt het rekenkundige gemiddelde van de correctiefactorenvanalledeelnemendecombinantengenomen. Nieuwkomers ProRailhanteerdebijnieuwkomersineersteinstantiedegemiddeldeuitvoerperformancevanallepartijen.Dusals ertweepartijen60%scorenenéénpartij80%scoortkrijgtdenieuwkomereengemiddeldescorevan67%.Erisin hetoverlegmetdespooraannemersopgemerktdatnieuwkomersopdezemanierkunnenprofiterenvanhethoge gemiddeldevandeanderepartijen.ProRailheeftditwetenoptelossendoorvoornieuwkomerseengemiddelde meteenmaximumvan75%toetekennen.Aandehandvanditgemiddelde(meteenmaximumvan75%)zalde correctiefactorvoorgunningberekendworden.Allebetrokkenpartijenhebbeningestemdmetdezeoplossing. Bezwaaroprapporten Als een bedrijf een of meerdere bezwaren heeft tegen het gepubliceerde rapport wordt deze door de 18 Tenderboard vanProRailinbehandelinggenomen.AlsdeTenderboarddaartoebesluitkaneencorrectieinhet eerst volgende rapport worden meegenomen. Deze wijzigingen hebben geen terugwerkende kracht en kunnen uitslagenbijeerderegunningennietbeïnvloeden. Inzagevanprojectprestaties Demetingenwordenopprojectniveaugedaan.Deuitslagisechteropbedrijfsniveau.Eenbedrijfmetmeerdere contractenheeftgeeninzichtinderesultatenvandeafzonderlijkecontracten.Bijaanvraagomverduidelijkingzal doorProRailaangegevenwordendathetbedrijfeerstinternonderzoekmoetgaandoen,watmeestalinhoudtdat menbijeigenprojectleiderinformatiemoetgaaninwinnen. Aansluitend zullen zo nodig meer gegevens over een project vrij worden gegeven. Daarbij worden altijd de betreffende bouwmanagers van ProRail ingeschakeld. ProRail wil projectgegevens zo min mogelijk vrijgeven, aangezien hieruit afgeleid kan worden, welke bouwmanager het bedrijf heeft beoordeeld. Dit bevordert de validiteitvanmetingenomdatdebouwmanageronbevangenzijnoordeelkangeven.ProRailwilvoorkomendat 18 HetorgaanvanProRaildatdeerkenningsbesluitenneemt.

30

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 het bedrijf een discussie aangaat met de bouwmanager over de beoordeling. De discussie moet gericht zijn op verbeteringvandeprestatiesvaneenbedrijfbijallecontracten. Kwaliteitsborging DeinterviewswordengehoudendoormedewerkersvandeafdelingAKI(Aanbestedingszaken,Kostenmanagement en Inkoop), die als auditor zijn opgeleid. Eén van deze medewerkers is de coördinator van het prestatiemeet proces.Iederkwartaalkomendemedewerkersbijelkaaromhetafgelopenkwartaalteevaluerenenhetnieuwe kwartaalvoortebereiden.Eventueleverbeterpuntenvoorhetinstrumentwordenbesproken. Periodiekzaldemethodeenhetprocesvanprestatiemetenmetdebetrokkenbedrijvenbesprokenworden.Hier wordt er gekeken of er nog voldoende draagvlak is voor het instrument en wat er eventueel verbeterd kan worden.Indeeerstehelft2010zalookeenverificatiewordenuitgevoerddooreenonafhankelijkexternbureauin opdrachtvanhetzogenaamdeOperationelePlatformoverleg,waarinProRailendespooraannemersverenigdzijn.

2.9CONCLUSIE


In dit hoofdstuk is een beeld gegeven hoe het huidige ProRail instrument functioneert. De kennis over het functionerenisvanbelangomeenverbeterslagtekunnenleverenbijhetnieuweinstrument. Indeinleidingzijneendrietalvragengesteld: Hoeomtegaanmetnieuwkomers? Hoebeoordeeltmenpartijcombinaties? HoepastProRailprestatiemetingentoebijdeaanbesteding? Toepassingbijaanbesteding ProRailmeetiederkwartaalallelopendecontractenopdeprestatie.Demeetgegevenszullenineenrapportaan beoordeelde bedrijven gepresenteerd worden. In dit rapport is slecht één prestatiecijfer opgenomen. Dit cijfer geeftdeprestatieopbedrijfsniveauweer.Enmaaktdusgeenonderscheidttussendeverschillendecontracten.De bedrijfsbeoordelingteltmeebijeenvolgendeaanbesteding.Uitdebedrijfsbeoordelingwordteencorrectiefactor berekend. De correctiefactor zorgt voor een fictieve verlaging of verhoging op het inschrijfbedrag. Een goed presterend bedrijf maakt dus meer kans op het verkrijgen van een nieuwe opdracht, aangezien de behaalde ‘goede’prestatiewordtmeegenomenbijdegunning. Nieuwkomers ErisbijProRailsprakevaneennieuwkomerwanneererbinnendelaatstevijfkwartalengeenmetingenoverde contractenzijnverricht.ProRailgebruiktbijgunningprestatiegegevensomeenfictievekorting/verhogingaanhet inschrijfbedragtoetekennen.Hierbijwordendeprestatiegegevensoverdeafgelopenvijfkwartalengebruikt.Een nieuwkomergeeftgeenbeoordelingenenzalhierdoorineenmarktmetgoedscorendeconcurrentenminderkans makenopeenopdracht.ProRailheeftervoorgekozennieuwkomersdegemiddelduitvoeringsperformanceover allebeoordeeldebedrijventegeven,meteenmaximumvan75%(destreefperformance). Partijcombinaties Wanneerertweeofmeerderepartijengezamenlijkinschrijvenopeenopdrachtisersprakevaninschrijvingdoor een combinatie. Wanneer een combinatie een opdracht uitvoert zullen beide partijen gelijkwaardig beoordeeld worden,watinhouddatbeidepartijeniederkwartaaldezelfdebeoordelingontvangen.Wanneerdezepartijenbij een volgende aanbesteding onafhankelijk van elkaar op een opdracht inschrijven worden de prestaties van het gezamenlijke(alscombinatieuitgevoerde)projectookmeegenomen.ProRailhanteertdestelling:,,Parijenineen combinatiekiezenzelfvooreensamenwerkingenzijndanookverantwoordelijkvoorelkanderspresteren,daarom krijgendepartijenineencombinatiedezelfdebeoordeling.”HetkanvoorkomendatdoordemanagervanProRail wordtaangegevendatéénpartijandersbeoordeelddientteworden,wanneerduidelijkisdatdecombinantniets verwetenkanworden.

31

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 3.ANALYSEPRORAILINSTRUMENT HetProRailinstrumentwordtindithoofdstukgrondiggeanalyseerd.HierbijwordtgekekenofdeProRailmethode éénopééntoegepastkanwordenbijRWSendeRGDofdathiervoorenigeaanpassingnodigis.Daarnaastwordt ergekekenwaaromhetProRailinstrumentwerkt,aangezienProRailzelfaangeeftdathetinstrumenteensucces is.Eenaantalvragenishierbijvanbelang: Waaruitisditsuccesteverklaren? MaghetProRailinstrumentwelvoorgunninggebruiktworden? Zittenernogzwakkeplekkeninhetinstrument? Dezeeneenaantalanderevragenwordenindithoofdstukbehandeld.Debasishiervoorishetvergelijkvanhet instrumentvanProRailmetdievanPIANOoeneenaantalgesprekkenmetmedewerkersvanRWSenRGD.

3.1WAARUITBLIJKTHETSUCCESVANHETPRORAILINSTRUMENT ProRailisergtesprekenoverhetprestatiemeetinstrumentennoemtheteensucces.Ditsuccesmaaktmenopuit devoortgangvanbedrijvenovereenaantalkwartalen.

Hoofdstuk:3.AnalyseProRailinstrument

Figuur4–Gemiddeldekwartaalperformancesspooraannemers(ProRail,2009)

Bovenstaandegrafiek(figuur3)toontdevoortgangvaneenaantalaannemers(AAN)over7kwartalen.Hierinkan deuitvoeringsperformance(GemiddeldealleAAN)endebandbreedte(RangeAlleAAN)afgelezenworden.Vooral de bandbreedte geeft een duidelijke vooruitgang in de gemiddelde prestaties weer, de bandbreedte wordt namelijksteedskleiner.Deprestatiesvandeverschillendebedrijvenkomensteedsdichterbijelkaar.Steedsmeer richtingdegoed(75%)grens.Prestatiesvanbedrijvenkomensteedsdichterbijelkaarteliggen.Deverkleiningvan debandbreedtewordtdoorProRailalssuccesaangevoerd.Debedrijvenbegrijpenwatervanhenverwachtwordt enzorgenervoordatzeeengoed(75%)scoren.Tussen2007Q4en2008Q1iseengroteverspringingomlaagwaar tenemen,dezekomtvoortuitdeveranderingvandeNorm(NormKwP)naar75%.Deverlagingvandenormis doorProRailingevoerdomdathetmeetsysteemveranderdis(vanwegedeopgedaneervaringmethetinstrument) enhierdoordeeerderenormtehoogwas.

32

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 Eenkritischekanttekeningdiebijhetsuccestemakenis,datdebedrijvennagenoeggelijkpresteren.Erisweinig onderscheidendvermogen.Inhoofdstuk3.6zalhieropverderingegaanworden.Welduidelijkisdatbedrijvenniet voorelkaaronderwillendoenendaaromconstantproberentepresteren.Eenconstantegoede(75%)prestatie kanookalseensuccesgezienworden.Nietduidelijkisopwelaspectnuhoogoflaaggescoordwordt.Intheorie kanditperkwartaaltotaalverschillendzijn.Hetisbeterdetrendookperhoofdaspectweertegeven,ditwordt doorProRailnietgedaanenkanbeschouwdwordenalsverloreninformatievoordeopdrachtnemers.

3.2WAAROMISHETPRORAILINSTRUMENTSUCCESVOL?


WaaromishetProRailinstrumentwelsuccesvolenstrandenoverigeinitiatieveninNederland?Erishiervooreen aantalverklaringentegeven: Spoormarkt ProRail is een aanbestedende dienst in de spoormarkt. In Nederland is ProRail de enige dienst die spoorwerkzaamheden laat uitvoeren. Er zijn maar weinig aannemers die over het juiste materieel en gekwalificeerdpersoneelbeschikkenvoordeuitvoeringvanspoorwerkzaamheden.Ookbuitenlandseconcurrentie isernauwelijks,aangeziendeNederlandsespoortechniekafwijktvanonzebuurlanden(DuitslandenBelgië).Het verschilintechniekzithemonderandereineenafwijkendvoltage(18.000voltgelijkspanning)opdebovenleiding en een afwijkend retoursysteem (via de rails) voor stroom. Voor deze techniek zijn gekwalificeerde monteurs nodig, waarvan de opleiding een investering vergt. Er zijn weinig aannemers die in deze opleiding investeren, aangezienzeniethetrisicowillenlopenduremonteursalleenbijopdrachtenvanProRailkwijttekunnen.Deze omstandighedenleidenertoedatProRailovereenmachtspositiebeschiktbinnendeNederlandsespoormarkt.Die maakt aannemers afhankelijk van de opdrachten van ProRail en zal er voor zorgen dat ze goed presteren. De aannemerszullenookmindersnelProRailtegenwerken,aangezienmengeenuitwijkmogelijkhedenheeftnaareen andere opdrachtgever. Dit alles zorgt ervoor dat ProRail sterk in zijn schoenen staat. Dit maakt het geven van beoordelingenopprestatiesendezegebruikenvoorgunningeenstukeenvoudiger. Gewoondoen Prorail heeft het meetinstrument niet tot in de perfectie doorontwikkeld, voordat men het ging implementeren binnendeorganisatie.Dezeproefondervindelijkeaanpakzorgtervoordat,altestendewijs,descherpekantenvan het instrument geslepen worden. Door “te doen” komt er feedback van de bouwmanagers en de beoordeelde bedrijven.Deze feedback wordt, indiendeze meerwaarde heeft, verwerkt inhet instrument.Deze aanpak heeft ertoegeleiddatdebedrijvenenProRailzelflangzaamaanbekendwerdenmethetinstrument.Tevensgingmen hetnutervaninzien,vanwegedebetereprestatiesdooraannemers.Hetgecreëerdedraagvlakzorgtervoordat hetinstrumentnunogsteedsgebruiktwordt.Ervaltoptemerkendatdedeelnemendebedrijvennietveelanders kunnendanmeedoenaandemetingenaangezienProRailinhetspoorsegmentdeenigeopdrachtgeveris.Ditzegt ietsoverhetfeitdathetinstrumentnogsteedsgebruiktwordt,echterverklaardditnietofhetinstrumentdoor elkeopdrachtnemergeschiktofgewenstisbevonden. EendergelijkeaanpakisvoorRWSendeRGDnietopallepuntenmogelijk.Methetdoenvanmetingenkanwel gestart worden zolang hier maar geen consequenties voor de opdrachtnemers aan vast zitten. RWS en de RGD zitten niet in de positie dat men met alle opdrachtnemers afspraken kan maken over het gebruik van prestatiemeten.Gewoondoenkanduswel,maarvoorhetgebruikvangegevensisgedegenonderzoeknodig. Maniervanmeten BijhetProRailinstrumentwordternietgemetenophardemeetbarewaardesdievastgesteldstaanincontracten, maar meer op zachte subjectieve procesprestaties (welke wel onderdeel zijn van het contract, maar moeilijk meetbaar zijn). Het meten op subjectieve procesprestaties vergt minder tijd per beoordeling en is daarom voor veelmenseninteressanterdaneenmeetinstrumentwaarvoorallemeetwaardesdocumentonderzoeknodigis.De meting is ook verplicht onderdeel van de bouwmanagers van ProRail, waar eens in de 3 maanden een afspraak wordtgeplandmeteenauditor,voorinterviewsoverdelopendecontracten.Dezemaniervanmetenzorgtervoor dat bouwmanagers relatief weinig tijd kwijt zijn per interview (+/ 15 min). Daarom wordt het niet als grote belastinggezien,hetgeenweerbijdraagtaanhetdraagvlakvoorhetinstrument.

33

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 3.3TWEEZIJDIGHEID AlshetProRailinstrumentmethetPIANOoinstrument19vergelekenwordt,zitereenduidelijkverschilindemanier waaroperbeoordeeldwordt.BijhetPIANOoinstrumentiserduidelijksprakevaneentweezijdigebeoordeling.De beoordelingwordtsamenmetdeaannemergemaaktenbeidepartijenzullenuiteindelijkachterdebeoordeling staan. Bij ProRail wordt er eenzijdig beoordeeld. Wat wil zeggen dat ProRail de beoordeling geeft en de beoordeelden verder geen invloed op de uitslag hebben. ProRail is gevraagd waarom men werkt met een eenzijdigeennietmeteentweezijdigebeoordeling.Hieroverwerdhetvolgendemeegedeeld: VoorProRailishetvanbelangdatdebeoordelingvandeprojectmanagerseenzijdigis;ditheeftooktemakenmet devaliditeitvandemeting.Eenprojectmanagermoetonbevangenzijnoordeelkunnengeven. Eriseendialoogmetdeopdrachtnemersoptweeniveaus:

Opbedrijfsniveau:besprekingvandeuitgangspuntenenmethodevandeprestatiemetingenbespreking van de resultaten van de meting: de bedrijfsscores zijn zoveel mogelijk gespecificeerd en transparant (bijvoorbeeld de gemiddelde score per vraag). Echter: vanuit de prestatiemeting wordt geen informatie gegeven over de vraag, welke score bij welk project hoort (alleen na toestemming van de betrokken projectmanagers). Opprojectniveau:besprekingvandebeoordelingperprojectdoordeprojectmanagers(actiefofpassief, naverzoekvandeopdrachtnemer)indienenvoorzoverditdientterlering/verbeteringprestaties.


Tweezijdigebeoordeling Binnen de wetenschap is er discussie mogelijk of een prestatiemeting, wel of niet tweezijdig beoordeeld moet worden. Een tweezijdige beoordeling heeft als grote voordeel dat alle partijen het uiteindelijk eens zijn over de beoordeling. Als het cijfer gegeven is zijn er geen discussies achteraf mogelijk. Iets wat bij een eenzijdige beoordelingwelhetgevalkanzijn.HetProRailinstrumentondervindthierrelatiefweinighindervan,aangeziende resultatennietperprojectgegevenworden,maaropbedrijfsbasis. Nadelentweezijdigebeoordeling Een tweezijdige beoordeling heeft ook nadelen. Dit kan afgeleid worden uit ervaringen met het tweezijdige PIANOo instrument. Reacties van RWS en RGD op het PIANOo instrument zijn, dat de tweezijdige beoordelingsmethode in dit instrument, teveel tijd in beslag neemt voor zowel de OG als de ON. Er moet een afspraakmetdeverantwoordelijkepersonenvandeopdrachtgeverenopdrachtnemergemaaktworden,omelke vraag gezamenlijk te beantwoorden. Dit vergt veel meer tijd dan een eenzijdige beoordeling. Een tweezijdige beoordelingisobjectief,ditkanalsnadeelgezienworden.DeONenOGneutraliserenelkaarsscore,hierdooris hetnietduidelijkhoeeenopdrachtgeverzijnopdrachtnemernupreciesbeoordeelt.Elkeopdrachtgeververwacht tochweerietsandersvanzijnopdrachtnemers.Anderzijdsisdeobjectiviteitinjuridischopzichtjuisteenpositief punt.Metobjectievegegevensismeermogelijkophetgebiedvanaanbesteding. Standpunten Hetblijftzeerdevraagaanwelkevoorennadelenhetmeestegewichtgegevenmoetworden.Vanbelangisom tekijkenwatdebouwwereldmethetinstrumentwilbereiken,duswatschietdebouwerinhetalgemeenmeeop. ProRailisvoorhetgebruikvaneeneenzijdigebeoordeling,aangezienzeditreedsgebruikenenditgoedbevalt.De opdrachtgeversRWSenRGDhebbenopditgebiednoggeenbesluitgenomen.Tijdensgesprekkenmetledenvan dewerkgroepwordtdeindrukgewektdatRGDenRWSookdemeningdelendatdebeoordelingeenzijdigmoet zijn,zodatmenalsopdrachtgeverkanlatenzienhoemenoverhunopdrachtnemersdenkt.

19 HetPIANOomeetinstrumentwordtomschrevenindeliteratuurstudie‘hetgebruikenontstaanvan prestatiemeten’

34

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 3.4TRANSPARANTIEVANGEGEVENS


Bij het beoordelen van bedrijven op geleverde prestaties is het van belang de metingen en methodiek zo transparantmogelijktehouden.Dezetransparantieisvanbelang,omdatmeneenbedrijfbeoordeeltopprestaties en deze vergelijkt met de concurrentie. Slechte beoordelingen kunnenprotest opleveren. Het isdan vanbelang datdebeoordeeldepartijkanzienhoeenwaaroperbeoordeeldis.Detransparantiezaltotmindervragenleiden entotmeerdraagvlakvoorhetinstrument. TransparantiebijProRail OokbijProRailistransparantievanbelangvoorhetinstrumentendebehaalderesultaten.Menlaatgraagzienhoe hetinstrumentinelkaarsteekt,omdatmenbijProRailgelooftindewerkingvanhetinstrument. Transparantiewordtookgebodenbijdepublicatievanderapporten.Deprestatiecijfersvandeconcurrentiestaan immers in het rapport vermeld. Er wordt echter maar één beoordelingscijfer gegeven en vergeleken met de concurrentie. Dat is het cijfer van de gewogen gemiddelde prestatie van het hele bedrijf, over alle lopende contracten,indeafgelopen5kwartalen.Ditcijferwordtvandelaatste5kwartalengegevenenvergeleken.Per bedrijfwordennogeenaantalanderecijfersgegeven,waarbijelkbedrijfuitsluitendinzichtkrijgtineigencijfers. Zowordtdegemiddeldescorepergesteldevraaggegeven.Eenbedrijfkanduszienopwelkevragenmeninhet algemeengoedofslechtscoort.Nietinzichtelijkisbijwelkprojecterhoogenbijwelkeprojectenerlaaggescoord wordt.Directsturenopeenprojectisvooreenbedrijfdusmoeilijk,aangeziendecijfersperprojectnietzichtbaar zijn. Hetonderwerptransparantieisindewerkgroepbesproken.Hierbijisvooralhetprijsgevenvancijfersperproject aandeordegekomen.Demeningenzijnhieroververdeeld.ProRailblijftbijhetstandpuntdatmenalleeneencijfer aaneenbedrijfalsgeheelgeeftendusnietperproject.RWSwilbijdebeoordelingvaningenieursbureauswelde beoordeling per project vrijgeven. Men geeft aan, geen problemen te zien in het openbaar maken van deze gegevens.OfmenditbijRWSookgaattoepassenbijdebeoordelingvanaannemersisnognietbekend.DeRGD heeft ook een voorkeur gegeven voor het inzichtelijk maken van project gegevens. Bij de RGD is het nog niet bekendofmenditdaadwerkelijkgaatdoorgaatvoeren.Eriseenaantalvoorennadelenvoorhetvrijgevenvan scoresperproject: Nadelen: Bij eventuele slechte scores kan het beoordeelde bedrijf de projectmanager van de opdrachtgever aanspreken op zijn beoordeling. (Voor ProRail is dit een nadeel, voor opdrachtnemer kan dit echterals voordeelgezienworden) Hetbeoordeeldebedrijfwordtnietgestimuleerdzelfnaargebrekenindeorganisatietezoeken. Voordelen: Het beoordeelde bedrijf kan op projectbasis bepalen, waar eventuele verbetermaatregelen getroffen moetenworden. Structureleproblemenbijeenprojectteamkomeneerderaanhetlicht. Effectvanverbetermaatregelenopprojectbasiszijninhetvolgendekwartaalzichtbaar. Devoordelen Bij de nadelen wordt er vanuit gegaan dat een bedrijf dat opdrachten uitvoert zelf weet waar een eventueel gebrek in de organisatie zit. Door het niet geven van extra informatie, wordt deze partij gestimuleerd intern onderzoektedoenbijeventueleproblemen. Denadelen Devoordelenlatenziendateventueleproblemensnelengerichtoptelossenzijn.Ookisheteffectvaneventuele verbetermaatregelenopprojectbasiszichtbaar,doordateenscoreinhetvolgendekwartaalhogeroflageruitkan vallen.Ookkaneenpartijprojectenmetelkaarvergelijkenenlerenvansterkeenzwakkepunten. Scoreperindicator Er wordtperproject enbedrijf één scorebekend gemaakt. Uit deze score kanniet opgemaakt worden waarde sterkeenzwakkepuntenvaneenbedrijfzitten.Devragendiedescorebepalenzijnopgedeeldinindicatoren.Het is mogelijk voor elke indicator een score te geven, waarbij de gewogen optelsom van alle indicatoren één

35

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 eindscoregeeft.EenvoorbeeldhiervanisweergegeveninTabel4,descoreisperindicatorvermenigvuldigdmet deweegfactordieperindicatorisgegeven.Dusbij‘planmatigwerken’wordt80%met15%vermenigvuldigd,wat 12%oplevert.Hetzelfdewordtgedaanmetdeandereindicatoren,deuitkomstenwordenbijelkaaropgeteldwat totdetotaalscorevan72%leidt. Bedrijf Planmatig Deskundigheid Samenwerken Milieu Veiligheid Afronding Totaal X werken enKwaliteit en Score Communicatie weging 15% 20% 25% 15% 15% 10% 100% 80% 60% 75% 74% 72% 76% 72% Score Q1 Tabel4Voorbeeldweergavescoreperindicator

UitTabel4kaneenbedrijfafleidendatmensterkisin“planmatigwerken”,maardathetbij“deskundigheiden kwaliteit” juist slecht gaat. Het bedrijf kan er dan voor kiezen om eventuele verbeteracties te richten op “deskundigheid en kwaliteit”. Een grotere transparantie in de score zorgt voor meer duidelijkheid binnen de bedrijven.

3.5VERWERKINGSTIJD Aanhetbeginvaneennieuwkwartaalwordenoverhetvorigekwartaalinterviewsgehouden.Nadatdeinterviews verwerkt en goedgekeurd zijn worden de rapporten naar de bedrijven gestuurd. ProRail hanteert onderstaande (ProRail,2009)verwerkingstijden:

1. 1.1 1.2 2. 2.1 2.2 3. 3.1 3.2 4. 4.1 4.2 4.3 5. -

Prestatiemeting Planning

Qi

AAN

maand 3 wk 12 wk 13

Q i+1 wk 1

Q i+2 maand 1 wk 2 wk 3

wk 4

wk 5

maand 2 wk 6 wk 7

wk 8

wk 9

maand 3 wk 10 wk 11

wk 12

wk 13

maand 1 wk 1 wk 2

Proceskwaliteit interviewronde verwerken interviews Veiligheid en Milieu toerekening incidenten "aftappen" uit registratie Beschikbaarheid toerekening TAO's "aftappen" uit registratie Rapportering opstellen rapporten goedkeuring rapport publicatie rapport Aanbestedingen toepassing correctiefactoren


Standaardtijdsplanning(interviewsenresultaten) Goedkeuringsproces Standaardtijdsplanning(beschikbaarheidenveiligheid) Figuur5–PrestatiemetingPlanning ZoalstezieninFiguur5,isdepublicatievanhetrapportopzijnvroegstinweek10,naheteindevanhetvorige kwartaal.Steldatereennegatiefresultaatgemetenisvooreenbedrijf,danheeftdezenogslechtsmaximaaldrie wekentothetvolgendekwartaalomverbeteringinhetprocesdoortevoeren.Hierdoorzullenverbeteringenof verslechteringpastweemetingenlaterzichtbaarzijn. Indienhetinstrumentmedemoetfungerenalsproject/contractsturingsinstrument,dandientdeverwerkingstijd aanzienlijkverkorttewordenomopkortetermijneffecttehebben.ProRailheeftaangegevenditalsverbeterpunt meetenemen. Een mogelijke oplossingrichting is het automatiseren van de verwerking. Hierdoor zal een digitaal ingevuld interview direct verwerkt worden. De resultaten kunnen op deze manier ook tijdig gecontroleerd worden. Het digitaal publiceren (eventueel op een beschermde internetpagina) helpt mee aan het snel verspreiden van informatienaardegemetenbedrijven.

36

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 3.6ANTWOORDSTRUCTUURVRAGENLIJST HetProRailmeetinstrumentkentindevragenlijsteenviertalvasteantwoorden.Dezevierantwoordenzienerin hetalgemeenzouit: A B C D

25% 50% 75% 100%

Ondanksmeerdereverzoekenwordtnogsteedsnietvoldaan Naéénherinneringwordtaandeeisvoldaan Erisgeenherinneringofverzoeknodig; aandeeiswordtvoldaan Erwordtsignificantmeergeleverddangevraagd

Tabel5AlgemeneantwoordmogelijkhedenProRail

Deze antwoord schaal wijkt sterk af van het PIANOo instrument dat een tien puntsschaal (110) kent. De vier puntsschaal,waarbijCdeteverwachteuitkomstis,zouertoekunnenleidendatdescoresvandebedrijvenrond de75%komenteliggen.Hierbijzijndeverschillentussendebedrijvenhoogstenseenpaarprocent.Aannemersdie slechtsenkeleprocentenvanelkaarverschillendoennietsignificantvoorelkaaronder.Ditkanalsnadeliggezien wordenaangezienerweinigonderscheidttussendeaannemersgemaaktkanworden,diteffectisookterugtezien inFiguur4opblz.32 Om het verschil in interviewscores over een paar kwartalen weer te geven, is onderstaande tabel (Tabel 6 interviewscores) uit een (niet openbaar) rapport van ProRail overgenomen. Het betreft hierbij de score van spooraannemers. De aannemers zijn onherkenbaar gemaakt, omdat het in dit document niet de bedoeling is aannemersteveroordelen.Descorescorresponderenwelmetdewerkelijkheid. Naam Bedrijf

2008 Q3

2008 Q4

2009 Q1

2009 Q2

2009 Q3

Aannemer A

73,16

77,04

75,55

76,13

72,14

Aannemer B

76,02

71,86

77,81

78,30

80,54

Aannemer C

75,97

80,21

74,96

68,75

76,17

Aannemer D

74,11

75,34

79,53

79,62

78,67

Aannemer E

80,57

79,92

78,15

78,88

80,10

Norm interviewscore

75,00

75,00

75,00

75,00

75,00

Toelichting:75%isdenormscorevoordeinterviews Scorelagerdan70% Scoretot5%onderdenorm Scorehogerdan80% Hoofdstuk:3.AnalyseProRailinstrument

Tabel6–interviewscores

InTabel6isteziendatdescoresrondde75%liggen.Descoresvandeaannemershebbeneenredelijkespreiding, hierdoorzijnbedrijventekwalificeren.Alswevandezelfdebedrijvendeuitvoeringsperformance(interviewscore, beschikbaarheidsscore en veiligheidsscore) nemen, is er een veel kleiner verschil zichtbaar (Tabel 7 uitvoeringsperformance).

37

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 Naam Bedrijf

2008 Q3

2008 Q4

2009 Q1

2009 Q2

2009 Q3

Aannemer A

76,27%

74,91%

74,36%

74,60%

74,35%

Aannemer B

75,74%

73,68%

73,69%

74,70%

75,91%

Aannemer C

75,61%

74,52%

74,08%

73,27%

73,83%

Aannemer D

75,36%

74,09%

74,32%

75,04%

75,73%

Aannemer E

77,29%

76,26%

75,09%

75,59%

76,24%

Norm 78,00% uitvoeringsperformance Tabel7–uitvoeringsperformance

76,00%

75,00%

75,00%

75,00%

In Tabel 7 is zichtbaar dat alle aannemers rond de 75% scoren bij de uitvoeringsperformance. De uitvoeringsperformancewordtookgebruiktbijdegunning.Defictieveaanbestedingsbedragenzullenmaarenkele procentenaangepastworden.Omtocheengrotereafwijkingvande75%grenstekrijgen,isalstegenhangereen vijfpuntsschaalvoordeinterviewvragenontworpen.Erisdansprakevan5antwoordenpervraag,inhetalgemeen kandeantwoordstructuurerzoalsinTabel8uitzien. ON=Opdrachtnemer|OG=Opdrachtgever A 20% Veelwasnietzoalsgevraagd+ erwasweinigblijkvaninzet B 40% Nietalleswaszoalsgevraagd+erwasveelaansturingnodig C 60% ONheeftgedaanwatvanhemgevraagdheeftmaarhadveelaansturingnodig|ONheeftniet allesgedaanwatvanhemgevraagdis,doortoedoenvanOG D 80% ONheeft(precies)gedaanwatvanhemgevraagdis(weinigaansturingnodig)gelijkaan75%in deProRailmethodiek E 100% ONheeft(zeergoed)gedaanwatvanhemgevraagdisentoondevaakeenproactievehouding Tabel8Mogelijkevijfpuntsschaal


Extraantwoordmogelijkheid Het voorstel geeft een extra antwoordmogelijkheid. Deze kan er voor zorgen dat er meer spreiding in de antwoordenkomt.HetextraantwoordtenopzichtevanhetProRailantwoordsysteemisantwoordC.Ditiseenvrij neutraalantwoorddatgegevenkanwordenalseenbedrijfnetnietaanalhaarverplichtingenheeftvoldaan,maar ooknieteenonvoldoendescoort.Dekansbestaatdatbijhettoevoegenvanditantwoordheteen“makkelijke” keuzeisvoordebeoordelaars,datmenditantwoordkiestalsmentwijfelt.Erzalonderzochtmoetenwordenof ditdaadwerkelijkzois,eenpraktijktestkandituitwijzen. Bij de bespreking van dit onderwerp in het werkgroepoverleg waren de partijen in eerste instantie voor het behoudvanhetvierkeuzeantwoordsysteemvanProRail.Argumentenhiervoorzijndathetgevenvanslechtsvier antwoorden,dwingttothetmakenvaneenkeuze.Hieruitisoptemakendatmenervoorvreestdathetrisico wordtgelopen,datdebeoordelaarvaakvoorantwoordCzalkiezen.Zoalsalgenoemdzalditeerstgetestdienen te worden in de praktijk. Dit kan door de vragenlijst met vier en vijf antwoorden aan te bieden op een aantal projectenenhierbijderesultatentevergelijken.

3.7BEWIJSBIJANTWOORDEN Bij een interview kan er bij elke vraag gekozen worden tussen vier antwoordmogelijkheden. Antwoord C is het verwachte antwoord, terwijl A, B en D afwijken van de verwachting. Indien er afgeweken wordt van de verwachtingzalaandegeïnterviewde(bouwmanagerbijProRail)gevraagdwordenombewijs.Degeïnterviewde zalvervolgensverklarendatbewezenkanworden,daterafgewekenwordtvanhetgevraagde(antwoordC).De verklaringzaldoordeauditorbijhetantwoordgenoteerdworden. Bijdezemaniervanbewijzengaatdeauditorervanuitdatdebeoordelaarkanbewijzendatergensbeter,danwel slechter op gescoord wordt dan gevraagd. Hij gaat uit van goed vertrouwen, aangezien er niet direct naar

38

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 documenten worden gevraagd, waaruit het antwoord blijkt. Aangezien ProRail de resultaten niet per contract, maarperbedrijfbekendmaaktzalernietsnelnaarbewijsvaneenspecifiekevraaggevraagdworden. Wanneererresultatenpercontract/projectvrijgegevengaanwordenishetvanbelangdaterbewijsgeleverdkan worden per vraag. Er kunnen bijvoorbeeld richtlijnen opgesteld worden waaraan de bewijslast per vraag moet voldoen. Ook kunnen er ja/nee vragen aan de hoofdvragen gekoppeld worden; zie hiervoor hoofdstuk 4.4. Het bewijsisinjuridischopzichtvangrootbelang,indienderesultatengebruiktgaanwordenvoordeselectie/gunning vanopdrachten.

3.8TOEPASSINGBIJGUNNING ProRail gebruikt de resultaten van de bedrijven over de afgelopen vijf kwartalen om fictieve kortingen/verhogingen te geven op het gunningsbedrag bij aanbesteding. Onderzoek (ChaoDuivis, et al., 2005) heeftuitgewezen,datprestatiemetingenbijaanbesteding,welbijselectie,maarnietbijgunninggebruiktkunnen worden.MenkanzichdaaromafvragenhoehetkomtdatProRailresultatenwelkangebruikenvoorgunning.Het antwoordhiervooristevindenindeerkenningsregelingdieProRailhanteert.Slechtsbedrijvendiebeschikkenover een erkenning, afgegeven door ProRail, kunnen inschrijven voor opdrachten. Binnen deze erkenning kunnen afsprakengemaaktworden.ProRailheeftalsafspraakdatprestatiesvanerkendebedrijvengemetenwordenen dathunresultatengebruiktwordenbijdeaanbesteding.Binnendezeerkenningzijndeerkendebedrijvenakkoord gegaanmetdemethodeenhetgebruikvandeprestatiegegevens.ErisgeenjurisprudentiebekendtegenProRail, waaruit blijkt hoe sterk deze afspraken zich houden, ten opzichte van Europese regelgeving voor aanbesteding. DaarnaastkanProRailaanbestedenonderderegelgevingvanNUTS(ARN2006)bedrijven,andersdanRWSenRGD, diezichmoetenhoudenaancontractenbinnendeGWW.DeNUTSregelgevingbiedtmeerruimteinhetgebruik vanprestatiegegevensdanderegelgevingbijGWW. Meeroverdejuridischevoorwaardenistevindeninhoofdstuk6.

3.9CONCLUSIE


In dit hoofdstuk is de werking van het ProRail instrument geanalyseerd. Dit heeft de volgende hoofdconclusies opgeleverd: ProRailzegtdathetProRailmeetinstrumentwerkt.Uitdemeetresultatenvalttelezendatsindshetgebruikvande metingendeprestatiesvandegemetenbedrijvendichterbijelkaarzijnkomenteliggen,allenrondde75%(goed) score.Echterishetonderscheidendevermogentussentebedrijvenmaarklein. Het ProRail instrument werkt doordat men in een specifieke markt werk, met hierin ProRail als enige opdrachtgever en een beperkt aantal opdrachtnemers. Hierdoor kunnen er met de te beoordelen bedrijven afspraken worden gemaakt over de manier van meten. ProRail heeft hiernaast voldoende draagvlak weten te creëren,bijeigenwerknemersentebeoordelenbedrijven,voorhetgebruikvaneenmeetinstrument. Van een tweezijdige beoordeling is geen sprake bij het ProRail instrument. Dit heeft als voordeel dat een beoordelingsnellertotstandkomtenduidelijkaangeefthoedeopdrachtgeverdenktoverdeopdrachtnemer.Het nadeel is dat de beoordeling subjectief is en hierdoor de beoordeelden het niet altijd eens zullen zijn met de beoordeling.Een eenzijdigebeoordeling is aan tebevelen voordepraktischebruikbaarheid vanhet instrument, hierbijdienendeantwoordenwelgoedonderbouwttezijnomeventuelebezwarenteweerleggen. Om het nieuwe instrument te kunnen gebruiken zullen projectscores, in ieder geval per indicator, zichtbaar gemaaktwordenaandebeoordeelden.ProRailgeeftenkeléénbedrijfsscoreperkwartaal,hiermeewordtnietde volledigepotentievanhetinstrumentgebruikt. Naast het vrijgeven van meer meetgegevens dient de verwerkingstijd van de scores ook verkort te worden. Bij ProRail duur dit 10 weken, waardoor sturen in het volgende kwartaal praktisch onmogelijk is. Een beter verwerkingssysteemkanuitkomstbieden.

39



ProRailhanteertmeerkeuzeantwoordenwaarbijvierantwoordenmogelijkzijn.Ditheeftalseffectdatscoresdicht bijelkaarkomenteliggenenernauwelijksonderscheidendvermogentussenconcurrentenis.Detoevoegingvan een meerkeuze antwoord kan voor meer spreiding zorgen en daarbij voor meer onderscheid tussen de verschillendebedrijven. HetbewijsdatgevraagdwordtdoorProRailbijiederantwoordafwijkendvan‘C’isvrijsummier.Erwordtenkelom een situatiebeschrijving, waaruit het antwoord blijkt, gevraagd. Het toevoegen van subvragen kan uitkomst bieden. ProRail gebruikt de meetgegevens bij de gunning van een opdracht. Doordat alle erkende bedrijven hiermee ingestemdhebbenkanProRailditdoen.Erisgeenjurisprudentiebekendwaaruitblijktofditeenlegalemaniervan handelenis.ProRailzegtaandebeginselenvanhetaanbestedingsrechttevoldoen,hetisaaneenrechteromte bepalenofditdaadwerkelijkhetgevalis.

40

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 4.AANPASSINGVRAGENLIJSTVOORCIVIELEAANNEMERS

4.1INLEIDING Rijkswaterstaat en Rijksgebouwendienst hebben de intentie om met de ProRail systematiek te gaan werken. Samen met ProRail hebben ze een stuurgroep en werkgroep opgericht, om een gezamenlijke beoordelingsmethodeteontwikkelen,opbasisvanhetProRailinstrument.Omgezamenlijktekunnenontwikkelen heeft men er voor gekozen om de ontwikkeling te richten op Civiele aannemers. Civiele aannemers is de enige sectorwaarinalledriededienstencontractenhebbenlopen.ProRailbeschiktzelfnognietoverinterviewvragenin dezecategorieenkanrelatiefneutraalbeginnenaandeontwikkeling.Relatief,aangezienalsuitgangspuntvoorde vragenlijst,dereedsbeschikbarevragenlijstvanspooraannemers(bijlageI)gebruiktwordt. Dit hoofdstuk behandelt de totstandkoming van de vragenlijst voor Civiele aannemers, deze is één van de uitkomstenvanhetonderzoek.

4.2HETUITGANGSPUNT

Hoofdstuk:4.Aanpassingvragenlijstvoorcivieleaannemers

Als uitgangspunt wordt de vragenlijst van spooraannemers van ProRail genomen. Deze lijst wordt al in praktijk gebruikt en voldoet aan de gestelde eisen. Spooraannemers kunnen procesmatig in grote lijnen op dezelfde puntenbeoordeeldwordenalscivieleaannemers.Daaromisdezevragenlijsteengoeduitgangspunt. RWS,RGDenProRailverschillenalsopdrachtgeverenzulleneenproject/contractanderswillenbeoordelen.Van belang is dat er eerst geanalyseerd wordt of de huidige vragen, gesteld door ProRail, ook bij RWS en RGD te gebruikenzijn.Omhierachtertekomeniseenvragenanalyselijstopgesteld.Allevragenzijnhierbijonderelkaar gezetenoverelkevraagwerdeneenaantalvragengesteld.Dezevragenzijn: Isdezevraagtestellenbijtraditionelecontracten? Isdezevraagtestellenbijgeïntegreerdecontracten? Isereenherformuleringvandevraagnodig? Geefeventueeleenherformuleringvandevraag? Zijnernogopmerkingen? Deanalyseheefttotdeconclusiegeleiddatdevrageninhoofdlijnendoorallepartijentegebruikenzijn,echterwil menaandehandvandedoorProRailgesteldvrageneennieuwelijstopstellenomaandeeisenvanProRail,RWS endeRGDtevoldoen. DedirectievandeRGDheefttijdenseenvergaderingbeloofddatRGDvanaf1januari2010gaatbeginnenmethet metenvanprestaties.OmdezebeloftenatekunnenkomenheeftRGDeen“boost”gegevenaandeontwikkeling van het prestatieinstrument. Als gevolg hiervan is RGD zelf begonnen aan de ontwikkeling van een vragenlijst. Dezevragenlijst(zieBijlageIII),bestaandeuit25vragenmetslechtvierindicatoren,isnaardebetrokkenenvande werkgroepgestuurd.DewerkgroepheeftnubeschikkingoverdeRGDendeProRailvragenlijst. Op verzoek van de werkgroep zijn deze vragenlijsten samengevoegd tot één lijst waarin de belangen van alle partijenbehartigdzijn.

41

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 4.3ANALYSEVRAGENLIJSTEN


HetProRailmeetinstrumentmaaktgebruikvansubjectievevragen;dezezijnnietmeetbaar.Alsvoorbeeldhiervoor kan vraag 1 van de vragenlijst (zie bijlage I) aangevoerd worden: ,,Was de laatst aangeleverde planning / mijlpalenoverzicht kwalitatief van voldoende niveau voor dit werk?” Het is bij de beantwoording moeilijk te bepalenwanneerissprakeisvanvoldoendeniveau.Ditisvoorelkebeoordelaaranderstebeoordelenendaardoor een subjectief antwoord. Er is geen meetlat waarlangs voldoende niveau gemeten kan worden, beantwoording berustdaaromookmeeropgevoel.OokdevragenindevragenlijstvandeRGD(ziebijlageIII)zijnenkelsubjectief tebeantwoorden,evenalsdeProRailvragenlijst. Objectiefgemaaktesubjectiviteit ObjectiviteitbijProRailwordtbereiktdoordedoorProRailbedachte,objectiefgemaaktesubjectiviteit.Ditwordt bereikt door per kwartaal interviews per contract door verschillende auditors af te nemen. Daarnaast wordt bij ProRail slechts één cijfer op bedrijfsniveau gegeven, wat een samenvoeging van cijfers over de afgelopen vijf kwartalenis.Dateneeindcijferbestaatuitzoveeldeelcijfersdateventuele‘’slechtebeoordelingen’’weinigeffect opheteindcijferhebben.Alsmen,indetoekomst,tochbesluitcijfersopprojectniveauprijstegevendanzaleen grotereobjectiviteitgewenstzijn. Bewijsbijbeantwoording Alseenantwoord,bijhetProRailinstrument,afwijktvanvraagC(75%)wordterombewijsgevraagd.Ditbewijs wordttijdenseeninterviewgevraagdenkortbijeenantwoordgeschreven.Ondanksdateenbeoordelaarachteraf bijeenafwijkingvanvraagCaltijdbewijzenaanmoetkunnenleveren,iseenkortbijschriftbijeenantwoordniet voldoende.Eensysteemomeenbeterebeargumenteringbijeenvraagtekrijgenisduswenselijk. Omditterealisereneneengrotereobjectiviteitvandeantwoordentekrijgenzijnereenaantal“ja/nee”vragen aanelkehoofdvraagtoegevoegd.Dezeja/neevragenwerkentweeledig.Opdeeersteplaatsgevenzeeenextra onderbouwingopdehoofdvraag,aangezienerbetergezienkanwordenwaterdaadwerkelijkgoedoffoutging. Opdetweedeplaatskunnendeja/neevragendebeoordelaarondersteunenbijhetinvullenvandehoofdvraag. Als een bepaalde ja/nee vraag bijvoorbeeld negatief wordt ingevuld zou een D (zeer goed) antwoord niet meer mogelijk moeten zijn. Dit beperkt de invulmogelijkheden voor de beoordelaar tot 3. De subvragen geven de beoordelaarookeenbeterbeeldoverdeinhoudvandehoofdvraag,duswaarnaarmendaadwerkelijkvraagt. Indicatoren DeProRailvragenlijstbevat6indicatoren: 1. Planmatigwerken 2. Deskundigheidenkwaliteit 3. SamenwerkenenCommunicatie 4. Milieu 5. Veiligheid 6. Afronding DeRGDvragenlijstbevatslechts4indicatoren: 1. Planmatigwerken 2. Deskundigheidenkwaliteit 3. Samenwerking,communicatieenorganisatie 4. Veiligheidengezondheid VergelijkvanindicatorenmethetPIANOoinstrument Deindicatorenzijndehoofdaspectenwaaropgemetenwordt.Dezeaspectenkomeningrotemateovereenmet de beheersaspecten (GOTIK) die bij projectmatig werken veelvuldig in de Nederlandse bouw worden gebruikt. GOTIK staat voor Geld, Organisatie, Tijd, Informatie en Kwaliteit (Wamelink, et al., 2009). Het PIANOo meetinstrumentkentindehoofdmeetaspectenveelovereenkomstenmetdezebeheersaspecten(GOTIK),ookde hoofdaspecten van ProRail en RGD tonen overeenkomsten. Om hier een duidelijk beeld van te krijgen zijn de indicatorenvandedrievragenlijstenmetelkaarvergelekeninTabel9.Tussenhaakjesstaathetaantalvragenover deindicatorvermeldt,hetpercentageisdewegingvandeindicator.

42

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 PIANOo Tijd(3) Kosten(1) Kwaliteit(6)

10% 10% 20%

Veiligheidenomgeving(3) Milieuenomgeving(3) Informatieen communicatie(3)

10% 10% 20%

Klantgerichtehouding

20%

ProRail Planmatigwerken(4) Deskundigheidenkwaliteit (6) Veiligheid(1) Milieu(1) Samenwerkingen communicatie(4) Afronding

20% 40% 5% 5% 25%

RGD Planmatigwerken(4) Deskundigheidenkwaliteit (7) Veiligheidengezondheid(5) Samenwerking, communicatieen organisatie(9)

n.b. n.b. n.b. n.b.

5%

Tabel9Analyseindicatoren(n.b.is‘nietbekend’)


Samenvoegenvanindicatoren Onderzochtishoedeindicatorenvandeverschillendeinstrumentensamengevoegdkunnenwordentotéénset indicatoren. Bij alle drie de vragenlijsten zijn de indicatoren in hoofdlijnen hetzelfde. Alleen milieu en afronding komenopdeRGDvragenlijstnietvoor.Vooralhetontbrekenvandeindicator‘milieu’bijdeRGDisopmerkelijk, aangezien de RGD onderdeel is van het ministerie van Volkshuisvesting, Ruimtelijke Ordening en Milieubeheer (VROM).Bijditministerieismilieubeheeréénvandepeilers,waardoorhetopmerkelijkisdathieropnietgemeten wordt. IndesamengesteldevragenlijstiservoorgekozenomalleRGDindicatorentebehouden,meteentoevoegingvan “milieu en duurzaamheid”. De indicator milieu wordt door RWS en ProRail belangrijk bevonden en is daarom toegevoegd,ofbehoudent.o.v.deProRailvragenlijst.Overduurzaamheidzijnnoggeenvragenindevragenlijst opgenomen.Ditpuntkanindetoekomstbelangrijkworden,enisdaaromopgenomenindeindicatoromplaatste biedenaaneventueletoekomstigevragenoverduurzaamheid.Deindicator“afronding”isgeschrapt;dezebevatte slechtséénvraag: Heeft de aannemer in de afgelopen periode voldoende aandacht besteed aan het op orde houden van de werkdocumenten(revisietekeningen)? De vraag is ondergebracht bij de indicator “samenwerking, communicatie en organisatie”, aangezien deze betrekking heeft op werkorganisatie. De indicator “afronding” is geschrapt, aangezien deze geen inhoud meer heeft. Samengesteldelijstmetindicatoren: 1. Planmatigwerken 2. Deskundigheidenkwaliteit 3. Samenwerking,communicatieenorganisatie 4. Veiligheid 5. Milieuenduurzaamheid

43

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 4.4DEVRAGENLIJST DesamengevoegdevragenlijstisopgenomeninBijlageII Bij de samenvoeging van de twee vragenlijsten werd duidelijk dat de meeste vragen van de RGD veel overeenkomsten hebben met de vragen die ProRail stelt. De vragen van RGD waren vaak anders geformuleerd, maarinhoofdlijnenwasmengeïnteresseerdindezelfdeprocespunten.De28vragenopgestelddoorRGDworden door de rest van de werkgroep als een te groot aantal gezien, daarom is gekozen dit aantal te beperken. Dit is bereiktdoorvragentecombinereneneenaantalvragenalssubvraag(ja/neevraag)meetenemen.Dooropdeze maniertewerkenkunnendemeestedoorRGDbelangrijkgeachtepuntengevraagdwordenzondereentegrote lijstmet(hoofd)vragentekrijgen. Deconceptversievandevragenlijstbestonduit15vragenmeteendiversaantalsubvragen.Dezeconceptversieis tijdenseenwerkgroepoverlegbesprokeneninhoofdlijnenwerkbaarbevonden.Gewijzigdepuntenzijn: Duurzaamheidistoegevoegdaandeindicatormilieu. De hoofdvraag: ,,Worden gemaakte afspraken nagekomen door de aannemer?”, is als subaspect meegenomen bij de vraag: ,,Hoe kan de werkrelatie met de contactpersoon van de aannemer worden omschreven?” Er waren twee vragen over het werkterrein opgenomen. Met betrekking tot “veiligheid” en “orde en netheid”,dezezijngecombineerdtotéénvraag(vraag13). Desubvragenzijndusdanigaangepastdateen“ja”antwoordpositiefeneen“nee”antwoordnegatiefis. Pervraagzijn3subaspectenopgenomen,omeenovervloedaansubvragentevermijden.

4.5BEWIJSBIJVRAGENLIJST


Het leveren van bewijzen bij de gegeven antwoorden, kan bij het huidige ProRail instrument als een probleem gezienworden,aangeziendevragenenkelsubjectieftebeantwoordenzijn.Hetenkelebewijsdatwordtgevraagd zijnconcretevoorbeelden. Bewijsdocument In de nieuwe vragenlijst is er door de toevoeging van een drietal subvragen per hoofdvraag een betere onderbouwing van de hoofdvraag gekomen. Bij iedere subvraag is er in het bewijsdocument (Bijlage II) een eis gesteldaanhetbewijs,datterverdedigingvanhetantwoordgeleverdmoetkunnenworden.Ditbewijshoeftten tijde van het interview niet geleverd te worden, aangezien dit tijdrovend is. Tijdens het interview verklaart de beoordelaardatbijeeneventueelbezwaar,eraanhetgesteldebewijsvoldaankanworden. Bezwaar Er wordt bij het bewijsdocument vanuit gegaan dat een beoordeeld bedrijf enkel bezwaar gaat maken bij een negatief ‘nee’ antwoord. Wanneer er een bezwaar wordt aangetekend op een bepaalde subvraag zal het beoordeeldebedrijfeenpositieve‘ja’willenscoren.Hetbedrijfwordtinditgevalgevraagdhetbewijs,omschreven inhetbewijsdocumentbij‘ja’,televeren.Debeoordelaarmoetmethetbewijskomendatgevraagdwordtbijeen ‘nee’ antwoord. Er zal een afspraak tussen het beoordeelde bedrijf en de beoordelaar moeten volgen om de bewijzentevergelijkenentothetcorrecteantwoordtekomen.Deauditorzalditprocesmoetenbegeleidenen hetuiteindelijkeoordeelvellen.Deauditorzalhierbijtenallentijdeobjectiefmoetenblijven. Organisatieafhankelijkebezwaarprocedure Afhankelijk van de afspraken bij de opdrachtgevende organisatie krijgt het beoordeelde bedrijf uitslag van, alle hoofdvragen en subvragen, enkel de hoofdvragen, enkel de indicatoren, een cijfer op projectbasis of een bedrijfsbeoordeling.Wanneereenbeoordeeldbedrijfweinigprestatieinformatiebeschikbaargesteldkrijgt,kaner bij een bezwaar voor gekozen worden om eerst per indicator gegevens te verstrekken, vervolgens op de slecht scorendeindicatortehoofdvragentetonenenalslaatstepasdesubvragen.Metdezeproceduremoetvoorkomen worden dat beoordeelde bedrijven op alle negatieve subaspecten bezwaar gaan aantekenen. Dit vergt veel belastingbijhetzoekennaarbewijsmateriaalenverklaringen.

44

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 4.6PRAKTIJKTEST Om te onderzoeken of alle vragen van de vragenlijst door de bouwmanagers begrepen worden en zonder problemenbeantwoordkunnenworden,dientdevragenlijstindepraktijkgetestteworden. ProRail heeft aangeboden om de nieuwe vragenlijst naast hun eigen lijst aan de bouwmanagers voor te leggen. ProRailheeftjarenlangeervaringmethetafnemenvaninterviewsdoorauditorsenisdaaromeengeschiktepartij vooreenpraktijktest. DepraktijktestbijProRailheeftopgeleverddatalleondervraagdebouwmanagersaangaven,zichgoedtekunnen vindenindenieuwevraagstelling.Devragenensubaspectenzijnwerkbaarbevonden. Hetiswenselijkeenpraktijktestvandevragenlijstdooreenonderzoekeruittelatenvoeren.Voorditonderzoek stond een praktijktest gepland, echter was dit binnen de gegeven tijd uiteindelijk niet haalbaar. Dit komt mede doordeveranderingenindesamenwerkingtussenProRail,RWSendeRGD,watervoorheeftgezorgddatereen nieuwestartindeontwikkeling(zieworkshopinhoofdstuk5)vanhetinstrumentisgekomen.

4.7CONCLUSIE


Hetresultaatvanditonderzoekikeennieuwmeetinstrument(bijlageII)voorhetmetenvancivieleaannemers.Dit meetinstrumentmeetopdevolgendeindicatoren: 1. Planmatigwerken 2. Deskundigheidenkwaliteit 3. Samenwerking,communicatieenorganisatie 4. Veiligheid 5. Milieuenduurzaamheid De genoemde indicatoren zijn afgeleid van de indicatoren gebruikt in de vragenlijsten van ProRail en de Rijksgebouwendienst. Deze twee vragenlijsten zijn tevens gebruikt voor de vragen uit de nieuw vragenlijst. De nieuwevragenlijstbestaatuit13vragenverdeeldonderdevijfgenoemdeindicatoren.Pervraag(meetaspect)zijn driesubvragenopgenomen.Dezehebbeneentweeledigdoel;teneersthelpenbijhetinvullenvandehoofdvraag en ten tweede dienen ze als bewijs bij de hoofdvraag. De hoofdvragen zijn enkel subjectief te beantwoorden, doormiddel van een meerkeuze antwoord. Deze meekeuze vragen kunnen vier of vijf antwoorden bevatten. De keuzehiervoorligtbijdegebruiker.Desubvragenzijnobjectieftebeantwoordendoormiddelvaneenpositief‘ja’ eneennegatief‘nee’.Dezeja/neevragenzullenbijeeneventueelbezwaardoordebeoordeelde,bewezenkunnen worden. De eisen waar het bewijs aan moet voldoen staan beschreven in het bewijsdocument (onderdeel van bijlage II). De werking van het nieuwe instrument is nog niet in de praktijk bewezen, hierdoor moet het voorgesteldeinstrumentalsbouwsteenvooreenuiteindelijkmeetinstrumentgezienworden.

45

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 5.IMPLEMENTATIEPLAN ProRail,RijkswaterstaatendeRijksgebouwendienstwerkensamenaaneengezamenlijkprestatiemeetinstrument voorcivieleaannemers.Aangezienalledriedepartijenanderedienstenzijn,meteigenbelangenenwerkgebieden, verlooptdesamenwerkingnietaltijdsoepel.Dithoofdstukgeefteenkijkinhetsamenwerkingstrajectengeefteen stappenplanvoordeverdereontwikkelingvanhetmeetinstrument.

5.1SAMENWERKINGSPROCES

Hoofdstuk:5.Implementatieplan

In het voorjaar van 2009 zijn de eerste initiatieven genomen voor een samenwerking tussen de drie overheidsdiensten.Uitgangspuntenvoordezesamenwerkingzijn: VoorProRail: Hetverkrijgenvanmeerprestatiegegevensvoorhetbeoordelenvancivieleaannemer. VoorRGDenRWS: Hetverderontwikkelenaaneeninstrumentdatindepraktijksuccesvolgebruiktwordt,zodatdezeookbinnende eigenorganisatiegebruiktkanworden.Hetdelenvanprestatiegegevens. Ontwikkeling Het initiatief heeft geleid tot de oprichting van een stuur en werkgroep. De stuurgroep gaat over de algemene ontwikkeling en samenwerking tussen de drie diensten. De werkgroep richt zich op de ontwikkeling van het instrument.Deeerstebijeenkomstvandewerkgroepvondplaatsinaugustus2009.Bijditoverlegwasersprake van een eerste kennismaking met de werkgroepleden en een eerste discussie over de aanpassing van het instrument.Eenbelangrijkpuntwashetonderzoekenwaardeoverlapvangecontracteerdebedrijventussende dienstenzit.Dedriedienstendelenalleencivieleaannemersmetelkaarenhierwasnoggeeninzichtinhetaantal partijendatvoortweeofmeerdienstenwerken.DeanalysevandehuidigeProRailvragenlijst(BijlageI)isindit overleg voorgesteld (zie hoofdstuk 4.2) en kan als eerste stap worden gezien bij de totstandkoming van één instrument.DeRGDisvoortvarendtewerkgegaanbijhetdoenvandeanalyseengafsnel(binnentweeweken) response.BijRWSwashetlangetijdonduidelijkwieverantwoordelijkzouwordenvoordewerkgroepenzodoende isernooiteenreactieopdeanalyselijstgekomenenkondaardoornietaandeanalysebijdragen. Volgende overleggen leverden behalve een aantal discussiepunten, geen grote vooruitgang op voor de ontwikkeling. In oktober/november 2009 begon RGD (zie ook hoofdstuk 4.2) meer tijd te steken in de ontwikkeling, aangezien er een belofte was gedaan voor het starten met meten op 1 januari 2010. RGD begon eigeninitiatieventeontplooienenleverdeeeneigenvragenlijstaan.Dezevragenlijstisalsinputgebruiktdoorde werkgroepengeefteengoedbeeldvandepuntenwaaropRGDwilgaanmeten.Indewerkgroepisbeslotende vragenlijstvanProRailenRGDsamentevoegentotéénvragenlijst. DesamengevoegdevragenlijstistevindeninBIJLAGEII:Onderzoeksvoorstelmeetsysteemcivieleaannemers,de toelichtinghoedezetotstandisgekomenisopgenomeninhoofdstuk4. Denieuwevragenlijstistijdenseenvolgendoverlegbesproken.Ditheefteenaantalwijzigingentotgevolggehad. De wijzigingen zijn vervolgens aangepast en naar alle partijen gemaild. Het samenvoegen en wijzigen van de vragenlijstisdoordeonderzoekergedaan,hierbijisrekeninggehoudenmetdegelijkebelangenvanallepartijen. Proefmetingen In dit werkoverleg (in december 2009) is expliciet de intentie uitgesproken dat de RGD, RWS en ProRail zullen starten met proefmetingen op werkrelatie en procesgang, op basis van één vragenlijst. De RGD heeft na dit gesprekgeconcludeerd,datdehuidigeintentietotsamenwerkengeengedeeldheidkent:depunten,komma'sen eigen werkwijzen van de drie diensten zijn na alle inzet en goede bedoelingen toch belangrijker dan een overstijgendeintentie.DitheeftertoegeleiddatRGDvanaf1januari2010deintentiehadtestartenmetmetingen d.m.v.het“eigen”instrument.DitinstrumentisdedoordeRGDontwikkeldevragenlijst(BIJLAGEIII:Devragenlijst vandeRijksgebouwendienst),dieopbasisvandeProRailmethodiekwordttoegepast.

46



Workshop DeRGD,RWSenProRailhebbeninheteerstekwartaalvan2010weerdraagvlakgevondenommetelkaarverder teontwikkelenaaneenprestatiemeetinstrument.Ditheefttothetopzettenvaneenworkshop(op2april2010) geleid.Deopzetvandeworkshopwashetbrainstormenopdriepunten: 1. Kwaliteitstatuut 2. Rapportage 3. Metingen Kwaliteitstatuut Dit is een document waarin kernwaarden, gedragsregels voor prestatiemetingen zijn beschreven, de drie S'en (Speelveld, Spelers en Spelregels). Doel is een gemeenschappelijk kader te bieden aan de deelnemers van het prestatiemeetproces, nu en in de toekomst, en een basis voor acceptatie en draagvlak bij opdrachtgevers en opdrachtnemers. Dit is belangrijk omdat prestatiemeten is begonnen als een initiatief van drie Rijksopdrachtgevers, dat kan uitgroeien tot een instrument dat in heel bouwend Nederland en zelfs daarbuiten gebruiktwordt. Het kwaliteitsstatuut wordt geschreven (definitieve versie zomer 2010) om geïnteresseerde en reeds deelnemende partijen duidelijk te maken wat het doel is van prestatiemeten, deelnemers te enthousiasmeren, welkeeiseneraandeelnamewordengesteldenhoehetinstrumentwordtgebruiktenkanwordeningezet.Dit kwaliteitsstatuutzalwordenvastgestelddoordeinitiatiefnemers,dedrieopdrachtgevendeinstantiesProRail,RGD enRijkswaterstaat. Rapportage De gegevens die gemeten worden zullen gerapporteerd moeten worden. Hierbij is te denken aan de volgende doelgroepen,waarvooreenrapportagebeschikbaarkan/moetzijn: Projectvoortgang Projectresultaat/tevredenheidsverklaring Bedrijfsprestaties Communicatienaarmanagementopdrachtgevers PrestatiePremierLeague(eentepublicerenlijstvandebesteopdrachtnemers) Metingen De meetaspecten (hoofd en subaspecten) worden hierbij vastgesteld, tevens de waarderingsschaal (vier of vijf puntsschaal).Deresultatenhiervanwordenverwachtinhettweede/derdekwartaalvan2010. Het doel is het realiseren van een uniforme meetmethode. Vastgesteld is dat er 120 proefmetingen gehouden gaanworden,40bijelkeorganisatie. Aandeelonderzoeker De ervaring die tijdens ditonderzoek is opgedaan, is gewenste informatie tijdens de workshop. De onderzoeker heeftactiefdeelgenomenindegroep‘kwaliteitstatuut’.Tijdensdebrainstormsessieiserdoordeonderzoekerop gehamerd dat het van belang is het instrument goed te implementeren en daarbij te zorgen voor voldoende draagvlak.Ditisvanbelangomdathetinstrumentenkelzalwerkenwanneeriedereenerhetnutvaninziet.Het document moet daarom ook enthousiasmeren. Aangegeven is dat dit zowel voor de eigen organisatie als voor opdrachtnemersmoetgelden. De resultaten van de brainstorm sessie, de mogelijke inhoud van het kwaliteitstatuut, zijn door de onderzoeker aandegeheleworkshopgroepgepresenteerdenverdedigd.

5.2VERNIEUWDESAMENWERKING Tot op heden kan uit de samenwerking tussen ProRail, RWS en de RGD afgeleid worden dat een gezamenlijk instrumentmoeilijkterealiserenis.Deworkshopiseengoedestapinhetsamenwerkingprocestussendepartijen. Waar de partijen in eerste instantie de ontwikkeling onafhankelijk van elkaar leken te gaan voltrekken, is er nu weereenkansvanslagen.

47

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 Deworkshopheeftdrieontwikkelpuntenaangekaart.Hiervanzalnaarverwachtingoverhetkwaliteitstatuutende rapportageeenovereenstemmingtussendedriepartijenkomen.Hetpuntmetingenzalhoogstwaarschijnlijkwel problemenopleveren.Ditisafteleidenuitdewerkgroepbijeenkomsten,waarbijdebelangenoverhethoeenwat temetennogaleensverschilden,zoalshettoepassenvaneenvierofvijfpuntsschaalenhetgebruikvanmetingen opbeschikbaarheid. Drager/oplegger Desamenwerkingkanstuklopenophetfeitelijkemeetinstrument.Wanneerditdreigttegebeurenkanergewerkt wordenmethetdrager/oplegger(Figuur6)principe.Dedragerishierbijeendoorallepartijengelijkemethodiek (deProRailmethodiek,bestaandeuithetkwaliteitstatuutenderapportage)endeopleggeriseenvoorelkepartij verschillendemeetinstrument.Eendergelijkopzetlijktopkortetermijn(2010)welhaalbaar.

ProRail vragenlijst (oplegger)

RWS vragenlijst (oplegger)

RGD vragenlijst (oplegger)

Vragenlijst derden (oplegger)

ProRailmethodiek (drager) Figuur6Drager/opleggerprincipe

5.3IMPLEMENTATIEBIJDEDRIEDIENSTEN


Omhetmeetinstrumenteensuccestelatenworden,dientdezeopdejuistemaniergeïmplementeerdteworden. Desleuteltotsucceszitheminhetcreërenvan“draagvlak”.Alsernietvoldoendemensenzijndiehetnutvanhet instrument inzien, ontbreekt het draagvlak en zal het instrument geen lang leven beschoren zijn. Een groot draagvlak kangecreëerd worden, indienbetrokkenen langzaam bekend worden methet instrument en hier zelf nogaankunnenmeeontwikkelen.Zodrameneengrotebetrokkenheidbijhetinstrumentheeft,zaldezebreed gedragen worden. Om dit te bereiken kunnen de volgende stappen (een schematische weergave in Figuur 7) genomenworden: (Deze stappen zijn niet per definitie van toepassing voor ProRail aangezien men hier al beschikt over de nodige ervaringmethetinstrumenteninternreedseenorganisatieheeftvoordeverwerkingvandegegevens.)

48


Figuur7Ontwikkelingtotéénmeetinstrument


Stap1 ProRail, RWS en RGD moeten alle drie met dezelfde methodiek (de ProRail methodiek) gaan werken. De drie organisatieszijnverschillendendienendaaromalledrieeeneigenvragenlijstsamentestellen.Alsuitgangspunt kandereedssamengesteldevragenlijst(zieBijlageII)gebruiktworden.Aandezelijstdienennoggewichtenper vraag en eventueel omschrijvingen van het antwoord (van antwoord A, B, C, D en eventueel E) toegevoegd te worden.Hetmeetsysteemvoor“veiligheid”(hoofdstuk2.5)en“beschikbaarheid”(hoofdstuk2.6)kanvanProRail overgenomenwordenenvoordespecifiekeorganisatieaangepastworden.Ditiswaarschijnlijknietrelevantvoor RGDaangezienmengeencontractenheeftmetdirectehindervoordemaatschappij(zoalsProRailmetsporenen RWSmet(water)wegen,waarwerkzaamhedentotverstoringvandeinfrastructuurleiden). Stap2 Het instrument is in ontwikkeling en zal daarom aan wijzigingen onderhevig zijn. Het is belangrijk dat de meetgegevens up to date blijven en zorgvuldig worden opgeslagen. Het moet direct duidelijk zijn welke basisgegevenserperproject/contractinhetsysteemwordenmeegenomen.Wanneerdezegegevenfundamenteel goed zijn doordacht, kunnen deze tijdens de rest van de ontwikkeling van het instrument onveranderd blijven. Dezegegevensblijvendantevensbijeeneventueelandereverwerkingsmethodebruikbaar.Tedenkenvaltaande algemene projectgegevens, de kwartaalomzet, de interviewresultaten en eventuele meldingen van veiligheid en beschikbaarheid. Stap3 De vragenlijst zal in de praktijk getest moeten worden op lopende projecten, om de bruikbaarheid te bepalen. Voordeproeffaseishetvanbelang,eenmeetgroeptekiezenmetlanglopendeofmeerderecontractenperpartij. Tijdensdezeproefmetingendientermetdeprojectmanagersgeëvalueerdtewordenofdejuistevragenaande orde komen. Tijdens de proefmetingen dient er gekeken te worden om daar waar nodig de vragenlijst aan te passen.Deresultatenmoetenmetdebeoordeeldengeëvalueerdwordenengetrachtmoetworden,waardevolle feedbackteverkrijgen.Vanbelangisdebedrijvenopdezemaniermeetelatendenkenaanhetinstrument.Hetis vangrootbelangomervaringenuittewisselenmetandereopdrachtgevendediensten(RWS,RGDenProRail). Stap4 Deproefgegevenszijnopgeslagenineendatabase.Voordeverwerkingvandezegegevensdienteenprogramma ontwikkeldteworden.Gewenstiseenprogrammatehanteren,datautomatischdeingevoerdegegevensverwerkt tot rapporten. Er zou begonnen kunnen worden met een Excel bestand. Hiermee moet getest worden welke resultaten er nuttig zijn om te publiceren en hoe deze het beste vergeleken kunnen worden. Later dient het programma geprofessionaliseerd te worden, naar een automatisch verwerkingssysteem. Een internetapplicatie

49

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 biedthetmeestetoekomstperspectief.Eeninternetapplicatiekaneventueelvoorinteractieverapportenzorgen, waarbijdegegevenswereldwijd(onderbeveiliging)tebekijkenzijn. Stap5 De metingen zullen de testfase verlaten en de meeste lopende projecten zullen gemeten worden. Op dit punt moeten deprojectmanagers al kennis hebben gemaaktmet het meetsysteem (bijvoorbeeld in devorm van een voorlichtingofworkshop).Ookdetebeoordelenbedrijvenmoetenopdehoogtezijndateroverhuncontracten metingenplaats gaan vinden en dient het bedrijf opde hoogte te zijnvan de inhoud van de meting. Het is van belang eerst de database te vullen. De eerste meetgegevens zullen aan de bedrijven bekend gemaakt worden, maar zullen niet gebruikt worden voor selectie of gunning. Het instrument is op dit punt slechts een stimulatiemiddelombetertegaanpresterendandeconcurrent. Stap6 Zodrahetinstrumentingeburgerdisenbijdemeestegebruikersdraagvlakheeft,kanergekekenwordenwater nog meer met de gegevens gedaan kan worden. Bijvoorbeeld dat er binnen een erkennings of raamcontract afspraken worden gemaakt over fictieve kortingen/verhogingen op het inschrijfbedrag of doormiddel van een bonus/malussysteem.Alsallebedrijvenheteenszijnmetdemethodiekvanmeten,zalmenhetgebruikvande meetgegevensaccepteren. Stap7 Het ultiemedoel is hetcreëren van ééngezamenlijk meetinstrument.Door het delen van elkaarservaringen en kennis, kunnen de verschillende instrumenten meer overeenkomsten krijgen. Uiteindelijk kan er, mogelijk, één landelijksysteemkomen.Figuur7toonteenschematischprocesvoordetotstandkomingvanééninstrument.

5.4CONCLUSIE


Opdrachtgevers hebben eigen belangen en werkmethodieken wanneer het gaat over de ontwikkeling van een meetinstrument. Deze verschillen zorgen ervoor dat er niet één uniform instrument kan zijn voor alle opdrachtgevers. Het drager/oplegger principe kan de oplossing zijn voor de verschillende wensen. De drager is hierbijhetuniformedeelvanhetinstrument.Deopleggerszullenperopdrachtgeververschillen. Deimplementatievanhetinstrumentbinnendeorganisatiedientgeleidelijktegebeuren.Hierbijishetvangroot belang om te zorgen voor voldoende draagvlak. Via het voorgestelde stappenplan voor implementatie (zie hoofdstuk 5.3) kan er voor gezorgd worden dat het instrument geleidelijk geïmplementeerd wordt. Het implementatieplan stelt dat de drie rijksopdrachtgevers (ProRail, RWS en de RGD) een eigen versie van het instrument gaan introduceren. Het uitwisselen van ervaring met ieders instrument is van belang voor de ontwikkelingvaneenwerkendinstrument.Inlaatstestapinhetstappenplanwordtééngezamenlijkinstrumentals het ultieme doel gesteld. De haalbaarheid hand geheel af van het succes van de implementatie. Alleen een instrumentdatvoldoendedraagvlakheeftwetentecreërenbijallebetrokkenenzalsuccesvolzijn.

50

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 6.TOEPASSINGVANUITJURIDISCHOOGPUNT Een beoogd doel van prestatiemeten is het gebruik van prestatiegegevens bij aanbesteding. Een aanbesteding geschiedt onder strikte Europese regelgeving. Wanneer prestatiegegevens bij de aanbesteding gebruikt worden, zullendezegegevensverkregenzijnopeenmanierdiebinnendeEuropeseregelgevingmoetzijntoegestaan. ProRail maakt gebruik van prestatiegegevens bij aanbesteding, door het geven van fictieve kortingen op het inschrijfbedrag. Dit hoofdstuk zal het gebruik van prestatiegegevens binnen het aanbestedingsreglement omschrijven,inzichtgeveninhetjuridischkaderwaarinProRailprestatiegegevensgebruiktbijaanbestedingenen geefteisenwaaraanhetnieuweinstrumentzalmoetenvoldoenomjuridischgeziensterktestaanbijhetgebruik vanprestatiegegevens.

6.1AANBESTEDINGENPRESTATIEMETEN

Hoofdstuk:6.Toepassingvanuitjuridischoogpunt

Binnen deze paragraaf wordt er vanuit gegaan dat het aanbestedingsrecht van toepassing is bij het onderwerp aanbesteding.Dithoudt,indezegevallen,indatdeopdrachtdooreenaanbestedendedienst20wordtaanbesteed, waarbijdesomvandeopdrachtbovenhetdrempelbedrag21valt. Europeseaanbestedingsreglementen Overheidsopdrachten vallen onder de werking van Europese aanbestedingsrichtlijnen. De Europese aanbestedingenvanRijkswaterstaatendeRijksgebouwendienstvallenonderderichtlijn2004/18/EG,ongeachtof hetgaatomwerken,leveringenofdiensten.DeEuropeseaanbestedingenvanProRaildaarentegenvallenonder richtlijn2004/17/EG.Dieoponderdelenafwijktvan2004/18/EG,ditbetreft‘nutssectoren’en‘specialesectoren’. Nederlandseaanbestedingsreglementen Richtlijn 2004/18/EG is in Nederland geïmplementeerd door het Besluit Aanbestedingsregels voor Overheidsopdrachten (BAO) dat gebaseerd is op de Raamwet EEGvoorschriften aanbestedingen. De richtlijn 2004/18/EGisbijnaéénopééngeïmplementeerdindeBOAendusnagenoegidentiek. Richtlijn 2004/17/EG is in Nederland geïmplementeerd door het Besluit Aanbesteding Speciale Sectoren (BASS). HetBASSisookgebaseerdopdeRaamwetEEGvoorschriftenaanbesteding.DeRaamwetdientslechtsalskapstok enbevatgeeninhoudelijkeregels. Beginselenvanhetaanbestedingsrecht Het aanbestedingsrecht wordt te allen tijde beheerst door de beginselen van het aanbestedingsrecht22. Deze beginselen(Wamelink,etal.,2009p.78)zijn: Gelijkebehandeling23 Transparantie18 Proportionaliteit24 Dealgemenebeginselenvanbehoorlijkbestuur Aanbestedingsvorm ErwordtdoorPijnackerHordijk(2009)eennegental25vormenvan,deindeNederlandseaanbestedingswetgeving voorkomende, aanbesteding genoemd en beschreven. De meest voorkomende aanbestedingsprocedures zijn de

20 Ingevolge artikel 1, aanhef en sub r. BAO worden als “aanbestedende dienst” aangemerkt: de staat, een provincie, een gemeente, een waterschap, een publiekrechtelijke instelling of een samenwerkingsverband van dezeoverhedenofpubliekrechtelijkeinstellingen. 21 Zoals gesteld in Artikel 7; 2004/18/EG of Artikel 16; 2004/17/EG. Artikel 2 van het BAW 2005 meldt: “De drempelwaardeineuro’swordtéénmaalindetweejaarmiddelseenverordeningdoordeEuropeseCommissie aangepast.” 22 Zoalsgesteldinrichtlijn2004/17/EGenrichtlijn2004/18/EG 23 Gesteldonder(20)vanrichtlijn2004/17/EGen(2)vanrichtlijn2004/18/EG 24 Artikel44,2004/18/EG

51



vrijelijk toepasbare (Wamelink, et al., 2009 p. 83) openbare procedure en nietopenbare procedure. Bij iedere aanbestedingsproceduredienenaltijdtweestappengezetteworden:zoweldeinschrijveralsdeaanbiedingdiede inschrijver doet dienen beoordeeld te worden. Bij de openbare procedure vallen deze beoordelingen samen, aangezien deze procedure geen knip kent. De beoordelingen van de inschrijvende partij (ook wel te noemen hierna:gegadigde,aannemerofaanbieder)wordengedaanaandehandvanuitsluitingscriteria,minimumeisenen selectiecriteria. De aanbieding wordt beoordeeld aan de hand van de gunningscriteria. Om prestatiemeten als criteriameetenemenbijdeaanbestedingzalditonderéénvandehiervoorgenoemdecriteriamoetenvallen. Kwalitatieveselectiecriteria Bij bespreking van de regels met betrekking tot de kwalitatieve beoordeling van de gegadigden en inschrijvers dientderhalveeenonderscheidtewordengemaakttussen: Uitsluitingsgronden Minimumeisen Selectiecriteria In de praktijk wordt het onderscheid tussen deze verschillende typen criteria niet altijd onderkend (Pijnacker Hordijk,etal.,2009p.265).DitkomtondermeervoortuithetfeitdatdedriecategorieënindeAlgemeneRichtlijn (2004/18/EG)gezamenlijkzijngeregeldinéénafdelinggetiteld“kwalitatieveselectiecriteria”.Hieronderzullende driecriteriabeschrevenworden: Prestatiemetenalsuitsluitingscriteria De uitsluitingsgronden zijn gronden die de aanbieder betreffen, die diens uitsluiting van deelneming aan aanbestedingeninhetalgemeenkunnenrechtvaardigen(PijnackerHordijk,etal.,2009p.265).Dezecriteriazijn vastgelegd in de wetgeving26 en kunnen niet door de aanbestedende dienst gewijzigd worden. Er is door de aanbestedende dienst facultatief een aantal uitsluitingscriteria27 van toepassing te verklaren. Bij de uitsluitingscriteria staat persoonlijke situatie van de gegadigde/inschrijver centraal28. Uitsluiting wegens een slechte prestatie in het verleden op grond van de uitsluitingsgronden van artikel 45 van richtlijn 2004/18/EG is zeker mogelijk maar een dergelijke uitsluiting is aanbestedingsrechtelijk wel behoorlijk ingekaderd door de beginselenvanproportionaliteitvannondiscriminatie(Petit,2010).Demogelijkhedenvooruitsluitingaandehand van een slechte prestatie zijn te vinden in de facultatieve uitsluitingsgronden gegeven in artikel 45, lid 2, 2004/18/EG.Defacultatieveuitsluitingscriteriazijnuitputtend.Lidstatenmogengeenanderuitsluitingsgronden29 vaststellendandeinRichtlijngenoemdegronden(PijnackerHordijk,etal.,2009p.266).Demogelijkhedenvoor uitsluitingbijdefacultatievegrondenzijndevindenindevolgendeledenvanartikel45,lid2,2004/18/EG: Bijsubd,isersprakevanhettijdensdeuitoefeningvanzijnberoepbegaanvaneenernstigefout.Deze kunnenvastgesteldwordenopelkegronddatdeaanbestedendedienstaannemelijkkanmaken.Ernstige foutenzijnnietperdefinitiebouwfoutenofweltechnischefouten30. DeBeleidsregelsintegriteitenuitsluitingbijaanbestedinginBIBOBsectoren31zijnvantoepassingvoordiensten die tot het rijk behoren. De artikelen 6 en 7 geven een nadere uitwerking van het begrip ernstige fout zoals bedoeldinartikel45,lid2,subd,2004/18/EG.Bijdevolgendepuntenkaneenmogelijkeslechteprestatie(Past Performance)totuitsluitingleiden(Petit,2010): Artikel6,subd,vandeBeleidsregelsbetrefthetfysiekernstigingevaarbrengenvandewerknemersen anderen. Hierbij kan gedacht worden aan overtreding van voorschriften betreffende de gezondheid, arbeidsomstandigheden, milieu en rijtijdenwet. Denkbaar is dat bij wegwerkzaamheden deze lijst 25 E.H.PijnackerHordijk,B.vanderBend,J.F.vanNouhuys,Aanbestedingsrecht,HandboekvanhetEuropeseen hetNederlandseAanbestedingsrecht,vierdedruk,2009,p.183e.v.(hierna:PijnackerHordijkc.s.). 26 Artikel45,lid1,BAO,Stbl.2005,408 27 Artikel45,lid3,BAO,Stbl.2005,408enartikel2.7.4ARW2005 28 Artikel45,2004/18/EG 29 AldushetHJEGingevoegdezakenC226/04enC228/04,LaCascinar.ov.22. 30 Zie de toelichting bij de Beleidsregels integriteit en uitsluiting bij aanbestedingen in BIBOBsectoren; Stcrt. 27 februari2004,nr.40,pag.9 31 BIBOBstaatvoordewetbevorderingintegriteitsbeoordelingendoorhetopenbaarbestuur

52


aangevuld kan worden met de voorschriften betreffende een verkeersveilige doorstroming wanneer overtredingdaarvanernstiggevaarvoorwerknemersofweggebruikersoplevert. De mogelijkheid van uitsluiting wegen valsheid in geschrifte (artikel 6, sub b) en het verstrekken van onjuiste gegevens of het onterecht niet verstrekken van juiste gegevens (artikel 6, sub c) kan een stok achter de deur zijn voor een betrouwbare levering van gegevens ten behoeve van Systeemgerichte Contractbeheersing.

De beleidregels behelzen niets méér en niet minder daneen vastlegging vande administratieve praktijk die het Rijkinzijnhoedanigheidvanaanbestedendedienstwensttevolgen.Debeleidsregelsbindenniemandbehalvede Rijksoverheid zelf. Voor andere aanbestedingsplichtige diensten zijn de Beleidsregels zonder betekenis en zij binden ook de rechter niet (Pijnacker Hordijk, et al., 2009 p. 179). De Auteurs van de Richtlijn (2004/18/EG) hebben geen “autonome communautaire kwalificatie” hebben willen toekennen32, volgens het HJEG in de gevoegde zaken C226/04 en C228/04, La Cascina (Pijnacker Hordijk, et al., 2009 p. 270). Bij het gebruik van facultatieve uitsluitingsgronden is voorzichtigheid geboden aangezien een ernstige fout alleen toegewezen kan wordenwanneerhiervooreenbasisbestaatindenationalewetgeving. Prestatiemetenalsminimumeis(geschiktheidseis) Dit zijn eisen van kwalitatieve aard waaraan een aanbieder dient te voldoen teneinde voor deelneming aan de aanbestedingvaneenbepaaldeopdrachtinaanmerkingtekomen(PijnackerHordijk,etal.,2009p.265).Inartikel 44,lid233wordtvermelddateenaanbestedendedienstminimumeiseninzakedraagkrachtenbekwaamhedenals bedoeldindeartikelen48en49kanstellenwaaraandegegadigdenendeinschrijversdienentevoldoen.Volgens lid 333 dient de minimumeis betrekking te hebben op het voorwerp van de overheidsopdracht. Dit is de enige randvoorwaarde met betrekking tot door aanbestedende dienst te hanteren materiële criteria als bewijsmiddel voordeminimumeiseninzakedraagkrachtenbekwaamheden(PijnackerHordijk,etal.,2009p.285). Zowel voor nationale als voor Europese aanbestedingen geldt bij toepassing van de UAR of de ARW dat de geschiktheidseisenobjectiefeneenduidigmoetenzijn34.Eenduidigheidhoudtindateeneisnietpolyinterpretabel ofonduidelijkmagzijn(Essers,2006p.159).Uitdeeisvaneenduidigheidvloeitvoortdatduidelijkmoetzijnop welke wijze een deelnemer aan een geschiktheidseis kan voldoen. Met de objectiviteitseis wordt uitgedrukt dat eengeschiktheidseisdaadwerkelijkverbandmoethoudenmetdegeschiktheidvandedeelnemeromdeopdracht uit te voren. Uit de objectiviteitseis vloeit voort dat de vraag of aan een geschiktheidseis is voldaan, niet mag afhangenvaneensubjectiefwaardeoordeel(Essers,2006p.160).


‘Een criterium is objectief indien de vraag of eraan is voldaan zich laat bepalen zonder subjectief waardeoordeel, dat wil zeggen het antwoord op de vraag of eraan is voldaan bij beantwoording door eeniederfeitelijksteedsofhetzelfdeisofandersaanwijsbaarfout.(…)Devraagofdeeendaarbeterop scoortdaneenanderiseenlouterwaardeoordeel,datperbeoordelaarkanverschillen,zonderdathet oordeelvandeeenfoutisendatvandeandergoed.Naarhetoordeelvanarbiterslaatzichopbasisvan degenoemdeaspectennietobjectiefeenwinnaarvaststellen.’(RvAUAREG1991,nr.26.472) Bij Europese aanbesteding dient de geschiktheidseisen betrekking te hebben op de economische en financiële draagkracht van de inschrijver of op diens technische vakbekwaamheid35. Omdat het hier een limitatieve opsomming betreft, is er geen ruimte voor andere geschiktheidseisen (Essers, 2006 p. 158). De aanbestedende 32 Inpunt43vandeconsideransvandeAlgemeneRichtlijnwordthetvolgendeopgemerkt: “Denietnalevingvandemilieuwetgevingofvandewetgevinginzakeoverheidsopdrachten,tenaanzienwaarvan een onherroepelijk vonnis of een beslissing met vergelijkbare werking wegens onwettige afspraken is uitgesproken,kanalseendelictdatinstrijdmetdeberoepsgedragsregelsvandeondernemerofalseenernstige foutwordenbeschouwd,indienhetnationalerechtdaartoestrekkendebepalingenbevat.” Dezeoverwegingonderstreepttweeërlei:(i)voortoepassingvandeuitsluitingsgrondsubd)iseen“beslissingmet vergelijkbare werking” als een onherroepelijk strafvonnis vereist; (ii) een en ander is slechts mogelijk indien het nationalerechtdaartoestrekkendebepalingenbevat(ennietopbasisvanadministratievepraktijkenvandezeof geneaanbestedendedienst). 33 Artikel44,lid2en3,BAO,Stbl.2005,408 34 Artikel8UAR2001enartikel2.13ARW2004 35 Artikel44,lid1,2004/18/EG

53



dienst kan voor het waarborgen van de technische bekwaamheid en de beroepsbekwaamheid van gegadigden/inschrijversminimumeisenstellenovereenkomstigartikel48vanrichtlijn2004/18/EG(Petit,2010). Artikel48vanderichtlijnstelteisenaandewijzewaaropdeaanbestedendedienstdetechnischebekwaamheid en/of de beroepsbekwaamheid van de gegadigde/inschrijver beoordeelt. Het artikel somt in de leden 2 en 3 limitatiefdebewijsmiddelenopdiebijdebeoordelingkunnenwordengebruikt.Hetvoornaamstebewijsmiddelin hetkadervanPastPerformancebetreftdereferenties. Ingevolgeartikel49lid2BAO36kandetechnischebekwaamheidofberoepsbekwaamheidvoorwerken,leveringen endienstenwordenaangetoond.HierbijzijnmetbetrekkingtotPastPerformancesubaenbvanbelang: a. “aan de hand van een lijst van de werken die de afgelopen vijf jaar zijn verricht, welke lijst vergezeld gaat van certificaten die bewijzen dat de belangrijkste werken naar behoren zijn uitgevoerd en waarin het bedrag van de werken, de plaats en het tijdstip waarop ze zijn uitgevoerd vermeld wordt, en waarin wordt aangegeven of de werken volgens de regels der kunst zijn uitgevoerd en tot een goed einde zijn gebracht en die door de bevoegde instantie rechtstreeksaandeaanbestedendedienstwordentoegezonden b. aandehandvaneenlijstvandevoornaamsteleveringenofdienstendiegedurendedeafgelopen drie jaar werden verricht, met vermelding van het bedrag en de datum en van de publiek of privaatrechtelijke instanties waarvoor zij bestemd waren. De leveringen en diensten worden aangetoond in het geval van leveringen of diensten voor een aanbestedende dienst, door certificatendiedebevoegdeautoriteitheeftafgegevenofmedeondertekendofinhetgevalvan leveringen of diensten voor een particuliere afnemer, door certificaten van de afnemer of, bij ontstentenisdaarvan,eenvoudigwegdooreenverklaringvandeondernemer.” Bij de bepaling van de bekwaamheid wordt de vraag gesteld of de belangrijkste werken naar behoren zijn uitgevoerd. Dit kan onderscheiden worden in: Zijn de werken tot een goed einde gebracht, d.w.z. goed opgeleverd?Enzijndewerkenvolgensderegelsderkunstuitgevoerd?PastPerformance,datgerichtisopdewijze waaropeerdereopdrachtenzijnuitgevoerd,kandithelpenditlaatsteteconcretiseren(Petit,2010). Waar het gaat om het bewijs dat het werk volgens de regels der kunst is uitgevoerd en het werk tot een goed eindeisgebracht,lijkthetChaoDuivis(2005p.18)–geabstraheerdvandemateriëlevraagwatonderregelsvan dekunstennaarbehorenuitgevoerdteverstaan–dathetrapportdateenaanbiedernaaraanleidingvaneerdere metingenheeftontvangenvanRWS37eenbewijsmiddelisdatpastbinnenditstelselvancertificaten38diebewijzen dataangenoemdeeisenisvoldaan. Er zijn door Petit (2010) drie mogelijkheden aangegeven voor het verkrijgen van Past Performance gegevens bij aanbesteding. Bij de derde mogelijkheid verzoekt de aanbestedende dienst de gegadigden/inschrijvers om zelf referentiesaanteleverenmetbetrekkingtotPastPerformance.Degegadigde/inschrijverlevertvervolgensdeze referenties.HierbijisergeensprakevaneencentralePastPerformancedatabase.Deaanbestedendedienstkan het aantal te leveren referenties met het oog op de transactiekosten beperken tot het gebruikelijke aantal (meestaldrie)onderhetstellenvandevoorwaardedatdegegadigde/inschrijveroverdehelereferentieperiode (voor werken maximaal 5 jaar39) geen (vergelijkbare) werken heeft uitgevoerd met een negatieve Past Performancec.q.geen(vergelijkbare)werkeninstrijdmetderegelsderkunstheeftuitgevoerdengeenernstige fouten in de uitoefening van zijn beroep heeft gemaakt of delicten in strijd met beroepsgedragsregels40 heeft gepleegd. Voldoetdegegadigde/inschrijvernietaandevoorwaardedandienthijinzichttegeveninzijnvolledigeportfolio van vergelijkbare werken over de hele referentieperiode om zijn geschiktheid aan te tonen. De aanbestedende 36 Vgl.art.48Algemenerichtlijn 37 Bij ‘het rapport door RWS’ wordt bedoeld een rapport met hierin een Past Performance meting gedaan door middelvanhetPIANOoinstrument. 38 Artikel49,lid2ondersubaenb,BAO 39 Artikel48,lid2,suba,2004/18/EG 40 Artikel45,lid2,subc,2004/18/EG

54

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 dienstkanaandehanddaarvantoteengewogenoordeelkomenomtrentdienstgeschiktheid.Hetbovenstaande referentie systeem past goed in de voorschriften van de richtlijn en levert geen breuk op met de bestaande aanbestedingspraktijk(Petit,2010). Prestatiemetenalsselectiecriteria Dit zijn criteria op grond waarvan bij andere dan openbare procedures uit de gegadigden voor een bepaalde opdracht die aan de minimumeisen voldoen, degenen worden geselecteerd die tot de inschrijving worden uitgenodigd (Pijnacker Hordijk, et al., 2009 p. 265). Bij de nietopenbare procedure met voorafgaande selectie betekenthetvoldoenaandegeschiktheideisendatdegegadigdevooreeninschrijvinguitgenodigdkanworden.In dat laatste geval fungeren de geschiktheideisen als selectieeisen (ChaoDuivis, 2005 p. 9). Er is geen principieel verschil tussen selectiecriteria en gunningscriteria. In jurisprudentie enliteratuur blijkt datdit onderwerp vooral vanbelangisbetreffendedevraagnaarhoeveelheidaanbiedersteselecterenvoordeinschrijving. Artikel44vandealgemenerichtlijn(2004/18/EG)regeltzoweldekwalitatievealsdekwantitatieveaspectenvan deselectie.InhetkadervanPastPerformanceishetdenkbaardatdeaanbestedendedienstzichbijdeselectie concentreert op Past Performance en het aangekondigde aantal41 geschikte gegadigden met de beste Past Performance(ervanuitgaandedatdePastPerformanceopeenschaalisuitgedrukt)uitnodigt(Petit,2010). Prestatiemetenalsgunningscriteria Ondergunningscriteriawordenverstaandeinhoudelijkcriteriavoordekeuzevandebesteaanbieding(Pijnacker Hordijk, et al., 2009 p. 417). Zowel het BAO als het BASS laten de aanbestedende dienst – ongeacht het type procedure–dekeuzetusseneentweetalgunningscriteria42: Alleendelaagsteprijs; ofdeeconomischmeestvoordeligeinschrijving(EMVI) Bij het gunnen op de laagste prijs wordt er enkel naar het ingeschreven bedrag gekeken. Deze gunningscriteria alleenisdaaromnietinteressantwanneerhetgaatoverdetoepassingvanPastPerformancebijgunning.Voorde toepassing van Past Performance dient daarom gekeken te worden naar de gunningcriteria ‘economisch meest voordeligeinschrijving’. Een essentieel vereiste voor gunningscriteria is dat zijn verband moeten houden met het voorwerp van de opdracht,enderhalvenietmetbijvoorbeelddegeschiktheidvandeinschrijver.PastPerformanceresultatenzijn verbonden met eerder uitgevoerde opdrachten en beoordelen hierdoor op de geschiktheid van de gegadigde/inschrijver.Datdegeschiktheidnietalsgunningscriteriagebruiktkanwordenblijktuitdearrestenvan het Hof van Justitie EG: C532/06 (lianakis)43 en C199/07 (Commissie/Griekenland)44. Zaak Lianakis vermeld de volgendepunten: (…) en kunnen de aanbestedende diensten volgens deze bepaling dus kiezen welke gunningscriteriazijwillentoepassen,maardiekeuzekanenkelbetrekkinghebbenopcriteriater bepaling van de economisch voordeligste aanbieding (zie in die zin, betreffende overheidsopdrachtenvoordeuitvoeringvanwerken,arrestBeentjes,reedsaangehaald,punt19; arrestvan18oktober2001,SIACConstruction,C19/00,Jurispr.blz.I7725,punten35en36,en,


“29

“Het aantal dienst bij de nietopenbare procedure tenminste vijf te bedragen en bij de concurrentiegerichte dialoog en de onderhandelingsprocedure met voorafgaande bekendmaking tenminste drie. Zie artikel 44, lid 3, 2004/18/EG.Ditbetekenddatindienerbijbijvoorbeeldeennietopenbareprocedureslechtvijfgegadigdenzijn dieaandeminimumeisenvoldoen,nadereselectienietmogelijkis.Overigensmoetenerteallentijdevoldoende geschikte gegadigden overblijven om daadwerkelijke mededinging te garanderen. Aangenomen wordt dat dit er tenminstetweemoetenzijn(zietoelichtingbijartikel44BAO).Ditbetekentondermeerdatdeminimumeisenten aanzienvanPastPerformancenietzozwaarmogenzijndatergeendaadwerkelijkemededingingmeermogelijk is.”(Petit,2010) 42 Artikel 54 lid 1, BAO, vgl. artikel 53 lid 1 Algemene Richtlijn; idem artikel 56 lid 1, BASS, vgl. artikel 55 lid 1 RichtlijnNutssectoren 43 ZaakC532/06;Lianakis,HJEG,24januari2008,r.ov.2931 44 ZaakC199/07;Commissie/Griekenland,HJEG,12november2009,r.ov.5155 41

55


30

31

betreffende overheidsopdrachten voor dienstverlening, arresten van 17 september 2002, ConcordiaBusFinland,C513/99,Jurispr.blz.I7213,punten54en59,en19juni2003,GAT,C 315/01,Jurispr.blz.I6351,punten63en64). Derhalvezijnuitgeslotenals„gunningscriteria”criteriadieerniettoestrekkenomdeeconomisch voordeligsteaanbiedingvasttestellen,maardieinwezenverbandhoudenmetdebeoordeling vandegeschiktheidvandeinschrijversomdebetrokkenopdrachtuittevoeren. Inhethoofdgedinghebbendedoordeaanbestedendedienstals„gunningscriteria”gehanteerde criteria evenwel in hoofdzaak betrekking op de ervaring, de kwalificaties en de middelen ter waarborging van de goede uitvoering van de betrokken opdracht. Het betreft hier criteria die verbandhoudenmetdegeschiktheidvandeinschrijversomdezeopdrachtuittevoerenendus geen„gunningscriteria”indezinvanartikel36,lid1,vanrichtlijn92/50zijn.”

IndezaakLianakisgeefthethofmeerderemalenaandegunningscriteriageenbetrekkingdienentehebbenopde geschiktheidvandeinschrijver/gegadigdeomdebetrokkenopdrachtuittekunnenvoeren.Inhetarrestvanhet HofvanjustitieomtrentdezaakCommissie/Griekenlandwordtbijpunt55dezaakLianakisaangehaald: “55

Derhalvezijnuitgeslotenals„gunningscriteria”criteriadieerniettoestrekkenomdeeconomisch voordeligsteaanbiedingvasttestellen,maardieinwezenverbandhoudenmetdebeoordeling van de geschiktheid van de inschrijvers om de betrokken opdracht uit te voeren (zie, naar analogie,arrestLianakise.a.,punt30).”

DuidelijkisdatPastPerformancedateenkoppelingheeftmeteerderuitgevoerdeopdrachtenheeftenhierdoor eensterkerelatiemethetbeoordelenmetdegeschiktheidvandegegadigde/inschrijver–nietgebruiktkan wordenalsgunningscriteria.WilPastPerformanceeenplaatstkrijgenbijdegunningzaldePastPerformance directgekoppeldmoetenkunnenwordenaandeaanbiedingzelf(Petit,2010).

6.2HETGEBRUIKVANPRESTATIEGEGEVENSBIJAANBESTEDINGDOORPRORAIL


ProRailalspubliekeopdrachtgever DeEuropeselidstatenwordendoorrichtlijn91/440/EEGgebodeneenscheidingtebrengentussenbeheerder(s) van de spoorweginfrastructuur en spoorwegondernemingen die vervoersdiensten aanbieden. Dit maakt concurrentiemogelijk op de nationale spoorwegnetten. DeEuropese lidstaten worden door dezerichtlijnbelast met de zorg en ontwikkeling van de spoorweginfrastructuur. Nederland heeft richtlijn 91/440/EEG geïmplementeerdindeSpoorwegwet.DeMinistervanVerkeerenWaterstaatmoetvolgensdiewetzorgdragen voor aanleg, beheer en onderhoud van hoofdspoorweginfrastructuur. ProRail heeft met de het ministerie van verkeer en waterstaat een langjarige concessie gesloten voor de uitvoering van deze werkzaamheden. ProRail voertdezewerkzaamhedennietzelfuit,maarkangezienwordenalseentypischeopdrachtgeversorganisatie. Aanbestedingsreglementenvoornutssectoren Metingangvan1december2005ishetBesluitAanbestedingSpecialeSectoren(BASS)vankracht.Aanbestedende diensten in de sectoren water en energievoorziening, vervoer en postdiensten, vanouds gezamenlijk aangeduid als‘denutssectoren’,zijnmetingangvandiedatumverplichtomopdrachtenovereenkomstigdebepalingvanhet BASS te gunnen. Er is door een aantal aan het BASS onderworpen diensten het initiatief genomen om tot één aanbestedingsreglement te komen, het ARN2006 (Aanbestedingsreglement Nutssectoren), dat door iedere aanbestedendedienstindesectorenwaterenenergievoorziening,vervoerenpostdienstengebruiktkanworden. ProRailalsnutssector Aanleg,beheerenonderhoudvandehoofdspoorinfrastructuurwordenaangemerktalswerkzaamhedendievallen binnendevervoerssectorvandenutssectoren.ProRailzalzichbijaanbesteding,alsopdrachtgevendepartijvoor dezewerkzaamheden,moetenhoudenaanhetBASS.ProRailhanteertbijaanbestedinghetARN2006.

56

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 Erkenningsregeling BedrijvendiezichbijProRailwilleninschrijvenvooraanbestedinghebbeneen,doorProRailverstrekte,erkenning nodig. Binnen de regels van het BASS45 is het mogelijk een erkenningsregeling te voeren. Om aan de erkenningseisen te voldoen, moet een bedrijf voldoende financiële en economische draagkracht hebben, maatschappelijk geschikt zijn en technisch en organisatorisch bekwaam zijn46. Deze gegevens zullen, normaal gesproken,altijdbijeenaanbestedinggevraagdworden.AangezienProRailregelmatigmetdezelfdebedrijveneen contractsluit,iserbeslotendezegegevensvastteleggenineenerkenningeneensindedriejaartetoetsen47.Dit werktzowelinhetvoordeelvanProRail,alsinhetvoordeelvandeinschrijvendepartij,aangeziendezegegevens nietmeerbijelkeaanbestedinggetoetstdienenteworden. Gunning ErkendebedrijvenkunnenvervolgensmeedoenbijaanbestedingenvanProRail.Betreffendeopdrachtenworden gegund volgens de door ProRail gestelde gunningcriteria48. ProRail neemt prestatiemetingen mee als gunningscriteria49. De prestatiegegevens worden meegenomen bij de inschrijfprijs. Wanneer de gegadigde/inschrijver een goede prestatie heeft geleverd in het verleden zal de inschrijfprijs (fictief) verlaagd worden50. Een slechte prestatie levert een (fictief) verhoging op (zie voor gedetailleerde uitleg hoofdstuk 2.7 Verwerkingengebruikvanresultaten). Aanbestedingsbeginselenbijgunning ProRail stelt dat een goede prestatie van een aannemer een positieve economische (financiële) waarde vertegenwoordigt, de opdrachtgever is immers minder tijd kwijt met het sturen op de opdracht. Deze positieve economischewaardeverrekendProRailbijaanbestedingeninhetinschrijfbedrag.Dejuridischvaliditeitisbijdeze handelswijzenietbewezengeacht.ProRailsteltdatmenbijhetmetenengebruikvanresultatenvoldoetaande aanbestedingsbeginselen51.Dezezijn: Behandelingopgelijkenietdiscriminerendewijze Allegegadigden/inschrijverszijnopeenzelfdemaniergemeten,onderdezelfdevoorwaarden. Transparantie Alle gegadigden/inschrijvers krijgen inzicht in de manier waarop er gegund wordt. Prestatieresultaten van de concurrentzijnzichtbaar,evenalsdemaniervanmeten. DatdezebeginselenvanbelangzijnisdoorhetHJEGbepaaldindezaakC470/99,UniversaleBau.Dezezaakheeft betrekking op selectiecriteria maar de overwegingen van het HJEG moeten gelijktijdig van toepassing worden verklaardopgunningscriteria(PijnackerHordijk,etal.,2009p.421).Deoverwegingenvanbelangindezezaakzijn r.ovv.91,92en93:

92

Het beginsel van gelijkheid van behandeling, dat de basis van de richtlijnen inzake overheidsopdrachten vormt, verplicht immers tot transparantie, opdat de naleving ervan zou kunnen worden gecontroleerd (zie met name arresten van 7 december 2000, Telaustria en Telefonadress,C324/98,Jurispr.blz.I10745,punt61,en18juni2002,HI,C92/00,Jurispr.blz.I 5553,punt45). Dezeopdeaanbestedendedienstrustendeverplichtingtottransparantiehoudtin,dataanelke potentiëleinschrijverpassendebekendmakingwordtgegarandeerd,zodatdedienstenmarktvoor


“91

45 Artikel54,lid1.Eenaanbestedendedienstkaneenregelingvoordeerkenningvanondernemersinvoerenen beheren.Dezeregelingkanverscheidenefasenvanerkenningengeschiktheidomvatten;Stbl.2005,409. 46 Artikel54,BASS,Stbl.2005,409 47 Artikel54,lid3,BASS,melddatdecriteriaenvoorschrifteninzakeerkenningzonodigkunnenwordenherzien. 48 Zoals weergegeven in de selectieleidraad, of in de nader te vergeven uitnodiging tot inschrijving of aanbestedingsleidraad. 49 NaastprestatiemetingenisdeCO2prestatieladereenbelangrijkgunningcriteria 50 Deprestatiegrensligtop75%,eenhogerescorebetekendeenkorting,eenlagerescoreeenverhogingophet inschrijfbedrag.VastgesteldinhetBasisrapportprestatiemeten(2009)ProRail 51 Artikel9;BASS,Stbl.2005,409

57


93

mededingingwordtgeopendendeaanbestedingsproceduresoponpartijdigheidkunnenworden getoetst(ziearrestTelaustriaenTelefonadress,reedsaangehaald,punt62). Daaruitvolgtdatdeprocedurevoordegunningvaneenoverheidsopdrachtinallefasen,enmet name in de fase van de selectie van de gegadigden in een nietopenbare procedure, in overeenstemmingdienttezijnmetzowelhetbeginselvangelijkebehandelingvandepotentiële inschrijvers als met het beginsel van transparantie, opdat allen bij het formuleren van hun aanvraagtotdeelnameofhunaanbiedingdezelfdekansenhebben(zieindiezin,metbetrekking totdefasevandevergelijkingvanaanbiedingen,arrestvan25april1996,Commissie/België,C 87/94,Jurispr.blz.I2043,punt54).”

IndeNederlandserechtspraakwordtinditverbandmeesttijdshetarrestvanHJEGinzaakC469/99,Succhidi Frutta,aangehaald(PijnackerHordijk,etal.,2009p.423).IndeBASSwordterinartikel56,explicietverwezen naarhetSucchidiFruttaarrest52watbetrefthetgebruikvandebeginselenvanhetaanbestedingsrecht.


Prestatiemetenalsgunningscriteria Zoalsgenoemdinhoofdstuk6.1hebbenprestatiegegevensbetrekkingophetbeoordelenvandegeschiktheidvan deaanbieder.Erisbijprestatiemetendussprakevaneengeschiktheidseis.AlshoofdregelvanhetBAOenBASS moet worden aangenomen dat aanbesteden diensten geschiktheidseisen en selectiecriteria niet als gunningscriteriumkunnenhanteren(PijnackerHordijk,etal.,2009p.442). Afsprakengebruikprestatiegegevenbinnenerkenning ProRail heeft met zijn erkende bedrijven afspraken gemaakt over het gebruik van prestatiegegevens bij aanbesteding. De te gebruiken handelswijze (korting/verhoging op het inschrijfbedrag) is hierbij aan de betreffende erkende bedrijven voorgelegd, deze konden hierop reageren en hebben hierover overeenstemming bereikt. Geobjectiveerdesubjectiviteit Bij prestatiemeten wordt gebruik gemaakt van geobjectiveerde subjectiviteit. Dit houdt het volgende in: ProRail geeftéénbedrijfscoredooriederlopendprojecteensperkwartaaltemeten,steedsdooreenandereauditor.Eris sprake van een dusdanige hoeveelheid meetgegevens dat subjectiviteit wordt uitgevlakt, waardoor er sprake is van geobjectiveerde subjectiviteit. Hierin heeft één slechte prestatie slechts gering effect op het uiteindelijke eindcijfer. Pijnacker Hordijk (2009 p. 433) spreekt van een misvatting dat een subjectieve beoordeling door een aantal beoordelaars alsnog objectief en transparant wordt door die beoordeling te middelen. Het gaat hierbij weliswaar om de beoordeling van de inschrijving door een team van beoordelaars, echter kunnen prestatiemetingenalseeneerder(danbijaanbesteding)getoetstcriteriagezienworden. ConclusiegebruikprestatiegegevensdoorProRail DeregelgevingomtrentgunningscriteriazijnbijdeBASSenBAOinhoofdlijnenhetzelfde.Eenverschiltussende BASSenBAOisdathetbinnenhetBASSmogelijkisbedrijventeerkennen.HiervanmaaktProRailgebruikenmet de erkende bedrijven zijn afspraken gemaakt over het gebruik van prestatiegegevens bij gunning. Doordat de bedrijvenbinnendezeerkenningakkoordzijngegaanmetdedoorProRailgebruiktegunningsmethode,ishettot op heden (juni 2010) niet tot een rechtzaak gekomen. Het is aan de rechter te bepalen of de door ProRail gehanteerde gunningsmethode aan het aanbestedingsrecht voldoet. Hierbij zal door ProRail verdedigd moeten worden dat gelijke behandeling van de gegadigde/inschrijvers boven het gebruikt van ‘erkenningscriteria als gunningscriteria’staat.Daarnaastzaldeobjectiviteitvandemetingenterdiscussiekomentestaan.

52 Artikel56,BASS,Stb.2005,4009.p.77.

58

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 6.3HETGEBRUIKVANPRESTATIEGEGEVENSBIJRWSENDERGD


Rijkswaterstaat en de Rijksgebouwendienst hebben het beoogde doel prestatiemetingen te gebruiken bij aanbesteding. Het lijkt erop dat hiervoor mogelijkheden zijn, aangezien ProRail prestatiemetingen ook bij aanbestedinggebruikt.EchterhebbenRWSendeRGDtemakenmetanderemarktenenregelgeving. Aanbestedingsregelement Ongeacht of het gaat om werken, leveringen of diensten, vallen de aanbestedingen van Rijkswaterstaat en de Rijksgebouwendienst onder de Europese aanbestedingsrichtlijn 2004/18/EG. Deze richtlijn is in Nederland geïmplementeerddoorhetBesluitAanbestedingsregelsvoorOverheidsopdrachten(BAO2005),datgebaseerdis opdeRaamwetEEGvoorschriftenaanbestedingen. Devierbouwdepartementen53vandeoverheidhebbenzichwatbetreftwerkendoormiddelvandeBeleidsregels AanbestedingvanWerken2005(BAW2005)gebondenaandetoepassingvanhetAanbestedingsreglement2005 (ARW2005). In het ARW 2005 staan precieze uittreksels van alle belangrijke procedures in het BAO dan wel de richtlijn2004/18/EG. Onderzoeknaartoepassingprestatiemeten Het toepassen van prestatiemeten is volgens onderzoek van ChaoDuivis (2005) niet mogelijk bij gunning. Ook Petitgeeftinzijnnotitie‘PassendePerformance’(Petit,2010)aan,dathetrekeninghoudenmetPastPerformance (oftewelprestatiemeten)bijgunningnietistoegestaan(toelichtingonderhoofdstuk6.1). Het ‘shortlisten’ van gegadigden, door onder andere het gebruik van Past Performance, is bij alle aanbestedingsprocedures toegestaan met uitzondering van de openbare. Hierbij geldt bij het shortlisten de voorwaarde dat er voldoende geschikte gegadigden dienen te zijn wil men gebruik kunnen maken van Past Performanceinformatie(Petit,2010). KunnenRWSendeRGDprestatiegegevensgebruikengelijkalsProRail ProRailkanbinnenbeschermdeomgeving(vandeerkenningsregeling)afsprakenmakenmetdeopdrachtnemers. Dezegroepopdrachtnemersiseenselectegroepvangeschiktebedrijven,welkewelwillendtegenoverhetgebruik vanprestatiegegevensbijaanbestedingstaat.DezeselectegroepzalvanwegedekleineNederlandsespoormarkt slechtsbeperktveranderen.RWSendeRGDhebbenopdrachtnemersuiteenveelgroteremarkt.Hetisdoorde grote, oncontroleerbare, markt haast onmogelijk met alle bedrijven afspraken te maken over het gebruik van prestatiemeetgegevens bij gunning. Een eventueel voorstel zou door Bouwend Nederland goedgekeurd moeten worden,echterzijnbijdezeverenigingnietallebouwbedrijvenaangesloten. Hetgebruikvanprestatiemetenbijgunningisvolgensdevigerenderegelgevingnietmogelijk.Hetgebruikzal,net alsbijProRail,mogelijkkunnenzijnwanneerallebedrijvendiezichmogelijkkunneninschrijvenvooreenopdracht, akkoord zijn gegaan met het gebruik van prestatiegegevens bij gunning. Hierbij dienen de meetmethode en meetgegevenstransparant(verkregen)tezijnenallebedrijvengelijk(nondiscriminaties)behandeld/beoordeeld te worden. Dit soort afspraken kunnen in de grote markten waarin RWS en RGD zich begeven als onhaalbaar beschouwdworden.

6.4PRESTATIEMETENALSBONUS/MALUS Petit stelt in de nota ‘Passende Performance’ (2010) dat het in uitzonderingsgevallen54 indirect mogelijk is de gunningtebeïnvloedenmetprestatiemetingendoordeprestatiegegevenstegebruikenvoorbonus/malus. Een goed presterend bedrijf zou bij het leveren van een goede prestatie een bonus kunnen krijgen. Het bedrijf krijgt de mogelijkheid deze bonus direct te laten uitkeren, of het bonusbedrag in te zetten voor een volgende aanbesteding. Wanneer gekozen wordt voor het inzetten van de bonus bij een volgende aanbesteding, zal de bonus afgetrokken worden van het inschrijfbedrag. Een bedrijf heeft zo meer kans op het verkrijgen van een opdracht.Eenmaluskaneenbedrijfdwingenbijeenvolgendeaanbestedinghogerinteschrijvenomeenverlieste voorkomen. 53 VerkeerenWaterstaat,VROM,Defensie,LNV 54 Als mogelijke uitzonderingen kan gedacht worden aan gevallen waarin kwaliteitsaspecten betreffende de opdrachtnemer ook een direct relatie hebben met het voorwerp van de opdracht en de kwaliteit van de ingediendeofferte.

59



Onderstaande oplossing is enkel mogelijk wanneer het gebruik van prestatiegegevens niet als gunningscriteria wordtgebruikt.Hetbetrefthiereenoplossingsmogelijkheidwaarbijverderonderzoekbenodigdis. Eenbonussysteem Het is interessant dat prestatiegegevens gebruikt kunnen worden bij gunning door het toepassen van bonus/malus. Echter zal met de boven genoemde bonus/malus methode niet het volledige potentieel van prestatiemetenbehaaldworden,aangeziendeinhetverledenbehaalderesultatenslechtsinbeperktemate(enkel bij de eerstvolgende aanbesteding) in de toekomst gebruikt kunnen worden. Een, nog nader te onderzoeken, bonussysteemkanmogelijkuitkomstbieden. Bij een bonus systeem wordt ervoor gekozen geen malus uit te keren, dit om een bedrijf enkel positief te stimulerenophetleverenvanprestaties.Debonusiseenvastgesteldbedragperwerk,ofeenpercentagevande inschrijfsom. PresentenPastPerformance Een bedrijf levert tijdens het werk een prestatie, de ‘Present Performance’. De prestatie wordt gemeten, de resultatendienenterstimulatievanhetwerk(destandvanzaken).Bijopleveringvanhetwerkwordtereeneind oordeelgegeven,wathetPresentPerformancecijfervanhethelewerkzalzijn.Ditcijferzalbijvolgendewerken alseenPastPerformancecijfermeegenomenworden. Wanneereenbonus? EenbedrijfkrijgteenbonusoverhetwerkwanneerhetgemiddeldevandePresentPerformance(heteindcijfer)en de Past Performance (gewogen gemiddelde over een periode van maximaal 3 jaar) hoger of gelijk is aan de vastgesteldestreefprestatie.ErkanvoorgekozenwordendePrestentofPastPerformancezwaardermeetelaten wegen. BEREKENINGBONUSPRESTATIERESULTAAT ‫ ݁݅ݐܽݐݏ݁ݎ݌ݏݑ݊݋ܤ‬ൌ ‫ ݃݊݅݃݁ݓ‬ൈ ܲ‫݁ܿ݊ܽ݉ݎ݋݂ݎ݁ܲݐ݊݁ݏ݁ݎ‬ሺ݁݅݊݀‫݁ݎ݋ܿݏ‬ሻ ൅ ‫݃݊݅݃݁ݓ‬ ൈ ‫݈݁݀݁݀݀݅݉݁ܩ‬ሺܲܽܲ݁‫ݎ‬ଵ ൅ ܲܽܲ݁‫ ݎ‬ଶ ൅ ܲܽܲ݁‫ ݎ‬௫ ൅ ǥ ሻ Prestatiesuithetverledenzijndusvanbelangvoorhetverkrijgenvandebonus.Ditheeftheteffectdatbedrijven bijinschrijvingkunneninschattenhoegrootdekansopeenbonusis.Wanneereenbedrijfbijvoorbeeldeenhoge PastPerformancescoreheeft,zalmeneengrotekansmakenopeenbonus.Eenbedrijfzouerdanvoorkunnen kiezen(hetrisicokunnennemen)bijeenvolgendwerklagerinteschrijven,aangeziendebonusditlagebedrag kan compenseren. Een bonus is op deze manier een risicobedrag voor zowel de opdrachtgever als de opdrachtnemer.Bijgoedpresterenbetaalddeopdrachtgeverietsmeer,maarhoeftmindersturingtegeven.Bij slechtpresterenzaldeopdrachtnemergeenbonusontvangenenkandezebonusgebruiktwordenomhetextra werk (vanwege extra sturing) te bekostigen. In de meest gunstige situatie, waarin de opdrachtnemer de bonus geheel meerekent in de inschrijfprijs van het actuele project, kost de bonus de opdrachtgever uiteindelijk niets (Schol,2008p.52). Juridischemogelijkheden Om een dergelijk systeem te laten functioneren, zullen de prestatiemetingen aan de juridische eisen voor het verlenenvaneenbonusmoetenvoldoen.Tevensmagdebonusregelinggeenonderdeelvandegunningscriteria 55 zijn.HettoekennenvaneenbonusisinhetUAVGC2005opgenomen inartikel36,lid7.Detoelichtingbijdit artikelmeldtdateenbonusalleengekoppeldkanwordenaandedatumvanoplevering. Demogelijkheidvoorhettoepassenvaneenbonussysteemisineentelatefaseinditonderzoekgeïntegreerdom ergedegenonderzoeknaartedoen.Erishierdoorverder(juridisch)onderzoeknodigomdemogelijkhedenvan eenbonussysteemteonderzoeken.

55 Artikel 36, lid 7, UAVGC 2005, De toelichting vermeld dat de mogelijkheid tot het toekennen van een bonus nieuwistenopzichtevanhetUAV1989

60

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 6.5DENIEUWEVRAGENLIJST


BijdesamenwerkingtussenRGD,RWSenProRailisereennieuwevragenlijst(BijlageII)ontstaan.Dezevragenlijst zal ingevuld worden ter beoordeling van de proceskwaliteit op een werk. De hoofdmeetaspecten zijn in hoofdlijnen enkel subjectief te beantwoorden. In het aanbestedingsrecht is subjectiviteit ongewenst. Pijnacker Hordijk (2009 p. 31) zegt hierover het volgende: “Dikwijls wordt ook nog een apart objectiviteitsbeginsel onderscheiden,waarmeewordtonderstreeptdathetoptredenvandeaanbestedernietalleentransparantmaar ookobjectiefen(opinhoudelijkemerites)controleerbaardienttezijn56.” Subvragen Omdesubjectiviteitvandeantwoordentebeperkeniseraandehandvansubvrageneenkadergesteldvoorde beantwoordingvandehoofdvragen.Desubvragenbestaanuitja/neevragen.Een‘ja’iseenpositiefantwoorden ‘nee’negatiefantwoordvoordeopdrachtnemer.Desubvragendwingtdebeoordelaartothetmakenvankeuzen, erisnamelijkwelofnietaanietsvoldaan.Wanneerereennegatiefantwoordgegevenwordtdientdezedoorde beoordelaar bewezen te kunnen worden. Dit bewijs wordt enkel gevraagd wanneer er door het beoordeelde bedrijfeenbezwaarophetresultaatwordtingediend. Doordesubvragenwordtdesubjectiviteitvandehoofdvraagingekaderd.Erisinmeerofminderematespraken vangeobjectiveerdesubjectiviteit,desubvragendienenimmersdehoofdvraag.NetalsbijhetProRailinstrument ishetdevraagofdezegeobjectiveerdesubjectiviteitdoorderechteralsvoldoendeobjectiefwordtbeoordeeld. Bezwaar Indienereenbezwaarwordtingediendzalhetbeoordeeldebedrijfaanmoetengevenvoorwelkeindicator57het bezwaargeldt.Vandezeindicatorzullendeantwoordenopdehoofdvragen+subvragenkenbaargemaaktworden aan het beoordeelde bedrijf. Deze moet vervolgens aangeven voor welke hoofd dan wel subvraag het bezwaar geldt.Voorbetreffendevragenzalhetbewijsgeleverddienenteworden.Hetgevraagdebewijsstaatvastgesteld inhet‘bewijsdocument’(ziebijlageII).Hetbeoordeeldebedrijfmoetdebewijzenvoorhetpositiefantwoord‘ja’ leverenterwijldebeoordelaardebewijzenvoorhetnegatiefantwoord‘nee’moetaandragen.Debeoordelaar,het beoordeeldebedrijfendeauditor(vandeopdrachtgeverofonafhankelijk)zullenineendialoogtotéénantwoord moetenkomen.Hetbewijsdienthierbijalsdiscussiemateriaal. Bewijsdocument Het gevraagde bewijs uit het bewijsdocument is in sommige gevallen niet terug te vinden in afspraken en of contractenstukken.Hetbewijzenvandeantwoordenzalhierdoorvaaktotdiscussieskunnenleiden.Hetkomentot één juridisch houdbaar antwoord zal hierdoor lastig worden. Het is dan ook zeer de vraag of met het gestelde bewijssysteemmogelijkhedenzijnbijhetgebruikvandeprestatieresultatenvoorselectie,enzekerdegunning.De methodiek gaat echter wel verder dan de ProRail methodiek welke slechts om concrete voorbeelden vraagt bij ondervraging. Doordat het bewijs enkel bij bezwaren wordt gevraagd zorgt het er voor dat de interviewlast (tijdsduur)welaanzienlijkingekortwordt,hierdoorzalhetmeetsysteemmakkelijkerbruikbaarzijn. Hoorenwederhoor Er is hier sprake van een vorm van hoor en wederhoor, echter gebeurt dit enkel op aanvraag. Er is voor deze methodegekozenomdebeoordelingsnellertelatenverlopen.Mochtdebeoordelingtotdiscussieleiden,kanaan dehandvanhetbewijssysteem(subvragen+bewijsdocument)dediscussiewordenopgelost.Dezemethodemoet voorkomendateenslechtbeoordeeldbedrijfdirectjuridischestappengaatondernemen.Indienhetkomttoteen juridischonderzoek,ishetaanderechtertebeoordelenofdesubvragenincombinatiemethetbewijsdocument voorvoldoendeobjectiviteitzorgen. Objectiviteitversuspraktischetoepasbaarheid Voorhetaanbestedingsrechtishetbijhetbewijzenvancriteriavanbelangdatdezeobjectiefbeoordeeldworden. Wanneerprestatiemeteneencriteriaiszaldezedusobjectiefmoetenzijn.Zoalsvermeld(ondersubvragen)isdit bijdenieuwevragenlijstslechtgedeeltelijkwaar.HetPIANOoinstrumentwaswelobjectieftegebruiken,echter 56 ZietevensdegenoemdejurisprudentieinPijnackerHordijkc.s.p.31 57 Zievoordeindicatorenofweldehoofdmeetaspectenhoofdstuk4.7

61

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 namendezemetingenteveeltijdinbeslagenwashetinstrumenthierdoorpraktischmindertoepasbaar58.Erisom hetinstrumentpraktischbetertoepasbaartemaken,gekozenvoorminderobjectiviteitindebeantwoording. Conclusiegebruiktnieuwevragenlijst De nieuwe vragenlijst is door de onderbouwing van de subvragen in meerdere mate een beter geobjectiveerd instrumenttenopzichtevanhetProRailinstrument.Bijeeneventueelbezwaarophetmeetresultaatdienttevens bewezenkunnenwordenwaaromeensubvraagmeteenpositiefjadanweleennegatiefneeisbeantwoord.Het bewijs op de subvragen moet zorgen voor voldoende objectiviteit. Aan de rechter is te bepalen of er aan het ‘objectiviteitsbeginsel’59voldaanwordt. Zoalsbeschreveninhoofdstuk6.1ishetnietmogelijkprestatiegegevenstegebruikenbijgunning,bijselectieisdit wel in beperkte mate mogelijk. De nieuwe vragenlijst lijkt een rol te kunnen spelen als selectiecriteria bij aanbestedingen.

6.6CONCLUSIE


Prestatiemeten is gekoppeld aan de geschiktheid van een gegadigde/inschrijver om een opdracht uit te kunnen voeren. De geschiktheid van de gegadigde/inschrijver is in het aanbestedingsrecht gekoppeld aan de selectiecriteria.Gunningscriteriakunnennietgebruiktwordenomdegeschiktheidvandeaanbiederaantetonen, maardienentezienophetvoorwerpvandeopdracht.OnderzoekvanChaoDuivis(2005)enPetit(2010)hebben tot de conclusie geleiddathet gebruik van prestatiegegevens wel te vormen is al selectiecriteria,maar niet als gunningscriteriagebruiktkanworden. ProRail maakt bij zijn instrument wel gebruikt van prestatiegegevens bij gunning van een opdracht. Dit doen ze dooraandehandvanprestatiegegevenseenfictievekortingofverhogingophetinschrijfbedragtegeven.ProRail stelt hierbij de aanbestedingsbeginselen van transparantie en nondiscriminatoir na te leven. Doordat ProRail werkt met een erkenningssysteem waarbinnen afspraken zijn gemaakt met bedrijven over het gebruik van prestatiegevensbijgunning–heefthetgebruikvanprestatiegegevensnietgeleidtoteenrechtzaak.Wanneerdit welzougebeurenishetdevraagofhetProRailinstrumenteenvoldoendeobjectievebeoordelinggeeftvoorhet gebruikvandeprestatiegegevensbijaanbesteding.Hetisaanderechtertebepalenofdithetgevalis. De wijze waarop ProRail prestatiegegevens gebruik bij aanbesteding, is voor RWS en de RGD enkel mogelijk wanneererafsprakenwordengemaaktmetallepartijenwelkemogelijkopdrachtenvoorhenkunnenuitvoeren. Dit is door de grote hoeveelheid (Europese) partijen vrijwel onmogelijk, mede doordat RWS en de RGD in de Algemene richtlijn (2004/18/EG) geen mogelijkheid wordt geboden een erkenningsregeling te voeren. De twee partijen zullen zich moeten richten op het gebruik van prestatiemeten als een selectiecriteria of als processtimulator. Eennaderteonderzoekenbonussysteemkanmogelijkzorgenvooreenindirecteffectvanprestatiemetenopde gunning. Bij dit systeem bepaald de gegadigde/inschrijver zelf of hij een eventuele (bij een goede prestatie uitgekeerde)bonus meerekent in zijn inschrijfprijs. De krijgen van de bonus zalbepaald moeten worden aande hand van de huidige prestatie (bij het lopende/of komende project) en aan de hand van de Past Performance (prestatiesuithetverleden).Demogelijkhedenvoorhetgebruikvaneendergelijksysteemzijninteressant,ofhet juridischmogelijkiseenbonusuittekerenaandehandvanpastenpresentperformancedientbeteronderzocht teworden. Denieuwevragenlijst(voorhetnieuweinstrumentziebijlageII)isbetergeobjectiveerddanhetProRailinstrument door de toevoeging van subvragen welke bewezen moeten kunnen worden (aan de hand van de eisen uit het bewijsdocumentBijlageII).HetinstrumentispraktischbetertoepasbaardanhetPIANOoinstrumentdoordateen meting minder tijd vergt. Of de nieuwe metingen voldoende objectief zijn voor gebruik als selectiecriteria of bij bonusisnetalsbijhetProRailinstrumentaanderechteromtebepalen. HetPIANOoinstrumentwerktmethoorenwederhoor,waarbijvooreenbeoordelingmetdeopdrachtgeveren opdrachtnemereenafspraakgemaaktdientteworden.Ditisvaakallastig.Daarnaastisbijhetbewijzenvande meetaspectenveeltijdnodigombewijzenopdezoekenincontractstukken.Degrotetijdslastpermeting,maakt hetinstrumentnietpopulairbijmanagers. 59 PijnackerHordijkc.s.p.31 58

62

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 7.CONCLUSIESENAANBEVELINGEN Dit hoofdstuk geeft een korte samenvatting over het onderzochte werk en een conclusie over de onderzoeksvragenenzalvervolgenseenaantalaanbevelingendoen.

7.1KORTESAMENVATTING AlenkelejarenismeninNederlandbezigmethetontwikkelenvaneenPastPerformancemeetinstrumentvoor aannemers. Rijkswaterstaat en Rijksgebouwendienst zijn twee partijen die actief betrokken zijn bij deze ontwikkeling. Er zijn meerdere initiatieven geweest, die allen niet voldoende draagvlak wisten te creëren. Bij ProRail werkt men succesvol met een procesprestatiemeetinstrument. Doordat dit instrument wel blijkt te werken, zijn RWS en de RGD zich hier in gaan verdiepen. Er is een samenwerking ontstaan tussen deze drie partijen voor de realisering van één instrument voor civiele aannemers, op basis van het ProRail instrument. Hierbijzijnvragenontstaanover;hoehetProRailinstrumentaantepassen,zodatdezevooralledriedepartijen toe te passen is. Waarom is het ProRail instrument wel succesvol? Hoe kan er voldoende draagvlak gecreëerd wordenvoorimplementatieindeGWWendewoningenutiliteitsbouw?Ditrapportheeftineersteinstantiede werking van het huidige ProRail instrument omschreven en deze vervolgens geanalyseerd op mogelijke knelpunten. Hieruit is vervolgens een samengestelde vragenlijst, met handleiding, ontstaan en een stappenplan voordeinvoeringvanprestatiemeten.Ookisergekekenhoedenieuwevragenlijstuitjuridischoogpunttotzijn rechtkankomen.

7.2CONCLUSIES

Hoofdstuk:7.ConclusiesenAanbevelingen

Deontwikkelingvanprestatiemeten Opdrachtgevers en opdrachtnemers in Nederland staan open voor het meten van prestaties. Al meerdere jaren wordenverscheidenePastPerformanceinstrumentengeïntroduceerd.GeenvandezePaPerinstrumentenzijneen succes geworden. Deze successen zullen uitblijven gezien de huidige ontwikkeling op het gebied van Precent Performance ofwel prestatiemeten. De hoofdreden voor het uitblijven van succes, is het gebrek aan draagvlak voordeinstrumenten.EengoedvoorbeeldishetPIANOoinstrument,waarbijmeerderebelangrijke60partijenin debouwwereldhebbensamengewerktaandeontwikkeling.Ditheeftgeresulteerdineenwerkendinstrumentdat wetenschappelijkenjuridischklopt.Hetfeitdatditinstrumentwerktzegtnietdatdezepraktischtoepasbaaris. Een Pilot bij RWS door PRC geeft als conclusie dat het instrument nog niet in zijn geheel geschikt is voor het toepassen op projecten. Het instrument moet transparant en simpel zijn volgens PRC. Het invullen van meetgegevensisechtervrijcomplex.Bijdebeoordelingdienencontractstukkenonderzochttewordenenditvergt veel tijd Dit vraagt ongeveer vier uur voor een interview. Hierbij zijn zowel de projectverantwoordelijke van de opdrachtgever,alsvandeopdrachtnemeraanwezig.Eenafspraakplannenmetbeidepartijenisvaakalvrijlastig, laat staan voor vier uur.Deze tijdvergende methode van meten, zal er hoogstwaarschijnlijk voor zorgendathet regelmatig voorkomt dat een partij niet mee wil werken aan de meting.Een praktisch toepasbaremethode van metenisdusgewenst. DeProRailmethodiek Uit de jaren ervaring van ProRail met het meten met de ProRail methodiek61 blijkt dat deze praktisch goed toepasbaaris.Metingenkostenrelatiefweinigtijdvoorprojectmanagers,hetgeengunstigisbijhetcreërenvan draagvlak. ProRail is het instrument in praktijk gaan gebruiken en heeft het hierdoor weten te verfijnen en al doendehetnutvanprestatiemeteninhetbedrijfwetenteintegreren. 60

Respectievelijk:Rijkswaterstaat,deRijksgebouwendienst,PIANOo,PSIBouw,IBR,endeTUDelft

61

Hetgebruikvanindicatorenendemaniervanmeten(eenzijdigebeoordelingdoormiddelvansubjectieve vragen)wordenalsdeProRailmethodiekgezien.

63



DemethodiekisgeschiktvoortoepassingindeGWWenwoningenutiliteitsbouw,hierbijmoeterwelrekening gehoudenwordenmethetfeitdathetgebruikvandemethodiekperorganisatiespecifiekgemaaktmoetworden. Partijen als RWS en RGD kunnen de methodiek gaan toepassen binnen hun organisatie. Hierbij dient rekening gehoudentewordendathetgebruikvanmeetgegevensvoorselectieengunningnietdirectgebruiktkanworden vanwege juridische beperkingen. Het instrument kan wel als stimulatie werken voor opdrachtnemers en projectmanagers om beter te gaan presteren. Wanneer er gegevens van de concurrentie worden gepubliceerd, zullen opdrachtnemers mogelijk beter dande concurrent gaanpresteren. De projectmanagers krijgen specifieke vragenoverprojecten.Menzaldaaromgefocustmoetenblijvenopdeindevragenlijstbenoemdeonderwerpen. Implementatie BijorganisatiesalsRWSenRGDdienthetinstrumentgeleidelijkindeorganisatiegeïmplementeerdteworden.In eerste instantie, zullen slechts een beperkte groep opdrachtnemers gemeten worden. Deze kunnen als pilot dienen,waarbijtevenshetnutvanhetmetenaanprojectmanagersbinnendeorganisatiegetoondkanworden. Eenworkshop,waarbijdepilotalsvoorbeelddient,kaneengeschikteopzetzijn.Naastdeprojectmanagersdient erdraagvlakbijopdrachtnemersgecreëerdteworden.Hetisvanbelangdatdezepartijenachterhetinstrument staan,aangezienhetanderslastigwordtdegegevenstegebruikenvoorselectie/gunning.Zodrahetinstrumentbij alle betrokken partijen voldoende draagvlak weet te creëren en het de mogelijkheid biedt voor toekomstige aanpassingen,kanhetinstrumenteensuccesworden. Voordeimplementatieiseenstappenplangemaakt,welketevindenisinhoofdstuk5.3. Hetnieuwemeetsysteem(onderzoeksresultaat) De ProRail methodiek zal, wanneer gebruikt door ProRail, RWS en RGD, voor de gezamenlijkheid tussen de drie dienstenzorgen.Degezamenlijkheidwordtverkregendoorervaringenmetdemethode,metelkaartedelen.De vragenlijst kan per dienst verschillen. ProRail maakt bij de huidige vragenlijst (bijlage I) gebruik van subjectieve vragen, waarbij de bewijslast niet vastgesteld is. Dit is niet gewenst wanneer de resultaten bij selectie/gunning gebruikt worden. Dit onderzoek levert een nieuw (samengesteld) meetsysteem (Bijlage II). Dit zorgt naast subjectieve hoofdvragen voor objectieve subvragen (ja/nee antwoorden). Voor de subvragen is vastgesteld waaraan het bewijs moet voldoen Dit is terug te vinden in het ontworpen bewijsdocument (Bijlage II). De subvragenzorgenvoorhetbewijsopdehoofdvraag.Hetvastgesteldebewijspersubvraaghoeftbijeeninterview, vanwegetijdsbesparing,nietdirectaangetoondteworden,welzaldebeoordelaarzichervanbewustmoetenzijn dathierachterafomgevraagdkanworden.Erzalnogonderzochtmoetenwordenofdebewijslastvoldoendeis voorselectieofgunning.Wanneeralleopdrachtnemendepartijenzichkunnenvindenindemeetmethodiek,zal binneneenerkenningsregelingofraamcontract,afsprakenoverhetgebruikvanmeetgegevensgemaaktkunnen worden.Hetsucceszalafhangenvanhetdraagvlakdathetinstrumentheeftbijallebetrokkenpartijen. Toepasbaarheid De nieuwe samengestelde vragenlijst moet gezien worden als een product dat verdere ontwikkeling/onderzoek nodigheeft.Detoepasbaarheidindepraktijkmoetaantonenofdelijstgeschiktis,danwelopiedertype(civiel technisch) project, dan wel voor iedere opdrachtgever. Er is een grote kans dat iedere opdrachtgever met zijn eigenvragenlijstkomt,deinbijlageIIsamengesteldevragenlijstkandanalseerstebouwsteendienen. Eenbouwsteentotprestatiemeten Het realiseren van een prestatiemeetinstrument waar iedereen achter staat is een ingewikkelde opgave. Gedurendehetonderzoekzijnerverscheidenemeningsverschillen(zoalsvierofvijfmeerkeuzeantwoordenenhet gebruik van de gegevens) tussen ProRail, RWS en de RGD aan het licht gekomen. Hieruit blijkt dat een overeenstemming niet makkelijk te bereiken is. Ook het niet slagen van het goed doorontwikkelde PIANOomeetinstrument is een teken dat het realiseren van een goed toepasbaar prestatiemeetinstrument niet eenvoudigis. Bij dit onderzoek wordt niet de verwachting uitgesproken dat de uitkomsten ‘de oplossing’ zijn voor de huidige problematiek. Het kan beter als een bouwsteen tot prestatiemeten gezien worden. Het is een stap in de ontwikkelingtothetkomenvaneengoedbruikbaarprestatiemeetinstrumentindebouw.

64

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 7.3AANBEVELINGEN


Hettestenvandevragenlijst Deontwikkelingvandevragenlijstmetbijbehorendeproceduresheeftveeltijdgevergd.Deontwikkelingeninde samenwerking tussen ProRail, RWS en de RGD verliepen hierbij zeer onregelmatig. Dit heeft ertoe geleid dat er tijdensditonderzoekgeentijdisgevondenomdevragenlijstaaneengrondigepraktijktestteonderwerpen.Voor de bruikbaarheid van deze lijst is dit echter wel noodzakelijk. Er zal gekeken moeten worden of de vragenlijst binnenelkeorganisatieopallecivieltechnischeprojectenbruikbaaris.Erisduseenpraktijktestnodigdiebijde drie organisaties, en eventueel nog bij andere opdrachtgevers, testen uitvoert op verschillende projecten. De geschiktheidvandegesteldemeetaspectendienthiermeegetestteworden. Bijhettestenishetzinvolzoweleen4antwoordenstuctuuralseen5antwoordenstructuurtetesten.Belangrijkis dit om erachter te komen wat het verschil in resultaten is. Verwacht wordt dat men bij een 5antwoorden structuurregelmatigeenneutraalantwoordzalgeven,onderzochtmoetwordenofditdaadwerkelijkzois. Geschiktheidbijandertypeopdrachten De vragenlijst is specifiek gemaakt voor het meten op civiel technische werken. Het is bij Rijkswaterstaat en de Rijksgebouwendienst de bedoeling dat het instrument ook gaat werken voor ander type werken (o.a. bouwkundige aannemers, installateurs). Er is onderzoek nodig of de gestelde meetwaarden ook voor deze type werkengeschiktzijn.Hierbijzalonderzochtkunnenwordenofhetvoorgesteldedrager/opleggerprincipegebruikt kanworden.Erkanhierbijgedachtwordendatdedragerbijalletypewerkenbruikbaaris,maardatdeoplegger pertypewerkspecifiekgemaaktdientteworden. Zelfreflectiedooropdrachtnemerenreflectieopopdrachtgever Hetvoorgesteldemeetinstrumentisontworpenvoorhetmetenvanopdrachtnemersdoordeopdrachtgever.Het kan interessant zijn om te kijken hoe de opdrachtnemer zichzelf beoordeeld. Wanneer dit aan de hand van dezelfdemeetwaardesgebeurdwaarmeedeopdrachtgeverookbeoordeeld,kunnendeuitkomstennaastelkaar gelegd worden. Een opdrachtnemer zou op deze manier kunnen testen of men kritisch genoeg is op eigen prestaties. Hetkanookinteressantzijnomtekijkenhoedeopdrachtnemerdeopdrachtgeverbeoordeeld.Opdrachtgevers zijnooknietperfectenkunnenlerenvandemanierwaaropmensturinggeeft.Hiervoorzoueenonderzoeknaar specifiekemeetwaardesvoorhetbeoordelenvanopdrachtgeversgedaankunnenworden. Bewijsdocument Hetbewijsdocument,metalsdoelbewijzenvasttestellenbijdeja/neesubvragen,moetmeertoegespitstworden op de in praktijk gebruikte documenten/afspraken. Er zal beter gekeken moeten worden of de bewijzen te achterhalenenhardtemakenzijn.Deervaringvanmensenuitdepraktijkishierbijvanessentieelbelang.Ditisnu nogteminimaaluitgewerktindebewijslijstenzaluitgebreidmoetenworden. Tevens zal de praktijk moeten uitwijzen of met het aanleveren van bewijs, door enerzijds de opdrachtgever en anderzijds de opdrachtnemer, tot een gezamenlijk antwoord gekomen kan worden wanneer er bezwaar wordt aangetekend. Onderzoeknaareenbonussysteem Het in hoofdstuk 6.3 genoemde bonussysteem zal op juridische haalbaarheid getoetst dienen te worden. Het voorstel is momenteel slechts een uitleg over hoe het systeem eruit kan komen te zien. Er zal beter gekeken moetenwordenofprestatiemetingen,metPastPerformancemetingeninhetbijzonder,gebruiktkunnenworden voor bonus(/malus). Hierbij zal bewezen moeten worden dat dit systeem geen deel uitmaakt van de gunningscriteriaenhierdoorindirectgebruiktkanwordenbijdegunning.

65

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 8.NABESCHOUWINGENREFLECTIE

Hoofdstuk:8.NabeschouwingenReflectie

Het afstudeeronderzoek heeft een jaar in beslag genomen. In deze tijd is er heel wat gebeurd in de praktijk wanneerwesprekenoverprestatiemeten.Hetisdaaromzinnigomopdezegebeurtenissenterugteblikkenende relatiemetmijnonderzoekhierbijweertegeven. SamenwerkingtussenProRail,RijkswaterstaatendeRijksgebouwendienst De drie partijen hebben samen met mij gewerkt aan de realisatie van één meetinstrument voor het meten van civieleaannemers.Mijnpersoonlijkecontactmetdezedriepartijenhebikalsprettigenzeerbehulpzaamervaren voorhetdoenvanmijnonderzoek.Echterrustehetresultaatvanmijnonderzoekookophetgoedverlopenvande samenwerkingtussendezedriepartijen.Dezesamenwerkingkenmerktzichinupsendowns. Kenmerkend voor het samenwerkingsproces is dat deze langzaam is verlopen. Beslissingen worden niet snel genomenengaanoverveelschijven.Demeestebetrokkenpersonenhadden–voorzoverikdatkaninschatten– te weinig tijd beschikbaar om snel en adequaat met de ontwikkeling van het prestatiemeetinstrument bezig te kunnenzijn. Eenaantalbelangrijkegebeurtenissenmetbetrekkingtotdesamenwerkingenontwikkelingzijn: 1. De trage ontwikkeling van het instrument in het najaar van 2009 heeft de Rijksgebouwendienst ertoe besloten een eigen versie van het meetinstrument te ontwikkelen. Dit besluit is mede gefundeerd op afspraken/beloftes die de Rijksgebouwendienst heeft gemaakt, welke beloven te starten met prestatiemeteninjanuari2010. 2. Vernieuwde poging tot samenwerking, met als resultaat de samenvoeging van het instrument van de Rijkswaterstaat en ProRail. Deze samengevoegde versie is resultaat van dit onderzoek. Ik heb dit in februari 2010 als eindvoorstel/product voor mijn onderzoek vastgesteld aangezien de ontwikkeling tussen de drie partijen (nog) niet tot een eindproduct zou leiden. Deze inkadering was nodig om mijn onderzoektekunnenafronden.Dedriepartijenzijnernietingeslaagdomdezesamengesteldevragenlijst als‘degezamenlijkevragenlijst’tegaangebruiken.DeRGDenProRailzijnverdergegaanmethuneigen instrumenten. 3. De Rijksgebouwendienst is er niet voldoende in geslaagd het eigen instrument te implementeren in de organisatie, waarna er toch weer nieuw leven in de samenwerking wordt geblazen. Op initiatief van Rijkswaterstaatiser(op2april2010)eenworkshop(ziehoofdstuk5)georganiseerdomdesamenwerking teversnellen/verbeteren. 4. Eind mei 2010 heeft ProRail (tijdelijk?) de samenwerking beëindigd. ProRail is van mening dat Rijkswaterstaat endeRijksgebouwendienst teveel afwijken vanafspraken diegemaakt zijn omtrenthet gebruik van de afgesproken ‘ProRail methode’. Hierdoor voorziet ProRail dat het realiseren van een gezamenlijkmeetsysteemopdekortetermijnniethaalbaaris. Desamenwerkingiszoals deviergenoemdepuntenlatenzieneenaantalkeerterugbijafgeweest.Hetlijkt daarom aannemelijk dat de drie partijen niet tot één uniform instrument gaan komen, en misschien zelfs niet komen tot uniforme afspraken. Vooral punt 4 geeft hiervoor aanleiding. Hierbij is de vraag of de gemaakte afspraken over de samenwerking bij alle partijen duidelijk zijn. ProRail leunt daarnaast teveel op het eigen instrumentenstelttesnelvastdatdiscussiesovereventueleveranderingen,ookvoorProRailmoetengelden.Dit laatsteheeftmijnsinziensgeleidtotdetijdelijketerugtrekkingvanProRailindeontwikkeling.Hetinhoofdstuk5 voorgesteld implementatieplan (waarbij iedere partij een eigen weg neemt) lijkt door de genoemde ontwikkelingengoedaantesluitenbijdehuidigesituatie. Mijnafstudeerproces Hetlangzameprocesheeftdirectinvloedgehadopmijnafstudeerproces.Deeerstedatumvoorhetopleverenvan hetprestatiemeetinstrument(doordedrieopdrachtgevers)stondop1januarigepland.Dezedatumisechterniet gehaald.Ikhebhierdoormijnafstudeerdatumnaarachtergeschoven,aangezienikbijhetverdereontwikkelproces betrokkenwildeblijven.Daarnaasthadikhetplanhetteontwikkeleninstrumentinpraktijktetesten,hierishet echter niet van gekomen aangezien de samenwerking en dus ook de afspraken omtrent het instrument steeds veranderden.Hetonderzoekhadinmijnogensnellergekund,maardoordesterkekoppelingmetdepraktijkwas ditvoorhetbehalenvaneengoedresultaatnietmogelijk.

66


Hoofdstuk:8.NabeschouwingenReflectie

Tijdenshetheleontwikkelprocesbenikzoveelmogelijk bijafsprakentussendedriepartijenaanweziggeweest. Hierbij heb ik mijn kennis en ervaring over prestatiemeten gedeeld en tevens informatie opgedaan voor mijn afstudeeronderzoek. Voor prestatiemeten is aanbestedingsrecht van belang voor het gebruik van prestatiegegevens. Tijdens mijn onderzoek is in de beginfase oriënterend onderzoek gedaan naar de mogelijkheden in het aanbestedingsrecht. Tijdenshetontwikkelprocestothetkomentotéénbruikbaarmeetinstrumentheefthetaanbestedingsrechtslecht opdeachtergrondmeegespeeld.Ditheeftermedemeetemakendatikvanmeningbendathetprestatiemeten an sich eerst dusdanig getest/gebruikt moet worden zonder consequenties voor de beoordeelden. Wanneer er geenconsequentieszijn,isprestatiemetenmogelijkzondereventuelejuridischegevolgen.Wanneerereengoed werkendinstrumentstaatisdejuridischetoepasbaarheidvanbelang. Nadat het in dit onderzoek voorgestelde meetinstrument door mij vastgesteld was, ben ik gaan kijken hoe dit vanuit een juridisch oogpunt aanbestedingstechnisch gezien te gebruiken is. Het goed bestuderen van de vigerendeaanbestedingsreglementenhebbenmijeengoedbeeldgegevenoverdemogelijkhedenwatbetrefthet gebruikvanprestatiemetingenbijaanbesteding.Dezekennishadiknaderhandgezieneerderinhetproceswillen vergaren,hierdoorhadikdiscussiesoverhetgebruikvanhetinstrumentbeterkunnenonderbouwen. Overhetresultaatvanditonderzoekbenikzeertevreden.Ikdenkdatermetrechtgesprokenkanwordenvaneen bouwsteentotprestatiemeten.Hierbijbesefikdathetvoorgesteldeinstrumentverdereuitwerkingbehoeft,maar dat het concept zeker bruikbaar is. Ook voor de wetenschap denk ik belangrijk werk te hebben geleverd. De beschrijving van het ProRail instrument en de analyse van het ontwikkelproces geven een goed beeld van de praktijkbijprestatiemeten.Detegengekomenproblemenzijnnietuitboekentehalen,maarmoetenondervonden worden. Het ontwikkelen van een prestatiemeetinstrument voor de Nederlandse bouwpraktijk is een lastige opgave,ditkaniknubeamen.

67

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 9.LITERATUUR 9.1.PUBLICATIES Ang,K.I.e.a,(2004),“PSIBPP1,InventoryofInternationalreformsinBuildingandConstruction”,Gouda Ang,G.,Coutney,G.enSpekking,D.(2004)PSIBPP1,InventoryofInternationalreformsinBuildingand Construction.Gouda Ang, George (2009) Conceptrapport internationale ervaringen met prekwalificaties en aanbestedingen obv past performances,BPIBuildingProcessInnovationConsult&Research Bakens,W.(2008)PastPerformanceBouwDeontwikkelingvaneenmeetinstrument,PSIBouw Bruggeman, E.M., ChaoDuivis, M.A.B., Koning, A.Z.R. (2007) Praktijkboek contracteren in de bouw, Den Haag, InstituutvoorBouwrecht ChaoDuivis,M.A.B.,Koolwijk,J.S.J.andGeraedts,R.P.(2005)PrequalificationofContractorsbasedonPast Performance. ChaoDuivis,M.A.B.(november2006)Hetbeoordelenvanaannemersopbasisvanpastperformance:eeneerste verkenning,Bouwrecht CROW(2005)UAVGC2005,modelbasisovereenkomst,Venlo,vanGrinsvendrukkersVenlobv Dorée, A., Pries, F., Veen, B. v.d. en Vrijhoef, R. (2003) Het bouwparadigma: waarom de bouw niet verandert. BuildingBusiness,februari Essers,M.J.J.M.(2006)Aanbestedingsrechtvooroverheden,Naareenverantwoordaanbestedingsbeleidonderhet nieuweaanbestedingsrecht,’sGravenhage,ReedBusinessInformationbv Kashiwagi,T.(2009)Arevolutionaryapproachtoprojectmanagementandriskminimization,PerformanceBased StudiesResearchGroupArizonaStateUniversity PerformanceBasedStudiesResearchGroup(2008)JournalfortheAdvancementofPerformanceInformationand ValueVOL.1NO.1,ArizonaU.S.A. Petit,C.(2010)PassendePerformance Pijnacker Hordijk, E.H., Bend, G.W. van der, Nouhuys, J.F. van (2009) Aanbestedingsrecht, Handboek van het EuropeseenhetNederlandseAanbestedingsrecht,DenHaag,SduUitgeversbv PRC(2008)EvaluatiePastPerformanceMetingen(G)VONAT PSIBouw(2006)Visieoptransparantieindebouw Hoofdstuk:9.Literatuur

PSIBouw(2007)Gunnenopwaarde;hoedoejedat?Praktischehandreikingvoorbouwopdrachten TUDKenniscentrumBPI(2006)Onderscheiddoorprestaties,Eindrapport,Delft Wamelink, J.W.F, Geraedts, R.P., Hobma, F.A.M., Lousberg, L.H.M.J., De Jong, P., et al. (2009), Inleiding bouwmanagement,Delft,VSSD

68

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 9.2.RAPPORTEN ProRail(2009)BasisrapportPrestatiemetenAlgemeenDeel,Utrecht,ProRailAKI ProRail(2009)BasisrapportPrestatiemetenDeelBSpooraannemers,Utrecht,ProRailAKI ProRail(2009)Conceptbasisrapportprestatiemeting ProRail(2009)ResultatenPrestatiesErkendeSpooraannemerskwartaal12009

9.3.AFSTUDEERONDERZOEKEN Nowee,V.P.A.(2008)Architectenselectieopbasisvanproceskwaliteit,TUDelft,Delft Schol, E (2008) Sturingsmogelijkheden in een D&Ccontract; Praktijkgericht onderzoek naar de werking van het bonus/malusprincipe,UniversiteitTwente,Enschede

9.4.AANGEHAALDEAANBESTEDINGSWETGEVING Europees Algemenerichtlijn

RichtlijnNutssectoren

Nationaal BAO

BASS

ARW2005

ARN2006 BAW2005 BeleidsregelsBIBOB

Hoofdstuk:9.Literatuur

Richtlijn 2004/18/EG van het Europese Parlement en de Raad van 31 maart 2004 betreffende de coördinatie van de procedures voor het plaatsen van overheidsopdrachten voor werken, leveringen en diensten, PB2004,L134/114 Richtlijn 2004/17/EG van het Europese Parlement en de Raad van 31 maart 2004 betreffende de coördinatie van de procedures voor het plaatsen van opdrachten in de sectoren water en energievoorziening, vervoerenpostdiensten,PB2004,L134/1. Besluitaanbestedingsregelsvooroverheidsopdrachten;Besluitvan16juli 2005,Stb.408,zoalsditlaatstelijkisgewijzigdbijBesluitvan5juli2008, Stb.295. Besluit aanbestedingen speciale sectoren; Besluit van 16 juli 2005, Stb. 409,zoalsditlaatstelijkisgewijzigdbijBesluitvan5juli2008,Stb.248. AanbestedingsreglementWerken2005zoalsingevoerdbijBesluitvan14 oktober2005,Stb.207 AanbestedingsreglementNutssectoren2006 Besluitaanbestedingvanwerken2005 BeleidsregelsIntegriteitenuitsluitingbijaanbestinginBIBOBsectoren

69

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 AFKORTINGEN Aanbestedingszaken,Kostenmanagementeninkoop AanbestedingsreglementNutssectoren2006 Aanbestedingsreglement2005 BesluitAanbestedingsregelsvoorOverheidsopdrachten BesluitAanbestedingSpecialeSectoren BeleidsregelsAanbestedingvanWerken2005 Wetbevorderingintegriteitsbeoordelingendoorhetopenbaarbestuur DesignBuildFinanceMaintainOperate EuropeseGemeenschap(pen) Grond,Weg,enWaterbouw HofvanJustitievandeEuropeseGemeenschappen KeyPerformanceIndicator Nomenclatuurvanterritorialeeenhedenvoorstatistiek Opdrachtgever Opdrachtnemer PastPerformance ProcesIndicatorenAlgemeen PerformanceInformationProcurementSystem ProgrammavanEisen Rijksgebouwendienst rechtsoverweging rechtsoverwegingen Rijkswaterstaat StaatsbladvanhetKoninkrijkderNederlanden Staatscourant TreindienstAantastendeOnregelmatigheid UniformeAdministratieveVoorwaardenvoorgeïntegreerdecontracten2005

Hoofdstuk:Afkortingen

AKI ARN2006 ARW2005 BAO BASS BAW2005 BIBOB DBFMO EG GWW HJEG KPI NUTS OG ON PaPer PIA PIPS PVE RGB r.ov. r.ovv. RWS Stbl Stcrt. TAO UAGGC2005

70

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 BIJLAGEI:PRORAILVRAGENLIJST–SPOORAANNEMERS

Hoofdstuk:BIJLAGEI:ProRailvragenlijst–Spooraannemers

71



72



73



74



75

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 BIJLAGEII:ONDERZOEKSVOORSTELMEETSYSTEEMCIVIELEAANNEMERS HANDLEIDINGBIJMEETSYSTEEM

Antwoord A B C D

Score 25% 50% 75% 100%

Hoofdstuk:BIJLAGEII:Onderzoeksvoorstelmeetsysteemcivieleaannemers

Dit meetsysteem is gericht op het meten van de procesprestaties van opdrachtnemers (civiele aannemer in dit geval) over de afgelopen periode. Het doel is de prestaties van de opdrachtnemer te stimuleren zodat de proceskwaliteit omhoog gaat. Resultaten worden gerapporteerd aan de opdrachtnemer en vergeleken met de prestatiesvandeconcurrentie. Hoofdaspecten Metingen worden verricht aan de hand van een vragenlijst, deze maakt onderscheid tussen een vijftal hoofdaspecten(indicatoren)waaropdeprocesprestatiegemetenwordt. 1. Planmatigwerken 2. Deskundigheidenkwaliteit 3. Samenwerking,communicatieenorganisatie 4. Milieuenduurzaamheid 5. Veiligheid De gemeten prestaties zullen per hoofdaspect gerapporteerd en vergeleken worden. Tevens wordt er één eindcijfergegevenopprojectenopbedrijfsniveau. Meetaspectenmetgewichten Deonderstaandetabelgeeftde13meetaspectenweer.Persubaspectisereengewichtgegeven.Ditgewichtstaat voorhetaantalprocentdatditaspectmeeteltoverhettotaal.Degewichtenzijnperopdrachtgevertebepalenen staandaarominonderstaandetabelallemaalopn.t.b.(nadertebepalen). VraagNr. Gewicht Indicator Meetaspect 1 n.t.b. Planmatigwerken Kwaliteitvandeplanning/mijlpalenoverzicht 2 n.t.b. Nakomenvandeplanning 3 n.t.b. Deskundigheidenkwaliteit Multidisciplinairekennis 4 n.t.b. Nakomengevraagdekwaliteit 5 n.t.b. Niveaurisicoinventarisatie/beheersmaatregelen 6 n.t.b. Signaleringenbeheersingrisico’s 7 n.t.b. Samenwerking,communicatie Werkrelatiemetcontactpersoon enorganisatie 8 n.t.b. Afhandelingproblemen 9 n.t.b. Omgangcontractmutatiesenscopewijzigingen 10 n.t.b. Organiserenwerkdocumenten 11 n.t.b. Milieuenduurzaamheid Omgangmetmilieuaspecten 12 n.t.b. Veiligheid UitvoeringV&Gplan 13 n.t.b. Orde,netheidenafschermingvanhetwerkterrein Totaal 100% Antwoordmogelijkheden Pervraagzijnervierantwoordenmogelijk(At/mD) Omschrijving Ondanksmeerdereverzoekenwordtnogsteedsnietvoldaan Naéénherinneringwordtaandeeisvoldaan Erisgeenherinneringofverzoeknodig; aandeeiswordtvoldaan Erwordtsignificantmeergeleverddangevraagd

76


77


Wanneereenaannemeraandegesteldeeisheeftvoldaan,zalhetantwoord‘C’toegekendworden.Hierbijscoort eenaannemer75%.Een100%scorewordtbehaald,wanneereenaannemerbeterpresteertdanergevraagdis. Wanneererslechtergepresteerdwordtzalereen‘A’of‘B’antwoordgegevenworden. Subaspecten Per meetaspect zijn er drie subaspecten. De subaspecten zijn vragen, die indienzij positief beantwoord moeten met'ja',ofnegatiefmet'nee'ingevuldtedienenteworden.Dezesubaspectenhebbeneentweeledigdoel: 1.Debeoordelaarhelpenbijhetbeantwoordenvandehoofdvraag Desubvragenzijninhoudelijkopdehoofdvraagengevenhierdooreenbeterbeeldaandebeoordelaarwaaroper bijdehoofdvraaggedoeldwordt. 2.Hetgegevenantwoordbijdehoofdvraagonderbouwen,alszijndehetbewijs Dehoofdvragenhebbeneensubjectieveaard.Desubvragenzorgenvooreenonderbouwingvandehoofdvraag. Doorslechtstweeantwoordmogelijkhedentegeven,moetereenhardekeuzewordengemaaktofietswelofniet behaaldis. Wanneern.v.t. Er kan bij de ja/nee vragen tevens n.v.t. (niet van toepassing) ingevuld worden. Dit kan enkel ingevuld worden wanneer er aan de in het bewijsdocument gestelde voorwaarde wordt voldaan. Wanneer er bij meerdere subvragenn.v.t.isingevuldkanertevensbijdehoofdvraagn.v.t.ingevuldworden. Interview Devragenwordenbeantwoordaandehandvaneeninterview.Eenopgeleideauditorvandeopdrachtgeverofeen onafhankelijke partij stelt de vragen aan de hoogst mogelijke projectverantwoordelijke van de opdrachtgever. Deze projectverantwoordelijke moet uitgebreide kennis en inzicht hebben in de stand van zaken over het te interviewenproject.Dezekenniskanookwordeningewonnendooriemand(binnendeeigenorganisatie)bijhet interviewtebetrekken.Indatgevalblijftdehoogsteprojectverantwoordelijkeverantwoordelijkvoordegegeven antwoorden.Nahetvollediginvullenvandevragenlijstondertekentdebeoordelaardelijstenverklaarthiermee devragennawaarheidtehebbenbeantwoord. Bewijs Deantwoordengegevenopdesubaspectenmoetenbewezenkunnenworden.Ditbewijshoefttentijdevanhet interview niet aangeleverd te worden. Enkel wanneer er door het beoordeelde bedrijf getwijfeld wordt aan de correctheidvandemetingenkaneropeenaantalvragenombewijsgevraagdworden.Hetteleverenbewijsstaat vastgesteldinhetbewijsdocument.Degeïnterviewdeverklaartbijhetondertekenenvandevragenlijst,dataande gesteldebewijzenvoldaankanworden. Wiemoethetbewijsleveren? Er wordt enkel om bewijs gevraagd, wanneer er bezwaar op de resultaten wordt aangetekend door het beoordeeldebedrijf.Hetbewijsgeldtvoordesubaspecten,wanneerergetwijfeldwordtaandegeldigheidvaneen subaspect, moet de opdrachtnemer het gevraagde bewijs voor een gewenste positief ‘Ja’ leveren, terwijl de beoordelaarhetgevraagdebewijsvooreenantwoord‘Nee’moetleveren.Eenoverlegtussenauditor,beoordelaar endeopdrachtnemermoetdanzorgenvooruitsluitseloverhetantwoord. Ongeldigheidinterview Wanneererbijdrieofmeerhoofdvragenn.v.t.isingevuld,zalhetresultaatongeldigwordenvoordebeoordeling opbedrijfsbasis.Hetresultaatgeldtdanenkelvoordebeoordelingopprojectbasis.

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 DEVRAGENLIJST


78



79



80



81

|DickLemans|PerformancemetenvolgensdeProRailmethode| 23juni2010 DEBEWIJSDOCUMENT


82



83



84



85



86



87


Hoofdstuk:BIJLAGEIII:DevragenlijstvandeRijksgebouwendienst

BIJLAGEIII:DEVRAGENLIJSTVANDERIJKSGEBOUWENDIENST

88



89



90



91

Performance meten volgens de ProRail methode

Recommend Documents