Bijlage 1: samenvatting en conclusies HCG voor ProRail
De samenvatting van de belangrijkste bevindingen van de onderzoekers en hun conclusies luiden: “1. Met betrekking tot onderzoeksvraag 1 ‘Sluit de conceptuele invulling van outputmanagement aan bij de inhoudelijke eisen van de concessie?’ wordt geconcludeerd dat dit het geval is. Het dashboard van ProRail (op RvB- niveau) is voldoende relevant voor interne sturing op basis van de missie van ProRail. Het dashboard is eveneens geschikt om aan het ministerie verantwoording af te leggen op grenswaarden. Het dashboard mag echter niet als statisch gegeven worden gezien; het is nooit af. De onderzoekers hebben maatregelen voorgesteld om de externe relevantie op korte termijn te vergroten en denken daarbij aan het ontwikkelen van de NPI Treinpaden en de NPI Satisfactie Vervoerders. De interne relevantie van het dashboard kan worden vergroot door het ontwikkelen van NPI’s voor de bijdrage van ProRail aan de Mobiliteit en een NPI voor het oplossen van punctualiteits- en capaciteitsknelpunten; deze NPI’s hebben bovendien ook externe relevantie. 2. In relatie tot onderzoeksvraag 2 ‘Kan er voldoende vertrouwen worden gesteld in de kwaliteit van de metingen van de indicatorwaarden?’ concluderen de onderzoekers dat de NPI’s van het dashboard van ProRail voldoende betrouwbaar gemeten worden, zodat zij geschikt zijn om te gebruiken voor stuurinformatie. De organisatie beschikt over voldoende kwaliteit om ook nieuwe NPI’s betrouwbaar te kunnen meten. Voor de (subjectieve) NPI’s Reinheid en Sociale Veiligheid (voor de stations) zijn meer betrouwbare metingen nodig, zolang deze NPI’s gebruikt worden om op grenswaarden te sturen. De onderzoekers trekken in twijfel of een betrouwbaar te meten NPI voor Sociale Veiligheid te ontwikkelen is. Op het gebied van meten van klantbeleving wordt met NS samengewerkt; het bestaande klanttevredenheidsonderzoek zal komend jaar worden doorgelicht met het doel meer grip op de klantbeleving te krijgen. 3. Onderzoeksvraag 3 ‘Sluit het besturingsmodel van ProRail aan op de conceptuele invulling van outputmanagement met het dashboard van ProRail?’ wordt posit ief beantwoord. De NPI’s van ProRail zijn tot op het laagste managementniveau in de organisatie nauwkeurig doorvertaald en er zijn managers verantwoordelijk gemaakt voor de indicatorscores. Van boven naar beneden vindt er voldoende en gestructureerd overleg plaats. Zowel de frequentie als de inhoud van het overleg geeft de onderzoekers het vertrouwen dat er sprake is van een gesloten feedbackloop. Ook in de beoordeling van medewerkers en in de management contracten spelen de NPI’s een belangrijke rol. 4. Met betrekking tot onderzoeksvraag 4 ‘Houdt ProRail adequaat rekening met de interactie-effecten tussen zijn eigen activiteiten en doelen en die van NSR?, concluderen de onderzoekers dat over het algemeen de kwaliteit van de interactie op een heel behoorlijk niveau ligt. ProRail is in voldoende mate op de hoogte van
de interactieeffecten tussen haar werkzaamheden, operationele doelen en de uitkomsten daarvan, en die van vervoerders waaronder de NSR. Formeel is de interactie met NSR vastgelegd in overeenkomsten, in de feitelijke uitvoering wordt als regel constructief samengewerkt. De interactie op hoog niveau met NSR, met name over de beschikbaarheid, moet naar het oordeel van de onderzoekers worden verbeterd. 5. De onderzoekers zijn met betrekking tot onderzoeksvraag 5 ‘Is de organisatie in voldoende mate geprofessionaliseerd?’ van oordeel dat ProRail als organisatie in voldoende mate is geprofessionaliseerd voor outputsturing. Er is een adequaat HRMbeleid, de procesbeheersing heeft veel aandacht gekregen, er is een speciaal programma opgezet om outputsturing te introduceren. De onderzoekers beseffen dat al deze maatregelen geen garantie betekenen voor betere prestaties, maar vinden wel dat hiermee is voldaan aan een cruciale voorwaarde voor outputsturing. In de organisatie heeft aantoonbaar een model post gevat waarin de geleverde prestatie continu wordt geobserveerd en beoordeeld op basis waarvan actie wordt ondernomen. 6. De onderzoekers komen met betrekking tot onderzoeksvraag 6 ‘Is de ontwikkeling van de indicatorscores van de NPI’s van het ProRail-dashboard tevredenstellend’ tot een gematigd positieve conclusie. Over relatief veel indicatorscores kan (nog) geen uitspraak worden gedaan. Dat wordt veroorzaakt doordat ProRail voor een aantal NPI's de definitie aangepast heeft, zodat vergelijken van verschillende jaren moeilijk wordt. De resterende NPI’s laten wel een meerjarige resultaatsontwikkeling zien, maar de ontwikkeling is onvoldoende om hier over een trend te spreken. In een aantal gevallen is er sprake van een afvlakkende curve na een aanvankelijk snelle vooruitgang. Een van de verklaringen hiervoor is dat de prestatiescore op een heel hoog niveau ligt zodat verbeteringen marginaal worden. De onderzoekers vertrouwen erop dat de aanvullende maatregelen die zij voorstellen niet alleen de relevantie van het dashboard vergroten, maar ook meer dynamiek in het dashboard zullen brengen. 7. De onderzoekers concluderen met betrekking tot onderzoeksvraag 7 ‘Is de ontwikkeling van de normstelling van de NPI’s van het ProRail-dashboard tevredenstellend? dat de ontwikkeling van de normstelling niet voldoende tevredenstellend is. Het is vaak onduidelijk op basis waarvan richt- of grenswaarden opgesteld worden. Ze worden in opeenvolgende Beheerplannen nogal eens bijgesteld. Dat is voor een deel inherent aan het ontwikkelingsproces van een NPI: deze wordt geoperationaliseerd, er wordt mee geoefend, aan de hand daarvan krijgt de organisatie het gevoel wat er feitelijk kan. De onderzoekers vinden niettemin dat het bepalen van de normstelling thans bij ProRail teveel een zoekproces is. Het beleid moet erop gericht zijn een meerjarige, geleidelijk opklimmende normwaarde te realiseren die van betekenis is voor vervoerders en het ministerie. De eigen prestatiemogelijkheden mogen hierbij niet op voorhand dominant zijn en voor zover de prijs-prestatieverhouding door de ontwikkelingen ingrijpend veranderd zijn moet hierover worden afgestemd.
Conclusies • De onderzoekers concluderen dat ProRail voldoet aan de randvoorwaarden die in art. 20.1 Beheerconcessie zijn geformuleerd. Het aangaan van een op outputsturing gebaseerde relatie vanaf 1 januari 2008 door ProRail met het ministerie is verantwoord; zowel op basis van de onderzoeksbevindingen, het door ProRail verstrekte materiaal en de opstelling van het management van ProRail kan hierin een gerechtvaardigd vertrouwen worden gesteld. • Om het dashboard van ProRail geheel in overeenstemming te brengen met de stand van heden vinden de onderzoekers het noodzakelijk om een aantal (5) hier geformuleerde maatregelen te treffen. Zij achten ProRail in staat om daarmee zijn prestatiemanagementsysteem nog in 2008 aan te vullen. • De onderzoekers zijn van oordeel dat het management van ProRail de verantwoording voor het realiseren van deze maatregele n wil en kan opnemen. ProRail heeft in de afgelopen jaren aan outputsturing veel managementaandacht gegeven, er zijn intern voldoende maatregelen genomen en het migratietraject is professioneel ingevuld.”
Bijlage 2: samenvatting en conclusies HCG voor NS
De samenvatting van de belangrijkste bevindingen van de onderzoekers en hun conclusies luiden: “1. Met betrekking tot onderzoeksvraag 1 ‘Sluit de conceptuele invulling van outputmanagement aan bij de inhoudelijke eisen van de concessie?’ wordt geconcludeerd dat het outputsturingsysteem van NSR volop in ontwikkeling is. De conceptuele opzet zoals NSR deze heeft gegeven aan outputmanagement sluit in principe aan bij de inhoudelijke eisen van de concessie zodat het raamwerk voor outputsturing in de organisatie aanwezig is. Tegelijkertijd is NSR hard bezig dit raamwerk verder in te vullen en te verbeteren. Resultaten hiervan zullen zeker ook in 2008 zichtbaar worden. Dit betekent dat in principe NSR in staat moet zijn op dit gebied een sluitend prestatiemanage mentsysteem te creëren. Het is thans onvoldoende duidelijk of dit reeds in 2008 het geval zal kunnen zijn. 2. In relatie tot onderzoeksvraag 2 ‘Kan er voldoende vertrouwen worden gesteld in de kwaliteit van de metingen van de indicatorwaarden?’ concluderen de onderzoekers dat de meetkwaliteit van de objectieve NPI’s goed te noemen is. Met betrekking tot de subjectieve NPI’s (de klantoordelen) moeten de onderzoekers zich onthouden van een eindoordeel. De algehele conclusie m.b.t. de meetkwaliteit van de door NSR gerapporteerde NPI’s is dat er teveel onzekerheden zijn om tot een uitspraak te komen. 3. Onderzoeksvraag 3 ‘Sluit het besturingsmodel van NSR aan op de conceptuele invulling van outputmanagement met de scorecard van NS?’ wordt niet positief beantwoord. Het besturingsmodel van NSR behoeft momenteel nog aanvulling om goed aan te sluiten op de conceptuele invulling van outputmanagement met de scorecard van NSR op alle managementniveaus. Er is nog niet voldoende toegesneden informatie over de NPI's aanwezig. Ook is er onvoldoende gestructureerd voortgangsoverleg over de resultaten van de NPI's tussen de verschillende managementniveaus. 4. Met betrekking tot onderzoeksvraag 4 ‘Houdt NSR adequaat rekening met de interactie-effecten tussen haar eigen activiteiten en doelen en die van ProRail?’, concluderen de onderzoekers dat over het algemeen de kwaliteit van de interactie op een heel behoorlijk niveau ligt. Dat geldt met name voor de formele interactie tussen NSR en ProRail; allerlei spelregels en formele afspraken hebben inmiddels hun intrede gedaan die de verwachtingen over en weer reguleren. De onderzoekers vinden dat daarmee de basis voor een goede samenwerking is gelegd. 5. De onderzoekers zijn met betrekking tot onderzoeksvraag 5 ‘Is de organisatie in voldoende mate geprofessionaliseerd?’ gematigd positief. Binnen NSR zijn tal van goede ideeën en initiatieven ontwikkeld om de organisatie te professionaliseren en te richten op de waardering van de klant maar de realisatie hiervan is in veel gevallen pas in 2008 vast te stellen. NSR managers geven zelf
aan dat het ‘stapje voor stapje’- model met veel vrijheidsgraden wordt toegepast en dat het daarom nog tijd kost om deze organisatieverandering te realiseren. 6. De onderzoekers komen met betrekking tot onderzoeksvraag 6 ‘Is de ontwikkeling van de indicatorscores van de NPI’s van de NSR scorecard tevredenstellend?’ tot een gematigd positieve conclusie. NSR heeft zich uit het diepe dal van 2001-2002 geworsteld en nagenoeg alle NPI's vertoonden een sterke stijging over de jaren direct na deze periode. Sinds die tijd heeft NSR haar resultaatniveau bestendigd hetgeen wijst op een stabiele bedrijfsvoering, iets wat belangrijk is voor outputmanagement. Ook de laatst bij de onderzoekers bekende cijfers (3e kwartaal 2007) wijzen op een bestendiging. 7. De onderzoekers concluderen met betrekking tot onderzoeksvraag 7 ‘Is de ontwikkeling van de normstelling van de NPI’s tevredenstellend?’ dat de ontwikkeling van de normstelling niet voldoende tevredenstellend is. De onderzoekers zijn van oordeel dat de ambitie van NSR om veel van de klantoordelen met 1 procent per jaar te verbeteren achterblijft bij wat verwacht mag worden. Het lijkt erop alsof NSR aan de veilige kant wil blijven, om als de cijfers bekend worden het land te verrassen met cijfers die beter zijn dan de afgesproken norm. NSR doet er goed aan om continu verbeterende grenswaarden voor de NPI’s vast te stellen. Conclusies • Alles afwegend wordt aan de eis van art 26.1 a Vervoerconcessie niet voldaan. Het kennen va n een verband tussen operationele doelen, de eigen activiteiten en de resultaten is door NSR onvoldoende aannemelijk gemaakt. • De onderzoekers concluderen positief ten aanzien van het voldoen aan art 26.1. b Vervoerconcessie: NSR heeft de nodige maatregelen genomen zodat zij bekend is met de interactie-effecten tussen de eigen activiteiten en doelen en die van de infrastructuurbeheerder. • De onderzoekers doen geen uitspraak over het voldoen aan art 26.1. c Vervoerconcessie in het bestek van het onderzoek onvo ldoende informatie en tijd was om tot een onderbouwd oordeel te komen. • De onderzoekers concluderen dat NSR nog niet voldoet aan de eis van 26.1 d Vervoerconcessie. De tekst van art 26 Vervoerconcessie maakt duidelijk dat het in dit artikel om randvoorwaarden gaat die – zo spoedig mogelijk - doch uiterlijk met ingang van 1 januari 2008 moeten zijn gerealiseerd. Deze tijdsklem verdraagt zich niet met de nieuwe besturingsfilosofie van NSR. Deze wordt in de organisatie geïntroduceerd in het tempo dat de organisatie kan verwerken, hiermee is men nu 1,5 jaar bezig is. De resultaten zijn, hoewel bemoedigend, niet voldoende concreet aantoonbaar in relatie tot het gestelde in de Vervoerconcessie. Men zou kunnen zeggen dat het onderzoek ‘te vroeg’ heeft plaatsgevonden om feitelijk te kunnen constateren dat de randvoorwaarden vervuld zijn. • De scorecard van NSR voldoet naar het oordeel van de onderzoekers nog niet geheel aan de eis dat hiermee inhoudelijk op grenswaarden kan worden
gestuurd zoals de strekking is van art 9.2 Vervoerconcessie. De onderzoekers hebben aangegeven welke wijzigingen in de scorecard moeten worden aangebracht om wel te kunnen beschikken over NPI’s die -naar de situatie van nu- in voldoende mate extern relevant zijn.
•
•
De onderzoekers adviseren he t ministerie om met ingang van 1 januari 2008 een outputsturingsrelatie aan te gaan in de vorm van een ‘proefjaar’. De onderzoekers hebben overwogen dat hiermee recht wordt gedaan aan de inspanningen van NSR om haar nieuwe besturingsfilosofie te realiseren en voorts dat NSR reeds op basis van dit onderzoek een belangrijke omslag heeft gemaakt naar een goede en representatieve set van subjectieve indicatoren op basis van klantoordelen en objectieve indicatoren. Niet overgaan op een outputsturingsrelatie per 1 januari 2008 zou voor demotivatie kunnen zorgen en het proces kunnen vertragen. In het ‘proefjaar’ moet de introductie van de nieuwe besturingfilosofie van NSR samengaan met de voortzetting van de aansluiting van NSR bij de eisen van de vervoerconcessie. Om deze aansluiting te waarborgen hebben de onderzoekers specifieke condities geformuleerd. Deze betreffen zowel de outputsturingsrelatie als de outputsturingsinhoud. Wanneer de NSR directie deze condities accepteert, mag naar het oordeel van de onderzoekers worden aangenomen dat per 1 januari 2008 met het ministerie een outputsturingsrelatie kan worden aangegaan. De voorgestelde en geaccepteerde condities moeten dan evenwel onderdeel worden van de nieuwe outputsturingsrelatie.”
