Kritische prestatie indicatoren
Benchmarkrapportage kwaliteit datastromen reisinformatie - oktober 2015
Benchmarkrapportage
Een uitgave van NDOV Beheer Publicatiedatum: 27 november 2015
Inhoudsopgave 3
4
5
Inleiding
Levering datastromen brondata vervoerders
KV1 Tijdigheid aanlevering dienstregeling
6
7+8
9
Ritregistratie
Haltepassages
KV6 Afgekeurde berichten
10
11
12
Update frequentie
KV6 Initialisatie
KV6 Tijdigheid eerste bericht
13
14+15
16
KV6 Doorlooptijd
KV15 Berichten
KV17 Aantal ontvangen berichten
2.
Inleiding NDOV beoogt het beschikbaar stellen van brondata voor reisinformatieproducten en diensten van hoge kwaliteit aan afnemers en marktpartijen. De opgestelde KPI’s geven inzicht in de kwaliteit van Ov-brongegevens. De KPI’s zijn bepaald op basis van de gegevens die aangeleverd worden via koppelvlakken1. Door het meten van KPI’s ontstaat informatie die het mogelijk maakt kwaliteitsverbetering in de hele reisinformatie keten te volgen. Na iedere meting kan een vergelijking worden gemaakt met de kwaliteit behaald in het verleden of streefwaarden (minimale norm) dan wel de prestaties van koplopers (best-in-class vervoerders). Het doel van deze rapportage is door middel van een onafhankelijke datakwaliteit benchmark alle vervoerders en Ov-opdrachtgevers inzicht te geven in de eigen prestatie ten opzichte van andere partijen. Op basis van deze inzichten kunnen kwaliteit verbeterende acties worden benoemd en uitgevoerd. Het toetsen van concessieafspraken is geen doel binnen het NDOV. In de rapportages zijn daarom zo min mogelijk normen opgenomen. De rapportages zijn en worden inhoudelijk besproken met de vervoerders waarbij zowel op- en aanmerkingen op de rapportage zelf, als mogelijke kwaliteitsverbeteringen worden besproken. De eerste gesprekken en acties hebben al tot meetbare verhoging van de rapportage kwaliteit geleid. De verslaglegging van de benoemde verbeterpunten, zoals door NDOV-beheerorganisatie wordt gedaan, heeft geen ‘formele’ status. 1 CGI rapport, eindrapportage ‘kwaliteitsverbetersysteem NDOV-data’ van november 2013. De KPI’s staan 3. in bijlage 1 van dit rapport.
Het is een weerslag van de gezamenlijke inspanningen die worden gedaan om de kwaliteit op een zo hoog mogelijk niveau te brengen. Reisinformatie komt tot stand door een keten van samenwerkende systemen en componenten. De KPI scores in deze rapportage zeggen iets over de datakwaliteit van de brondata, zoals de leverancier (meestal vervoerder) deze aanlevert. Andere systemen hebben als taak de brongegevens om te zetten in reisinformatie. Denk bijvoorbeeld aan reisplanners, apps of DRIS-systemen. Een hoge kwaliteit van brongegevens betekent niet automatisch dat de reisinformatie altijd goed is. Indien geconstateerd wordt dat reisinformatie in deze systemen onjuist is, wordt u verzocht contact op te nemen met de beheerder van het betreffende systeem of app. De KPI’s voor bus, tram, metro en veerdiensten zijn bepaald door de NDOV beheerorganisatie, gebaseerd op de gegevensstromen die via koppelvlakken worden aangeleverd. Status KPI rapport Over de periode september 2014 tot en met december 2014 is door de NDOV-beheerorganisatie maandelijks de KPI Benchmarkrapportage ‘kwaliteit datastromen t.b.v. reisinformatie’ opgesteld. Deze periode is gebruikt om ervaringen op te doen en met de vervoerders inhoudelijk te toetsen. Vanaf januari 2015 wordt de benchmark aan vervoerders en Ov-opdrachtgevers vrijgegeven.
Levering datastromen brondata vervoerders Dit overzicht geeft aan welke datastromen en in welke BISON1 standaard de vervoerders leveren. Het is een schematische weergave van de afspraken vastgesteld in het dynamische document BIJLAGE I2
1 http://bison.connekt.nl 2 De meest actuele versie van Bijlage 1 van Publicatiedocument ‘Kaders voor een loket voor brongegevens reisinformatie openbaar vervoer (NDOV)’.
4.
Aanleveren dienstregeling Definitie
Belang Reisinformatie
Worden de update dienstregeling bestanden door de vervoerders tijdig aangeleverd?
Bij het verstrekken van reisadviezen (reisplanner) wordt gebruik gemaakt van de actuele dienstregeling, waarin omleidingsroutes zijn verwerkt. Voor deze toepassing is het van belang dat de actuele dienstregeling uiterlijk 3 dagen voor de ingangsdatum beschikbaar is.
De definitie van tijdig is: 3 dagen voor ingangsdatum bij tijdelijke wijzigingen (bijvoorbeeld door omleidingroutes).
Bijzonderheden Geen bijzonderheden bij deze grafiek.
Ontvangen KV1 bestanden in het derde kwartaal 2015 70
Aantal KV1 bestanden
60
50
40 Te laat ontvangen Op Gjd ontvangen
30
20
10
0
ARRIVA
CXX
EBS
GVB
HTM
QBUZZ
Norm: Drie dagen van tevoren aanleveren van KV1 bestanden
5.
RET
SYNTUS
VEOLIA
Ritregistratie Definitie
Belang Reisinformatie
Bijzonderheden
Elke vervoerder levert de te rijden ritten aan in KV1 (dienstregeling). Van iedere rit worden bij dienstuitvoering update berichten verstuurd (KV6) die de actuele positie en stiptheid van het voertuig aanduiden.
Voorafgaand aan een reis wil de reiziger weten of de rit volgens planning gereden wordt. Naarmate een hoger percentage ritten gevolgd wordt, is de reisinformatie betrouwbaarder. Voor de reiziger is de oranje balk in de onderstaande grafiek dus het meest van belang.
Als er bijvoorbeeld afgesproken is dat kleine voertuigen voor 8 personen of minder niet uitgerust hoeven worden met een voertuigvolgsysteem, tellen deze niet mee in het aantal te volgen ritten.
In de onderstaande grafiek geeft de oranje balk weer voor welk deel van de geplande ritten update berichten ontvangen zijn. Blauw geeft het percentage weer van het aantal ritten waarvan OVA’s en vervoerders hebben afgesproken dat ze gevolgd moeten worden met een voertuigvolgsysteem.
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
QBUZZ
EBS
SYNTUS
CXX Gevolgde riFen
RET
ARR
Gevolgd/te volgen riFen
6.
GVB
HTM
VTN
haltepassages Definitie
Belang Reisinformatie
Bijzonderheden
Elke vervoerder levert in de dienstregeling (KV1) alle geplande haltepassages. Tijdens de dienstuitvoering is het de bedoeling dat ieder voertuig van iedere halte een updatebericht (KV6) stuurt.
Naarmate een hoger percentage haltepassages juist en actueel is (incl. opgeheven ritten en/of haltepassages), is de reisinformatie betrouwbaarder.
Geen bijzonderheden bij deze grafiek.
Deze grafiek geeft weer over welk deel van de haltepassages update berichten binnen gekomen zijn. In geval van een vervallen rit of omleiding/inkorting kan de vervoerder een KV17 Cancel of KV17 Shorten bericht sturen om een haltepassage op te heffen. Dit is met groen weergegeven in de onderstaande grafiek.
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
RET
EBS
CXX
HTM
QBUZZ
Waargenomen Haltepassages
SYNTUS
GVB
Waarvan Opgeheven Haltepassages
7.
VTN
ARR
aankomstberichten
laatste halte
Definitie
Belang Reisinformatie
Elke vervoerder levert in de dienstregeling (KV1) alle geplande haltepassages. Tijdens de dienstuitvoering is het de bedoeling dat ieder voertuig een KV6 Arrival bericht verstuurt voor de laatste (uitstap) halte.
Bijzonderheden
Deze grafiek is een verdieping op de voorgaande grafiek over haltepassages.
Geen bijzonderheden bij deze grafiek.
Deze grafiek geeft het percentage weer van het aantal ritten waar dit bij gebeurt.
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
HTM
RET
SYNTUS
CXX
QBUZZ
VTN
Ontvangen aankomstberichten
8.
GVB
ARR
EBS
Bruikbaarheid berichten
Definitie
Belang Reisinformatie
Bijzonderheden
Deze grafiek geeft aan welk deel van de KV6 berichten die binnen komen bruikbaar zijn. Bruikbare berichten zijn weergegeven in groen. De niet bruikbare, afgekeurde berichten zijn weergegeven in rood.
Een hoog percentage afgekeurde ritten betekent dat verbetering mogelijk is in de reisinformatieketen. Verbetering van de processen waardoor minder berichten worden afgekeurd, resulteert in betere reisinformatie.
Een afkeuring kan bijvoorbeeld ontstaan doordat er voertuig update berichten (KV6) niet gerelateerd kunnen worden aan een dienstregelingsrit, of een bericht dat technisch niet aan de standaard voldoet.
Genegeerde berichten zijn KV6 berichten die wel gekoppeld kunnen worden aan een geldige rit in KV1, maar pas worden ontvangen nadat de rit is beëindigd.
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
EBS
CXX SYNTUS ARR VTN RET Goedgekeurde berichten Afgekeurde berichten
9.
GVB HTM Genegeerde berichten
QBUZZ
Update frequentie
Definitie
Belang Reisinformatie
Bijzonderheden
Het is wenselijk dat een vervoerder van iedere rit ten minste elke 60 seconden een update bericht verstuurt (KV6). In de onderstaande grafiek wordt het percentage minuten zonder update weergegeven.
Als minder dan 1x per minuut een update bericht van de positie en stiptheid van een rit wordt ontvangen, neemt de betrouwbaarheid van de verwachte aankomst en vertrektijden op de volgende haltes af.
Geen bijzonderheden bij deze grafiek
Hoe vaker een update bericht wordt ontvangen, hoe nauwkeuriger de verwachte aankomst en vertrektijden kunnen worden ingeschat.
18% 16% 14% 12% 10% 8% 6% 4% 2% 0%
RET
HTM
EBS
SYNTUS
QBUZZ
VTN
% minuten zonder update
10.
CXX
ARR
GVB
KV6 initialisatie
Definitie
Belang Reisinformatie
Bijzonderheden
Het is wenselijk dat van iedere rit in de dienstregeling, een zogenaamd KV6 INIT bericht verstuurd wordt. Hiermee geeft de vervoerder aan dat de rit ook echt uitgevoerd gaat worden.
Als een KV6 INIT bericht is ontvangen kunnen ook de achterliggende DRIS systemen geinformeerd worden en verdwijnt een rit niet onterecht van het display.
Geen bijzonderheden bij deze grafiek
De onderstaande grafiek geeft het percentage weer van ritten waarvoor een KV6 INIT bericht is ontvangen.
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
CXX
HTM
QBUZZ
SYNTUS
Percentage riGen met KV6 INIT
11.
RET
GVB
VTN
Percentage riGen zonder KV6 INIT
ARR
EBS
Tijdigheid 1e bericht
Definitie
Belang Reisinformatie
Bijzonderheden
Het heeft de voorkeur om van iedere rit 2 minuten voor aanvang een update bericht (KV6) te ontvangen. Dit kan in de vorm van bijvoorbeeld een DELAY bericht, ARRIVAL bericht of INIT bericht.
Het is belangrijk dat er 2 minuten voor aanvang van de rit een eerste bericht ontvangen is om de reizigers op tijd te kunnen informeren.
Geen bijzonderheden bij deze grafiek.
Indien berichten na planningstijd worden ontvangen (rood) kunnen ritten onterecht al van de display verdwijnen.
In de onderstaande grafiek wordt in groen weergegeven voor welk deel van de ritten 2 minuten voor aanvang een bericht is ontvangen. In geel de berichten die tussen 0 en 120 seconden zijn binnengekomen en in rood de berichten die ontvangen zijn op het moment dat de geplande aanvangstijd al verstreken is.
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
SYNTUS
QBUZZ
EBS
Tot 120 seconden voor aanvang rit
HTM
GVB
VTN
RET
Tussen 120 en 0 seconden voor aanvang rit
12.
ARR Na aanvang rit
CXX
KV6 doorlooptijd
Definitie
Belang Reisinformatie
Dit gaat over het tijdsverschil tussen het versturen van een update bericht (KV6) en het moment dat het bericht binnen is gekomen op de server van NDOV-beheer. Negatief houdt in dat het tijdstip waarop het bericht op de server binnenkomt voor het tijdstip ligt waarop het bericht verzonden is. Dit duidt vaak op problemen met de klok in het voertuig.
Bijzonderheden
Voor de betrouwbare, actuele reisinformatie is het belangrijk dat de transporttijd zo kort mogelijk is. Als een voertuig is vertrokken bij een halte, is het van belang dat de informatie binnen zichtafstand van de bus (10 seconden) verwerkt is in de reisinformatie.
Geen bijzonderheden bij deze grafiek.
Indien de transporttijd meer is dan 10 seconden, kan niet worden voldaan aan deze eis.
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
SYNTUS
QBUZZ
% binnen 5s
RET % 5 tot 10s
CXX
HTM
% 10 tot 20s
13.
VTN
EBS
% meer dan 20s
GVB % negaJef
ARR
KV15 berichten
Definitie
Belang Reisinformatie
Vervoerders sturen bij calamiteiten en ernstige afwijking van de dienstregeling tekstberichten naar haltes (KV15).
Deze KPI wordt in eerste instantie gebruikt om vast te stellen of KV15 wordt gebruikt.
Deze grafiek geeft het aantal totaal ontvangen berichten weer. Als berichten niet aan een halte gekoppeld kunnen worden dan zijn ze in onderstaande grafiek rood weergegeven.
Bijzonderheden Geen bijzonderheden bij deze grafiek.
Bij verstoringen en omleidingsroutes is het wenselijk de reiziger aanvullend te informeren (advies) met een vrije tekst.
De getoonde percentages zijn het aantal haltes waarvoor een KV15 bericht is ontvangen, afgezet tegen het totaal aantal haltes per vervoerder.
2600
0,34%
2400 2200
0,06%
2000 1800
1,18%
1600 1400 1200 1000 800 600
61,82% 0,55%
400 200 0
2,59% QBUZZ
SYNTUS
RET
HTM
CXX
Aantal ontvangen KV15 berichten
14.
GVB
0,00%
0,00%
ARR
EBS
Aantal afgekeurde KV15 berichten
0,00% VTN
ontvangen KV17 berichten
Definitie
Belang Reisinformatie
Bijzonderheden
Vervoerders kunnen ritten of delen van de rit laten vervallen door een KV17 bericht te versturen. Dit gebeurt bijv. in geval van technische problemen met een voertuig of afwezigheid van personeel.
Doorgeven van vervallen ritten en vervallen haltepassages (bij omleidingen) is van groot belang voor betrouwbare reisinformatie.
Een aantal vervoerders gebruiken KV17 ook om enkele haltes te laten vervallen tijdens een rit (KV17 shorten). Dit leidt tot veel hogere aantallen KV17 berichten. Deze KPI zegt iets over het wel of niet ingericht zijn van het proces bij de vervoerder.
De onderstaande grafiek geeft het totaal ontvangen KV17 berichten weer. De getoonde percentages zijn het aantal KV17 berichten, afgezet tegen het totaal aantal ritten per vervoerder.
45000 12,39% 40000 35000 30000 25000 9,43%
20000 15000 10000 5000
0,80% 0
QBUZZ
RET
HTM
0,78%
GVB
0,33%
CXX
0,24%
0,08%
0,04%
0,00%
EBS
ARR
SYNTUS
VTN
Aantal ontvangen KV17 berichten.
15.
