Prof.dr.ir. Hans van Lint
AvL Hoogleraar Traffic simulation & Computing
Plan in 2014:
(Real-time) diagnostics, estimation & prediction
(Open-source) Multiscale Simulation
Evaluation & assessment
Research program Present
Past
Future
Virtual Reality, Gaming
(BIG) Data Processing Mixed Reality
NDW, OGB - 11/6/15
2
17 Nov 2015
(Real-time) diagnostics, estimation & prediction
(Open-source) Multiscale Simulation
Evaluation & assessment
Virtual Reality, Gaming
(BIG) Data Processing
Mixed Reality NDW, OGB - 11/6/15
3
Overall DiTTLAB Architectuur Een geïntegreerde omgeving
• (Open) data uit alle denkbare bronnen:
• Geavanceerde data assimilatie en analytics • Opensource multi-scale, multi-modaal simuleren van verkeer en vervoer
A - OpenTraffic Simulator G - GUI’s / Editors
• Verkeer • Vervoer • Netwerken
B - OpenTrafficSim Input & toolset (Calibratie, Validatie, Identificatie, Fusie, Assimilatie tools)
F - GIS (semi-static data: transport infra & built environment)
C - Database (dynamic data: traffic, transport, weather, etc)
E - OpenTrafficSim Ontology
H - Visualisers, analysers, exporters
D - data import NDW, OGB - 11/6/15
4
Projecten in
Urban Mobility Lab
Traffic observatory
A - OpenTraffic Simulator B - OpenTrafficSim Input & toolset (Calibratie, Validatie, Identificatie, Fusie, Assimilatie tools)
F - GIS (semi-static data: transport infra & built environment)
C - Database (dynamic data: traffic, transport, weather, etc)
D - data import
E - OpenTrafficSim Ontology
G - GUI’s / Editors
H - Visualisers, analysers, exporters
ABSTAT N201
Voorbereidingen voor verscheidene andere data & simulatie projecten NDW, OGB - 11/6/15
5
Panchamy Krishnan Hong Nam Nguyen
Jan-Willem Lankhaar
Peter Knoppers Alex Papacharalampous
Mannus Etten Leonie Ottens
Yufei Yuan
Alexander Verbraeck
Koos Drost
Hans van Lint
Van ploegen door data naar zoeken in informatie
NDW TRAFFIC OBSERVATORY DEEL I Delft University of Technology
Challenge the future
raw data - speeds [km/h]
120
6
6 8
100
120
8
100
10
80
12
60
14
40
16
20
10
80
12
60
14
40
16
20
km
raw data - speeds [km/h]
12:00
Van ploegen door data naar zoeken in informatie 14:00
15:00
16:00
17:00
18:00
19:00
8
60
16
40
16
8
20
15:00
16:00
km
18:00
19:00
120 12:00 100
12
14 Travel time 16
14
minuten
12
12:00
10
13:00
14:00
15:00
16:00
17:00
18:00
19:00
0
120 100 80
Berm brand
60 40 20
raw data - speeds [km/h] 13:00
14:00
15:00
16:00
6
17:00
18:00
19:00
120
0
100
8
Travel time 10
80
12
60
14
40
25 20 20
16
20
150 10
12:00
80 45
0
minuten
km
14
6
10 17:00
12
80
14
4060 35 3040
13:00
14:00
15:00
16:00
17:00
18:00
0
19:00
5
8
0 12:00 120
Filtered - speeds [km/h]
6
6
4
13:00
14:00
15:00
10 16:00
17:00
28 april 2015
18:00
km
12
60
14
40
16
14:00
15:00
16:00
6 departure time
Zware regen
12:00
13:00
14:00
16:00
17:00
18:00
19:00
80
12
60
14
40
Zwaar ongeluk 13:00
14:00
15:00
16:00
17:00
18:00
20 0
19:00
Travel time
70 60
minuten
minuten
100
80
25 20 15
50 40 30 20
10
10
5 0 12:00
120
10
12:00
0
Travel time
30
Filtered - speeds [km/h]
18:00
16
20
15:00
17:00
8
80
departure time
8 juni 2015
13:00
100
8
2 0 12:00
19:00
6
raw data - speeds [km/h]
16
18:00
Filtered - speeds [km/h]
100
12
14:00
17:00
10
10
13:00
16:00
120
Milde dag
12:00
15:00
8
Filtered - speeds [km/h] 6
0
14:00
km
13:00
km
12:00
13:00
km
km
Een intelligente historische database
0 12:00
13:00
14:00
15:00
16:00
departure time
31 mei 2015
17:00
18:00
13:00
14:00
15:00
16:00
17:00
18:00
departure time
24 maart foottext |
2015 7
20
16 12:00
13:00
14:00
15:00
16:00
17:00
18:00
19:00
Filtered - speeds [km/h]
0
Een intelligente historische database 120
6
100
km
8
10
80
12
60
14
40
Van ploegen door data naar zoeken in informatie Zwaar ongeluk
16 12:00
raw data - speeds [km/h]
25
100
30
80
35
60
16:00
17:00
18:00
19:00
0
raw data - speeds [km/h]
Travel time
12:00
13:00
14:00
15:00
16:00
17:00
18:00
19:00
Filtered - speeds [km/h]
20
16
70
22
60
30
24
40
20
26
20
10
28
0
0 12:00
12:00
km
50 40
13:00
14:00
15:00
16:00
departure time
17:00
18:00
24 maart 2015
13:00
14:00
15:00
16:00
17:00
18:00
19:00
30
80
20
km
18
120 100 80
Zwaar ongeluk
22
60
24 40
40
Zwaar ongeluk
12:00
13:00
14:00
15:00
16:00
17:00
18:00
19:00
20
28
0
12:00
60
70
50
minuten
60 50 40 20
10
10 15:00
16:00
departure time
14:00
17:00
18:00
a20, 9 juni 2015
15:00
16:00
17:00
18:00
19:00
0
Travel time
30 20
14:00
13:00
40
30
13:00
20
70
80
0 12:00
40
26
Travel time
90
0
16
100
60
20
Filtered - speeds [km/h]
25
45
100
18
80
120
35
120
20
40
45
km
15:00
60
40
minuten
14:00
80
120
minuten
km
20
13:00
20
0 12:00
13:00
14:00
15:00
16:00
17:00
18:00
departure time
a16, 9 jan 2011 foottext |
8
Tussenstand Webtool voor het koppelen en beschikbaar maken van de data Java / Javascript / leaflet
GetEvents GetMeaspoints
GetDailyEvents
GetASMStats
GetWeather
GetCrossections
GetDailyWeather
GetDailyTotals
GetRWTotals
Detectors Dittlab.tudelft DB: •12447 Cross sections •66589 measurement points (5,1M considering changes over time) •ALL Geo functionality
- multiple measurement points
Cross-section
Netezza DB: •2,382,489,886 lane/usrclass records dynamic measurements (March 2015) •ca 1/10 of that roadway records dynamic data foottext |
9
Verschillende congestie patronen met verschillende oorzaken
Automatisch herkennen van congestiepatronen
Challenge the future
11
CLASS 1 CLASS 2 CLASS 3 Challenge the future
12
Supersnel zoeken in een mega database Stap 1 - training data samenstellen met “bekende” congestiepatronen (Beschikbare) Metadata uit databases / GIS: • Datum & tijdsperiode • Routekenmerken (geo & digraph info) • weer (regenachtig, 10oCelcius, etc) • Incidenten / evenementen • etc te bepalen/berekenen • Voertuigverliesuren • Reistijdverdeling • data kwaliteit • % vrachtverkeer • vraagpatroon • etc
Geclusterde congestie plaatjes • Type X
• Type Y
De plaatjes • hoeven NIET even groot te zijn • hoeven NIET evenveel pixels te bevatten • hoeven niet dezelfde verhouding hxb te hebben WEL nodig • zelfde colormap • zelfde ratio tijd/plaats (ivm schokgolf snelheden) • Type Z foottext |
13
Supersnel zoeken in een mega database Stap 2 - Die plaatjes ontrafelen in a “bag of features” (eigenlijk net zoals wij dat doen bij het herkennen van gezichten) SURF algorithm Extract keypoints
Feature descriptions
foottext |
14
Supersnel zoeken in een mega database Stap 2 - Die plaatjes ontrafelen in a “bag of features” (eigenlijk net zoals wij dat doen bij het herkennen van gezichten) SURF algorithm Extract keypoints
Feature descriptions
Clustering of features K-‐means algorithm foottext |
15
15
Supersnel zoeken in een mega database
Features count
Stap 3 - Elk verkeerspatroon kan nu ahw worden “samengevat” met een histogram van features (een vector met getallen)
(a) Match de features in een figuur met de gevonden feature clusters (b) Turven hoeveel van elke feature er in een plaatje voorkomt (c) Levert histogram op: voor elke figuur een vector met dezelfde hoeveelheid getallen!
Feature histogram
Group features
Feature vector
foottext |
16
16
Supersnel zoeken in een mega database Stap 3 - Elk verkeerspatroon kan nu ahw worden “samengevat” met een histogram van features (een vector met getallen) Verkeerspatronen Class 1
Feature vectoren
Class 2
Class 3
foottext |
Supersnel zoeken in een mega database Stap 4 - Gebruik deze feature vectoren om een SVM classifier te leren welke typische features horen bij elke klasse Feature vectoren
Class 1
Class 2
SVM
Save Training model
Class 3
foottext |
Supersnel zoeken in een mega database Stap 5 - Nieuwe patronen classificeren ontrafelen in “features”
Onbekend patroon
So far so good … TODO: iteratief process (1) Start klassificatie nieuwe kleine test data set (2) Klassificatie handmatig verfijnen / corrigeren (3) Hertrainen SVM classifier (4) terug naar (1)
Patroon type X Classificeren Training model foottext | 19
Supersnel zoeken in een mega database Komend jaar
• Bouwen prototype Congestie-Zoek-Engine - Iteratieve verfijning van de SVM classifier (tot classificatie voldoende consistent en accuraat is) - Slimme routines ontwikkelen om ALLE congestiepatronen (heel NL? maart 2015) te kunnen vinden en classificeren - Dat vervolgens doen (classificeren) - SVM + Beschikbare metadata = Zoek-index
• Verfijnen en uitbreiden weer- en andere metadata
So far so good … TODO: iteratief process (1) Start klassificatie nieuwe kleine test data set (2) Klassificatie handmatig verfijnen / corrigeren (3) Hertrainen SVM classifier (4) terug naar (1)
• Bouwen WebGUI voor CoZi
foottext |
20
Dat kan beter!
17 Nov 2015 Programma • Hans van Lint
Data = grondstof voor kennis verwerven
• Alexander Verbraeck & Guus Tamminga
Kennis (verpakt in simulatie modellen) + data = beste manier om te begrijpen wat er NU aan de hand zou kunnen zijn geweest
• Hans van Lint
Maar let op het scheermes van Ockham!
- Filosofie DiTTLAB: data meets simulation - Naar een intelligente NDW database
- Opentrafficsim
- NDW Traffic Observatory: multiscale schatten en simuleren
NDW, OGB - 11/6/15
23
Multi-scale schatten van variabelen en parameters
NDW TRAFFIC OBSERVATORY DEEL II Delft University of Technology
Challenge the future
Verkeer en vervoer begrijpen begint en eindigt met data … (de wetenschappelijke methode) Data
Voorspellen, simuleren
Ontdekkingen!
Theorien & modellen
NDW, OGB - 11/6/15
25
Echt gedrag?
Waar halen we data over verkeer en vervoer vandaan?
In het veld meten
Controleerbaar? NDW, OGB - 11/6/15
26
Echt gedrag?
Waar halen we data over verkeer en vervoer vandaan?
In het veld meten In een lab meten
Controleerbaar? NDW, OGB - 11/6/15
27
Echt gedrag?
Waar halen we data over verkeer en vervoer vandaan?
In het veld meten In een lab meten
In een virtuele wereld meten
Controleerbaar? NDW, OGB - 11/6/15
28
Echt gedrag?
Waar halen we data over verkeer en vervoer vandaan?
In het veld meten
e w n IG e n B n t u e k m r e e i o H art ) a In een lab meten ! n ta ( a d
a la CSI: data fusie levert meer, beter en robuuster bewijs (1+1=3 principe)
Voorbeelden extra context: • Omstandigheden (CAN data, weer, incidenten, evenementen, nieuws, etc) • Status netwerk & alternatieven (ITS, In een parkeerdata, OV data) virtuele • HB, route- en vervoerwijze wereld keuze (GSM, Apps, OVchip) meten • Rij, reiservaring, -vaardighed en -stijl (Apps, CAN data) • Reismotieven (social media, apps)
Controleerbaar? NDW, OGB - 11/6/15
29
Dit impliceert een fundamentele andere manier van werken 1. Veel meer (GIS-, reken-, modellen-) gereedschap kunnen beheersen 2. Werken in interdisciplinaire teams ➡ Verkeer en vervoerkundigen ➡ Data scientists ➡ Computer scientists ➡… 3. Delen van data, delen van expertise (NL is m.i. te klein voor schuttingen om beiden)
a la CSI: data fusie levert meer, beter en robuuster bewijs (1+1=3 principe) Voorbeelden extra context: • Omstandigheden (CAN data, weer, incidenten, evenementen, nieuws, etc) • Status netwerk & alternatieven (ITS, parkeerdata, OV data) • HB, route- en vervoerwijze keuze (GSM, Apps, OVchip) • Rij, reiservaring, -vaardighed en -stijl (Apps, CAN data) • Reismotieven (social media, apps) NDW, OGB - 11/6/15
30
Van data naar kennis Falsifieerbaarheid & Het scheermes van Ockham 1. Hoe specifieker en gedetailleerder de uitspraak … …des te specifieker en gedetailleerder het bewijs (de data) moet zijn 2. Bij gelijke bewijsvoering is de simpelste verklaring het meest waarschijnlijk (meer detail
beter voorspellen)
Voorbeeld: als we alleen in trajectreistijdverdelingen op de N201 geïnteresseerd zijn hadden we net zo goed veel simpeler modellen kunnen gebruiken MAAR we willen op termijn rijgedrag en wachtrij dynamica schatten en toetsen - N201 model daarom sleutelinstrument voor OTS / DiTTLAB
"William of Ockham" by self-created (Moscarlop) - Own work. Licensed under CC BY-SA 3.0 via Commons https://commons.wikimedia.org/wiki/ File:William_of_Ockham.png#/media/ File:William_of_Ockham.png
foottext |
31
Hoe specifieker en gedetailleerder de uitspraak …des te specifieker en gedetailleerder het bewijs (de data) moet zijn Voorbeeld: Vitoria network (Spanje) 600km road network 2800 intersections 389 detectors (black dots) and 3249 OD pairs we proberen hier een uitspraak te doen over 3249 onbekende grootheden op grond van heel weinig bewijsmateriaal (389 gesommeerde waarnemingen + een a priori matrix op basis ook weer heel weinig data ) foottext |
32
Hoe specifieker en gedetailleerder de uitspraak …des te specifieker en gedetailleerder het bewijs (de data) moet zijn Voorbeeld: Vitoria network (Spanje) 600km road network 2800 intersections 389 detectors (black dots) and 3249 OD pairs Wachten op echte BIG data?
foottext |
33
Hoe specifieker en gedetailleerder de uitspraak …des te specifieker en gedetailleerder het bewijs (de data) moet zijn
NEE! we kunnen gedeeltelijke 600km road network HBs nu al meten! 2800 intersections
Voorbeeld: Vitoria network (Spanje)
389 detectors (black dots) and 3249 ODEN pairs
uit onderzoek blijkt dat Wachten echte BIGook data? we hetopprobleem fundamenteel anders moeten aanpakken: met circa 5% van de HB paren is soms tot 95% van de dynamica verklaren … foottext |
34
Hoe specifieker en gedetailleerder de uitspraak …des te specifieker en gedetailleerder het bewijs (de data) moet zijn Eerst grof schatten, dan naar fijn
foottext |
35
ON IMPROVING OPERATIONAL PLANNING AND CONTROL IN PUBLIC TRANSPORTATION NETWORKS USING STREAMING DATA: A MACHINE LEARNING APPROACH
Luís Alexandre Moreira Matias, PhD thesis, Univ de Porto
Plannen voor 2016 en verder Multi-scale schatten van alle relevante grootheden
• Op basis van NDW data + heel veel andere potentiële bronnen - Schatten van de grote onbekenden: ๏ Dichtheden, voertuigverliesuren ๏ Inflows en turns (wat gaat er op wat gaat er af?) ๏ Capaciteiten, kritische snelheden ๏ Netwerk fundamenteel diagrammen (OWN?) - Schatten van herkomst-bestemmingspatronen op verschillende ruimtelijke schaalniveaus - Simuleren (voorspellen?) van verkeer op basis van alle beschikbare data op verschillende schaalniveaus foottext |
37
Schatten op rijstrookniveau Toestands variabelen • Individuele voertuigen (interacties) • Rijstrooksnelheden & dichtheden • Rijstrookverdelingen • Voertuigmix • Wachtrij dynamica invoegstroken / VRIs
Data • CAN-bus data • Rijstrook specifieke trajectorieen (FCD) • Lus / VRI data • alle andere DVM • Gedetailleerde netwerkgraaf • Omgevingsdata (weer, etc) •…
Dynamica 1-10 seconds NDW, OGB - 11/6/15
38
Schatten op rijbaanniveau Toestands variabelen • Rijbaansnelheden & dichtheden • Inflows en turnfracties • voertuigmix
Data • Trajectorieen (FCD) • Lus / VRI data • DVM • iets grovere (rijbaan) netwerkgraaf • Inflowprofielen / turnfracties • Omgevingsdata (weer, etc) •…
Dynamica 10 seconds - few minutes NDW, OGB - 11/6/15
39
Schatten op rijbaanniveau
NDW, OGB - 11/6/15
40
Schatten op regionaal netwerkniveau Toestands variabelen • Rijbaansnelheden & dichtheden • Inflows en turnfracties • Routekeuzepatronen • HB patronen
Data • Trajectorieen (FCD) • Lus / VRI data • DVM + Infovoorziening • Rijbaan netwerkgraaf • HB matrix / splitfracties • Omgevingsdata (weer, etc) •…
Dynamica 5-30 minutes NDW, OGB - 11/6/15
41
Schatten op hogere netwerkniveaus Toestands variabelen • Rijbaansnelheden & dichtheden • Routekeuzepatronen • HB patronen • NFDs:
Data • Lusdata • DVM + Infovoorziening • Rijbaan netwerkgraaf + reservoirzones • HB matrix / splitfracties • Omgevingsdata (weer, etc) •…
Dynamica 15 - 60 minutes NDW, OGB - 11/6/15
42
Plannen voor 2016 en verder Multi-scale schatten van alle relevante grootheden
• Kernvoorwaarde: - Gereedschap om directed graphs (digraphs) uit GIS / Transport data te genereren - Gereedschap om deze consistent te samen te vouwen of juist uit te vouwen
foottext |
43
Dank!
Veel dank aan Frits, Olaf, Edoardo, Tommy en de andere NDW-ers voor de support!
