Járművek és kamerák: önvezetés és tájékozódás
Szirányi Tamás MTA SZTAKI, Gépi Érzékelés Kutatólabor KJK ALR Tsz. Email:
[email protected]
Érzékelők hálózatba kötve
Nagyfelbontású videókamera
Hőkamerák
Kinect
MESA ToF kamera 10/24/2016
LIDAR lézer szkenner 2
Mozgáselemzés többféle kamerával
Thermal
ToF
Video 10/24/2016
Motion mask MTA SZTAKI / MPLab
3
Érzékelő járművek
10/24/2016
4
Az érzékelő zónák
10/24/2016
5
A vezető figyelése: Ki és mit figyel, és miért?
10/24/2016
6
10/24/2016
SZTAKI MPLab
7
Sokszenzoros adatgyűjtő és információ-fúziós hálózatok szenzorok lesznek mindenütt, hálózatra kötve
10/24/2016
SZTAKI/MEDUSA projekt
8
Fusion of sensor information and organization of optimal sensor network Industrial area
Commerci al area Mosque LC
SD
E O
SD
EO
LIDAR + IR + EO
Check IR point RB
LC
SD + EO
E O
Housing area (single houses and multi-storey buildings)
LC
Sniper Detector Light Curtain
EO
Electro optical
IR
Infrared / thermal Range (LIDAR, PMD) Chemical Sniffer Radio bearing
LIDAR
NBC RB
10/24/2016
Fusion: EO + EO
Fusion: IR + EO
E O
Housing area (single houses and multi-storey buildings)
E O IR
L I D A R
FLIR
SD
L I D A LIDAR R + IR + EO
NBC
Fusion: EO (UAV) + IR
SZTAKI / Medusa projekt
9
Stauffer and Grimson IMPLab Tr. PAMI, 2000 • Mixture of Gaussians • On-line k-means
10/24/2016
Háttér kiemelés
MTA SZTAKI / MPLab: Benedek & Sziranyi
10
Háttér és árnyék kiemelése sztochasztikus optimalizálással: kevert statisztikai modellek tér- és időbeli- Markov-kapcsolatokra
10/24/2016
Benedek & Szirányi; IMPLab Tr. ImProc, 2007
11
Radarok: Micro Doppler
10/24/2016
Ancortek.com
12
10/24/2016
13
Passzív Radar: kiemelés elszórt „radar” jelekből Passzív visszaverődések Doppler alapján találjuk meg a mozgó objektumot y
Target signal
EL L ,EL ,EL
Interferences Hot clutter Direct signal
E2 2 ,E 2 ,E 2
Multipath
Ground clutter
E1 1 ,E1 ,E1 Array received signal vector
s(rk ,t) sr (t)ei2 f (t 0
x
k
)
k ( , )rk cos( )sin( ) xk sin( )sin( ) yk c c 14
14
k
SZTAKI / MAPIS03/12/2009 (EDA) Project - ISAR SYSTEM GEOMETRY
Ambiguity function describes how correlated a signal is with itself delayed in time by and shifted in Doppler (Sinsky and Wang, 1974). , d 2
2
u l e
jd l
Saini, Cherniakov, “DTV signal ambiguity function analysis for radar application”, IEE Proc.-Radar Sonar Navigation 2005
u* l dl
15
15
MULTI TARGET TRACKING ON AERIAL VIDEOS
10/24/2016
MTA SZTAKI / MPLab
16
Aerial processing
Foreground separation and object segmentation on aerial images (2/2)
Result: mosaic and object detection
10/24/2016
MTA SZTAKI / MPLab
Proof-of-concept tracking
17
Kép-nézetek összehozása mozgás alapján
SZTAKI / 2007
Ergodikus reguláris Markov lánc: egy megoldása van, az előbbi kép-párosítás közös pontjaira
p
1
p
2
P(m1i ) r 1 P(m1i ) r
p k
p
1
2
P(m 2k | m1i ) P(m 2k ) r
P(m
2k
| m1 j ) P(m1 j ) r
j
P(m 2 k ) r 1 P(m 2 k ) r
i
P(m1i | m 2 k ) P(m1i ) r
P(m
1i
| m 2 j ) P(m 2 j ) r
j
Mi a valószínűsége az (1) kép egy (i) pontjának arra, hogy a képpont bemozdul, ha a (2) kép egy adott (j) pontjában mozgás van? Szlávik & Szirányi & Havasi; IMPLab Tr. ImProc, 2006
Fókuszmélység térkép egy nézetből iteratív Bayes-i eljárással
Videó több mélységgel
Mélység-térkép
10/24/2016
Kovács L. & Szirányi T. 2007
20
A hiba-függetlenségre optimalizált kettős iteráció sebessége g, g - g k Hiba ( g , g k ) arc sin f *h g g . g - gk
10/24/2016
SZTAKI MPLab
21
Object categorization
10/24/2016
MTA SZTAKI / MPLab /Dr. L. Kovács
22
Object detection in crowded scenarios Visual object extraction
• Goal: detecting objects of interest in real time
Failure of background subtraction
• crowded scenarios, where motion based detection and separation is not possible • based on Viola-Jones recognizer adopted to street scenes
• Input-output: • Training phase:
Input frame
• Input: a set of images, with positive and negative training samples defined by rectangles • Output : set of text files containing the meta-data of the trained classifiers
• Detection phase: • Input: a raw video image • Output: set of rectangles which mark the detected objects
10/24/2016
MTA SZTAKI / MPLab
Extracted foreground mask
23
Viselkedés elemzés: Verekedés detekció
10/24/2016
MTA SZTAKI / MPLab
24
A vezető szeme merre jár? •Human experiments to teach the algorithm •Human behavior considered as a personal fingerprint •Wearable, head-mounted •Needs precise calibration •Monitoring and recording the path of the gaze
AR GigE-60 eye tracker MTA SZTAKI / MPLab
http://www.arringtonresearch.com/LaptopEyeTracker1.html
25
Estimating the human vision path graph
MTA SZTAKI / MPLab
26
Hová néz a szem, amikor a látványt felderíti?
Az érdeklődési területek automatikusan kijelölve
Egy valódi szemmozgás követése
MTA SZTAKI / MPLab
27
A fontos figyelmi területek megtalálása
•bbb
The original images are derived from the Ground Truth Database, http://cs.washington.edu/research/imagedatabase
28
Az alakfelismerés evolúciója
1980s
1990s to early 2000s
Currently
Kihívások •Viewpoint variation •Illumination changes •Occlusion •Scale •Deformation •Background clutter •Intraclass variation •…
Bag of Words models •Definition of BoW • Independent features • histogram representation
Visual words:
Csurka, Dance, Fan, Willamowski and Bray. Visual categorization with bags of keypoints. ECCV International Workshop on Statistical Learning in Computer Vision (2004)
learning
feature detection & representation
recognition
Visual words
image representation
category models (and/or) classifiers
category decision
Gen. Hough Transform with Local Features •For every feature, store possible “occurrences”
•For new image, let the matched features vote for possible object positions
Implicit Shape Model - Representation … … … … …
Training images (+reference segmentation) • Learn appearance codebook • Extract local features at interest points • Agglomerative clustering codebook • Learn spatial distributions • Match codebook to training images • Record matching positions on object
…
Appearance codebook y
y
s
s x
x y
y
s
s x
x
Spatial occurrence distributions + local figure-ground labels
Implicit Shape Model - Segmentation Interest Points
Matched Codebook Entries
Probabilistic Voting
y
s
Segmentation
p(figure) Probabilities
x
3D Voting Space (continuous)
Backprojected Hypotheses
Backprojection of Maxima
Felismerés és csoportosítás Multimédiás adatbázisokban: • 1000-100.000 paraméter, • 105 – 107 elem Mi a gráf-szerkezete az adatok halmazának? Mely paraméterek csoportosítanak a legjobban?
10/24/2016
SZTAKI MPLab
36
Hatalmas adatbázisok csoportosulási jellemzőinek keresése az Erdős-Rényi féle Óriáskomponensek kutatásával véletlen geometriai gráfokra
10/24/2016
Keszler A. & Kovacs L. & Sziranyi T.
37
Remote Sensing – Légi és űrképek elemzése
MTA SZTAKI / MPLab
38
Terrestrial LIDAR
•Horizontal LIDAR: street object and traffic monitoring
•Tilted LIDAR: reconstruction of building facades
10/24/2016
MTA SZTAKI / MPLab
39
Velodyne LIDAR outdoor experiments
promo_video_edit_x264_compr.mp4
10/24/2016
MTA SZTAKI / MPLab / Velodyne LIDAR
40
Pedestrian detection and tracking Fusion of Optical and LIDAR scanning
10/24/2016
MTA MTA SZTAKI SZTAKI / / MPLab MPLab
41
Matching LIDAR with PAL (Panoramic 360o) camera
In cooperation with Tateyama Laboratory Hungary Ltd.
10/24/2016
MTA SZTAKI / MPLab
42
Gyalogosok detektálása nappal
10/24/2016
SZTAKI / MPLab
43
Gyalogosok detektálása éjszaka
10/24/2016
SZTAKI / MPLab
44
Információ egy frame-n
VLP 16 sensor
MTA SZTAKI / MPLab i4D projekt
HDL 64 sensor
Információ mennyiség egy síklidar frame-n (regisztráció szükséges) Aktuális
Regisztrált
LIDAR Alapú Gépi Látás a Közlekedésben Részleges Pontfelhőkből •Közlekedésben és ipari körülmények között alkalmazott 3Ds leképezők pontfelhőinek feldolgozása •Részleges információból történő felismerés • Adatbővülés folyamatos felhasználása a felismerés eredményének pontosításához •Felismert objektumok pontfelhőinek felhasználása navigálási, megfigyelési, stb. célokra
MTA SZTAKI / MPLab
3D detektálás üzemi területen • Lokális skála definíciója (a teljes alak méretétől függetlenül) • Kulcspont keresés a lokális skála alapján • Új lokális leíró kifejlesztése • Részgráfok, mint „félglobális” struktúra • A kategorizálás evolúciójának vizsgálata •Általános 3D felismerő rendszer felépítésének kidolgozása MTA SZTAKI / MPLab
KULCSPONT KERESÉS ÉS LOKÁLIS SKÁLA DEFINÍCIÓ
Kulcspont detektálás és karakterisztikus sugár hozzárendelése az adott kulcsponthoz (kulcsponttal reprezentált lokális felülethez).
MTA SZTAKI / MPLab
Lokális leíró •Shape Index •Point Feature Histogram
•Karakterisztikus sugár •Normal angle •Lokális konvex burkoló térfogata
MTA SZTAKI / MPLab
Minta definíció •Kulcspontok klaszterezése •Az alakzat felépíthető az így előálló színezett gráfból •Szubgráfok definiálása és kifeszített térfogat szerinti besorolás •Szubgráfok kódolása pl.: A: 12221 B és C: 13332 •Minták gyakoriságának vizsgálata
MTA SZTAKI / MPLab
C
A
A B
C B
Részleges városi objektumok felismerése
A falak és a talaj könnyen szegmentálható, így ezek nem szerepelnek a városi objektum kategóriák között.
MTA SZTAKI / MPLab
Részleges városi objektumok felismerése Tárgy legnagyobb kiterjedése [%]
Felismerés az összes kategóriában [%]
10
17
20
25
30
33
40
50
50
83
60
83
70
92
80
92
90
100
100
100
Fa osztályú teszt felhők
Gyalogos osztályú teszt felhők
Demo
Szimultán Lokalizálás és Térképezés Repülő UAV-al •Detect the global position of the MAV by recognizing visuallysimilar places (appearance based localization for MAVs) •Large viewpoint changes -> air-ground matching Localize
Take Picture
Compare to database
Lat: 47.384345, Long: 8.545037, Heading: 161.01
Dr. Majdik András, MPLab/SZTAKI
Motivation •Vision-based localization is an alternative/complementary to GPS: • urban canyons, street-level flight maneuvers (takeoff/landing) • more accurate at low altitudes, orientation is detected
motivation.avi
Motivation •Applications: • aid-delivery, parcel-service, traffic surveillance • first-response and telepresence in case of accidents •Start-up companies: Matternet, Skycatch, etc
Results
•45% recall at precission 1.0
Dr. Majdik András, MPLab/SZTAKI
results.avi
Results
•45% recall at precission 1.0
UAV mono-kamerás 3D modellépítés videóból
10/24/2016
SZTAKI MPLab
60
A mozgó világ felismerése LIDAR based 3D reconstruction and recognition Outdoor and indoor 3D video surveillance Real time multi target tracking and target identification Terrestrial target tracking http://web.MPLab.sztaki.hu
10/24/2016
SZTAKI MPLab
62
Applications LIDAR based 3D reconstruction and recognition Outdoor and indoor 3D video surveillance Real time multi target tracking and target identification Terrestrial target tracking http://web.MPLab.sztaki.hu
