EEE Kutatólaboratórium MTA-SZTAKI Magyar Tudományos Akadémia

EEE Kutatólaboratórium MTA-SZTAKI Magyar Tudományos Akadémia

D lI o E S Ts z R tI BoUt tT EEDs eEm V EéNnTySe k A NEAl LeYmS zI Sé sReE SKEuAtRaCtHó lLaAbBoOrRaAt Tó O r iRuYm

LIDAR Based Surveillance

Városi LIDAR adathalmaz szegmentációja Módszerünk célja utcai környezetben rögzített LIDAR adatok elemzése, különböző objektumok és utcaszegmensek felismerése. A szegmentálás figyelembe veszi mind a helyszín geometriai leíróit, mind a LIDAR idősorozat alapján számolt különféle időbeli jellemzőket. Az így feldolgozott adat a későbbiekben használható utcai jelenetek (pl. közlekedési baleset) felismerésére, adatsorozat összeillesztésére valamint 4D városrekonstrukcióra. Főbb funkciók:  Talajdetekció – képes nem sík, jelentős magasságkülönbséggel rendelkező talaj detektálására is  Növényzetdetekció – falevelek felismerése és azok pontfelhőből való eltávolítása a könnyebb feldolgozás érdekében  Magas, statikus objektumok (pl. fal, közlekedési tábla vagy fatörzs) és alacsony objektumok elkülönítése (pl. járművek, gyalogosok, szemeteskuka) egy LIDAR felvételen belül  Mozgó objektumok azonosítása LIDAR felvételek egy sorozatán

A Feneketlen-tó melletti park – a falevelek lilával és pirossal vannak jelölve

Ugyanez a helyszín a falevelek nélkül (ezúttal magasság szerint színezve)

Felhasználási területek  Automatikus forgalomfigyelés és irányítás  Városmegfigyelés  Digitális városkép modellezés Követelmények  Földi LIDAR adat  Megfelelő számítási kapacitás Főbb jellemzők  Magas, statikus objektumok detektálása (falak, lámpaoszlopok, stb.)  Növényzet detektálása  Talaj detektálása

Egy szegmentált utcai jelenet. A három osztály: talaj, alacsony objektum valamint fal (vagy egyéb magas, álló objektum) A szegmentálás valós időben készül el és előfeldolgozási lépésként funkcionál.

Mozgásdetekció egy LIDAR jeleneten

Elérhetőség: MTA-SZTAKI, Kende u. 13-17, 1111 Budapest, labor vezető: Prof. Szirányi Tamás, [email protected] Projektvezető: Dr. Benedek Csaba, benedek.csaba@ sztaki.mta.hu, url: http:\\web.eee.sztaki.hu Tel: (+36) 1 279 6106

EEE Kutatólaboratórium MTA-SZTAKI Magyar Tudományos Akadémia

D lI o E S Ts z R tI BoUt tT EEDs eEm V EéNnTySe k A NEAl LeYmS zI Sé sReE SKEuAtRaCtHó lLaAbBoOrRaAt Tó O r iRuYm

LIDAR Based Surveillance

Mozgó platformról készített városi LIDAR adathalmaz összefűzése A mozgó autóra helyezett LIDAR szenzor olyan méréssorozatot szolgáltat, ahol az egyes "képkockák" ritka háromdimenziós pontfelhők, koordinátarendszerük pedig a jármű haladását követve változik. Rendszerünk automatikusan összefűzi a ritka adathalmazt, nagyobb útszakaszokat ábrázoló, sűrű, nagy felbontású pontfelhőket eredményezve. Az így kapott adat később felhasználható jelenetek értelmezésére és rekonstrukciójára, számos alkalmazásban: objektumfelismerés és osztályozás, zöld területek méretének becslése, virtuális homlokzatmodellezés, stb. A módszer nem használja további szenzorok (pl giroszkóp) adatait, így az autó mozgásának pontos mérése nélkül is képes összefűzni az adathalmazt. Olyan kihívást jelentő eseteket is automatikusan kezelünk, ahol a helyszín sok mozgó adatpontot tartalmaz (pl. utcán mozgó járművek és gyalogosok), nehezítve az illesztést.

Felhasználási területek  Automatikus forgalomfigyelés és irányítás  Városmegfigyelés  Digitális városkép modellezés Követelmények  Földi LIDAR adat  Megfelelő számítási kapacitás Főbb jellemzők  Automatikus regisztráció az autó mozgásának ismerete nélkül  Nagy adatsűrűség: több mint 10 millió adatpont pár méternyi rögzítés alatt

Egy-egy minta rögzítés a LIDAR adathalmazban

A döntött adathalmazból összefűzött jelenet (a szenzor 45 fokban nézett felfelé) Elérhetőség: MTA-SZTAKI, Kende u. 13 -17, 1111 Budapest, vezető: Prof. Szirányi Tamás, [email protected] Projektvezető: Dr. Benedek Cs aba, benedek.csaba@ sztaki.mta.hu, url: http:\\web.eee.sztaki.hu Tel: (+36) 1 279 6106

EEE Kutatólaboratórium MTA-SZTAKI Magyar Tudományos Akadémia

Elosztott Események Elemzése Kutatólaboratórium

LIDAR alapú megfigyelési rendszer

Járműfelismerés földi LIDAR pontfelhősorozatokból Módszerünk járműveket azonosít földi LIDAR lézerkamera által készített pontfelhősorozaton. A mérés kimenetként megjelenő ritka pontfelhősorozatot automatikus algoritmus illeszti össze, majd a felismerést a sűrű pontfelhőn végzi. Az eljárás széleskörű alkalmazását teszi lehetővé, hogy különféle adatfüggő és prior előzetes ismeretekre építő elemek építhetők be a modellbe. A rendszer beállításához egyaránt használhatunk tanító adatmintákat valamint szabályokat. A módszer valós LIDAR pontfelhősorozatokon került tesztelésre, melyeket egy Velodyne HDL-64E típusú lézerszkenner készítette Budapest belvárosában.

Alkalmazási területek  Automatikus forgalom megfigyelés és ellenőrzés  Környezetvédelem  Városi térfigyelő rendszerek Követelmények  Földi LIDAR adatok  Erős számítási teljesítmény Főbb jellemzők  Automatikus feldolgozás  Tetszőlegesen beállítható adatmodellek  Járművek és járműcsoportok együttes felismerése

2D-s jámrű kinyerés

Jármű szegmentáció és vetítés

Ritkás bemeneti pontfelhő

Pontfelhők összeillesztése (kb. 30 db)

3D-s befoglaló dobozok visszavetítése a pontfelhőbe

Sűrű pontfelhő az összeillesztés után

Elérhetőség: MTA-SZTAKI, Kende u. 13 -17, 1111 Budapest, vezető: Prof. Szirányi Tamás, [email protected] Projektvezető: Dr. Benedek Csaba, benedek.csaba@ sztaki.mta.hu, url: http:\\web.eee.sztaki.hu Tel: (+36) 1 279 6106

EEE Kutatólaboratórium MTA-SZTAKI Magyar Tudományos Akadémia

Elosztott Események Elemzése Kutatólaboratórium

Városi forgalom-megfigyelés légi LIDAR adatokon Az automatikus forgalommegfigyelő eljárások kulcsfontosságú részét képezik a városi felügyelettel kapcsolatos rendszereknek. Megoldásunk összetett forgalomelemző rendszert valósít meg, ahol hierarchikus adatmodellekkel dolgozunk: az egyes járművek felismerése mellett az eljárás képes azonosítani az összetartozó járműcsoportokat különböző forgalmi helyzetekben, mint például parkoló járművek, vagy közlekedési lámpánál várakozó járműsor. Az eljárás működése a következő: az első lépés a 3D-s bemeneti pontfelhő szétválasztása különböző osztályokat tartalmazó ponthalmazokra, úgy mint "jármű”, “épületek tetőszerkezetei”, “növényzet”, illetve “ritka régiók”. Második lépésben a különböző pontosztályokat a talajsíkra történő vetítés után leírhatók kétdimenziós téglalapok összességével. Az eljárásban lehetőség adódik előzetes (prior) információ beépítésére a felhasználó által, például a lehetséges járművek alakja, mérete és elrendeződésének várt mintái.

Bemenő pontfelhő magasságszínezéssel (1. adathalmaz) Teszt adatok: Infoterra-Astrium Geoinf-Serv, Magyarország

Alkalmazási területek  Automatikus forgalom megfigyelés és ellenőrzés  Környezetvédelem  Városi felügyelet Követelmények  Légi LIDAR adatok  Erős számítási teljesítmény Főbb jellemzők  Automatikus adatfeldolgozás  Tetszőlegesen beállítható adatmodellek  Járművek és járműcsoportok együttes felismerése

Szegmentált pontfelhő (2. adathalmaz)

Vehicle model A járműfelismerés eredménye (1. adathalmaz)

Járműcsoportok felismerése (2. adathalmaz)

Elérhetőség: MTA -SZTAKI, Kende u. 13 -17, 1111 Budapest, laborvezető: Prof. Szirányi Tamás, [email protected] Dr. Benedek Csaba, benedek.csaba@ sztaki.mta.hu, url: http:\\web.eee.sztaki.hu Tel: (+36) 1 279 6106

EEE & GMSZL Kutatólaboratóriumok MTA-SZTAKI Magyar Tudományos Akadémia

ELOSZTOTT ESEMÉNYEK ELEMZÉSE & GEOM. MODELLEZÉS ÉS SZÁMTÓGÉPES LÁTÁS LABOROK

Sok szereplős követés és dinamikus tér rekonstrukciója LIDAR adatok alapján i4D projekt: Valóság alapú virtuális világ létrehozása Módszerünk automatikusan elkülöníti a mozgó járókelőket LIDAR ponfelhő sorozatokon és képes több szereplő követésére hosszú idő tartományon keresztül. A folyamat kimeneteként a kinyert pályagörbék alapján előállt a dinamikus 3D színtér (azaz 4D), mely a 4D stúdióban előre felvett mozgó szereplőket jeleníti meg. A jelenet környezeteként használhatunk tetszőleges valós vagy mesterséges teret, de készíthetünk 3D modellt is a LIDAR által felvett jelenetből. A modul része az i4D rendszernek, melynek célja a valóság több szintjét és lehetséges megvalósulásait kombinálni, két fő problémára koncentrálva: 1. Valós bel- és kültéri színterek rekonstrukciója, virtuálisan módosítva, benépesítve szereplőkkel és objektumokkal, 4D megjelenítés segítségével 2. Kültéri LIDAR alapú videó felügyeleti és rekonstrukciós feladatok támogatása a 4D stúdióban létrehozott 3D objektum modellek használatával

LIDAR Alapú Felügyelet

Felhasználási területek  Videofelügyelet  Film- és animációipar Követelmények  Nagy frissítési frekvenciájú LIDAR rendszer  Feldolgozó számítási kapacitás Felügyeleti egység  Valós idejű működés, sok szereplő együttes észlelése és követése  Automatikus feldolgozási folyamat  Bel- és kültéri alkalmazás Megjelenítő egység  Előre felvett, mozgó szereplők létrehozása a 4D rekonstrukciós stúdióban http://vision.sztaki.hu/4Dstudio



3D textúrált háttér modell készítés (részben automatikus)

4) Rekonstruált 4D színtér

2) Elkülönített járókelők a LIDAR pontfelhőben

1) Bemeneti pontfelhő

3) Járókelők pályarajzolata felülnézetből Elérhetőség: MTA-SZTAKI, Kende u. 13-17, 1111 Budapest, vezető: Prof. Szirányi Tamás, [email protected] Projektvezető: Dr. Benedek Csaba, benedek.csaba@ sztaki.mta.hu, url: http:\\web.eee.sztaki.hu Tel: (+36) 1 279 6106