3D rekonstrukció több nézet alapján és alkalmazásai. Bódis-Szomorú András

3D rekonstrukció több nézet alapján és alkalmazásai Bódis-Szomorú András

Tanszéki előadás, 2010 feb. 17

Méréstechnika és Információs Rendszerek Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem

3D rekonstrukció több nézet alapján

Tartalom 1. 2. 3. 4. 5. 6. 7.

Felhasználási területek Korábbi munkák Vetítési modell és kalibráció Sztereó rekonstrukció alapproblémái Több nézet vagy mozgás Rekonstrukció alaptétele/akadálya További irányok


2/22

Bódis-Szomorú András [email protected]

Területek / Orvosi 3D-képfeldolgozás INVAZÍV

Tomográf / CTI

NON-INVAZÍV

Mágneses / MRI

Célok

Radioaktív / NRI

Ultrahang / USI

Forrásképek I(x,y,k) pl. koponya vagy I(x,y,k,t) pl. szív


1. 2. 3. 4. 5.

Interaktív, dinamikus 3D-vizualizáció Formák, textúrák, mozgás számszerűsítése Anatómiai struktúrák identifikációja 3D regisztráció (inter/intra-páciens, multimod.) Terápia tervezés, szimuláció, döntés, irányítás

Nicolas Ayache, Medical Computer Vision, Virtual Reality and Robotics – Promising Reasearch Tracks, EPIDAURE Project, INRIA, Sophia-Antipolis, France, 1994 (BMVC, 1995).

3/22


Ipari alkalmazások / Gyártás, végellenőrzés Alkalmazások Mérések (tolerancia, statisztikák) Szűrés (pass/fail) 3D lokalizáció robotirányításhoz

ISRA Vision www.isravision.com 3D rekonstrukció több nézet alapján

4/22


Területek / (Fél)autonóm járművek INTELLIGENS KÖZÚTI JÁRMŰVEK (IV, ADAS)

IPARI RAKODÓ/SZÁLLÍTÓ ROBOTOK (AGV) AUTOMATED CART TRANSPORTER

SZÁRAZFÖLDI ROBOTOK

(NASA Mars Exploration Rover)

(URA Lab, IIS, Tokiói Egyetem) (Predator RQ-1, USA légierő felderítője, 1995 óta)

HEAD-UP DISPLAY (HUD)

UTASSZÁLLÍTÓ REPÜLŐGÉP – PILÓTASEGÍTŐ RENDSZER ENHANCED/SYNTHETIC VISION SYSTEM (EVS/SVS, HUD)


LÉGI ROBOT (UAV, UCAV) TÁVIRÁNYÍTHATÓ LÉGI JÁRMŰ (RPV)

AUTONÓM TENGERALATTJÁRÓK (AUV, UUV) TÁVIRÁNYÍTÁSOS TEGERALATTJÁRÓK (ROV)

5/22


Területek / Filmipar és játékipar (AR/VR)

Kibővített valóság (Augmented Reality, AR) az Avatar c. filmben

Pendulum Anim. Studio, AlterEgo division Virtuális valóság (Virtual Reality, VR)


Kibővített valóság az „Én a robot” c. filmben

ImageMetrics Virtuális valóság

6/22


Területek / Reklám és sportkövetítések (AR/VR)

Questec Tenisz

SportVision Amerikai foci overlay


HawkEye Innovations Snooker

SportVision Virtuális kijelző

SportVision Virtuális felületek / játékoskártyák

LiberoVision Teljes 3D-rekonstrukció Pl. Virtuális lesvonal 7/22



Alkalmazási területek

3D orvosi képfeldolgozás, rekonstrukció Gyártás, végellenőrzés (Fél)autonóm járművek és pilótasegítő rendszerek Film- és játékipar (AR, VR) Reklám és sportközvetítések (AR, VR) Közúti és köztéri felügyeleti rendszerek Régészet, szobrok, műemlékek digitalizálása stb.


8/22


Korábbi munkák / Matlab toolbox MATLAB TOOLBOX: SAKKTÁBLÁS


MATLAB TOOLBOX: SÁVDETEKTÁLÁSHOZ

9/22


Korábbi munkák / Cornea-rekonstrukció


10/22


Korábbi munkák / Cornea-rekonstrukció

Kísérlet műszaruhártyával

A három kamera által elvileg látott és a rekonstruált felületek

Sugárkövetéssel számított kép 3D rekonstrukció több nézet alapján

11/22


Korábbi munkák / sztereó sávdetektálás HMI

nagy bázisszélesség

SZTEREÓ KAMERARENDSZER előre néző kamerák

HMI A FIGYELMEZTETÉSHEZ YAW-RATE ÉS GYORSULÁS

EPAS A SÁVKÖVETÉSHEZ

SEBESSÉG SZENZORFÚZIÓ

Valós időben laterális pozíció, jármű orientációja, sáv térbeli alakja. 3D rekonstrukció több nézet alapján

12/22


Vetítési modell

Megállapítások

geometriai és algebrai algebrai modell kell külső és belső kamera paraméterek → kalibráció információvesztés (mélység) → több nézet vagy a priori info kell perspektív vetítés nemlináris → projektív tér, homogén algebra


13/22


Rekonstrukció: Shape-from-X Rekonstrukció a fényforrás ismeretében / meghatározásával 3D lézer-szkenner

Shape-from-Shading (SfS)

Többnézetes rekonstrukció Computational Stereo

SZTEREÓ MOZGÁS

bázisvonal


Structure-from-Motion (SfM)

14/22


Projektív rekonstrukciós alapprobléma Forrásadatok

→ Rekonstrukció típusa

csak a képek képek, belső képek, belső, rel. külső képek, belső, absz. külső

Valódi geometria


Rektifikációhoz

→ projektív (15 DoF) → hasonlósági (7 DoF) → euklidészi (6 DoF) → valódi (true)

15 DoF projektív transzformáció

Sztratifikáció Skálatényező Elforgatás,eltolás

Projektív rekonstrukció

15/22


Sztereó: parallaxis és diszparitás

(Spirit Mars Exploration Rover anagliph 2004 jún. 8)

(Oliver Wendel Holmes sztereogramja, 1860 Normann Rockwell festménye) 3D rekonstrukció több nézet alapján

16/22


Sztereó elrendezés geometriája Fundamentális mátrix Esszenciális mátrix


17/22


Rektifikáció standard elrendezésbe


18/22


Sztereó: ritka és sűrű mélységi képek számítása Lépések 1. 2. 3. 4. 5. 6. 7.

Sarokdetektálás Ritka megfeleltetés → ritka diszparitás Fundamentális mátrix számítása Rektifikáció standard geometriára Sűrű megfeleltetés (scanline mentén) Konzisztenciateszt, validáció Interpoláció (funkcionál min.) Sarokdetektálás

Sűrű mélységi kép (szimuláció validációhoz)


19/22


Sűrű sztereó: a sanyarú valóság… Eredeti képek egyike (szimulált)

Dinamikus programozás

Referencia-diszparitáskép

Blokk-illesztés

Maximum flow

Graph cuts

M. Z. Brown, D. Burschka, G. D. Hager, Advances in Computational Stereo, IEEE Trans. on Pattern Analysis and Machine Intelligence, 25(8): 993-1008, 2003. 3D rekonstrukció több nézet alapján

20/22


Mi a helyzet a mozgással / több nézettel? Mozgás

Optikai mező módszerek Hagyományos rektifikáció nem jó Szereó diszparitás vs. optikai mező Szegmentálás: tyúk-tojás

Több nézet

Trifokális kényszerek gyakoriak Kvadrifokálison túl nem megyünk Gyakori a visszavezetés sztereóra Az új nézetek már kalibrálhatók Nagy optimalizálási feladat Sűrű rekonstrukció még sűrűbb lehet


21/22


Kutatás

További tervek

többnézetes implementációk (Matlab) sűrű mélységi képek (Matlab) dinamikus sztereó (sztereó+optikai mező) autokalibráció plussz szenzorokkal


22/22


Köszönöm a figyelmet!

3D rekonstrukció több nézet alapján és alkalmazásai Bódis-Szomorú András

Tanszéki előadás, 2010 feb. 17

Méréstechnika és Információs Rendszerek Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem

3D rekonstrukció több nézet alapján és alkalmazásai. Bódis-Szomorú András

Recommend Documents