24. KONFERENCE O GEOMETRII A POČÍTAČOVÉ GRAFICE
ŠÁRKA VORÁČOVÁ
APLIKACE EPIPOLÁRNÍ GEOMETRIE Abstrakt Epipolární geometrie je geometrií dvou středových promítání. Je teoretickým základem pro určení vztahu mezi dvěma fotografiemi téže scény a pro rekonstrukci scény v prostoru. V příspěvku je popsán obecný postup pro sestavení fundamentální matice a rekonstrukce scény ve speciálním případě, kdy kamera zůstává statická a předpokládaným pohybem objektu je translace.
Klíčová slova rekonstrukce scény, kalibrace kamery, fundamentální matice, esenciální matice, fotogrametrie
1
Úvod
Získání prostorové informace ze dvou, nebo více rovinných průmětů je základní úlohou počítačového vidění, která je intenzivně zkoumána v průběhu posledních patnácti let. Definice úlohy, základní pojmy a algoritmy je možné nalézt v [5] [3], [11]. V zásadě existují dva přístupy k rekonstrukci prostorové scény. První možností je určení projekčních matic kamer, tj. získání vzájemných vztahů promítacích paprsků a pixelových souřadnic snímků vzhledem k pevně danému repéru. Tento přístup ovšem vyžaduje znalost vnitřních parametrů kamery, v opačném případě je třeba odhadnout pro každý snímek 11 parametrů projekční matice, což je mnohem více, než je v obvyklých aplikacích nezbytně nutné. Určení vnitřních parametrů kamery se provádí tzv. kalibrací kamery. Kalibrační techniky je možné rozdělit na fotogrametrickou kalibraci a automatickou kalibraci. Při fotogrametrické kalibraci pozorujeme kamerou kalibrační objekt, jehož geometrie je přesně určena [3]. Výhodou je přesnost výsledků, avšak za cenu nákladného laboratorního vybavení. Při automatické kalibraci nepotřebujeme kalibrační objekt, vnitřní parametry kamery odhadneme na základě vzájemně si odpovídajících bodů pozorovaného objektu. V [6], [8], [12], [1], jsou popsány metody automatické kalibrace. Druhým přístupem k rekonstrukci 3D scény je využití projektivity snímků [10]. Detekcí vzájemně si odpovídajících bodů určíme projektivitu snímků, aniž bychom znali vnitřní parametry kamery. Výhodou tohoto přístupu je menší počet parametrů, které je nutné odhadnout. Hlavním úkolem stereo analýzy je výpočet fundamentální matice, která určuje vztah dvou průmětů.
2
Rekonstrukce ze dvou kalibrovaných pohledů
Nejprve popíšeme vztah mezi pixelovými souřadnicemi snímku a souřadnicemi pozorovaného objektu v pevně daném repéru. Tato transformace je určena projekční matící kamery.
APLIKACE EPIPOLÁRNÍ GEOMETRIE
2.1
Projekční matice
Pro výpočet geometrického modelu kamery předpokládejme, že je prostorová scéna středově promítána ze středu C na průmětnu π (Obr. 1). Uvažujeme tři souřadné systémy: Pevně daný repér v obecné poloze vůči průmětně W hOw , xw , yw , zw i, repér objektivu kamery - souřadná osa z splývá s optickou osou C hC, xc , yc , zc i a ne vždy ortogonální pixelové souřadnice obrázku IhO, xI , yI i
Obrázek 1: Projekční matice kamery Středové promítání X → X1 ; (w, x, y, z)T → (w1 , x1 , y1 )T je v projektivním prostoru popsáno maticí: Ppersp
0 0 = 0 −f 0 0
0 0 −f
1 0 = (0 P˜persp ) 0
Vzdálenost optického středu od průmětny - distance f = |CH| patří k vnitřním parametrům kamery, stejně jako souřadnice hlavního bodu. Při ukládání obrazové informace do pixelových souřadnic uvažujeme celkem 5 vnitřních parametrů kamery, které určují posunutí počátku, změnu měřítka ve směru os a afinní transformaci do neortogonální báze obrázku. Shodná transformace pevně daného repéru W a repéru kamery C je určena vnějšími (extrinsic) parametry kamery - posunutí ~t a ortogonální matice rotace R ∈ O(3, R). Projekční matice P typu 3 × 4 se skládá z matice perspektivní projekce, vnitřní a vnější kalibrace:
1 P = x0 y0
0 0 = 0 −af 0 0
0 0 0 0 a b 0 −f 0 0 0 c
0 −bf −cf
0 0 −f
¶ 1 µ 1 0 = 0 ~ t R 0
¶ ¶ µ 1 µ 1 0 1 0 x0 ~ = K(t¯ R) = (0 K) ~ t R t R y0
Matici K typu 3 × 3 nazýváme matice kalibrace kamery. Pro homogenní souřadnice bodu v prostoru a jeho obrazu v projektivní rovině pak dostáváme projekční matici ve tvaru: X1 = P · X ; P = K(~t, R) (1)
ŠÁRKA VORÁČOVÁ
Obrázek 2: Epipolární geometrie
2.2
Epipolární geometrie
Uvažujme nyní případ dvou kamer, obecně s různými maticemi kalibrace K1 , K2 , které pozorují tutéž scénu (Obr. 2). Pro určení epipolárních podmínek využijeme vlastností dvoustředového promítání [7]. Promítací paprsky daného bodu X tvoří promítací (epipolární) rovinu, ta protíná průmětny ve sdružených přímkách (epipolárách). V obou průmětnách tak dostáváme navzájem projektivní svazky sdružených přímek. Vazbu mezi průměty X1 , X2 bodu X odvodíme z rovnice (1) a z vlastnosti, že spojnice středů C1 , C2 a oba promítací paprsky leží v jedné promítací rovině. Bez újmy na obecnosti můžeme předpokládat, že pevný souřadný systém splývá se souřadným systémem první kamery. Promítací rovnice kamer jsou pak tvaru: X1 = P1 X = K1 (0, I)X,
X2 = P2 X = K2 (~t, R)X
vektor ~t a matice rotace R určují transformaci mezi objektivy kamer. Známe-li matice kalibrace, můžeme od souřadnic snímku X1 , X2 přejít k normalizovaným ˆ1, X ˆ 2 předpisem souřadnicím X ˆ 1 , X2 = K2 X ˆ2. X1 = K1 X
(2)
Vztah mezi normalizovanými pixelovými souřadnicemi snímků je pak dán rovnicí: ˆ T · tM R · X ˆ 1 = 0, X 2
(3)
kde tM je antisymetrická matice (3 × 3) vektoru posunutí. Matici E = tM R nazýváme esenciální matice [9]. Vektorový prostor esenciálních matic je v průběhu posledních 15 let intenzivně zkoumán [4], [2]. Pro určení vzájemné polohy kamer využijeme SVD (singular value decomposition) rozkladu esenciální matice[5]. Uvažujeme-li i matice kalibrace K1 , K2 , Pak vztah mezi průměty X1 , X2 získáme dosazením rovnic ( 2) do vztahu (3): X2T (K1−T EK2−1 )X1 = 0.
(4)
APLIKACE EPIPOLÁRNÍ GEOMETRIE
Matici F = K1−T EK2−1 nazýváme fundamentální matice snímků. Tak jako esenciální i fundamentální matice je matice 3 × 3 hodnosti 2. Pro dva snímky je fundamentální matice určena jednoznačně a obráceně daná fundamentální matice určuje dvojici projekčních matic kamer P1 , P2 až na násobení projektivní maticí. Pro stereo analýzu je tedy zásadním úkolem co možná nejpřesnější odhad fundamentální matice. Celkem je pro její výpočet nutné určit 7 parametrů. V literatuře [9], [5], [2] jsou popsány algoritmy pro určení fundamentální matice z detekovaných dvojic vzájemně odpovídajících si bodů. V [9] je pro odhad fundamentální matice popsán lineární, tzv. osmi-bodový algoritmus. Jakmile získáme odhad fundamentální matice, vypočítáme matici z esenciálního prostoru, která má od našeho odhadu nejmenší Frobeniovu vzdálenost. Nevýhodou osmibodového algoritmu je, že ačkoliv esenciální matice má jen pět volitelných parametrů, užití tohoto algoritmu vyžaduje alespoň osm dvojic odpovídajících si bodů. Navíc je nutné, aby mezi objektivy kamer bylo nenulové posunutí a pozorované body musí ležet alespoň ve dvou různých rovinách. [2]
2.3
Aplikace epipolární geometrie
V praktických aplikacích se mnohdy, díky speciální vzájemné poloze kamer nebo speciální geometrii pozorované scény, situace zjednoduší a zmenší se počet parametrů, které musíme odhadnout. Využijeme-li známé informace o geometrii scény, snížíme tím počet neznámých parametrů a můžeme zvýšit spolehlivost použitých metod. Budeme zkoumat konkrétní případ, kdy kamerou, umístěnou v automobile pozorujeme prostor za vozidlem (digitální zpětné zrcátko). Detekujeme-li automobil za naším vozidlem, zajímá nás, jak je auto daleko (hloubka objektu) a jak rychle se auto přibližuje. Konfiguraci pevné kamery a pohybujícího se objektu můžeme převést na příklad stereo promítání. V našem případě je shodnost pouhou translací, tedy R = I, snímky zhotovujeme stejnou kamerou K1 = K2 = K. Souřadnice uzlových bodů (epipólů ) e1 , e2 v pixelových souřadnicích obrázku splývají e1 = e2 = K~t, stejně jako sdružené přímky (epipoláry). Pro páry odpovídajících si bodů X1 , X2 dostáváme: X1 = P1 · X = K(0, I) = K(x, y, z)T = (z, −af x − bf y + x0 z, −cf y + v0 z) X2 = P2 · X = K(t¯, I) = (K t¯, K)(1, x, y, z)T = K t¯ + X1 , tedy společný uzlový bod je úběžníkem směru posunutí objektu Upravíme-li vztah pro fundamentální matici, dostáváme: F = K −T EK −1 = K −T · tM · K −1 = K −T K T (e2 )M . Pro určení fundamentální matice stačí dva rozpoznat dva páry odpovídajících si bodů, tyto dvojice bodů určí úběžník posunití, který je současně epipólem a v maticovém zápisu určuje fundamentální matici
0 e = K~t = −af 0
0 −bf −cf
t1 1 x0 t2 = (t3 , −af t1 − bf t2 + x0 t3 , −cf t2 + y0 t3 ). t3 y0
ŠÁRKA VORÁČOVÁ
Literatura [1] O. Faugeras, Q. Luong: Self-calibration of Moving Camera from Point Correspondences and Fundamental Matrices, International Journal of Computer Vision, 1. 5-40, Kluwer Academic Publishers, Boston, 2004 [2] O. Faugeras, Q. Luong: A stability Analysis of the Fundamental Matrix, Proceedings of the European Conference on Computer Vision, Stockholm, 1994, pp. 577 - 588 [3] O. Faugeras: Three-Dimensional Computer Vision: a Geometric Viewpoint, MIT Press,1993 [4] G. Golub, C.Loan: Matrix Computation, The John Hopkins University Press, Baltimore, Maryland, 1996 [5] R. I. Hartley, A. Zisserman: Multiple View Geometry in Computer Vision Cambridge University Press, 2000 [6] R. Hartley: An Algorithm for Self Calibration from Several Views, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1994, pp. 908-912 [7] K. Kadeřávek, J. Klíma, J. Kounovský: Deskriptivní geometrie I, Praha, 1929 [8] D. Liebowitz, A. Zisserman: Metric Rectification for Perspective Images of Planes, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1998, pp. 482-488 [9] H.C. Longuet-Higgins: A Computer Algorithm for Reconstructing a Scene from Two Projections , Nature 293, 1981, pp. 133-135 [10] J. I. Mundy, A. Zisserman: Geometric Invariance in Computer Vision, MIT Press, 1992 [11] J. Stolfi: Oriented Projective Geometry: A Framework for Geometric Computations, Academic Press, Inc., San Diego, 1991 [12] Z. Zhang: A Flexible New Technique for Camera Calibration, Microsoft Research, One Microsoft Way, USA, 1998 http://research.microsoft.com/ zhang
