Realisztikus 3D modellek k´ esz´ıt´ ese val´ os t´ argyakr´ ol Jank´ o Zsolt
Doktori ´ertekez´es t´ezisei
T´emavezet˝o: Dr. Csetverikov Dmitrij
E¨otv¨os Lor´and Tudom´anyegyetem Informatikai Doktori Iskola Vezet˝o: Dr. Demetrovics J´anos Sz´am´ıt´astechnikai ´es Automatiz´al´asi Kutat´o Int´ezet Magyar Tudom´anyos Akad´emia Budapest 2006
1. Bevezet˝ o Realisztikus 3D modellek k´esz´ıt´ese val´os t´argyakr´ol alapvet˝o feladat mind a sz´am´ıt´og´epes l´at´ason, mind a sz´am´ıt´og´epes grafik´an bel¨ ul. A 3D modelleknek sz´amos lehets´eges alkalmaz´asa l´etezik: virtu´alis m´ uzeumok, m˝ ut´eti tervez´es orvosi k´epfeldolgoz´asban, elektronikus kereskedelem, ´ep´ıt´eszet, sz´am´ıt´og´epes j´at´ekok vagy filmek. Az ilyen modellekn´el fontos a prec´ız geometria ´es a r´eszletes ´es pontos text´ ura is. A realisztikus megjelen´es tov´abb jav´ıthat´o, ha a fel¨ uleti ´erdess´eget is modellezni tudjuk. Sz´amos
k¨ ul¨onb¨oz˝o
m´odszer
l´etezik
3D
modellek
k´esz´ıt´es´ere.
A sz´am´ıt´og´epes l´at´asban a k´epalap´ u 3D rekonstrukci´onak komoly irodalma van.
A rekonstrukci´os m´odszerek – sztere´o l´at´as, shape
from structure, shape from shading, stb. – k¨oz¨os jellemz˝oje, hogy a 3D modelleket k´epekb˝ol vagy k´epsorozatokb´ol ´all´ıtj´ak el˝o. Ugyanakkor, ha pontos geometri´ara van sz¨ uks´eg, 3D l´ezerszkennereket ´erdemes haszn´alni. A l´ezerszkennerek h´atr´anya, hogy csak a fel¨ ulet geometri´aj´at m´erik, a sz´ınekr˝ol nem adnak inform´aci´ot.
N´eh´any
l´ezerszkenner k´epes a sz´ınt is m´erni, de ezek egyr´eszt nem el´eg pontosak, m´asr´eszt nagyon dr´ag´ak. A mi c´elunk egy olyan egyszer˝ u rendszer fel´ep´ıt´ese, amivel j´o min˝os´eg˝ u, realisztikus 3D modelleket k´esz´ıthet¨ unk viszonylag kicsi (max.
50 cm) val´os t´argyakr´ol.
Egy k´ezi vez´erl´es˝ u, nem t´ ul
dr´aga l´ezerszkennert haszn´alunk a geometria m´er´es´ere, amit azut´an kieg´esz´ıt¨ unk f´enyk´epekb˝ol nyert sz´ınekkel ´es text´ ur´aval. A f´enyk´epeket egy h´etk¨oznapi digit´alis f´enyk´epez˝ovel k´esz´ıtj¨ uk, ami f¨ uggetlen a 3D szkennert˝ol. A rendszerhez tartozik m´eg egy egyszer˝ u mozgathat´o
1
asztali l´ampa ´es egy sz´am´ıt´og´ep, amivel az adatokat feldolgozzuk. A legnagyobb neh´ezs´eget az jelenti, hogy hogyan kapcsoljuk ¨ossze a k¨ ul¨onb¨oz˝o jelleg˝ u, k¨ ul¨onb¨oz˝o forr´asb´ol sz´armaz´o adatokat. A rendszer bemenetk´ent egy 3D modellt ´es k¨ ul¨onb¨oz˝o n´ez˝opontb´ol, vagy k¨ ul¨onb¨oz˝o megvil´ag´ıt´as mellett k´esz¨ ult k´epeket kap az adott t´argyr´ol. A 3D modellr˝ol ´es a k´epek halmaz´ar´ol is felt´etelezz¨ uk, hogy teljesen fedi az alakzatot. Emellett a k¨ ul¨onb¨oz˝o n´ez˝opontb´ol felvett k´epeknek u ´gy kell k´esz¨ ulni¨ uk, hogy legyenek k¨oz¨os r´eszeik, ´atfed´esek, ahol ¨ossze tudjuk ˝oket illeszteni. A doktori ´ertekez´esben bemutatjuk, hogyan lehet a rendelkez´es¨ unkre ´all´o adatokat felhaszn´alva realisztikus 3D modellt k´esz´ıteni. A rendszer¨ unk m˝ uk¨od´es´et az al´abbi ´abr´aval szeml´eltetj¨ uk.
Kamera Képfeldolgozás 3D−s szkenner Geom. modellezés Regisztráció
Multitextúrázás Felületi érdesség
2
2. A doktori ´ ertekez´ es fel´ ep´ıt´ ese A doktori ´ertekez´es hat r´eszb˝ol ´all, lesz´am´ıtva k´et fejezetet, a dolgozat elej´en a bevezet´est ´es a v´eg´en az ¨osszefoglal´ast. A 2. fejezet egy ´attekint´est tartalmaz azokr´ol a kamera- ill. f´enyvisszaver˝od´esi modellekr˝ol, amelyek ismerete sz¨ uks´eges a dolgozat meg´ert´es´ehez. A 3. fejezet n´egy projektet mutat be, amik a legk¨ozelebb ´allnak a mi munk´ankhoz. A dolgozat u ´j tudom´anyos eredm´enyeit a 4–7. fejezet tartalmazza. A 4. fejezetben bemutatunk egy, az u ´n. fotokonzisztenci´an alapul´o regisztr´aci´os algoritmust. A m´odszer u ´jdons´aga, hogy a kor´abbr´ol ismert regisztr´aci´os elj´ar´ast kiterjeszti kalibr´alatlan k´epekre is, valamint hogy egy genetikai algoritmust haszn´al az optimaliz´aci´os feladat megold´as´ara. Regisztr´aci´o ut´an a k´epeket a modellre vet´ıtve megkapjuk a text´ ur´azott 3D modellt. k´epb˝ol ´all ¨ossze.
A modellt teljesen befed˝o text´ ura t¨obb
Fontos, hogy a r´eszleges text´ urak´epeket u ´gy il-
lessz¨ uk egym´ashoz, hogy ne l´atsz´odjon az illeszt´es helye. Az 5. fejezetben szerepl˝o m´odszer¨ unk a 3D fel¨ uletet kiter´ıti a s´ıkba, ez´altal a text´ urak´epek ¨osszeilleszt´es´enek neh´ez feladat´at visszavezetj¨ uk a 3D t´erb˝ol a 2D t´erbe. A 2D t´erben hagyom´anyos elj´ar´asokat alkalmazva a text´ ur´ak egyszer˝ ubben ¨osszef˝ uzhet˝oek. N´eh´any esetben a 3D l´ezerszkenner ´altal m´ert geometria nem el´eg prec´ız. A fel¨ uleten jelentkez˝o apr´o ´erdess´eget nagyon neh´ez pontosan megm´erni. A fotometrikus sztere´o m´odszerei alkalmasak arra, hogy v´altoz´o f´enyviszonyok mellett k´esz¨ ult f´enyk´epekb˝ol pontos ´es r´eszletes
3
inform´aci´ot nyerj¨ unk a fel¨ ulet apr´o egyenetlens´egeir˝ol. A 6. fejezetben egy ilyen m´odszert mutatunk be. M´odszer¨ unk u ´jdons´ag´at az adja, hogy a k´epek mellett egy kezdeti, durva 3D modellt is felhaszn´alunk a f´enyforr´asok kalibr´al´as´ahoz ´es a fel¨ uleti norm´alisok meghat´aroz´as´ahoz. A 7. fejezet l´enyeg´eben f¨ uggetlen az el˝oz˝oekt˝ol.
Ebben a fejezet-
ben azt vizsg´aljuk, hogy hogyan lehet kihaszn´alni az u ´n. Helmholtzf´ele reciprocit´ast a fel¨ uletek rekonstrukci´oj´an´al. Ha ismeretlen egy fel¨ ulet f´enyvisszaver˝o k´epess´ege, a rekonstrukci´os feladat nagyon bonyolultt´a v´alik. A Helmholtz sztere´o m´odszer kihaszn´alja az ismert t¨orv´enyszer˝ us´eget, ami szerint a f´enyvisszaver˝od´est le´ır´o f¨ uggv´eny, a BRDF, szimmetrikus. A fejezetben bemutatunk egy m´odszert egy Helmholtz sztere´o rendszer radiometrikus kalibr´al´as´ara, ami a pontos m´er´esekhez alapvet˝o fontoss´ag´ u.
4
´ tudom´ 3. Uj anyos eredm´ enyek A doktori ´ertekez´es u ´j tudom´anyos eredm´enyeit a k¨ovetkez˝o n´egy t´ezis foglalja ¨ossze. 1. t´ ezis Egy u ´ j, fotokonzisztenci´ an alapul´ o algoritmus kalibr´ alatlan k´ epeknek egy 3D fel¨ uleti modellhez t¨ ort´ en˝ o regisztr´ aci´ oj´ ara. 1.1 Kidolgoztunk egy u ´j m´odszert egy adott t´argyr´ol k´esz¨ ult k´epp´arnak a t´argy 3D modellj´ehez t¨ort´en˝o regisztr´aci´oj´ara. A m´odszer megold´ast ad a fotokonzisztenci´an alapul´o poz´ıci´obecsl´esi feladat kiterjeszt´es´ere, ahol a kamer´ak sem bels˝o, sem k¨ uls˝o param´eterek szempontj´ab´ol nincsenek kalibr´alva.
Defini´altunk egy alkalmas c´elf¨ uggv´enyt, ´es
kipr´ob´altunk k¨ ul¨onb¨oz˝o optimaliz´aci´os m´odszereket, v´eg¨ ul egy genetikai algoritmus alkalmaz´asa mellett d¨ont¨ott¨ unk. Az algoritmust k´et input k´epre fogalmaztuk meg, de egyszer˝ uen kiterjeszthet˝o t¨obb k´epre is. 1.2 A takar´asi probl´em´ab´ol ad´od´o outlierek kik¨ usz¨ob¨ol´es´ere a m´odszert m´odos´ıtottuk. Felhaszn´altuk a 3D m´er´esb˝ol ad´od´o fel¨ uleti norm´alisokat a l´athat´o fel¨ uleti pontok detekt´al´as´ara, ´es sikeresen alkalmaztunk k´et, egym´ashoz hasonl´o technik´at, nevezetesen a Trimmed Squares ´es az α-trimmed mean elj´ar´asokat a m´odszer robusztuss´a t´etel´ere. A kameramodellre tett ´esszer˝ u megszor´ıt´asokkal a m´odszer hat´ekonys´ag´at tov´abb n¨ovelt¨ uk. 1.3 A m´odszer teljes´ıtm´eny´et val´odi ´es f´elig szintetikus adatokon v´egrehajtott szisztematikus tesztekkel ´ert´ekelt¨ uk. A f´elig 5
szintetikus adatok seg´ıts´eg´evel az eredm´enyeket sz´amokkal is jellemezt¨ uk.
Sz´amos futtat´ast v´egezt¨ unk, amivel si-
ker¨ ult letesztelni a m´odszer ´erz´ekenys´eg´et a sz´ınmodellek ´es a genetikai param´eterek v´altoztat´as´ara.
Val´odi adatokon
v´egrehajtott tov´abbi k´ıs´erletek is a m´odszer hat´ekonys´ag´at mutatj´ak. 2. t´ ezis Multitext´ ur´ az´ as Egy u ´ j m´ odszer teljesen text´ ur´ azott 3D modellek k´ esz´ıt´ es´ ere val´ os t´ argyakr´ ol a fel¨ ulet s´ıkba ter´ıt´ es´ enek seg´ıts´ eg´ evel. 2.1 Kidolgoztunk egy u ´j m´odszert,
ami a fel¨ ulet s´ıkba
ter´ıt´es´enek technik´aj´at alkalmazza r´eszleges text´ urak´epek ¨osszef˝ uz´es´ere.
Ez´altal teljesen text´ ur´azott 3D modelleket
kapunk. A m´odszer l´enyege, hogy a fel¨ ulet kiter´ıt´es´evel a text´ urak´epek 3D t´erben t¨ort´en˝o ¨osszeilleszt´es´enek bonyolult feladat´at ´athelyezz¨ uk a 2D t´erbe, ahol alkalmas m´odszerekkel a k´epek t¨or´esmentes ¨osszef˝ uz´ese egyszer˝ ubben megoldhat´o. 2.2 N´egy k¨ ul¨onb¨oz˝o m´odszert pr´ob´altunk ki a k´epek t¨or´esmentes ¨osszef˝ uz´es´ere. A szintetikus adatokon v´egrehajtott tesztek eredm´enyeit sz´amokkal jellemezt¨ uk, ´ert´ekelt¨ uk ´es ¨osszehasonl´ıtottuk. A val´odi adatokon v´egrehajtott tesztek ´es az eredm´eny¨ ul kapott, teljesen text´ ur´azott, t¨or´esmentes 3D modellek a m´odszer hat´ekonys´ag´at mutatj´ak.
6
3. t´ ezis Fel¨ uleti ´ erdess´ eg kinyer´ ese Egy u ´ j, fotometrikus sztere´ on alapul´ o m´ odszer fel¨ uleti ´ erdess´ eg kinyer´ es´ ere. 3.1 Kidolgoztunk egy u ´j m´odszert val´os t´argyak fel¨ uleti ´erdess´eg´enek kinyer´es´ere.
A m´odszer a j´ol ismert fo´ tometrikus sztere´on alapszik. Ujszer˝ us´ege abban rejlik, hogy felhaszn´alja az inputk´ent adott kezdeti 3D modellt is, ami a val´odi modell egy durva k¨ozel´ıt´ese. A r´eszletes norm´alvektormez˝o becsl´ese k´et l´ep´esben t¨ort´enik: el˝osz¨or a f´enyforr´asokat kalibr´aljuk a kezdeti 3D modell felhaszn´al´as´aval, majd a kalibr´alt f´enyforr´asok seg´ıts´eg´evel kisz´amoljuk a norm´alvektorokat.
3.2 A m´odszert letesztelt¨ uk val´os ´es szintetikus adatokon is. A m´odszer pontoss´ag´at a szintetikus adatokon v´egzett tesztek ki´ert´ekel´es´evel szeml´eltett¨ uk. 4. t´ ezis Helmholtz sztere´ o Egy Helmholtz sztereoszkopikus rendszer radiometrikus kalibr´ al´ asa. 4.1 Kidolgoztuk az elm´elet´et egy u ´j elj´ar´asnak egy Helmholtz sztereoszkopikus rendszer radiometrikus kalibr´al´as´ara. Az elj´ar´as sor´an pontos becsl´est adunk a szenzor effekt´ıv ´erz´ekenys´eg´ere a k´eppontokban. A radiometrikus kalibr´al´as m´odszer´enek sz¨ uks´egess´eg´et ´es pontoss´ag´at tesztek mutatj´ak.
7
4. A szerz˝ o publik´ aci´ oi a dolgozat t´ emak¨ or´ eben [1] Zsolt Jank´ o: Helmholtz reciprocity in surface reconstruction: an overview. In Proc. II. Magyar Sz´ am´ıt´ og´epes Grafika ´es Geometria Konferencia, pp. 103–108, 2003. [2] Zsolt Jank´ o, Dmitry Chetverikov: Precise registration based on photo-consistency. In Proc. K´epfeldolgoz´ ok ´es Alakfelismer˝ ok IV. Konferenci´ aja, pp. 137–143, 2004. ˇ [3] Zsolt Jank´ o, Ondˇrej Drbohlav, Radim Sara: Radiometric calibration of a Helmholtz stereo rig. In Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 166– 171, 2004. [4] Zsolt Jank´ o, Dmitry Chetverikov: Registration of an uncalibrated image pair to a 3D surface model. In Proc. 17th International Conference on Pattern Recognition, pp. 208–211, 2004. [5] Zsolt Jank´ o, Dmitry Chetverikov: Photo-consistency based registration of an uncalibrated image pair to a 3D surface model using genetic algorithm. In Proc. 2nd International Symposium on 3D Data Processing, Visualization & Transmission, pp. 616–622, 2004. [6] Zsolt Jank´ o: Combining multiple texture mappings using surface flattening. In Proc. Joint Hungarian–Austrian Conference on Image Processing and Pattern Recognition, pp. 155–162, 2005. [7] Zsolt Jank´ o, Dmitry Chetverikov: Data fusion for photorealistic 3D models. In Proc. 11th International Conference on Compu-
8
ter Analysis of Images and Patterns, Lecture Notes in Computer Science, 3691:240–247, 2005. [8] Zsolt Jank´ o, Evgeny Lomonosov, Dmitry Chetverikov: Building photorealistic models using data fusion. In Proc. III. Magyar Sz´ am´ıt´ og´epes Grafika ´es Geometria Konferencia, pp. 37–42, 2005. [9] Zsolt Jank´ o, G´eza K´os, Dmitry Chetverikov: Creating entirely textured 3D models of real objects using surface flattening. International Journal of Machine Graphics & Vision, Vol. 14, pp. 379–398, 2005. [10] Zsolt Jank´ o, Dmitry Chetverikov, Anik´o Ek´art: Using a genetic algorithm to register an uncalibrated image pair to a 3D surface model. International Journal of Engineering Applications of Artificial Intelligence, 19:269–276, 2006. [11] Dmitry Chetverikov, Zsolt Jank´ o, Evgeny Lomonosov, Anik´o Ek´art: Creating photorealistic models by data fusion with genetic algorithms. Fejezet a Soft Computing in Image Processing: Recent Advances c´ım˝ u k¨otetben, megjelen´es el˝ott, Studies in Fuzziness and Soft Computing, Springer, pp. 239–266, 2006. [12] Zsolt Jank´ o, Evgeny Lomonosov, Dmitry Chetverikov: Fusing spatial, pictorial and photometric data to build photorealistic models. In Proc. 16th International Conference on Computer Graphics and Applications (GraphiCon), pp. 32–39, 2006. [13] Zsolt Jank´ o, Dmitry Chetverikov: Adding Surface Bumpiness to a 3D Model Using Photometric Stereo. In Proc. Virtual Environment on a PC Cluster Workshop, k¨ozl´esre elfogadva, 2006.
9
