KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
Vizu´ alis burok alap´ u 3D rekonstrukci´ o f´ enyforr´ as k´ epek haszn´ alat´ aval hajl´ıtott rug´ o idomok m´ er´ es´ ehez K´ atai-Urb´an G´abor1 , Megyesi Zolt´an2 1
2
Kecskem´eti F˝ oiskola, GAMF Kar, Informatika Tansz´ek
[email protected] Kecskem´eti F˝ oiskola, GAMF Kar, Informatika Tansz´ek
[email protected]
Absztrakt. A vizu´ alis burok alap´ u 3D rekonstrukci´ o elterjedt m´ odszer olyan alkalmaz´ asokban, amikor nincs sz¨ uks´eg vagy nem kivitelezhet˝ o apr´ ol´ekos 3D fel¨ ulet rekonstrukci´ o. Gyakran alkalmazz´ ak ha volumetrikus rekonstrukci´ ora van sz¨ uks´eg a m´ odszer gyorsas´ aga ´es j´ o megval´ os´ıthat´ os´ aga miatt. A vizu´ alis burok f˝ o h´ atr´ anya azonban, hogy a vizsg´ alt objektumoknak csak a sziluettj´et haszn´ alja a rekonstrukci´ ohoz, ´ıgy a sziluetten bel¨ ul l´ athat´ o 3D inform´ aci´ o elv´esz. Emiatt az objektumnak csak durva k¨ orvonala rekonstru´ alhat´ o, ´es k¨ ul¨ on¨ osen nagy probl´em´ at okoznak a takar´ asok. A rekonstrukci´ o min˝ os´ege jav´ıthat´ o a kamera n´ezetek sz´ am´ anak n¨ ovel´es´evel, a ´m ez gyakran kedvez˝ otlen¨ ul ´erinti a megval´ os´ıtott rendszer k¨ olts´egeit. Ebben a cikkben javaslatot tesz¨ unk a kamer´ ak f´enyforr´ asokkal t¨ ort´en˝ o kiv´ alt´ as´ ara. Megmutatjuk hogyan lehet a f´enyforr´ as k´epet l´etrehozni, modellezni ´es kalibr´ alni. Bemutatunk egy vizu´ alis burok alap´ u m´er˝ o rendszert amelyet hajl´ıtott rug´ o idomok m´er´es´ere fejlesztett¨ unk.
1.
Bevezet´ es
A 3D kamera rendszerek, m´er˝oeszk¨oz¨ok ´es 3D megjelen´ıt˝ok terjed´es´evel a 3D rekonstrukci´ os m´ odszerek egyre n¨ovekv˝o ´erdekl˝od´est keltenek. Gyakran van sz¨ uks´eg olyan m´er˝ o rendszerekre, amelyek a teljes testet rekonstru´alj´ak ´es kell˝oen gyorsak ipari alkalmaz´ asokhoz vagy ak´ar mozg´o objektumok m´er´es´ere is (mint p´eld´ aul [3]). Az ilyen esetekben gyakran alkalmaznak Vizu´alis Burok [5] alap´ u m´ odszereket. Ezek a m´ odszerek akkor el˝ony¨osek amikor nincs sz¨ uks´eg vagy nem kivitelezhet˝ o pontos 3D fel¨ ulet rekonstrukci´o illetve ha kimondottan volumetrikus t´erfogat modellre van sz¨ uks´eg. A m´odszer el˝onye, hogy a 3D t´erfogatmodell megalkot´ as´ ahoz a detekt´ alt objektumok sziluettj´ere van csak sz¨ uks´eg, ´es a sziluettek elk´esz´ıt´ese - ´ıgy az objektumok detekt´al´asa is - j´ol elk¨ ul¨on´ıthet˝o probl´ema marad a rekonstrukci´ ot´ ol. A m´odszer h´atr´anya, hogy a sziluetteken l´atsz´o 3D inform´ aci´ ot nem haszn´ alja fel, ´ıgy a val´os objektumnak csak k¨ozel´ıt´es´et kapjuk. Ez a k¨ ozel´ıt´es ann´ al pontosabb, min´el t¨obb kamera n´ezet¨ unk van, de az ¨ontakar´as m´eg ´ıgy is probl´ema. A kamer´ak sz´am´anak n¨ovel´ese azonban sokszor anyagi
265
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
akad´ alyokba u ¨tk¨ ozik. Erre a probl´em´ara megold´as lehet a forg´oasztal (mint [8]), vagy a sz´ınt´er k¨ ur¨ ol forg´ o kamera. Ilyenkor azonban a m´er´es id˝otartam megn˝o, a mozg´ ast pedig pontosan modellezni ´es szinkroniz´alni kell a k´epk´esz´ıt´essel. Az ´ alatlunk javasolt megold´ as sor´an a kamer´ak mellett f´enyforr´asokat helyez¨ unk el. Megmutatjuk, hogy a f´enyforr´asokhoz sziluett k´ep rendelhet˝o ´es az ´ıgy nyert k´epalkot´ o eszk¨ oz a kamer´ahoz hasonl´oan modellezhet˝o ´es kalibr´alhat´o. Ilyen m´ odon a f´enyforr´ asok sz´am´anak n¨ovel´es´evel a kamerasz´amot n¨ovelhetj¨ uk. Javaslatot tesz¨ unk a kamera rendszer kalibr´al´as´ara is egy u ´j k¨ uls˝o kalibr´aci´os objektum seg´ıts´eg´evel. Eredm´enyeink jelenleg kezdetiek, de m´ar alkalmaztuk a m´ odszert egy vizu´ alis burok alap´ u m´er˝o rendszerben, melyet hajl´ıtott rug´o idomok m´er´es´ere tervezt¨ unk. A m´er˝o rendszer t¨obb kamer´at ´es sz´amos f´enyforr´ ast tartalmaz. A rendszer r´eszletes param´etereit ´es a kapott eredm´enyeket a 10. fejezetben t´ argyaljuk. Az alkalmazott Vizu´alis Burok m´odszerr˝ol r´eszletesebben a 2. fejezetben olvashatunk, majd a javasolt kamera kalibr´aci´ot ´es f´enyforr´as k´epet mutatjuk be. A kalibr´ aci´os eredm´enyeket a 9. fejezetben tal´aljuk.
2.
Vizu´ alis burok
T¨ obb elj´ ar´ as is ismert a k´epi inform´aci´ok alapj´an t¨ort´en˝o 3D modellalkot´asra. Ezeket a felhaszn´ alt inform´ aci´o alapj´an “shape-form-X” kateg´ori´akba sorolhatjuk. A Vizu´ alis Burok elj´ ar´ as [5] a “shape-form-silhuett” alap´ u elj´ar´as, mivel a modell el˝ o´ all´ıt´ as´ ahoz az eredeti objektum kamerak´epeken detekt´alhat´o k¨orvonal´ at (sziluettj´et) alkalmazza. Az elj´ar´as bemenet´et a t´erbeli objektumr´ol t¨obb n´ezetb˝ ol k´esz´ıtett k´epek ´es a kamer´ak kalibr´aci´os adatai k´epzik. A kalibr´aci´os adatok azt ´ırj´ ak le, hogy egy t´erbeli 3D pontot a kamera hogyan k´epez le a 2D k´eps´ıkj´ ara. T¨ obb n´ezetb˝ ol k´epeket k´esz´ıt¨ unk a sz´ınt´err˝ol (1. ´abra), ezut´an az objektum k¨ orvonal´ anak pontjait a kamerak´epekr˝ol visszavet´ıtj¨ uk a 3D t´erbe. Ezek egy-egy a kamer´ at´ ol t´avolodva b˝ov¨ ul˝o k´ upot jel¨olnek ki a t´erben. Ahol a k¨ ul¨ onb¨ oz˝ o n´ezetb˝ ol sz´ armaz´o k´ upok metszik egym´ast, ott rekonstru´aljuk az objektumot a t´erben. Ezzel az elj´ar´assal a val´os t´erbeli objektum konvex burk´at kapjuk meg volumetrikus modellk´ent. Fontos megjegyezni, hogy az objektum konk´ av r´eszeinek le´ır´ as´ ara nem alkalmas ez az elj´ar´as. A rekonstru´alt modell a kamer´ ak n´ezeteib˝ ol teljesen megegyezik az eredeti objektummal, viszont olyan n´ezetb˝ ol, ahonnan nem volt kamer´ank, jelentkezik elt´er´es. A pontoss´agot u ´gy lehet n¨ ovelni, ha a n´ezetek sz´ am´at n¨ovelj¨ uk. A rekonstrukci´os elj´ar´as alkalmaz´asa el˝ ott az optikai rendszer vet´ıt´esi tulajdons´agait meg kell hat´arozni.
3.
Kamera modell
Egy kamera vet´ıt´esi tulajdons´againak le´ır´as´ahoz a perspekt´ıv kamera vagy lyukkamera modellt alkalmazzuk [7]. Ez a modell a val´os kamera egyszer˝ us´ıtett reprezent´ aci´ oja, amely a legt¨ obb k´epfeldolgoz´asi feladat eset´en felhaszn´alhat´o. A lyukkamera modell k¨ oz´eppontos vet´ıt´essel k´epzi le a sz´ınteret. Az 2. ´abr´an l´athat´ o t´erbeli objektum az X pontj´at a π k´eps´ıkra az Xcc vet´ıt˝o sug´ar vet´ıti le. Minden vet´ıt˝ o sug´ ar a C c f´ okusz ponton megy kereszt¨ ul ´es a k´ep ott keletkezik,
266
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
1. ´ abra: Vizu´ alis burok
ahol a k´eps´ıkot ez metszi (uci ). A modellezett lencs´ere mer˝oleges egyenes az optikai tengely. Ez a π c k´eps´ıkot uc0 pontban metszi, ami a d¨of´espont. A lencse f´ okuszt´ avols´ ag´ at (f c ) a C c uc0 szakasz adja. Egy t´erbeli objektum egy pontja
2. ´ abra: Kamera modell
´es ennek a k´eps´ıkon vett vet¨ ulet´enek kapcsolat´at a k¨ovetkez˝ok´eppen adhatjuk meg [2]: suci = K c [Rc , tc ]X (1) , ahol az uci = [u, v, 1]T a k´eppont homog´en koordin´at´ai a k´ep koordin´atarendszer´eben (Oic ; uci , vic ), a X = [X, Y, Z, 1]T az objektum homog´en koordin´at´aja a vil´ ag koordin´ ata-rendszerben (O; X, Y, Z) ´es s egy sk´al´az´asi faktor. [Rc , tc ] m´ atrix a kamera k¨ uls˝ o kalibr´aci´os m´atrixa, ami megadja a vil´ag koordin´atarendszer ´es a kamera koordin´ata-rendszere k¨oz¨otti elforgat´ast ´es eltol´ast. A ka-
267
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
mera bels˝ o param´etereit a K c kamera m´atrix ´ırja le: α γ uc0 K = 0 β v0c 0 0 1
(2)
, ahol (uc0 , v0c ) a d¨ of´espont koordin´at´ai, α ´es β a f´okuszt´avols´ag komponensei az uci ´es vic tengelyek ment´en, γ a k´ep koordin´ata-rendszer ny´ır´as´at reprezent´alja, amit a kamer´ ak pontatlan ¨ osszeszerel´ese okozhat.
4.
Kamera kalibr´ aci´ o
A kamera vet´ıt´esi tulajdons´ againak meghat´aroz´as´ahoz az OpenCV [1] f¨ uggv´enyk¨ onyvt´ ar elj´ ar´ asait haszn´ altuk. K´et l´ep´esben v´egezt¨ uk a kalibr´aci´ot. El˝osz¨or a bels˝ o kamera param´etereket kell meghat´arozni, amelyek csak a kamera vet´ıt´esi tulajdons´ agait´ ol f¨ uggenek. ´Igy am´ıg a f´okuszt´avols´ag v´altozatlan marad, a kamer´ ak egym´ ast´ ol f¨ uggetlen¨ ul kalibr´alhat´oak. M´asodik l´ep´esben a k¨ uls˝o param´eterek kalibr´ aci´ oja k¨ ovetkezik, amely sor´an az optikai rendszer elemeinek elhelyezked´es´et hat´ arozzuk meg a vil´ ag koordin´ata-rendszerben. Ennek a k´et kalibr´aci´os l´ep´esnek a r´eszleteit mutatjuk be ebben a fejezetben.
4.1.
Bels˝ o kamera kalibr´ aci´ o
A bels˝ o kalibr´ aci´ os elj´ ar´ as c´elja, hogy a K (2) m´atrix param´etereit meghat´arozzuk. Az alkalmazott elj´ ar´ as Zhang [9] m´odszer´en alapul. A m´odszer egy s´ıkon felvett pontok k¨ ul¨ onb¨ oz˝ o n´ezetb˝ol k´esz¨ ult k´epei alapj´an tudja meghat´arozni a bels˝o param´etereket. A s´ıkbeli pontok felv´etel´ehez pap´ırlapra nyomtatott fekete-feh´er sakkt´ abla mint´ ar´ ol k´esz´ıtett¨ unk felv´eteleket k¨ ul¨onb¨oz˝o n´ezetekb˝ol (3. ´abra). A k´epeken detekt´ alt bel˝ o sarokpontok ´es a s´ıkon ismert koordin´at´ak alapj´an az optimaliz´ aci´ os elj´ ar´ as meghat´arozza a bels˝o param´etereket.
3. ´ abra: Bels˝ o kamera kalibr´ aci´ o
268
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
4.2.
K¨ uls˝ o kamera kalibr´ aci´ o
A rekonstrukci´ o szempontj´ ab´ ol fontos tudnunk, hogy a kamer´ak hol helyezkednek el a t´erben ´es milyen ir´ anyba n´eznek. Ezeket a k¨ uls˝o param´etereket a t eltol´as vektor ´es az R forgat´ as m´ atrix ´ırja le, amelyek seg´ıts´eg´evel a vil´ag koordin´atarendszer pontjai ´es a k´ep koordin´ata-rendszer´enek pontjai k¨oz¨otti lek´epez´es az (1) egyenlettel megadhat´ o. A kamer´ ak k¨ uls˝ o param´etereit u ´gy szeretn´enk meghat´arozni, hogy azonos koordin´ ata-rendszerbe ker¨ uljenek, ami a k¨oz¨os vil´ag koordin´ata-rendszere is lesz egyben. Ez´ert a k¨ uls˝ o kalibr´ aci´ohoz sz¨ uks´eges 3D koordin´at´akat a k¨oz¨os sz´ınt´erben vessz¨ uk fel. Fontos szempont, hogy a pontok lehet˝oleg a t´er k¨ozep´en, v´altoz´o magass´ agokban legyen elrendezve a pontosabb param´eter k¨ozel´ıt´es ´erdek´eben. A k¨ uls˝ o kalibr´ aci´ os objektum saj´at tervez´es˝ u, direkt erre a feladatra lett kialak´ıtva. A kamerak´epeken ellipszisk´ent megjelen˝o, v´ekony sz´aron elhelyezked˝o g¨omb¨oket
4. ´ abra: K¨ uls˝ o kamera kalibr´ aci´ o
v´ alasztottunk a t´erbeli pontok kijel¨ol´es´ere, amelyek k¨onnyen detekt´alhat´oak (4. abra). A poz´ıci´ ´ ojukat 3D koordin´ata m´er˝og´eppel hat´aroztuk meg. Az ´ıgy ismert t´erbeli poz´ıci´ ok ´es a k´epeken detekt´alt ellipszisek k¨oz´eppontjai alapj´an a k¨ uls˝ o param´eterek az OpenCV [1] f¨ uggv´enyk¨onyvt´ar kalibr´aci´os elj´ar´asainak felhaszn´ al´ as´ aval meghat´ arozhat´oak.
5.
M´ odos´ıtott vizu´ alis burok elj´ ar´ as
A rekonstrukci´ os elj´ ar´ as sor´ an a kamerak´epekb˝ol visszavet´ıtett k´ upok metszet´ebe olyan t´err´eszek is beker¨ ulnek, amelyek nem tartoznak az objektumhoz (l´asd: piros sz´ınnel a 5.´ abr´ an). Ezek az objektumhoz nem tartoz´o r´eszek a n´ezetek (kamer´ ak) sz´ am´ anak n¨ ovel´es´evel cs¨okkenthet˝oek. Val´os alkalmaz´asokban a kamer´ ak sz´ ama nem n¨ ovelhet˝ o tetsz˝oleges m´ert´ekben, mivel ennek anyagi vonzatai vannak. ´Igy mi egy olyan megold´ast kerest¨ unk erre a probl´em´ara, amivel a n´ezetek sz´ am´ at a kamer´ ak ´ ar´anak t¨ored´ek´eb˝ol n¨ovelni tudjuk. Pontszer˝ u LED f´enyforr´ asokat alacsony k¨ olts´eggel tudunk alkalmazni. Ezekkel k¨ ul¨on-k¨ ul¨on megvil´ ag´ıtva a sz´ınteret, az objektum k¨ ul¨onb¨oz˝o n´ezetbeli ´arny´ek´at kapjuk. Az ´arny´ek sziluetteket is fel tudjuk haszn´alni a rekonstrukci´o sor´an. Ha az ´arny´ekokat
269
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
5. ´ abra: Viszu´ alis burok: p´elda a visszavet´ıt´eskor keletkez˝ o hib´ ara
is vissza tudjuk vet´ıteni a t´erbe, akkor a kamer´akkal egyen´ert´ek˝ u n´ezeteket kapunk ´es ´ıgy pontos´ıthatjuk az elj´ar´ast. A visszavet´ıt´eshez viszont elengedhetetlen, hogy legyen egy digit´alis ´arny´ekk´ep¨ unk ´es a f´enyforr´as vet´ıt´es´et le´ır´o modell.
6.
F´ enyforr´ as k´ ep
A f´enyforr´ asok ´es a kamer´ ak vet´ıt´ese sok ponton hasonl´o, de a nagy k¨ ul¨onbs´eg, hogy a f´enyforr´ asokb´ ol nem nyerhet˝o ki k¨ozvetlen¨ ul k´ep. Ehhez a kamer´akat kell felhaszn´ alni. Az 6. ´ abr´ an k¨oz´epen l´athat´o objektum k´et kamera ´es egy f´enyforr´ as k¨ oz¨ os sz´ınter´eben helyezkedik el. A f´enyforr´asb´ol kiindul´o f´enysugarak egy r´esze visszaver˝ odik az objektumr´ol, m´asik r´esze az objektum m¨og¨ott elhelyezett erny˝ oig eljut. Itt keletkezik az objektum ´arny´eka (z¨old sz´ınnel jel¨olve). A kamera k´epeken az objektum (k´ek sz´ınnel) ´es az ´arny´ekai (z¨old sz´ınnel) is l´ athat´ o. Megfigyelhet˝ o az is, hogy az ´arny´ek poz´ıci´oja nem f¨ ugg a kamer´ak elhelyezked´es´et˝ ol. Ha a kamera k´epeket egy s´ık s´ık transzform´aci´oval az erny˝ore vet´ıtj¨ uk, egy olyan k´epet kapunk, amin az ´arny´ek poz´ıci´oja nem v´altozik ak´armelyik kamer´ ab´ ol is v´egezz¨ uk a vet´ıt´est. Ezt az ´arny´ekk´epet tudjuk majd felhaszn´ alni a f´enyforr´ as vet´ıt´esi tulajdons´againak meg´allap´ıt´as´ahoz.
7.
F´ enyforr´ as modell
C´elunk az, hogy a vizu´ alis burok el˝o´all´ıt´as´ahoz a f´enyforr´as k´epeket fel tudjuk haszn´ alni. Ahogy a kamer´ ak eset´en is, itt is sz¨ uks´eges egy modell, ami le´ırja azt, hogy a t´erbeli objektumot hogyan k´epezi le a f´enyforr´as ´arny´ekk´epp´e. Egy olyan f´enyforr´ as modellt mutatunk be, ami seg´ıts´eg´evel a f´enyforr´as k´ep´et u ´gy tudjuk haszn´ alni mint a kamer´ak k´ep´et. Az 7. ´abr´an a k¨oz´eppontos vet´ıt´est v´egz˝ o f´enyforr´ as modell l´ athat´o. A pontszer˝ u f´enyforr´as C l pontja k´epzi a vet´ıt´es l k¨ oz´eppontj´ at. A π k´eps´ıkot az az erny˝o adja, amin az ´arny´ekot felfogjuk. A t´erbeli objektum a C l k¨ oz´eppont ´es π l s´ık k¨oz¨ott helyezkedik el. A C l -b˝ol
270
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
6. ´ abra: F´enyforr´ as k´ep el˝ oa ´ll´ıt´ asa
osug´ ar az objektum X pontj´at uli pontba k´epzi le a k´eps´ıkra. kiindul´ o Xcl vet´ıt˝ l Az u0 d¨ of´espont a k´eps´ıkon k´ıv¨ ul helyezkedik el ebben az elrendez´esben. A f´enyforr´ as f´ okuszt´ avols´ ag´ at az f l szakasz adja. Ahhoz, hogy a f´enyforr´as k´epekre
7. ´ abra: F´enyforr´ as modell
is tudjuk alkalmazni a 1 ¨ osszef¨ ugg´est, meg kell hat´aroznunk a K ´es [Rt] m´atrixok param´etereit. A K kameram´atrix (2) minden param´etere meghat´arozhat´o a f´enyforr´ as modell alapj´ an, a kamer´akhoz hasonl´oan.
8.
F´ enyforr´ as kalibr´ aci´ o
A f´enyforr´ as modellt u ´gy alkottuk meg, hogy a kalibr´aci´os elj´ar´asok, amiket a kamer´ ak eset´en alkalmaztunk, a f´enyforr´asokra is felhaszn´alhat´o legyen.
271
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
8.1.
F´ enyforr´ as bels˝ o kalibr´ aci´ o
A bels˝ o param´eterek meghat´ aroz´as´ahoz, a kamer´akhoz hasonl´oan, egy s´ıkbeli objektum k´ep´et (´ arny´ek´ at) kell el˝o´all´ıtanunk. Mivel a hagyom´anyos pap´ırra nyomtatott sakkt´ abla mint´ anak az ´arny´ekk´ep´et nehezen tudtuk volna el˝o´all´ıtani, m´as kalibr´ aci´ os objektumot kellett tervezn¨ unk. Fontos, hogy a kialak´ıtott minta min´el t¨ obb, a kamera k´epeken pontosan meghat´arozhat´o pontot tartalmazzon, amelyeket a f´eny ´es ´ arny´ek hat´ arvonalak egy´ertelm˝ uen elv´alasszanak. E mellett a robusztus, ipari kialak´ıt´ as is elengedhetetlen, hogy az objektum s´ıklap´ us´aga ne v´ altozzon a m´er´es sor´ an. Az ´altalunk megval´os´ıtott kalibr´aci´os objektum mindezeknek megfelel: egy f´emlemezen k´esz´ıtett¨ unk m´atrix szer˝ uen furatokat (8. abra). Ezeken a f´eny ´ ´ atjut ´es a s´ık fel¨ uleten a perspekt´ıv torzul´asnak megfelel˝oen szab´ alyosan elhelyezked˝ o ellipsziseket figyelhet¨ unk meg. Az ellipszisek k¨oz´eppontj´ at detekt´ alni tudjuk, ezek lesznek a f´enyforr´asok k´epei.
8. ´ abra: F´enyforr´ as bels˝ o kalibr´ aci´ o
8.2.
F´ enyforr´ as k¨ uls˝ o kalibr´ aci´ o
A f´enyforr´ asok k¨ uls˝ o param´etereit is meg kell hat´aroznunk, hogy a vizu´alis burok visszavet´ıt´esekor a f´enyforr´ asokat is fel tudjuk haszn´alni. Enn´el a kalibr´aci´os l´ep´esn´el is az elv´ ar´ as az, hogy ugyanabban a koordin´ata rendszerben hat´arozzuk meg a poz´ıci´ okat ´es az orienet´aci´okat, mint amit a kamer´ak eset´en felvett¨ unk. ´Igy a kamer´ ak k¨ uls˝ o kalibr´ aci´ ohoz haszn´alt objektum´at kell itt is alkalmaznunk (9. ´ abra). A s´ıkon ellipszisk´ent megjelen˝o ´arny´ekok k¨oz´eppontjai ´es a g¨omb¨ok t´erbeli poz´ıci´ oja alapj´ an a k¨ uls˝o param´eterek meghat´arozhat´ok a f´enyforr´asokra is.
9.
Kalibr´ aci´ os eredm´ enyek
Az optikai rendszer kalibr´ al´ as´anak pontoss´aga nagyban befoly´asolja a rekonstrukci´ os elj´ ar´ ast. Ez´ert fontos m´ern¨ unk, hogy az optikai eszk¨oz¨ok vet´ıt´esi tulajdons´ agait mennyire j´ ol siker¨ ult meghat´aroznunk. Mi a pontoss´ag m´er´es´ere a visszavet´ıt´esi hib´ at alkalmazzuk, ami a kalibr´aci´o sor´an felhaszn´alt objektumok poz´ıci´ oi ´es a neki megfelel˝ o k´epekb˝ol a t´erbe visszavet´ıt´essel meghat´arozott poz´ıci´ ok t´ avols´ aga.
272
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
9. ´ abra: F´enyforr´ as k¨ uls˝ o kalibr´ aci´ o
Az 1. t´ abl´ azatban a kamer´ ak kalibr´aci´oj´anak pontoss´ag´at foglaltuk ¨ossze. A sorokban k´et kamera k´epeib˝ ol triangul´aci´oval kisz´am´ıtott pontok hib´ai l´athat´ oak. Megfigyelhet˝ o, hogy a 0,167 mm-es maxim´alis ´es 0,044 mm-es minim´alis visszavet´ıt´esi hiba mellett a kamer´akat ´atlagosan tized millim´eteres pontoss´aggal siker¨ ult bekalibr´ alnunk. Ez a gyakorlatban igen pontos rekonstrukci´ot tesz lehet˝ ov´e. A f´enyforr´ asok eset´en is elv´egezt¨ uk a visszavet´ıt´esi hiba kisz´am´ıt´as´at, 1. t´ abl´ azat: Kamera kalibr´ aci´ o pontoss´ aga Kamera 1 Kamera 2 Visszavet´ıt´ esi hiba [mm] 0 1 0 2 0 3 0 4 0 5 1 2 1 3 1 4 1 5 2 3 2 4 2 5 3 4 3 5 4 5 ´ Atlagos hiba:
0,093 0,085 0,081 0,045 0,167 0,106 0,068 0,044 0,144 0,091 0,075 0,151 0,061 0,114 0,121 0,096
az eredm´enyeket a 2. t´ abl´ azatban foglaltuk ¨ossze. A triangul´aci´ot az els˝o hat f´enyforr´ as ´es egy kamera k´ep´en detekt´alt pontok alapj´an v´egezt¨ uk el. F´enyforr´asonk´ent ´ atlagoltuk az ´ıgy kapott t´avols´ag ´ert´ekeket, amelyek a t´abl´azat soraiban
273
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
t¨ untett¨ unk fel. A visszavet´ıt´esi hiba ´ert´ekei nagys´agrendileg ¨osszem´ehet˝oek a kamera kalibr´ aci´ on´ al kapott ´ert´ekekkel. Az el´ert ´atlagos 0,2 mm-es pontoss´ag azt mutatja, hogy a f´enyforr´ asokat is lehet a rekonstrukci´o sor´an alkalmazni. 2. t´ abl´ azat: F´enyforr´ as kalibr´ aci´ o pontoss´ aga
10.
F´ enyforr´ as
Visszavet´ıt´ esi hiba [mm]
1 2 3 4 5 6 ´ Atlagos hiba:
0,219 0,121 0,144 0,322 0,166 0,122 0,182
Rekonstrukci´ os eredm´ enyek
A t´ argyalt Vizu´ alis Burok m´odszert ´es a javasolt kalibr´aci´os elj´ar´asokat egy m´er˝ orendszer megval´ os´ıt´ as´ ahoz alkalmaztuk [4]. A m´er˝orendszert azzal a c´ellal tervezt¨ uk, hogy hajl´ıtott rug´o idomok m´er´es´et lehet˝ov´e tegye, mivel ezeknek az idomoknak az ipari min˝ os´eg-ellen˝orz´es´ere ma k´ezi u ´ton alkalmazott egyedi kalibereket haszn´ alnak. Az ´ altalunk tervezett m´er˝ocella a javasolt elj´ar´assal nagy pontoss´ aggal k´epes az idomok m´er´es´ere ´es ide´alis mintadarabokkal t¨ort´en˝o ¨osszehasonl´ıt´ asra. A cella m´er´esi ter´et maximum 500mm x 500mm x 100mm-es m´eret˝o idomokhoz tervezt¨ uk. A teret oldals´o ´all´asban n´egy darab, fels˝o poz´ıci´oban k´et darab 3840 x 2748 pixel felbont´as´ u IDS UEye UI-1490SE USB kamera veszi. A fels˝ o kamer´ ak a munkat´er fel´et - fel´et veszik, ´ıgy ezen n´ezet felbont´as´at k¨ozel a dupl´ aj´ ara n¨ ovelt¨ uk. Ezt a felbont´as-n¨ovel´est a magas m´er´esi pontoss´ag elv´ar´as miatt kellett bevezetni. A vizu´alis burok alap´ u modszerek eset´eben a m´er´esi pontoss´ ag elm´eleti als´ o hat´ ara annak a legkisebb t´err´esznek a t´erfogata, ami a kamer´ akb´ ol egyetlen pixelen kereszt¨ ul l´atszik. Ez a pontoss´ag a fels˝o kamer´akb´ol n´ezve a m´er´esi t´er alapter¨ ulet´en´el a k¨ovetkez˝ok´eppen sz´amolhat´o: error = surf ace/resolution
(3)
. Mivel a fels˝ o kamer´ ak kb. 400 mm alapter¨ uletet vesznek, a legjobb sz¨ogb˝ol a hiba t´erfogat m´erete: 400mm/3840 = 0.104mm = + − 0.052mm. Az oldals´o kamer´ ak ir´ any´ ab´ ol a legrosszabb sz¨ogb˝ol a hiba 800mm/2478 = 0.32mm = + − 0.16mm. Fontos viszont megeml´ıteni, hogy a m´ert objektumok tipikusan hengeresek, amely inform´ aci´o felhaszn´alhat´o arra, hogy a modell pontoss´ag´at illeszt´essel n¨ ovelj¨ uk (l´ asd [6]). A m´er´esi t´er h´ att´er-vil´ ag´ıt´asa LED szalagokkal t¨ort´enik, amit k¨ ul¨onb¨oz˝o f´eny diff´ uzor anyagokkal lehet homog´enn´e tenni. A munkat´er k¨or¨ ul 17 darab nagy
274
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
f´enyerej˝ u, hibat˝ ur˝ o, hossz´ u ´eletartam´ u ´es pontszer˝ u LED f´enyforr´as ker¨ ult elhelyez´esre. A m´er˝ ocella kivitelez´es´et a Mevisor Kft. v´egezte (l´asd 10. ´abra). A m´er˝ ocell´ aval val´ o m´er´es sor´an figyelembe vett¨ uk a f´enyforr´as kamer´ak je-
10. ´ abra: M´er˝ o cella
lenlegi pontatlans´ ag´ at ´ez´ert a f´enyforr´as k´epek eset´en az objektumok m´eret´et megn˝ ovelt¨ uk (dilat´ altuk), a hiba m´ert´ek´enek megfelel˝oen. ´Igy elker¨ ulhet˝o, hogy a kalibr´ aci´ os pontatlans´ ag a rekonstrukci´o rov´as´ara menjen. A m´er˝ocell´aval t¨obb idomot is m´ert¨ unk. Az k¨ ovetkez˝o eredm´enyek egy rekonstru´alt t´argy k¨ ul¨onb˝oz˝o n´ezeteit mutatj´ ak (l´ asd 11. ´ abra). A modell el˝o´all´ıt´as´ahoz ¨ot darab kamer´at ´es n´egy darab f´enyforr´ ast alkalmaztunk.
11. ´ abra: Hajl´ıtott rug´ o idom 3D m´er´ese
275
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
11.
Konkl´ uzi´ o´ es j¨ ov˝ obeli munk´ ak
Bemutattunk egy Vizu´ alis Burok alap´ u t¨obb kamer´as m´er˝o rendszert, amely f´enyforr´ as k´epek seg´ıts´eg´evel ´eri el a k´ıv´ant kamera sz´amot, ´es javaslatot tett¨ unk a rendszer kamr´ ainak k¨ ols˝ o ´es bels˝o kalibr´al´as´ara. Megmutattuk, hogy a f´enyforr´ asokhoz sziluett k´ep rendelhet˝o, ´es az ´ıgy nyert k´epalkot´o eszk¨oz a kamer´akhoz hasonl´ oan modellezhet˝ o ´es kalibr´alhat´o. A javasolt m´odszereket alkalmaztuk egy m´er˝ ocella megalkot´ as´ ahoz, mely tervezetten hajl´ıtott rugo idomok m´er´es´et ´es min˝ os´eg ellen˝ orz´es´et teszi majd lehet˝ov´e. Az ipari haszn´ alathoz a f´enyforr´as kamera kalibr´aci´oj´anak pontoss´ag´at n¨ovelni kell, amely el´erhet˝ o a kalibr´aci´os felv´etel sorozat jobb feldolgoz´as´aval, ´es a kalibr´ aci´ os objektum pontos´ıt´as´aval. A kezdeti rekonstrukci´os eredm´enyek megfelel˝ ok, de fontos feladat lesz a m´er˝ocella ´altal m´ert modellek valid´al´asa, vagyis annak az ellen˝ orz´ese, hogy a m´ert modellek megfelelnek-e a val´os´agnak, ´es hogy a m´er´es az elv´ art hiba hat´aron bel¨ ul van-e.
12.
K¨ osz¨ onetnyiv´ an´ıt´ as
K¨ osz¨ onet a Tatab´ anyai Rugogy´art´o KFT-nek az illusztr´aci´ok ´es az eredm´enyek megoszt´ as´ a´ert. Ezt a munk´ at a (GOP 1.1.1-09/1) Innovat´ıv 3D OFF LINE, ´es a gy´ art´ ast k¨ ozvetlen ellen˝ orz˝ o ´es kiszolg´al´o ON LINE m´er˝oberendez´es kifejleszt´ese megnevez´es˝ u p´ aly´ azat t´ amogatta. Jelen kutat´ asi eredm´enyek megjelen´es´et ”Az SZTE Kutat´oegyetemi Kiv´al´os´ agi K¨ ozpont tud´ asb´ azis´ anak kisz´eles´ıt´ese ´es hossz´ u t´av´ u szakmai fenntarthat´os´ ag´ anak megalapoz´ asa a kiv´ al´o tudom´anyos ut´anp´otl´as biztos´ıt´as´aval” c´ım˝ u, ´ TAMOP-4.2.2/B-10/1-2010-0012 azonos´ıt´osz´am´ u projekt t´amogatja. A projekt az Eur´ opai Uni´ o t´ amogat´ as´ aval, az Eur´opai Szoci´alis Alap t´arsfinansz´ıroz´as´aval val´ osul meg.
Irodalom 1. Gary Bradski and Adrian Kaehler. Learning OpenCV: Computer Vision with the OpenCV Library. O’Reilly, Cambridge, MA, 2008. 2. R. I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, ISBN: 0521540518, second edition, 2004. 3. Z. Jank´ o, D. Chetverikov, and J. Hap´ ak. 4d reconstruction studio: Creating dynamic 3d models of moving actors. Proc. Sixth Hungarian Conference on Computer Graphics and Geometry, pages 1–7, 2012. 4. G. K´ atai-Urb´ an, Z. Megyesi, and I. Pint´er. Hajl´ıtott rug´ o idomok ellen˝ orz´ese vizu´ alis burok alap´ u 3d rekonstrukci´ oval. Proceedings of AGTEDU 2012, nov 2012. 5. A. Laurentini. The visual hull concept for silhouette-based image understanding. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 16(2):150 –162, feb 1994. 6. I. Pint´er, Z. Megyesi, and G. K´ atai-Urb´ an. Estimation of geometrical features of wireforms using 3-dimensional image reconstruction data. Proceedings of Factory Automation 2012, pages 46–49, may 2012.
276
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
7. Milan Sonka, Vaclav Hlavac, and Roger Boyle. Image Processing, Analysis, and Machine Vision. Thomson-Engineering, 2007. 8. Zhanfeng Yue and R. Chellappa. Synthesis of silhouettes and visual hull reconstruction for articulated humans. Multimedia, IEEE Transactions on, 10(8):1565 –1577, dec. 2008. 9. Zhengyou Zhang. A flexible new technique for camera calibration. IEEE Trans. Pattern Anal. Mach. Intell., 22(11):1330–1334, November 2000.
277
