KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
MRF alap´ u el˝ ot´ erdetekci´ o´ es objektumk¨ ovet´ es Lidar pontfelh˝ o szekvenci´ akon Horv´ath Csaba, Moln´ar D¨om¨ot¨or, Benedek Csaba, Szir´anyi Tam´as MTA SZTAKI Elosztott Esem´enyek Elemz´ese Kutat´ olaborat´ orium {vezeteknev.keresztnev}@sztaki.mta.hu
Absztrakt. Cikk¨ unkben el˝ ot´erkiemel´est ´es c´elpontk¨ ovet´est megval´ os´ıt´ o m´ odszert mutatunk be, fix poz´ıci´ oban ´ all´ o forg´ o Lidar eszk¨ ozzel k´esz¨ ult pontfelh˝ o szekvenci´ ak elemz´es´ehez. Az´ert, hogy val´ os idej˝ u m˝ uk¨ od´est tegy¨ unk lehet˝ ov´e, henger fel¨ uletre vet´ıtj¨ uk a Lidar-pontfelh˝ ot, elk´esz´ıtve egy 3600 -os, k´et-dimenzi´ os m´elys´egk´epet. A feldolgoz´ ast nehez´ıt˝ o t´enyez˝ ok, mint p´eld´ aul a diszkretiz´ alt pixelr´ acsb´ ol ad´ od´ o kvant´ al´ asi hib´ ak, a szenzor kalibr´ aci´ oj´ ab´ ol sz´ armaz´ o poz´ıci´ o torz´ıt´ asok, ´es a n¨ ov´enyzet periodikus mozg´ asa miatt l´etrej¨ ov˝ o h´ att´er fluktu´ aci´ o, szignifik´ ans cs¨ okkent´es´ere javasolunk egy dinamikus Markov v´eletlen mez˝ os (MRF) modellt, amely t´erbeli ´es id˝ obeli le´ır´ okat egyar´ ant haszn´ al. A ki´ert´ekel´es val´ os Lidar adatokon t¨ ort´ent, video fel¨ ugyeleti ´es forgalom figyel´es alkalmaz´ asokhoz kapcsol´ od´ o m´er´esi sorozatokon. V´eg¨ ul a kapott m´ odszer alkalmazhat´ os´ ag´ at is bemutatjuk t¨ obbc´elpont´ u k¨ ovet´es ´es dinamikus helysz´ınrekonstrukci´ o feladataira.
Bevezet´ es1
1.
Az automatikus vide´o-fel¨ ugyeleti rendszerek egyik fontos alapfeladata az el˝ot´er elk¨ ul¨ on´ıt´ese a h´att´ert˝ ol, mivel az el˝ot´er ter¨ uletek gyakran tartalmazz´ak a feldolgoz´as szempontj´ ab´ ol fontos r´egi´okat. A pontos objektum-maszk hasznos inform´aci´ ot ny´ ujt a megfigyelt ter¨ uletr˝ol, amely hat´ekonyan felhaszn´alhat´o t¨obbek k¨oz¨ ott emberek vagy j´arm˝ uvek detekci´oj´ahoz, k¨ovet´eshez, esetleg biometrikai azonos´ıt´ ashoz vagy esem´eny-elemz´eshez. Szegment´ aci´ os feladatokban a m´elys´egk´ep sorozatok geometriai inform´aci´otartalmuk miatt el˝ony¨ osebb jellemz˝oket hordoznak, mint a hagyom´anyos vide´o szekvenci´ ak intenzit´ as, sz´ın vagy text´ ura le´ır´oi. A Time of Flight (ToF) kamer´ak vagy Lidar szenzorok haszn´alat´aval a k¨ uls˝o f´enyviszonyokt´ol f¨ uggetlen¨ ul tudunk m´elys´egk´epeket r¨ogz´ıteni, ´es ezzel elker¨ ulhetj¨ uk a sztere´o k´epalkot´as bizonyos esetekben felmer¨ ul˝ o hib´ait is. Az eszk¨oz¨okb˝ol ´erkez˝o adatokb´ol a t´avols´ag-inform´aci´ o regul´aris k´et-dimenzi´os pixelr´acsra vet¨ ul, amelyen k¨ ul¨onb¨oz˝o kiforrott k´epfeldolgoz´ asi algoritmusok alkalmazhat´ok, mint p´eld´aul a Markov v´eletlen mez˝os (MRF) szegment´ aci´ os m´odszerek. A forg´o t¨obbszenzoros Lidar rendszerek (Rotating Multi-beam Lidar System, RBM-Lidar), mind p´eld´ aul a Velodyne HDL 64-E, 3600 -os l´at´osz¨oggel k´epesek 1
A cikk r´eszben a WDIA konferenci´ an ker¨ ult publik´ al´ asra [2].
673
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
inform´aci´ ot szolg´altatni a k¨ornyezetr˝ol, a hat´ekonyabb adat-feldolgoz´ashoz pedig a 3D Lidar pontokat ezut´an gyakran vet´ıtik egy henger alak´ u m´elys´egk´epre [3] [4]. Ebben az esetben a kapott m´elys´egk´epek f¨ ugg˝oleges felbont´asa megegyezik a szenzorok sz´am´ aval, m´ıg v´ızszintes felbont´asa a forg´as sebess´eg´et˝ol f¨ ugg. Tov´ abb´ a, ez a megfeleltet´es gyakran nem egy´ertelm˝ u: esetenk´ent t¨obb l´ezer viszszaver˝ od´es tartozhat ugyanahhoz a pixelhez. Ez a probl´ema r´eszben jav´ıthat´o ha minden pixeln´el a megfigyelt h´att´er-´ert´ekekre t¨obb m´odus´ u eloszl´ast alkalmazunk [3], de s˝ ur˝ u h´att´ermozg´asok eset´en a hib´ak gyorsan ¨osszegz˝odnek, amit okozhat p´eld´ aul a szeles id˝oben periodikusan mozg´o n¨ov´enyzet. A fent eml´ıtett neh´ezs´egeken t´ ul az´ert, hogy megkapjuk az Euklideszi koordin´at´ akat [5], az RMB-Lidarb´ol kapott nyers t´avols´ag, forg´asi sz¨og ´es szenzor index ´ert´ekeknek egy er˝osen nemline´aris kalibr´aci´os l´ep´esen kell ´atesni¨ uk, ´es ez´ert a kapott pontok a vet´ıt´es ut´an er˝osen inhomog´en s˝ ur˝ us´eg˝ u pixelt´erk´epet eredm´enyezhetnek. A fenti hib´ak kik¨ usz¨ob¨ol´es´ere, [4] k¨ozvetlen¨ ul a m´elys´egk´epb˝ol emelte ki az el˝ot´er objektumokat mean-shift szegment´aci´oval ´es folt-detekci´oval. Azonban tesztjeink sor´an t¨obb esetben is megfigyelt¨ uk, hogy olyan k¨ornyezetekben, ahol t¨obb mozg´o ´es statikus objektum van, a j´ar´okel˝ok t¨obbsz¨or ker¨ ulnek egy szegment´ alt r´egi´ oba valamilyen szomsz´edos h´att´er-elemmel. A pontfelh˝ o m´elys´egk´epre vet´ıt´ese helyett egy m´asik lehets´eges megold´as, hogy az el˝ot´er detekci´ ot a h´arom-dimenzi´os t´erben v´egezz¨ uk el. Az ilyen elven m˝ uk¨ od˝ o objektum szint˝ u technik´ak ´altal´anos c´elja, hogy meghat´arozzuk a j´ar´ okel˝ oket befoglal´o t´eglatesteket [6], ahelyett, hogy minden el˝ot´er pontot felc´ımk´ezn´enk a felh˝oben, ut´obbi l´ep´es azonban fontos lehet k¨ ul¨onb¨oz˝o esem´enyek elemz´es´en´el, p´eld´ aul csontv´az modell illeszt´esn´el. MRF jelleg˝ u technik´akat gyakran alkalmaznak 3D t´erbeli pont szomsz´eds´agok eset´eben [7], de ezek pontoss´aga rossz, ha kis sugar´ u szomsz´eds´agokat haszn´alunk, egy´ebk´ent pedig a sz´am´ıt´asi komplexit´ as n¨ovekszik gyorsan. Cikk¨ unkben egy hibrid technik´at mutatunk be Lidar pontok el˝ot´er-h´att´er klasszifik´aci´ oj´ ara egy pontfelh˝on, melyet r¨ogz´ıtett poz´ıci´oj´ u RMB-Lidar rendszerb˝ol nyer¨ unk. A bemutatott m´odszer a sz´am´ıt´asi szempontb´ol kritikus t´erbeli sz˝ ur´es probl´em´ aj´ at egy, a k´et dimenzi´os m´elys´egk´epen ´ertelmezett MRF modellel oldja meg, tov´ abb´ a a diszkretiz´aci´os hib´akat kik¨ usz¨ob¨oli a 3D poz´ıci´ok ´es a 2D c´ımk´ek egy¨ uttes figyelembev´etel´evel. T´erbeli el˝ot´er modellt haszn´alva szignifik´ansan cs¨okkentj¨ uk a h´att´er mozg´as´ab´ol ad´od´o ponthib´akat, melyeket t¨obbnyi-re fakoron´ ak mozg´asa eredm´enyez. El˝ot´erkiemel˝o m´odszer¨ unket ¨osszehasonl´ıtjuk h´arom referencia megold´assal, ´es ki´ert´ekelj¨ uk az ´altalunk k´esz´ıtett 3D pontfelh˝ o Ground Truth (GT) annot´aci´os eszk¨ozzel. V´eg¨ ul az el˝ot´erdetekci´os megold´asunk alkalmazhat´ os´ ag´at bemutatjuk t¨obbc´elpont´ u k¨ovet´es ´es dinamikus helysz´ınrekonstrukci´ o alkalmaz´asokra. A megval´os´ıtott elemek ´attekint´ese az 1. ´abr´ an l´athat´ o.
2.
Adat lek´ epez´ es
Tegy¨ uk fel, hogy az RMB-Lidar rendszer R vertik´alisan pozicion´alt szenzort tartalmaz, ´es egy fix tengely k¨or¨ ul forog kis sebess´eg fluktu´aci´oval. A rendszer
674
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
1. ´ abra: A megval´ os´ıtott elemek ´ attekint˝ o´ abr´ aja
kimenete egy adott t id˝ o pillanatban az Lt = {pt1 , . . . , ptlt } pontfelh˝o, lt = R · t c darab ponttal, ahol ct a t alatt kapott pont oszlopok sz´am´at jel¨oli, melyek az adott m´er´es R szenzor ´altal adott ´ert´ekeit tartalmazz´ak, vagyis ct f¨ ugg a forg´as sebess´eg´et˝ ol. Minden p ∈ Lt pontot a szenzort´ol m´ert t´avols´ag d(p) ∈ ˆ [0, Dmax ], a szenzor index ϑ(p) ∈ {1, . . . , R}, ´es a forg´as sz¨oge φ(p) ∈ [0, 360◦ ] ˆ ´ır le, melyek k¨oz¨ ul d(p) ´es ϑ(p) param´eterek k¨ozvetlen¨ ul az eszk¨ozb˝ol ´erkez˝o adatfolyamb´ ol nyerhet˝ ok ki. A forg´as sz¨og´et a p pontot a f¨old s´ıkj´ara levet´ıtett Euklideszi koordin´at´ akb´ ol sz´amolhatjuk. A bemutatott m´odszer c´elja, hogy minden t id˝opillanatban valamennyi be´erkez˝o p ∈ Lt ponthoz rendelj¨ unk egy ω(p) ∈ {fg, bg} c´ımk´et aszerint, hogy mozg´o (el˝ot´erhez tartozik), vagy h´att´er oszt´alyhoz tartozik-e. A hat´ekony adatfeldolgoz´as ´erdek´eben sz´armaztatunk egy m´elys´egk´epet a h´arom dimenzi´os adathalmaz lek´epez´esek´ent. A pontfelh˝ot egy henger fel¨ ulet´ere vet´ıtj¨ uk, melynek k¨oz´eppontja az RMB-Lidar poz´ıci´oja, tengelye mer˝oleges a f¨old s´ıkj´ ara. Megjegyezz¨ uk, hogy ez a konfigur´aci´o abban az esetben is alkalmazhat´o, amikor az eszk¨ozt d¨ont¨ ott poz´ıci´oba helyezz¨ uk a f¨old s´ıkj´ahoz k´epest, annak ´erdek´eben, hogy n¨ovelj¨ uk a l´at´osz¨oget. Ezut´an SH × SW m´eret˝ u S k´etdimenzi´os pixelh´al´ ot fesz´ıt¨ unk a hengerre, melynek SH magass´aga megegyezik a szenzorok R sz´am´ aval, ´es SW sz´eless´ege a forg´asi sz¨og feloszt´asaival. Jel¨olje a pixelr´acs egy adott pixel´et s, [ys , xs ] koordin´at´akkal. Defini´aljuk a P : Lt → S lek´epez´est, hogy ys megegyezik a szenzor-indexszel, xs pedig a [0, 360◦ ] intervallum SW r´eszre t¨ort´en˝ o feloszt´as´ aval:
675
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
) ( SW def ˆ s = P(p) iff ys = ϑ(p), xs = round φ(p) · 360◦
(1)
Jel¨ olj¨ uk az egy s pixelre vet¨ ul˝o pontokat Ps ⊂ Lt -vel. Feltessz¨ uk, hogy az egy adott ir´anyban l´ev˝ o el˝ot´er pontok k¨ozelebb vannak a szenzorhoz, mint a kisz´am´ıtott h´att´er pontok t´avols´ag´anak ´atlaga. ´ıgy minden s pixelhez kiv´alasztjuk a legk¨ozelebbi pontot pts = arg minp∈Ps d(p), ´es a pixel ´ert´ekhez rendelj¨ uk a ponthoz tartoz´o dts = d(pts ) m´elys´eg ´ert´eket. Azon pixelek, melyeknek nincs m´elys´eg inform´aci´ ojuk a felh˝o levet´ıt´ese ut´an sem (Ps = ∅), interpol´aljuk a dts t´avols´ agokat a szomsz´edos pixelek ´ert´ekeib˝ol. A t´erbeli sz˝ ur´eshez a nyolc legk¨ozelebbi szomsz´ed pixel ´ert´ek´et vessz¨ uk figyelembe, ´es Ns ⊂ S-el jel¨olj¨ uk az s pixel szomsz´edait.
3.
H´ att´ er modell
A h´att´ermodell l´etrehoz´ as´ ahoz minden p ∈ Lt ponthoz hozz´arendel¨ unk egy fbg (p) fitnesz f¨ uggv´enyt, mely meghat´arozza, hogy p milyen m´ert´ekben tartozik a h´att´erhez. A folyamat a hengerre t¨ort´en˝ o lek´epez´essel kezd˝odik (1) szerint, ahol S bg pixelr´ acsot haszn´alunk. Hasonl´oan [3]-hoz, minden S bg -beli s cell´ara meghat´arozunk egy t¨obbsz¨ or¨os Gaussok kever´eke modellt (Mixture of Gaussians, MoG [8] [9]) a d(p) jellemz˝o m´elys´eg hisztogramja alapj´an, mely az s-re vet¨ ul˝o p pontok d(p) ´ert´ekeib˝ ol ´all. [10] alapj´an, mi is fix K sz´am´ u komponenst haszn´alunk (K = 5), wsi s´ ulyokkal, µis v´arhat´o ´ert´ekkel, ´es σsi sz´or´assal, i = 1 . . . K. A k¨ovetkez˝ o l´ep´esben cs¨okken˝o sorrendbe rendezz¨ ulyokat, ´es megkeress¨ uk ∑ukks a s´ a legkisebb ks eg´esz sz´amot, mely kiel´eg´ıti az i=1 wsi > Tbg egyenl˝otlens´eget (Tbg = 0.89). Ezut´an a ks legnagyobb s´ uly´ u komponenst tekintj¨ uk a h´att´er elem´enek. η() Gauss s˝ ur˝ us´egf¨ uggv´eny eset´en, P bg -vel jel¨olve a lek´epez´est S bg -re, az fbg (p) fitnesz f¨ uggv´eny a k¨ovetkez˝ok´eppen ´all el˝o: fbg (p) =
ks ∑
) ( wsi · η d(p), µis , σsi , ahol s = P bg (p).
(2)
i=1
A gaussi param´eterek be´all´ıt´asa, ´es friss´ıt´ese [10] alapj´an t¨ort´enik, eset¨ unkben az bg SW = 2000 forg´as-sz¨ og felbont´as adta a leghat´ekonyabb detekci´os eredm´enyeket. A fitnesz ´ert´ekre egy egyszer˝ u k¨ usz¨ob´ert´eket (threshold) alkalmazva, s˝ ur˝ u el˝ot´er/ h´att´er klasszifik´aci´ ot kapunk a pontfelh˝ore [3] [10] (Basic MoG), de amint az a 2. ´abr´ an l´athat´ o, az eredm´eny rendk´ıv¨ ul zajos lehet.
4.
DMRF modell el˝ ot´ er szegment´ aci´ ora
Ebben a fejezetben bemutatunk egy dinamikus v´eletlen Markov mez˝o (DMRF) modellt, el˝ot´er-szegment´ aci´ ora a pontfelh˝o szekvenci´an. Mivel az MRF optimaliz´aci´ o sz´am´ıt´ asi kapacit´ as szempontj´ab´ol er˝oforr´as ig´enyes [11], ez´ert a DMRF
676
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
(a) M´elys´egk´ep r´eszlet
(b) Basic MoG [3, 10]
(c) uniMRF [12]
(d) A javasolt DMRF szegment´ aci´ o
2. ´ abra: El˝ ot´er szegment´ aci´ o m´elys´egk´ep r´eszleten h´ arom k¨ ul¨ onb¨ oz˝ o m´ odszerrel
modellt a m´elys´egk´epek pixelr´acs´an defini´aljuk, majd a kapott c´ımk´eket visszavet´ıtj¨ uk a pontfelh˝ ok 3D ter´ebe, jav´ıtva k¨ozben a kvant´al´asb´ol ad´od´o hib´akat. Ahogy a 2. fejezetben eml´ıtett¨ uk az (1) ´altal defini´alt hengerre vet´ıt´est alkalmazbg zuk a m´elys´egk´ep l´etrehoz´ as´ahoz, melyben a r´acs sz´eless´ege SW = min(ˆ c, SW /2) ahol cˆ az oszlopok sz´am´ at jel¨oli. A k¨ovetkez˝ okben minden s ∈ S pixelhez hozz´arendel¨ unk el˝ot´er ´es h´att´er energi´akat, melyek le´ırj´ ak az oszt´alyba tartoz´as m´ert´ek´et a d(s) m´elys´eg ´ert´ekekb˝ol k¨ovetkeztetve. A h´att´er energi´at le´ır´o f¨ uggv´eny k¨ozvetlen¨ ul a param´eteres MoG val´ osz´ın˝ us´egekb˝ ol sz´amolhat´o (2): ( ) εtbg (s) = − log fbg (pts ) . Az el˝ot´er le´ır´ as´ ara a konstans εfg k¨ usz¨obt´enyez˝o k´ezenfekv˝o v´alaszt´asnak t˝ unik [12](uniMRF), de ´ıgy a modell ´altal adott eredm´enyben t¨obb hib´as el˝ot´erpixel keletkezik a h´att´er mozg´as´ab´ol, ´es a kvant´al´asi hib´akb´ol ad´od´oan. Ezen hib´ak kik¨ usz¨ ob¨ ol´esek´ent az id˝obeli statisztikai m´odszer helyett t´erbeli m´elys´egk¨ ul¨ onbs´egeket figyel¨ unk a k¨ovetkez˝o feltev´essel: amikor s egy el˝ot´erpixel, akkor kell lennie hasonl´o m´elys´eg˝ u el˝ot´erpixelnek s k¨ornyezet´eben is. Ez´ert egy kernel s˝ ur˝ us´eg f¨ uggv´enyt haszn´alunk az el˝ot´er oszt´alyhoz: ( t ) ∑ ds − dtr εtfg (s) = ζ(εtbg (r), τfg , m⋆ ) · k , h r∈Ns
ahol h a kernel s´avsz´eless´ege, ´es ζ : R → [0, 1] szigmoid f¨ uggv´eny: ζ(x, τ, m) =
1 . 1 + exp(−m · (x − τ ))
Uniform kernelt haszn´alva: k(x) = 1{|x| ≤ 1}, ahol 1{.} ∈ {0, 1} a bin´aris tags´ag-indik´ ator f¨ uggv´eny.
677
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
A m´elys´egk´ep szegment´ aci´ot form´alisan defini´alva minden s ∈ S pixelhez egy ωst ∈ {fg, bg} c´ımk´et rendel¨ unk, majd a k¨ovetkez˝o energia f¨ uggv´enyt szeretn´enk minimaliz´alni: ∑ ∑ ∑ E= VD (dts |ωst ) + α · 1{ωst ̸= ωrt−1 } s∈S
+
s∈S r∈Ns
|
∑ ∑ s∈S r∈Ns
|
{z
}
ξst
β · 1{ωst ̸= ωrt }, {z
(3)
}
χts
ahol VD (dts |ωst ) jel¨oli az adat tagot, m´ıg ξst ´es χts az id˝obeli, ´es a t´erbeli elemeket, α > 0 ´es β > 0 konstansokkal. Eset¨ unkben b´ar a modell dinamikus a k¨ ul¨onb¨oz˝o id˝opontokhoz tartoz´o szegment´alt k´epek k¨oz¨otti k¨olcs¨onhat´asok miatt, a val´os idej˝ u m˝ uk¨ od´es ´erdek´eben egy kauz´alis rendszerrel dolgozunk, vagyis a m´ ultban kiosztott c´ımk´eket nem v´altoztatjuk k´es˝obb az u ´j adatok f¨ uggv´eny´eben. Az adattagok az adatf¨ ugg˝o energiat´enyez˝okb˝ol sz´armaznak szigmoid lek´epez´essel: VD (dts |ωst = bg) = ζ(εtbg (s), τbg , mbg ) { 1, if dts > max{i=1...ks } µi,t t t s +ϵ VD (ds |ωs = fg) = ζ(εtfg (s), τfg , mfg ), egy´ebk´ent. A szigmoid param´eterek τfg , τbg , mfg , mbg ´es m⋆ meghat´arozhat´ok manu´alisan annot´alt tanul´ o k´epek alapj´an, Maximum Likelihood m´odszerekkel. Eset¨ unkben α = 0.2 ´es β = 1.0 konstansokat haszn´alunk, a kernel s´avsz´eless´ege pedig h = 30cm. Az MRF energia (3) minimaliz´al´asa a gyors gr´af-v´ag´ason alapul´o algoritmussal [11] t¨ort´enik. A DMRF optimaliz´aci´ o eredm´enyek´ent egy bin´aris el˝ot´er maszkot kapunk az S pixelr´ acson. Az utols´o l´ep´ese a m´odszernek az eredeti L pontfelh˝o pontjainak klasszifik´aci´ oja, figyelembe v´eve, hogy t¨obb k¨ ul¨onb¨oz˝o oszt´alyba tartoz´o pont vet¨ ulhet ugyanarra a pixelre. Jel¨olje a t id˝opillanatban az s pixelre vet¨ ul˝o pontokat P(p). Az oszt´alyoz´as a k¨ovetkez˝ok´eppen t¨ort´enik: • ω(p) = fg, ha valamelyik felt´etel a k¨ovetkez˝o kett˝ob˝ol teljes¨ ul: t t (a) ωs = fg ´es d(p) < ds + 2 · h (b) ωst = bg ´es ∃r ∈ Nr : {ωrt = fg, |dtr − d(p)| < h} • ω(p) = bg: egy´ebk´ent. A fenti felt´etelek t¨obb hamis pozit´ıv (a) ´es hamis negat´ıv (b) el˝ot´er pontot t´avol´ıtanak el, ahol az objektumok sz´eleinek k¨ornyezet´eb˝ol vet¨ ulnek a pontok egy-egy pixelre. Az elj´ar´ as kimenete egy olyan pontfelh˝o, melyben valamennyi pontot el˝ot´er vagy h´att´er oszt´alyba soroltunk be, ahogy az a 3. ´abra k´epein is megfigyelhet˝o.
678
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
3. ´ abra: A k¨ ovet˝ o algoritmus folyamat´ abr´ aja
5.
C´ elpont-k¨ ovet´ es
Ebben a fejezetben a kor´ abban ismertetett el˝ot´erszegment´aci´os modell alkalmaz´as´ at mutatjuk be c´elpontk¨ ovet´es feladat´ara. Az itt ismertetett m´odszer r´esze az MTA SZTAKI EEE laborat´orium´aban val´os id˝oben bemutathat´o demonstr´aci´os k¨ornyezetnek, amely a Kutat´ok ´ejszak´aja 2012 rendezv´enysorozatra k´esz¨ ult el, az i4D bels˝o t´amogat´ as´ u projekt keretein bel¨ ul. A c´elpontk¨ovet´es els˝o l´ep´ese a k¨ ul¨onb¨oz˝o objektumokhoz tartoz´o el˝ot´erpontok elk¨ ul¨ on´ıt´ese a pontfelh˝ oben. Ezt az el˝ot´erpontok talajs´ıkra vet´ıt´es´evel ´es ezut´an a 2D s´ıkon val´ o ¨osszef¨ ugg˝ o komponensek kinyer´es´evel v´egezt¨ uk el. Egy-egy pillanatfelv´etelen el˝ofordulhat, hogy a szorosan egym´as mellett ´all´o alakzatok ¨osszeolvadnak ´ıgy, azonban az id˝obeli k¨ovet´essel ezeket a hib´akat k´es˝obb kisz˝ urj¨ uk. Az objektumok hely´et ezut´an a talappontjuk koordin´at´aival reprezent´aljuk. K¨ovetkez˝ o c´el, hogy minden aktu´alis pillanatfelv´etelre a k detekt´alt objektum jel¨oltet - vagyis a k´etdimenzi´ os talppontokat - lehet˝os´eg szerint hozz´a kell rendeln¨ unk az eddig nyilv´ antartott n trajekt´ori´ahoz. A feldolgoz´as sor´an a k¨ovetkez˝o eseteket kell sz´am´ıt´ asba venn¨ unk: – Ha az adott detekt´alt pont folytat´asa egy m´ar megkezdett trajekt´ori´anak, akkor meg kell tal´alnunk a hozz´a megfelel˝ot. – A detekt´alt pont lehet hib´as detekci´o, ami nem tartozik objektum trajekt´ori´ahoz oben detekt´alt pont lehet egy u ´j trajekt´ori´anak a kezd˝o– Az aktu´alis pontfelh˝ pontja. – Egy megl´ev˝ o trajekt´oria befejez˝odhetett az el˝oz˝o id˝opillanatban (p´eld´aul az objektum elhagyja a megfigyelt ter¨ uletet), ilyenkor nem tartoznak u ´j m´ert poz´ıci´ ok hozz´a.
679
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
– A detektor kihagyhat p´ar objektumjel¨oltet, viszont ez nem okozhat t¨obb r´eszre szakadt, vagy u ´jraind´ıtott trajekt´ori´akat, vagyis az id˝obeli folytonoss´ag ´erdek´eben ki kell t¨olteni a hi´anyz´o r´eszeket becs¨ ult poz´ıci´okkal. A kidolgozott algoritmus folyamat´abr´aja a 3. ´abr´an l´athat´o. H´arom l´ep´est iter´alunk minden pontfelh˝ ore: (A) Megfeleltet´es, (B) Kalman sz˝ ur˝o ´es (C) Kalman predikci´ o. 5.1.
Megfeleltet´ es
A megfeleltet´es k¨ozponti r´esze az algoritmusnak. Els˝ok´ent normaliz´aljuk a m´ert poz´ıci´ okat, hogy a [0, 1] tartom´anyba ker¨ uljenek minden dimenzi´ora. Jel¨olje Oj (j = 1, . . . , k) a detekt´alt, normaliz´alt poz´ıci´okat ´es Mi (i = 1, . . . , n) az i. trajekt´ori´ ahoz tartoz´o becs¨ ult poz´ıci´ot. Defini´aljuk az Oj ´es Mi t´avols´agot az Euklideszi t´avols´ ag alapj´an, melyb˝ol a t´avols´ag m´atrix D sz´amolhat´o k¨ ul¨onb¨oz˝o i ´es j ´ert´ekekre: Dij = d(Oi , Mj ) for i ≤ n, j ≤ k Itt a Dij m´atrix elem mutatja, hogy mennyire j´ol illik a j. m´er´es az i. trajekt´ori´ ara. A trajekt´ori´ akat ´es az aktu´alis m´er´eseket a magyar m´odszer seg´ıts´eg´evel kapcsoltuk ¨ossze, D t´ avols´ ag m´atrix alapj´an [13]. Meg kell jegyezn¨ unk, hogy a magyar m´odszer algoritmus mindig n´egyzetes m´atrixokat fogad bemenetk´ent, vagyis ha ugyanannyi trajekt´oria van mint m´er´es. Ez a felt´etel gyakran nem teljes¨ ul, ez´ert ha n > k, akkor gener´alunk n − k darab m´er´est, melyek minden trajekt´ori´at´ol a lehet˝o legt´avolabb helyezkednek el: d(Oi , Mj ) = 2 for i ≤ n, n ≥ j > k Itt 2-t v´alasztottuk az default ´ert´eknek, mert ez nagyobb minden t´avols´agn´al a normaliz´alt kock´ an bel¨ ul. A m´asik esetben, mikor k > n, gener´alunk k − n jelk´epes trajekt´ori´at a D m´atrix kieg´esz´ıt´esek´ent: d(Oi , Mj ) = 2 for k ≥ i > n, j ≤ k A magyar m´odszer kimenete egy´ertelm˝ u megfeleltet´es j → A(j) a m´er´esek, ´es a trajekt´ori´ ak k¨oz¨ ott, ahol j/A(j) index tartozhat val´os, vagy jelk´epes m´er´eshez/ trajekt´ori´ ahoz is. Legyen tdist a t´avols´ ag k¨ usz¨ob. A j → A(j) lek´epez´es a k¨ovetkez˝o m´odon m˝ uk¨ odik: – ha A(j) ≤ n, j ≤ k ´es d(OA(j) , Mj ) < tdist : DO j. m´er´es az A(j). trajekt´ori´ ahoz tartozik (matched) – egy´ebk´ent • ha A(j) ≤ n, j ≤ k, de d(OA(j) , Mj ) ≥ tdist : mind a j. m´er´es ´es az A(j). trajekt´oria nem tartozik sehova (unmatched).
680
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
• ha A(j) ≤ n ´es n ≥ j > k az A(j). trajekt´oria nem tartozik sehova (unmatched). • ha k ≥ A(j) > n ´es j ≤ k a j. m´er´es nem tartozik sehova (unmatched). Ha az Mj m´er´es az Oi trajekt´ori´ahoz tartoz´o (matched), akkor u ´gy vessz¨ uk, hogy az Mj trajekt´oria k¨ovetkez˝o poz´ıci´oja az i. jel¨olt, vagyis ezt haszn´aljuk a trajekt´oria friss´ıt´es´ere. Sehova sem tartoz´o m´er´esek (unmatched) u ´j trajekt´ori´ak kezd˝opontjai, vagy a detektor hib´as pozit´ıv tal´alatai lehetnek. Az aktu´alis pontfelh˝oben nem tudjuk megk¨ ul¨ onb¨ oztetni a kett˝ ot, ez´ert minden unmatched m´er´eshez ind´ıtunk egy u ´j trajekt´ori´ at, melyet a k¨ovetkez˝o iter´aci´ok sor´an ´ert´ekel¨ unk ki. Azt v´arjuk, hogy a folyamat v´eg´ere a hamis jel¨oltek r¨ovid trajekt´ori´akat eredm´enyeznek, melyeket ut´olagosan elt´avol´ıthatunk. Ha egy trajekt´ori´ahoz nem tal´alunk folytat´ast az aktu´alis id˝opillanatban, akkor k´et eset lehets´eges: (i) v´eget ´ert, vagy (ii) a detektor nem tal´alta meg a hozz´a tartoz´o jel¨oltet. Emiatt az unmatched trajekt´ori´akat nem z´arjuk le azonnal, hanem egy INAKT´IV c´ımk´evel l´atjuk el. Amennyiben a ¨ OLT-nek ¨ p´alya inakt´ıv marad egy k¨ usz¨ob ´ert´ek ttime ut´an is, akkor TOR jel¨olj¨ uk, ´es kivonjuk a tov´ abbi vizsg´alatok al´ol. 5.2.
Kalman sz˝ ur´ es
Minden trajekt´oria az egyes pontfelh˝okben detekt´alt poz´ıci´ok szekvenci´aj´aval ´ırhat´ o le. Az adott felv´eteli sebess´egn´el az objektumok mozg´asa folyamatosnak mondhat´o, ez´ert becsl´est tehet¨ unk a trajekt´oria k¨ovetkez˝o pontj´ara. Tov´abb´a mivel a m´er´esek zajosak lehetnek, ez´ert az objektum val´os poz´ıci´oj´at mind a szenzor kimenete, mind a m´ar ismert trajekt´oria alapj´an kell meghat´aroznunk, a zaj minim´alis szintre t¨ort´en˝o cs¨okkent´ese ´erdek´eben. Ez´ert minden trajekt´ori´ ahoz egy Kalman sz˝ ur˝ot rendel¨ unk, melyet minden u ´j pontfelh˝ o feldolgoz´asakor, az aktu´alis m´er´esekkel friss´ıt¨ unk. Az INAKT´IV, ¨ ¨ de nem TOROLT p´aly´ ak eset´en, a friss´ıt´es az aktu´alis poz´ıci´ora adott utols´o becsl´essel t¨ort´enik. Mindk´et esetben az u ´j pont a sz˝ ur˝o korrig´alt ´allapota lesz. Mivel a Kalman sz˝ ur˝ o csak egy bizonyos sz´am´ u iter´aci´o ut´an ´erv´enyes, ez´ert bevezetj¨ uk a tKalman k¨ usz¨ ob ´ert´eket, ´es ha a trajekt´oria r¨ovidebb mint ez az ´ert´ek, akkor a v´altoztatott ´ert´ek helyett k¨ozvetlen¨ ul a m´ert ´ert´eket haszn´aljuk k¨ovetkez˝ o pontk´ent. Ebb˝ol az k¨ovetkezik, hogy a p´alya sokkal zajosabb lesz a kezdeti f´azisban, de nagyban cs¨okkentj¨ uk a val´osz´ın˝ us´eg´et, hogy teljesen elvesszenek trajekt´ori´ ak. Az INAKT´IV p´aly´ ak tov´abbi pontjai el˝osz¨or egy ideiglenes t´arol´oba ker¨ ulnek. Ha k´es˝ obb u ´jra aktiv´al´ odik a trajekt´oria, akkor hozz´aadjuk a pontokat az ere¨ OLT ¨ deti p´aly´ ahoz. Ha TOR elemm´e v´alik, akkor t¨or¨olj¨ uk az ideiglenes t´arol´o tartalm´at. 5.3.
Kalman predikci´ o
Az utols´o l´ep´ese a trajekt´oria jav´ıt´asnak az, hogy becs¨ ulj¨ uk a k¨ovetkez˝o poz´ıci´ot minden p´aly´ ahoz (Oi -vel jel¨olve), melyet a m´er´esek megfeleltet´es´ere haszn´alunk
681
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
a k¨ovetkez˝ o pontfelh˝ on. Itt megint a Kalman becsl´est csak egy adott tKalman id˝o ut´an kezdj¨ uk. A p´alya kezdeti szakasz´aban a legut´obb ismert poz´ıci´ot haszn´aljuk, mint becsl´est a k¨ovetkez˝ o pontfelh˝on. 5.4.
Ut´ ofeldolgoz´ as ´ es sz˝ ur´ es
A fenti k¨ovet˝ o algoritmus kimenet´eben lehetnek hib´as p´aly´ak, melyeket a m´er´esi zaj miatt ´eszlel¨ unk. Az iterat´ıv folyamat v´eg´en az ilyen trajekt´ori´akat el kell t´avol´ıtanunk. Megfigyel´eseink szerint a t¨orlend˝o p´aly´ak ´altal´aban r¨ovidek, vagy az ´altaluk jelzett objektumok k¨ozel konstans poz´ıci´oban vannak (kor´abban feltett¨ uk, hogy az objektumok mozognak). Az ut´ofeldolgoz´o l´ep´esben k´et felt´etelt k¨ot¨ ott¨ unk ki a trajekt´ori´ akra: – A trajekt´ oria hossz´anak nagyobbnak kell lennie mint tlength ainak sz´or´asa legyen nagyobb mint tvariance – A pontok koordin´at´ Azokat a trajekt´ori´ akat, amelyek egyik fenti felt´etelt sem teljes´ıtik, t¨or¨olj¨ uk, ´es a marad´ek lesz a k¨ovet´es kimenete.
6.
Ki´ ert´ ekel´ es
Szakirodalmi relevanci´ aja miatt r´eszletes kvantitat´ıv ki´ert´ekel´est az el˝ot´er-h´att´er szegment´ aci´ os modulra v´egezt¨ unk. Az objektumk¨ovet´esr˝ol kvalitat´ıv teszteket mutatunk be a 7. fejezetben. Az el˝ot´erdetekci´ os m´odszert val´os Lidar szekvenci´akon tesztelt¨ uk, mind vide´o fel¨ ugyeleti (Courtyard ), mind forgalom monitoroz´asi (Traffic) esetekre (4. ´abra). Az adatokat a Velodyne HDL 64E S2 kamer´aval vett¨ uk fel, amely R = 64 vertik´alisan pozicion´alt szenzort tartalmaz. A Courtyard szekvencia 2500 pontfelh˝ot tartalmaz, melyen n´egy ember s´et´al egy 25m2 -es ter¨ uleten, 1-5m t´avols´agra a Lidart´ol, keresztez˝ od˝ o p´aly´akkal. Az eszk¨oz forg´asi sebess´ege 20Hz volt. A h´att´erben mozg´o n¨ov´enyzet nagy kih´ıv´ast jelent a pontos klasszifik´aci´oban. A Traffic szekvencia 5Hz-es forg´asi sebess´eggel lett felv´eve egy aut´o tetej´er˝ol, amely egy nagy-forgalm´ u u ´ton a piros l´amp´an´al v´ar. Az adapt´ıv h´att´er modell inicializ´al´ asa ut´an 160 pontfelh˝o volt alkalmas a forgalom anal´ızishez. A DMRF modellt h´arom referencia megold´assal hasonl´ıtottuk ¨ossze: 1. Basic MoG, 3. fejezetben mutattuk be, mely a [3] alapj´an m˝ uk¨odik, on-line param´eter friss´ıt´essel [10]. 2. uniMRF, 4. fejezetben mutattuk be, mely r´eszben alkalmazza [12] uniform el˝ot´er modellj´et. 3. 3D-MRF, mely a h´arom-dimenzi´os MRF modellt mutatja be, hasonl´oan [7]-hez. Itt a pont szomsz´eds´agokat az eredeti Lt pontfelh˝oben defini´aljuk Euklideszi t´avols´ ag alapj´an, ´es a (2) h´att´er fitnesz ´ert´eket haszn´aljuk az adat modellhez. A gr´af-v´ag´as alap´ u algoritmust [11] MRF energia optimaliz´aci´ ok´ent alkalmaztuk.
682
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
(a) Basic MoG, Courtyard szekvencia
(b) Javasolt DMRF, Courtyard szekvencia
(c) Basic MoG, Traffic szekvencia
(d) Javasolt DMRF, Traffic szekvencia
4. ´ abra: Pontfelh˝ o klasszifik´ aci´ os eredm´enyek a Basic MoG ´es a bemutatott DMRF modellel: el˝ ot´er pontok k´ekkel jel¨ olve.
Kvalitat´ıv eredm´enyek k´et minta pontfelh˝on a 4. ´abr´an l´athat´ok. Ground Truth (GT) pontfelh˝ o gener´al´ashoz l´etrehoztunk egy 3D pontfelh˝o annot´aci´os eszk¨ozt, mellyel manu´ alisan tudunk felc´ımk´ezni r´egi´okat a pontfelh˝on. Ezut´an annot´altunk 700 pontfelh˝ ot a Courtyard szekvenci´ab´ol, ´es 50 pontfelh˝ot a Traffic szekvenci´ ab´ ol. A kvantitat´ıv ki´ert´ekel´eshez a pont szint˝ u F-m´ert´eket haszn´altuk [14], melyet a precizit´as ´es recall ´ert´ekek harmonikus ´atlag´ab´ol sz´am´ıthatunk. Ezen k´ıv¨ ul m´ert¨ uk a feldolgoz´as sebess´eg´et is pontfelh˝o per m´asodperc egys´egekben (fps). A numerikus teljes´ıtm´eny anal´ızis eredm´enyei a 1. t´abl´azatban l´athat´ok. Az t´abl´ azatb´ ol l´athat´ o, hogy a bemutatott m´odszer fel¨ ulm´ ulja a Basic MoG ´es uniMRF m´odszereket az F-m´ert´ek szempontj´ab´ol mindk´et szekvenci´an, a k¨ ul¨ onbs´egek legink´abb a Courtyard -on ´erz´ekelhet˝ok. A 3D-MRF m´odszerrel ¨osszehasonl´ıtva, a mi modell¨ unk hasonl´o eredm´enyeket adott precizit´asban, de a DMRF m´ odszer sokkal gyorsabb. Megfigyelhet˝o, hogy elt´er˝oen a 3D-MRF m´odszert˝ ol, a mi m´elys´egk´ep alap´ u technik´ank kev´esb´e f¨ ugg a pontfelh˝o m´eret´et˝ol. A Traffic szekvenci´ an, mely k¨ozel 260000 pontot tartalmaz pontfelh˝onk´ent, mi 16fps sebess´eget ´ert¨ unk el, m´ıg a 3D-MRF m´odszer csak 2fps gyorsas´agra volt k´epes.
7.
Alkalmaz´ as
Az ismertetett m´odszernek t¨obb felhaszn´al´asi m´odja lehet, ahogy az 1. fejezetben eml´ıtett¨ uk t¨obbek k¨oz¨ ott a biometrikai azonos´ıt´as, vagy az esem´eny-elemz´es. M´asik fontos alkalmaz´ ascsoport a helysz´ın virtu´alis rekonstrukci´oja interakt´ıv virtu´alis val´ os´ ag rendszerek, anim´aci´os ´es fimipari alkalmaz´asok sz´am´ara. Rend-
683
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
F-m´ert´ek (%-ban) Sebess´eg (fps)
Szekvencia Courtyard Traffic Courtyard Traffic
Elemek sz´ ama Basic MoG uniMRF 3D-MRF DMRF 4 obj/fr. 55.7 81.0 88.1 95.1 20 obj/fr. 70.4 68.3 76.2 74.0 65K pts/fr. 120 fps 18 fps 7 fps 16 fps 260K pts/fr. 120 fps 18 fps 2 fps 16 fps
1. t´ abl´ azat: Numerikus ki´ert´ekel´es a Courtyard ´es a Traffic szekvenci´ akon: detekci´ os pontoss´ ag (F-m´ert´ek %-ban) ´es feldolgoz´ asi sebess´eg (fps, asztali sz´ am´ıt´ og´epen m´erve)
szer¨ unkben ezt a ter¨ ulet rekonstrukci´oj´aval ´ert¨ uk el, vagyis a pontfelh˝ob˝ol poligonh´al´ ot alkottunk, u ´gy hogy az egyes detekt´alt objektumok a poligonh´al´oban is k¨ ul¨ on´ all´ o egys´egek maradjanak. A rekonstrukci´ot a Courtyard szekvenci´an v´egezt¨ uk el. 7.1.
K¨ ornyezet rekonstrukci´ o
Els˝ok´ent a statikus h´att´erk¨ornyezet rekonstrukci´oj´aval foglalkozunk. A Courtyard szekvenci´ an az el˝ot´er pontokat (azaz t¨obbnyire a j´ar˝okel˝oket) kiv´eve a pontfelh˝ob˝ ol, t¨obbf´ele helysz´ınelem marad: talaj, fal, f´ak, egy´eb h´att´erobjektumok. A talaj pontjait a RANSAC [15] algoritmussal s´ıkot illesztve automatikusan detekt´altuk. A talaj pontjai alapj´an kisz´am´ıthat´o a talaj ´atlagos magass´aga is, melyet a k¨ovetkez˝ o l´ep´esben haszn´alunk fel. A s´ık illeszt´es ut´an megmaradt pontokat f¨ ugg˝olegesen levet´ıtj¨ uk, majd a kapott k´et-dimenzi´os k´epen Hough transzform´aci´ oval [16] megkeress¨ uk az egyeneseket, melyek nagy val´osz´ın˝ us´eggel a pontfelh˝ oben falakat reprezent´alnak. A pontokb´ol poligonokat triangul´aci´oval k´esz´ıt¨ unk a Ball-pivoting algoritmust felhaszn´alva. A n¨ov´enyzet ´es a kisebb h´att´erobjektumok automatikus rekonstrukci´oja, valamint a text´ ur´az´as automatiz´alt v´eghezvitele k´es˝ obbi munk´aink c´elja, egyel˝ore ezeket a l´ep´eseket manu´alisan v´egezt¨ uk el. A k¨ornyezetrekonstrukci´os algoritmus folyamat´abr´aja a 5. ´abr´an l´athat´ o, a folyamat l´ep´eseire p´elda k´epkock´ak a 6. ´abr´an tal´alhat´ok. 7.2.
J´ ar´ okel˝ ok “rekonstrukci´ oja”
A mozg´o j´ar´ okel˝ ok ´eleth˝ u rekonstrukci´oja nem megoldhat´o a pontfelh˝o alapj´an, mivel az t´ ul ritka ´es csup´an 2.5D inform´aci´ot ny´ ujt. Modell¨ unkben ez´ert el˝ore felvett s´et´ al´ o modelleket helyezt¨ unk a virtu´alis k¨ornyezetbe, melyek a val´os m´er´esi eredm´enyek alapj´an kinyert j´ar´okel˝ o trajekt´ori´akat k¨ovetik. Az ´eleth˝ u text´ ur´ azott mozg´o modellek az MTA SZTAKI GMSZL Laborat´orium´anak 4D st´ udi´ oj´ aban k´esz¨ ultek[18] [19]. A rekonstrukci´os eredm´eny egyik minta k´epkock´aja az 7. ´abr´ an l´athat´ o.
8.
Konkl´ uzi´ o
Dinamikus MRF modellt mutattunk be el˝ot´er szegment´aci´ora pontfelh˝ok¨on, melyeket egy forg´o Lidar eszk¨ozb˝ol nyert¨ unk ki. Hat´ekony t´erbeli el˝ot´er sz˝ ur˝ot
684
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
5. ´ abra: A k¨ ornyezet rekonstrukci´ oj´ ahoz sz¨ uks´eges pontfelh˝ o szegment´ aci´ o algoritmusa.
ismertett¨ unk, mely cs¨okkenti a forg´asi sz¨og kvant´al´as´ab´ol ´es a h´att´er mozg´as´ab´ol ad´od´ o hib´akat. K¨ovet˝ o algoritmust haszn´altunk az objektumok elk¨ ul¨on´ıt´es´ehez, ´es a trajekt´ori´ ak meghat´aroz´as´ahoz. A modellt kvantitat´ıve ki´ert´ekelt¨ uk a Ground Truth alapj´an, ´es kiemelt¨ uk az el˝onyeit h´arom m´asik m´odszerrel ¨osszehasonl´ıtva. V´eg¨ ul az elk´esz¨ ult algoritmus alkalmaz´as´at el˝oseg´ıt˝o rekonstrukci´ot mutattuk be.
9.
K¨ osz¨ onetnyilv´ an´ıt´ as
A cikkben k¨oz¨ olt eredm´enyek az MTA SZTAKI integr´alt 4D (i4D) bels˝o t´amogat´as´ u projektje keretein bel¨ ul k´esz¨ ultek el. A szerz˝ok k¨osz¨ontet mondanak az Orsz´agos Tudom´ anyos Kutat´asi Alapprogramok (OTKA #101598) t´amogat´as´a´ert, a harmadik szerz˝o munk´aj´at a Magyar Tudom´anyos Akad´emia Bolyai J´anos ¨oszt¨ ond´ıja is t´amogatta. K¨osz¨onet illeti az MTA SZTAKI GMSZL laborja dolgoz´oit egy¨ uttm˝ uk¨ od´es¨ uk´ert, k¨ ul¨on¨osen Jank´o Zsoltot a 4D modellek elk´esz´ıt´es´e´ert ´es a virtu´alis helysz´ınek ¨ossze´all´ıt´as´a´ert.
Irodalom 1. Kuba, A., Volcic, A.: Characterisation of measurable plane sets which are reconstructable from their two projections. Inverse Problems 4 (1988) 513–527 ar, D., Szir´ anyi T.: A Dynamic MRF Model for Foreground 2. Benedek, Cs., Moln´ Detection on Range Data Sequences of Rotating Multi-Beam Lidar. International Workshop on Depth Image Analysis, Tsukuba City, Japan, November 2012, to appear in Lecture Notes in Computers Science, Springer, 2012
685
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
(a) Szegment´ alt h´ att´er pontok.
(b) Falnak klasszifik´ alt pontok.
(c) A fal ´es a talaj poligonh´ al´ oja.
(d) Rekonstru´ alt k¨ ornyezet.
6. ´ abra: A pontfelh˝ o szegment´ aci´ os l´ep´esekr˝ ol minta k´epkock´ ak.
3. Kaestner, R., Engelhard, N., Triebel, R., Siegwart, R.: A Bayesian approach to learning 3D representations of dynamic environments. Proc. International Symposium on Experimental Robotics (ISER), Berlin, 2010. Springer Press. 4. Kalyan, B., Lee, K.W., Wijesoma, W.S., Moratuwage, D., Patrikalakis, N.M.: A random finite set based detection and tracking using 3D LIDAR in dynamic environments. IEEE International Conference on Systems, Man, and Cybernetics (SMC), pages 2288–2292, Istanbul, Turkey, 2010. IEEE. 5. Muhammad, N., Lacroix, S.: Calibration of a rotating multi-beam Lidar. International Conference on Intelligent Robots and Systems (IROS), pages 5648–5653, Taipei, Taiwan, 2010. IEEE. 6. Spinello, L., Luber, M., Arras, K.O.: Tracking people in 3D using a bottom-up top-down detector. IEEE International Conference on Robotics and Automation (ICRA), pages 1304–1310, Shanghai, China, 2011. 7. Lafarge F., Mallet, C.: Creating large-scale city models from 3D-point clouds: A robust approach with hybrid representation. Int. J. of Computer Vision, 2012. 8. Schiller, I., Koch, R.: Improved video segmentation by adaptive combination of depth keying and Mixture-of-Gaussians. Proc. Scandinavian Conference on Image Analysis, Ystad, Sweden, volume 6688 of LNCS, pages 59–68, 2011. 9. Langmann, B., Ghobadi, S.E., Hartmann, K., Loffeld, O.: Multi-modal background subtraction using gaussian mixture models. ISPRS Symposium on Photogrammetric Computer Vision and Image Analysis, pages 61–66, 2010.
686
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
7. ´ abra: Objektum k¨ ovet´es ´es rekonstrukci´ os eredm´enyek. Bal fel¨ ul: nyers pontfelh˝ o; bal alul: szegment´ alt ´es elk¨ ul¨ on´ıtett objektumok; jobb fel¨ ul: trajekt´ ori´ ak fel¨ uln´ezetb˝ ol; jobb alul: rekonstru´ alt k¨ ornyezet, a st´ udi´ oobjektumok elhelyez´ese a val´ os alakzat poz´ıci´ okba.
10. Stauffer, C., Grimson, W.E.L.: Learning patterns of activity using real-time tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22:747–757, 2000. 11. Boykov, Y., Kolmogorov, V.: An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision. IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(9):1124–1137, 2004. 12. Wang, Y., Loe, K.F., Wu, J.K.: A dynamic conditional random field model for foreground and shadow segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(2):279 –289, 2006. 13. Kuhn, H.W.: The Hungarian Method for the assignment problem. Naval Research Logistics Quarterly, 2:83–97, 1955. 14. Benedek, C., Szir´ anyi, T.: Bayesian foreground and shadow detection in uncertain frame rate surveillance videos. IEEE Transactions on Image Processing, 17(4):608 – 621, 2008. 15. Fischler, M.A., Bolles, R.C.: Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Comm. of the ACM 24 (6): 381–395. (June 1981) 16. Duda, R.O., Hart, P.E.: Use of the Hough Transformation to Detect Lines and Curves in Pictures. Comm. ACM, Vol. 15, pp. 11–15 (January, 1972) 17. Bernardini, F., Mittleman, J., Rushmeier, H., Silva, C., Taubin, G.: The ballpivoting algorithm for surface reconstruction. IEEE Transactions on Visualization and Computer Graphics, 5(4), Oct-Dec, 1999, pp. 349-359
687
KÉPAF 2013 – a Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája
18. Hap´ ak, J., Jank´ o, Z., Chetverikov, D.: Real-Time 4D Reconstruction of Human Motion. Proc. 7th International Conference on Articulated Motion and Deformable Objects (AMDO 2012), Mallorca, Spain, Lecture Notes in Computer Science, Springer, vol. 7378, pp. 250-259, 2012. 19. Jank´ o, Zs., Chetverikov, D., Hap´ ak, J.: 4D Reconstruction Studio: Creating dynamic 3D models of moving actors. Hungarian Computer Graphics and Geometry Conference, 2012
688
