Pannon Egyetem Informatikai Tudományok Doktori Iskola Tézisfüzet
Új valószín¶ségi módszerek videó-meg gyelési alkalmazásokhoz
Utasi Ákos Villamosmérnöki és Információs Rendszerek Tanszék Témavezet®: Dr. Czúni László Veszprém, 2011.
1
El®zmények, célkit¶zések
A közterületeken telepített meg gyel® rendszerek száma rohamosan növekszik, és olyan hatalmas mennyiség¶ adatot állítanak el®, melyek feldolgozására az emberi munkaer® nem képes. Emiatt az elmúlt évtizedben olyan automatikus eljárásokat dolgoztak ki, melyekkel segíthet®, illetve kiváltható a munkaer®-intenzív folyamat. Az olyan alkalmazásokat kell megemlítenünk, mint például a forgalom ellen®rzése, anomáliák és rendhagyó események felismerése, forgalmi dugók detektálása, továbbá személyek, csoportok és tömegek tevékenységének felismerése. A példákból is egyértelm¶en látszik, hogy a legtöbb meg gyel® alkalmazás esetében a
valós idej¶ feldolgozási
képesség egy kötelez® feltétel. Másfel®l, habár a digitális kamera eladások száma emelkedett, az olcsó analóg eszközök száma még mindig jelent®sen nagyobb. Az ilyen analóg kamerák által szolgáltatott videók min®sége gyakran nagyon gyenge, a képek er®s zajjal terheltek és különböz® optikai vagy digitális hibák gyelhet®k meg. Ez különösen igaz kültéri, városi környezetben. Egyértelm¶,
2 hogy az összes zajt valós id®ben nem lehet kisz¶rni. Emiatt az automatikus videó-meg gyelési módszerek egy másik követelménye a
robusztusság.
A jelen munkában bemutatott összes módszer teljesíti a fenti két kritériumot, és tesztelésük rossz min®ség¶, városi környezetben készült, valós felvételeken történt. Három f® alkalmazási területre készítettem új módszereket: helyszínfelismerés id®-multiplexelt többkamerás környezetben, el®térháttér elkülönítés mozgó objektumok detektálásához, és rendhagyó események felismerése forgalmi anomáliák detektálásához. Analóg többkamerás rendszerek esetében gyakran használt megoldás az id®osztásos multiplexelés, melynek során az egyes kamerák képei szegmentálatlanul kerülnek rögzítésre, azaz nem ismert, hogy egy képkocka melyik kamerához tartozik. Azonban a legtöbb meg gyel® eljárás kizárólag álló kamerán m¶ködik. Így az
els® feladathoz olyan módszereket fejlesztet-
tem ki, melyeket egy többkamerás rendszerben lehet el®feldolgozási lépésként, a kamera nézetek felismeréséhez használni. A bemutatott eljárások használhatók egyrészt o ine üzemmódban az archivált id®-multiplexelt adatok hatékony szegmentálásához, másrészt online módban rendhagyó kamera és multiplexer események detektálásához, ilyenek például a rendhagyó kamera sorrend és id®tartam, kézi vezérlés, és eszköz üzemzavar. A
második feladat az el®tér elkülönítése a statikus vagy dinamikus
háttért®l, ahol az el®tér apertúra problémát vizsgáltam meg, melyet a legtöbb módszer nem megfelel®en kezel. Ezért egy új kiegészítést mutattam be egy széles körben alkalmazott módszerhez, hogy növeljem annak az apertúra problémával szembeni robusztusságát.
3 Végül a
harmadik feladathoz elkészítettem egy többszint¶ rendszert,
mely a képpont szint¶ optikai áramlás irányokat használva képes megtanulni a jellegzetes mozgásmintákat és a forgalom uktuációját, valamint rendhagyó forgalmi események valós idej¶ detektálására alkalmazható. A javasolt eljárások zsúfolt városi környezetben használhatóak, ahol a hagyományos objektumkövetés alapú megközelítések általában nem, vagy csak nagyarányú téves riasztással m¶ködnek.
4
A kutatás módszertana
Ahogy azt már korábban tárgyaltuk, a a
valós idej¶ feldolgozási képesség és
robusztusság volt a két f® szempont az eljárások fejlesztése során.
Ezért
f®ként robusztus statisztikai módszereket alkalmaztam, melyek különböz®, a matematikai statisztika és a valószín¶ségszámítás területér®l származó tételeket és állításokat használnak fel. A javasolt modellek a kevert Gauss modell, a rejtett Markov és fél-Markov modell különböz® megvalósításait alkalmazzák. A dolgozat f® újdonságai a folyamatok valószín¶ségi modellezésében, a modelleket használó, valós idej¶, Bayes-i detektáló eljárásokban, és a modellek strukturális felépítésében valamint paraméter becslésében jelentkeznek. Módszereim hatékonyságának igazolására kísérleteimben rossz min®ség¶, valós városi felvételeket használtam, melyeket egyrészt a Budapesti Rend®r-f®kapitányság biztosított, másrészt a Képfeldolgozás Laboratórium munkatársai rögzítettek. Az eljárások egyszálú C++ nyelven lettek implementálva, GPU-alapú gyorsítás használata nélkül. A képfeldolgozási algo-
5 ritmusok C++ nyelv¶ implementációját az Intel Image Processing Library és OpenCV függvénykönyvtár könnyítette meg. Az elkészített programokat hagyományos PC architektúrán teszteltem Microsoft Windows XP, illetve Ubuntu Linux operációs rendszerek alatt.
Téziscsoportok
6
Téziscsoportok
1. Téziscsoport:
id®-multiplexelt biztonsági felvételek elemzése
Kapcsolódó publikációk: [1], [2], [3]. Analóg többkamerás meg gyel® rendszerek esetén gyakori megoldás, hogy a videókat szegmentálatlanul, id®-multiplexelve rögzítik. Az ilyen esetekben a multiplexer általában nincs szinkronizálva a felvev® eszközzel, így a kamerák id®beli pozícióiról a videószekvenciában nincs rendelkezésre álló információ. Azonban a legtöbb biztonsági feladatokhoz kifejlesztett módszer kizárólag álló kamerán m¶ködik. Emiatt az els® lépés egy többkamerás rendszerben az automatikus helyszínfelismerés. A létez® helyszínfelismer® eljárások nem veszik egyszerre gyelembe egy kamera képeinek vizuális hasonlóságát, a multiplexelt szegmensek periodikusságát, valamint a kamera id®tartamok szabályosságát és bizonytalanságát. Ezért olyan rejtett Markov (HMM) és rejtett félMarkov (HSMM) modell alapú módszereket dolgoztam ki, amelyek
Téziscsoportok
7
gyelembe veszik ezen szempontokat. O ine üzemmódban hatékony eszközt biztosítanak nagy mennyiség¶ multiplexelt archív videó szegmentálásához, míg online módban rendhagyó kamera és multiplexer események (rendhagyó kamera sorrend és id®tartam, kézi PTZ vezérlés, eszköz üzemzavar) valós idej¶ felismeréséhez használhatók. (a) Altézis: Új HMM és HSMM modelleket hoztam létre id®-multiplexelt videók automatikus
o ine szegmentálásához. Mindkét
módszer két f® tulajdonságot vesz gyelembe: egy adott kamera szegmensei közötti vizuális hasonlóságot és a szegmensek periodikusságát a videó folyamban. A HSMM alapú módszer emellett gyelembe veszi a kamera id®tartamok bizonytalanságát is. A modellekben egyszer¶ képi tulajdonságokat használtam, ezáltal a javasolt módszerek nagy sebesség¶ adatfeldolgozást értek el. Kísérletekkel bemutattam, hogy mindkét módszer hatékonyan alkalmazható rossz min®ség¶ archív biztonsági felvételek szegmentálásához. (b) Altézis: Új, HMM és HSMM alapú eljárásokat dolgoztam ki id®-multiplexelt videókon történ®
online helyszínfelismeréshez és
rendhagyó kamera események jelzéséhez. A HMM alapú módszer a következ® rendellenes kamera m¶ködés jelzésére alkalmas: rendhagyó kamera sorrend, kézi PTZ vezérlés és eszköz üzemzavar. Ezenfelül a HSMM alapú eljárás rendhagyó kamera id®tartamok jelzésére is használható. Mindkét módszer valós idej¶ adatfeldol-
Téziscsoportok
8
gozásra képes egy hagyományos PC-n, és magas felismerési hatékonysággal alkalmazható mind nappali, mind éjszakai felvételek esetén. Rossz min®ség¶, valós felvételeken elvégzett kísérletekkel bizonyítottam az általam kidolgozott módszerek gyakorlati alkalmazhatóságát. 2. Téziscsoport:
el®tér-háttér elkülönítés
Kapcsolódó publikációk: [4], [5]. A kép mozgó részeinek elkülönítése a háttért®l egy fontos feladat a videó-meg gyelési alkalmazásokban. Videókon történ® mozgásfelismeréshez az adaptív kevert Gauss (MoG) módszer az egyik legelterjedtebb el®tér-háttér elkülönít® eljárás, melynek f® hiányossága az úgynevezett el®tér apertúra probléma által el®idézett pontatlan m¶ködés. A probléma által érintett részeken az eredeti MoG eljárás gyakorlatilag helytelen eredményt ad. Ezért úgy módosítottam az eredeti módszert, hogy növeljem annak az el®tér apertúra problémával szembeni robusztusságát, miközben annak valós idej¶ feldolgozó képességét meg®rizzem. (a) Altézis: Létrehoztam egy új kiegészítést az adaptív MoG alapú el®tér-háttér elkülönít® módszerhez, mely az el®tér képpontok Gauss modelljeit egy különálló rétegben tárolja. De niáltam egy rekurzív eljárást a szomszédos el®tér modellek között, mely a magas szórás értékeket terjeszti a homogén területek széleit®l azok bels® területei felé, ezáltal megel®zi, hogy azok háttérré vál-
Téziscsoportok
9
janak. Továbbá determinisztikus lépéseket de niáltam az el®tér és a háttér modellek közötti állapotváltáshoz. Kísérleteim szerint a módosított eljárás jelent®sen javítja az eredeti módszer robusztusságát az el®tér apertúra problémával szemben, ezáltal akár 50%-kal is csökkenhet a hibásan osztályozott képpontok száma, miközben a feldolgozási sebesség hozzávet®legesen 30%kal csökken. 3. Téziscsoport:
rendhagyó esemény felismerés biztonsági videókon
Kapcsolódó publikációk: [6], [7], [8], [9], [10]. A legtöbb rendhagyó esemény felismer® módszer az objektumok mozgáspályáit használja fel. Azonban az ilyen objektumkövetés alapú megközelítések használata esetén zsúfolt városi környezetben nagyon magas a téves riasztások száma. Ezért új módszereket hoztam létre városi biztonsági felvételeken történ® rendhagyó forgalmi események, illetve szituációk jelzéséhez. Az olyan esetekben, ahol az objektumkövetés megbízhatatlan eredményt ad, az általam javasolt módszerek a s¶r¶ képpont alapú optikai áramlás irányokat felhasználva képesek modellezni a normális forgalmi helyzeteket. A javasolt eljárások nem igényelnek semmilyen kézi kalibrálást vagy beállítást; mindössze egy automatikus, szokásos aktivitást tartalmazó videókon történ® tanító fázisra van szükségük. Kísérleteimben rossz min®ség¶ valós videókat használtam, bemutatva ezzel módszereim gyakorlati problémákkal szembeni robusztusságát.
Téziscsoportok
10
(a) Altézis: Optikai áramlás irányok új, képpont szint¶ modellezését vezettem be a videóra jellemz® mozgásminták megtanulásához. A szokásos mozgásirányok becslése egy automatikus tanítási fázis során történik. A mozgásvektorok id®beli Markov tulajdonságát gyelembe vev®, új módszert dolgoztam ki a rendhagyó mozgások valószín¶ségének becsléséhez. Kísérleteim szerint az id®beli kiterjesztés használatával jelent®sen n® a rendhagyó és a szokásos események valószín¶ségei közötti különbség, ezáltal javítható a rendhagyó események jelzésének hatékonysága. (b) Altézis: Létrehoztam egy régió szint¶, HMM alapú, rendhagyó esemény felismerésére alkalmas módszert, mely a meg gyelt helyszín adott régiójában megtanulja a tipikus mozgásmintákat és a forgalom uktuációját. A módszer a kinyert képpont szint¶ optikai áramlás információ id®beli változásait használja fel a forgalmi rendszer szabályainak modellezésére. (c) Altézis: A nagyszámú mozgásvektor alacsony valószín¶ségi értékei a HMM tanítási eljárása során numerikus számábrázolási problémát eredményeznek. Ennek kiküszöbölésére kidolgoztam egy skálázási technikát a paraméterbecsl® eljárás matematikai formuláihoz. Bebizonyítottam, hogy ez a skálázási technika nem változtatja meg a paraméterbecsl® eljárást. A javasolt skálázási technika kombinálható egy létez® skálázási módszerrel, melyet hosszú tanító szekvencia esetében használnak. Bebizonyítottam,
Téziscsoportok
11
hogy a kombinált skálázást használva a paraméterbecsl® eljárásban semmilyen módosításra nincs szükség. Kísérleteim szerint a javasolt skálázási technika jelent®sen növeli a tanítási folyamatnak a számábrázolási problémával szembeni robusztusságát és megközelít®leg ötször nagyobb számú mozgásvektor feldolgozását teszi lehet®vé, miközben a feldolgozás sebessége nem csökken érzékelhet®en. (d) Altézis: Bevezettem a régió szint¶ mozgás modellek hierarchikus reprezentációját egy diszkrét HMM modellben a régiók együttes viselkedésének gyelembe vételéhez. Így a modell a térben távoli mozgás események közötti kapcsolatok leírására használható és eszközt biztosít a nagyobb térbeli kiterjedéssel rendelkez® rendhagyó események felismerésére.
Téziscsoportok
12
Eredményeim hasznosulása
Az általam kifejlesztett módszerek robusztusak, semmilyen speciális hardver környezetet nem igényelnek, és hagyományos PC-n közel valós idej¶ feldolgozási sebességet érnek el. Ezen tulajdonságoknak köszönhet®en a bemutatott eljárások kereskedelmi szoftverekben is alkalmazhatóak. Az algoritmusok közvetlenül kapcsolódnak az MTA-SZTAKI folyamatban lév® kutatási projektjeihez. Az Európai Védelmi Ügynökség által támogatott MEDUSA projekt célja egy intelligens szenzorfúziós hálózat létrehozása. A MEDUSA prototípus rendszerbe a harmadik téziscsoport néhány eljárása kerül integrálásra. Ezen téziscsoport els® altézisének eljárásai a Jedlik Ányos program MONLINGV projektje során kifejlesztett rendszerbe kerültek integrálásra.
Kapcsolódó publikációk
13
Kapcsolódó publikációk
[1] Á. Utasi and L. Czúni. Analysis of time-multiplexed security videos. In
Proceedings of The 6th IEEE International Conference on Advanced Video and Signal Based Surveillance, pages 547552, Genoa, Italy, September 24
2009.
[2] Á. Utasi and L. Czúni. Detecting irregular camera events in time-multiplexed videos. Electronics Letters, 45(18):937939, 2009. [3] Á. Utasi and L. Czúni. Id®-multiplexelt biztonsági felvételek elemzése. In
Proceedings of The 7th Conference of Hungarian Association for Image Processing and Pattern Recognition, Budapest, Hungary, January 2830 2009.
[4] Á. Utasi and L. Czúni. Reducing the foreground aperture problem in mixture of Gaussians based motion detection. In Proceedings of The 14th In-
ternational Conference on Systems, Signals and Image Processing and 6th EURASIP Conference Focused on Speech and Image Processing, Multimedia Communications and Services, pages 157160, Maribor, Slovenia, June 2730 2007.
[5] Á. Utasi and L. Czúni. Valós idej¶ mozgásdetektálás módosított mixture of Gaussians eljárással. In Proceedings of The 6th Conference of Hungarian Association for Image Processing and Pattern Recognition, Debrecen, Hungary, January 25-27 2007. [6] Á. Utasi and L. Czúni. Anomaly detection with low-level processes in videos. In Proceedings of The 3rd International Conference on Computer Vision The-
Kapcsolódó publikációk
14
ory and Applications, pages 678681, Funchal, Madeira, Portugal, January 2225 2008.
[7] Á. Utasi and L. Czúni. HMM-based unusual motion detection without tracking. In Proceedings of The 19th International Conference on Pattern Recognition, pages 14, Tampa, FL, USA, December 811 2008. [8] Á. Utasi and L. Czúni. Visual analysis of urban road tra c. In Proceed-
ings of The 15th International Conference on Systems, Signals and Image Processing, pages 445448, Bratislava, Slovak Republic, June 2528 2008.
[9] Á. Utasi and L. Czúni. Detection of unusual optical ow patterns by multilevel hidden Markov models. Optical Engineering, 49(1), 2010. [10] Á. Utasi and L. Czúni. Rendhagyó optikai áramlás detekciója rejtett Markov modellekkel. In Proceedings of The 8th Conference of Hungarian Association for Image Processing and Pattern Recognition, Szeged, Hungary, January 2528 2011.
További publikációk
15
További publikációk
[11] Á. Utasi and Cs. Benedek. A 3-D Marked Point Process Model for Multi-View People Detection. In Proceedings of The 24th IEEE Conference on Computer Vision and Pattern Recognition, Colorado Springs, USA, June 2123 2011. [12] Á. Utasi and A. Kovács. Recognizing Human Actions by Using Spatiotemporal Motion Descriptors. In Proceedings of Advanced Concepts for Intelligent Vision Systems, Sydney, Australia, December 1316 2010. [13] Á. Utasi and Cs. Benedek. Multi-Camera People Localization and Height Estimation Using Multiple Birth-and-Death Dynamics. In Proceedings of
The 10th International Workshop on Visual Surveillance (in conjunction with ACCV 2010), Queenstown, New Zealand, November 812 2010.
[14] L. Kovács and Á. Utasi. Shape and Motion Fused Multiple Flying Target Recognition and Tracking. In Proceedings of Automatic Target Recognition XX, at SPIE Defense, Security, and Sensing, Orlando, USA, April 57 2010. [15] L. Kovács, Á. Utasi and T. Szirányi. VISRET - A Content Based Annotation, Retrieval and Visualization Toolchain. In Proceedings of Advanced Concepts for Intelligent Vision Systems, pages 265276, Bordeaux, France, September 28 - October 2 2009. [16] Á. Utasi, L. Kovács, Szlávik, L. Havasi, I. Petrás, and T. Szirányi. Digital Video Event Detector Framework for Surveillance Applications. In Pro-
ceedings of The 6th IEEE International Conference on Advanced Video and Signal Based Surveillance, pages 565570, Genoa, Italy, September 24 2009.
További publikációk
16
[17] L. Kovács, Á. Utasi and T. Szirányi. Extraction, Categorization, and Unusual Motion Signaling of Small Moving Objects. In Proceedings of Signal and Data Processing of Small Targets, San Diego, USA, August 26 2009. [18] Á. Utasi, Á. Kiss and T. Szirányi. Statistical Filters for Crowd Image Analysis. In Proceedings of The 11th IEEE International Workshop on Performance Evaluation of Tracking and Surveillance (in conjunction with CVPR 2009), pages 95100, Miami, USA, June 25 2009. [19] L. Havasi, Z. Szlávik, L. Kovács, Á. Utasi, Cs. Benedek and T. Szirányi. Validate Privacy Constraints in Surveillance Systems. In Proceedings of ICT Solutions for Justice, Skopje, Macedonia, September 24 2009. [20] L. Kovács, Z. Szlávik, Cs. Benedek, L. Havasi, I. Petrás, D. Losteiner, Á. Utasi, A. Licsár, L. Czúni, and T. Szirányi. Video Surveillance Framework for Crime Prevention and Event Indexing. In Proceedings of ICT Solutions for Justice,, Thessaloniki, Greece, October 24 2008. [21] Z. Szlávik, L. Kovács, L. Havasi, Cs. Benedek, I. Petrás, Á. Utasi, A. Licsár, L. Czúni, and T. Szirányi. Behavior and event detection for annotation and surveillance. In Proceedings of the 6th International Workshop on ContentBased Multimedia Indexing, pages 117124, London, UK, June 1820 2008. [22] Á. Utasi and L. Czúni. Unusual Event Detection in Low-Quality Urban Surveillance Videos with Modeling Motion Directions. In Proceedings of The Asia-Paci c Workshop on Visual Information Processing, Tainan, Taiwan, December 1517 2007.
