Odhadování a predikce počtu lidí v menze na

Za´padoˇceska´ univerzita v Plzni Fakulta aplikovanyćh vˇed Katedra informatiky a vy´poˇcetn´ı techniky

Bakal´ aˇ rsk´ a pr´ ace Odhadov´ an´ı a predikce poˇ ctu lid´ı v menze na z´ akladˇ e anal´ yzy obrazu z kamer

Plzeˇ n 2012

ˇ Radek Smol´ ık

Prohl´ aˇ sen´ı Prohlaˇsuji, ˇze jsem bakaláˇrskou práci vypracoval samostatnˇe a v´ yhradnˇe s pouˇzit´ım citovan´ ych pramen˚ u. V Plzni dne 8. kvˇetna 2012 ˇ Radek Smol´ ık

Abstract Estimation and prediction of number of people in the university cafeteria based on analysis of camera pictures. The aim of this work is to create a program that handles images from cameras located on the premises of the university canteen. The program will then be able to estimate the current number of people inside. Results of the program should be used to obtain information about the movement of the people in the canteen. The work shows the possibilities of processing images by different methods and describes basic methods of working with pictures, you can find more details about described methods and also other methods in the cited literature. My solution is based on using thresholding method. Objects are separated from the background and then human figures are recognized. People are marked in the picture and the number of people is stored in the data field. Chart uses these values and shows information about the number of people in the canteen during the day. The program provides well results in case that people are not gathered in large groups, it works better for separated human figures. Large groups are splitted automatically in attempt to recognize people according their expected size, but results are not exact, as human shapes are overlaped.

Obsah ´ 1 Uvod 2 Zpracov´ an´ı obrazu 2.1 Pˇredzpracován´ı obrazu . . . . . . 2.1.1 Filtrace . . . . . . . . . . 2.1.2 Jasové transformace . . . 2.1.3 Geometrické transformace 2.2 Segmentace . . . . . . . . . . . . 2.2.1 Prahován´ı . . . . . . . . . 2.2.2 Detekce hran . . . . . . . 2.2.3 Nar˚ ustán´ı oblast´ı . . . . . 2.2.4 Srovnáván´ı se vzorem . . .

1

. . . . . . . . .

. . . . . . . . .

3 Popis a identifikace objekt˚ u 3.1 Hranice objektu . . . . . . . . . . . . 3.1.1 Popis posloupnost´ı segment˚ u. 3.1.2 Freemanovy ˇretˇezové kódy . . 3.2 Popisy jednoduch´ ych objekt˚ u . . . . 4 Klasifikace objekt˚ u 4.1 Pˇr´ıznakové rozpoznáván´ı . . . . . . . 4.1.1 Metoda nejbliˇzˇs´ıho souseda . 4.1.2 Metoda minimáln´ı vzdálenosti 4.2 Strukturáln´ı rozpoznáván´ı . . . . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

. . . .

. . . .

. . . . . . . . .

2 3 3 4 5 7 7 9 9 10

. . . .

11 11 11 12 13

. . . .

14 14 14 14 15

5 Praktick´ aˇ c´ ast 5.1 Stahován´ı dat . . . . . . . . . . 5.1.1 Struktura programu . . 5.2 Hledán´ı objekt˚ u . . . . . . . . . 5.3 Identifikace nalezen´ ych objekt˚ u 5.3.1 Pˇrekryv postav . . . . . 5.4 Ladˇen´ı programu . . . . . . . . ˇ 5.5 Casy v´ ypoˇctu . . . . . . . . . . 5.6 V´ ysledky . . . . . . . . . . . . . 5.7 Vizualizace v´ ysledku . . . . . . 5.8 Závˇer . . . . . . . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

16 16 16 18 21 23 26 28 29 31 33

´ 1 Uvod C´ılem této práce je vytvoˇrit program, kter´ y zpracuje sn´ımky z kamer, um´ıstˇen´ ych v prostorách univerzitn´ı menzy tak, ˇze je schopen odhadnout aktuáln´ı poˇcet strávn´ık˚ u. V´ ysledky programu slouˇz´ı k z´ıskán´ı pˇredstavy o pohybu strávn´ık˚ u v prostorách menzy. Bude moˇzné urˇcit, v jak´ y den a v jakou denn´ı dobu menzu navˇstˇevuje nejv´ıce/nejménˇe lid´ı a podle v´ ysledk˚ u si zvolit, kdy je nejvhodnˇejˇs´ı menzu navˇst´ıvit, aniˇz by bylo nutné ˇcekat ve frontách na v´ ydej j´ıdel. K vytvoˇren´ı programu je pouˇzit jazyk JAVA. Program nejprve z´ıskává sn´ımky z kamer, které ukládá na disk. Na sn´ımky se aplikuj´ı metody pro zpracován´ı a u ´pravu digitáln´ıho obrazu, aby byla koneˇcná identifikace lidsk´ ych postav v obraze co nejpˇresnˇejˇs´ı. V´ ysledky programu jsou k dispozici ve formˇe grafu.

1

2 Zpracován´ı obrazu Obraz lze chápat jako obrazovou funkci f (x, y), kde (x, y) jsou souˇradnice pixelu. Hodnota f (x, y) udává informaci o barvˇe v daném bodˇe, která m˚ uˇze nab´ yvat r˚ uzn´ ych hodnot v závislosti na bitové hloubce obrazu. Bitová hloubka obrazu udává mnoˇzstv´ı barev, které jsou k dispozici pro kaˇzd´ y pixel. Napˇr. pro 1 bitovou hloubku jsou k dispozici dvˇe moˇzné hodnoty – b´ılá a ˇcerná. Se vzr˚ ustaj´ıc´ım poˇctem bit˚ u roste jejich mnoˇzstv´ı. Pro barevné obrazy se pouˇz´ıvaj´ı barevné modely. Pro RGB model je kaˇzd´ y bod obrazu tvoˇren tˇremi hodnotami (barevn´ ymi kanály). Tzn., ˇze pˇri 8 bitové hloubce na kaˇzd´ y kanál RGB je potˇreba 8 ∗ 3 = 24bit˚ u. Pˇr´ıklady bitov´ ych hloubek pro 3 kanály RGB (tab. 2.1): Bit˚ u na kanál Barev na kanál Bit˚ u na pixel Barev pixelu 4 4 16(2 ) 3 ∗ 4 = 12 4096(212 ) 8 256(28 ) 3 ∗ 8 = 24 16777216(224 ) 16 65536(216 ) 3 ∗ 16 = 48 248 Tabulka 2.1: Bitové hloubky obrazu (RGB) Barevné modely (RGB, CMYK, HSV a dalˇs´ı) reprezentuj´ı barvu pixelu:

• RGB – hodnota se skládá ze tˇr´ı sloˇzek, kanál˚ u (R – ˇcervená, G – zelená, B – modrá barva) • CMYK – ˇctyˇri sloˇzky (C – azurová, M – purpurová, Y – ˇzlutá, K – ˇcerná barva) • HSV – tˇri sloˇzky (H – odst´ın barvy, S – sytost barvy, V – hodnota jasu)

2

Zpracován´ı obrazu

2.1

Pˇredzpracován´ı obrazu

Pˇ redzpracov´ an´ı obrazu

C´ılem pˇredzpracován´ı je pˇripravit obraz tak, aby byl poˇzadovan´ y v´ ysledek zpracován´ı co nejlepˇs´ı. Metody se dˇel´ı do nˇekolika skupin viz obr. 2.1, v závislosti na okol´ı aktua´ln´ıho bodu (pixelu): • bodové – bod je urˇcen na základˇe jednoho bodu p˚ uvodn´ıho obrazu. • lokáln´ı – bod je závisl´ y na malém okol´ı bodu p˚ uvodn´ıho obrazu. • globáln´ı – v´ ysledn´ y bod se urˇcuje na základˇe celého p˚ uvodn´ıho obrazu.

Obrázek 2.1: Moˇznosti pˇredzpracován´ı obrazu

2.1.1

Filtrace

Kromˇe samotné informace o obrazu se m˚ uˇze v obraze vyskytovat faleˇsná informace nahodilého p˚ uvodu [5]. Obraz vypadá jako zrnit´ y. Tato informace ˇ se naz´ yvá ˇsum a je neˇzádouc´ı. Sum je pˇridán do obrazu bˇehem jeho sn´ımán´ı. Je vˇetˇsinou zp˚ usoben sn´ımac´ım zaˇr´ızen´ım nebo pˇr´ıtomnost´ı prachu na scénˇe. Jeho pˇr´ıtomnost ztˇeˇzuje dalˇs´ı zpracováván´ı obrazu a ˇcasto je nutné ho potlaˇcit. K tomu se pouˇz´ıvaj´ı r˚ uzné filtry. Filtrace, neboli vyhlazován´ı, pracuje vˇzdy s vˇetˇs´ım mnoˇzstv´ım sn´ımk˚ u nebo s okol´ım bodu.

3



Metoda pr˚ umˇerován´ı pˇres v´ıce sn´ımk˚ u je zaloˇzena na porovnáván´ı pixel˚ u jednotliv´ ych obrázk˚ u a jako v´ ysledná hodnota se vezme jejich pr˚ umˇerná nebo nejˇcastˇeji se vyskytuj´ıc´ı hodnota. Druhá metoda pracuj´ıc´ı s okol´ım bodu, zpracovává sousedn´ı hodnoty pixel˚ u, které mohou m´ıt pˇredem zvolenou váhu a urˇcuje v´ yslednou hodnotu pixelu jako pr˚ umˇer nebo medián okol´ı. Filtrace s sebou nese nˇekolik nev´ yhod. Pˇri filtraci v´ıce sn´ımk˚ u roste v´ ypoˇcetn´ı nároˇcnost. Filtrac´ı se také ztrác´ı ˇca´st informace z obrazu, docház´ı ke sn´ıˇzen´ı ostrosti hran a obraz se jev´ı jako rozmazan´ y. Podrobnˇejˇs´ı informace o tˇechto metodách a dalˇs´ıch zp˚ usobech filtrován´ı viz [2].

2.1.2

Jasov´ e transformace

Pokud je obraz nerovnomˇernˇe nebo nevhodnˇe osvˇetlen, je moˇzné vyuˇz´ıt jasové transformace. Hodnota jasu kaˇzdého bodu se nahrad´ı novou hodnotou, v závislosti na provádˇené operaci (viz obr. 2.2).

Obrázek 2.2: Jasové transformace: a) p˚ uvodn´ı obraz [8], b) u ´prava jasu, c) u ´prava kontrastu, d) negativ obrazu. Pˇri transformaci m˚ uˇze doj´ıt ke ztrátˇe informace, napˇr. pˇri extrémn´ım zv´ yˇsen´ı jasu se ztrat´ı ˇca´st obrazov´ ych dat a zpˇet je jiˇz nelze z´ıskat.

4



Na obr. 2.3 je vidˇet, jak transformace jasu prob´ıhá. Napˇr. p˚ uvodn´ı hodnota jasu 100 se nahrad´ı vˇetˇs´ı hodnotou 200.

Obrázek 2.3: Funkce jasové transformace: zv´ yˇsen´ı jasu

2.1.3

Geometrick´ e transformace

Mnohdy je potˇreba obraz vhodnˇe pootoˇcit, zmenˇsit, posunout, apod. K tomu slouˇz´ı geometrické transformace, které mohou b´ yt ztrátové. Napˇr. zmˇena velikosti obrazu se provád´ı interpolac´ı obrazu a existuj´ı r˚ uzné stupnˇe. (Pro 1.stupeˇ n interpolace se pˇri zvˇetˇsován´ı obrázku pˇridává mezi kaˇzdé dva sousedn´ı pixely jeden nov´ y (obr. 2.4), tzn. ˇze z p˚ uvodnˇe jednoho pixelu se udˇelaj´ı ˇctyˇri. Pro 2. stupeˇ n se pak pˇridávaj´ı dva nové pixely, apod.) Nové pixely se poˇc´ıtaj´ı na základˇe zvolen´ ych metod interpolace:

• Nejbliˇzˇs´ı soused – nov´ y bod je dopoˇc´ıtán podle nejbliˇzˇs´ıho bodu p˚ uvodn´ıho obrazu. • Bilineárn´ı interpolace – nov´ y bod je dopoˇc´ıtán podle 2 nejbliˇzˇs´ıch bod˚ u. • Bikubická interpolace – nov´ y bod je dopoˇc´ıtán podle 4 nejbliˇzˇs´ıch bod˚ u.

V´ıce o interpolaci obrazu [6]. 5



Pˇr´ıklad interpolace 1.stupnˇe pro zvˇetˇsen´ı obrazu viz obr. 2.4. Mezi kaˇzdé dva sousedn´ı body se pˇridá jeden nov´ y – na obr. 2.4b) ˇsedé body.

Obrázek 2.4: Interpolace 1.stupnˇe, zvˇetˇsen´ı: a) p˚ uvodn´ı obraz, b) postup zvˇetˇsen´ı, c) v´ ysledek Zmenˇsen´ım se ztrác´ı informace a dojde ke ztrátˇe detail˚ u a rozostˇren´ı obrazu. Na obr. 2.5 je vidˇet ztráta informace obrazu po jeho zmenˇsen´ı.

Obrázek 2.5: Ztráta informace obrazu

6


2.2

Segmentace

Segmentace

C´ılem segmentace je nalezen´ı objekt˚ u v obraze. Obraz je rozdˇelen na ˇcásti, kde kaˇzdá ˇcást pˇredstavuje jeden objekt obrazu. Nev´ yhodou segmentace obrazu je nutnost ˇcásteˇcnˇe znát obsah zobrazované scény, aby v˚ ubec bylo moˇzné naj´ıt jednotlivé objekty. Proto se m´ısto jednotliv´ ych objekt˚ u v obraze hledaj´ı jen souvislé oblasti s podobn´ ymi vlastnostmi a ty se dále zpracovávaj´ı.

Hlavn´ı skupiny segmentace: • Prahován´ı • Segmentace zaloˇzená na detekci hran • Segmentace zaloˇzená na hledán´ı oblast´ı

2.2.1

Prahov´ an´ı

Jedná se o nejjednoduˇsˇs´ı metodu segmentace. C´ılem této metody je oddˇelit objekty od pozad´ı. Vyuˇz´ıvá se histogramu (obr. 2.6), kter´ y udává, kolik pixel˚ u z obrazu má jak´ y jas. Oddˇelen´ı objekt˚ u od pozad´ı je urˇceno volbou prahu v histogramu (obr. 2.7). Pixely leˇz´ıc´ı pod prahem dostanou hodnotu 0, tj. jedná se o pozad´ı, pixely nad prahem dostanou 1, jde o objekty. Z toho je jasné, ˇze vznikne obraz pouze se dvˇema hodnotami pixel˚ u, tedy obraz binárn´ı. Tato metoda nemá pˇr´ıliˇs v´ yznam pro objekty, které maj´ı jasem velice bl´ızko k pozad´ı. Zde nen´ı moˇzné urˇcit takov´ y práh, kter´ y by objekty dokázal rozumnˇe segmentovat. Je nˇekolik zp˚ usob˚ u prahován´ı. Globáln´ı prahován´ı vyuˇz´ıvá jeden práh pro cel´ y obraz. Dalˇs´ım prahován´ı je tzv. adaptivn´ı prahován´ı, které pouˇz´ıvá v´ıce prah˚ u pro r˚ uzné oblasti obrazu. V pˇr´ıpadˇe, ˇze nechceme jen binárn´ı obraz, lze volit vˇetˇs´ı poˇcet prah˚ u. Pak napˇr. pro dva prahy dostaneme obraz se tˇremi hodnotami pixel˚ u, apod. 7


Segmentace

Obrázek 2.6: Histogram pro obr. 2.7 a) V nˇekter´ ych pˇr´ıpadech je uˇziteˇcné pouˇz´ıvat poloprahován´ı. Vˇsechny pixely pozad´ı maj´ı stejnou hodnotu (napˇr. b´ılá nebo ˇcerná barva), zat´ımco pixely objekt˚ u si zachovaj´ı své p˚ uvodn´ı hodnoty.

Obrázek 2.7: Volba prahu: a) p˚ uvodn´ı sn´ımek [9], b) n´ızk´ y, b) vhodn´ y, c) vysok´ y práh. 8


2.2.2

Segmentace

Detekce hran

Hrana v obraze je m´ısto, kde docház´ı k v´ yrazné zmˇenˇe intenzity jasu (obr. 2.8). Pro jej´ı nalezen´ı se pouˇz´ıvaj´ı gradientn´ı metody, vyuˇz´ıvaj´ıc´ı hranové operátory [2]. Hranové operátory lze pouˇz´ıt pro detekci ˇcar a bod˚ u v obraze.

Obrázek 2.8: Nalezen´ı hran v obraze 2.2 a)

2.2.3

Nar˚ ust´ an´ı oblast´ı

Metoda se dá uplatnit v obraze, kde je pˇr´ıtomn´ y ˇsum a obt´ıˇznˇe se hledaj´ı hranice objekt˚ u. Vyuˇz´ıvá vlastnosti homogenity, tj. rozdˇel´ı obraz do co nejvˇetˇs´ıch souvisl´ ych oblast´ı, které jsou homogenn´ı. Vˇetˇsinou se jako kritérium homogenity povaˇzuje jasová sloˇzka nebo barva. Hledán´ı oblast´ı prob´ıhá tak, ˇze v prvn´ım kroku se povaˇzuje kaˇzd´ y bod obrazu za samostatnou oblast. Okolo bodu se hledaj´ı sousedn´ı oblasti, které spln ˇuj´ı kritérium homogenity. Pokud podm´ınku splˇ nuj´ı, tyto oblasti se spoj´ı a vystupuj´ı jako jedna oblast. Takto se pokraˇcuje, dokud nenalezneme vˇsechny maximáln´ı oblasti. P˚ uvodn´ı rozdˇelen´ı obrazu nemus´ı b´ yt vˇzdy v pomˇeru jeden bod je jedna oblast, ale lze zvolit poˇca´teˇcn´ı segmentaci obrazu na oblasti o velikosti 2x2, 4x4 pixel˚ u apod. T´ımto se dá dobˇre eliminovat pˇr´ıtomnost ˇsumu. 9


2.2.4

Segmentace

Srovn´ av´ an´ı se vzorem

Pro aplikaci této metody mus´ıme pˇredem pˇresnˇe znát, jak hledan´ y objekt vypadá. Vytvoˇren´ y vzor objektu hledáme v obraze. Testuje se m´ıra souhlasu obrazu se vzorem. Test se provád´ı pro kaˇzd´ y bod obrazu, proto je metoda velmi ˇcasovˇe nároˇcná. Dalˇs´ı komplikac´ı je moˇznost natoˇcen´ı, ˇci zkreslen´ı objektu v obraze. V tomto pˇr´ıpadˇe by bylo nutné testovat m´ıru souhlasu pro vˇsechny moˇznosti geometrické transformace. To má za následek dalˇs´ı zv´ yˇsen´ı ˇcasové ˇ nároˇcnosti. Sum pˇr´ıtomn´ y v obraze ovlivˇ nuje m´ıru souhlasu se vzorem. To lze ˇcásteˇcnˇe vyˇreˇsit pouˇzit´ım filtr˚ u. V´ıce o metodách segmentace [2].

10

3 Popis a identifikace objekt˚ u Objekt lze popsat oblast´ı nebo hranic´ı v obraze. Jsou dva druhy popisu objektu. Z prvn´ıho lze zpˇetnˇe rekonstruovat tvar objektu, tzn. popis zachovává informace. Druh´ y zp˚ usob pop´ıˇse objekt, ale zpˇetnˇe jiˇz nelze z´ıskat informaci o jeho tvaru.

3.1 3.1.1

Hranice objektu Popis posloupnost´ı segment˚ u

Hranice objekt˚ u se nahrazuj´ı r˚ uzn´ ymi typy segment˚ u, které se mus´ı pˇredem definovat a oˇc´ıslovat (obr. 3.1). V´ yslednou hranici reprezentuje posloupnost ˇc´ısel segment˚ u.

Obrázek 3.1: Segmenty hranice

11

Popis a identifikace objekt˚ u

3.1.2

Hranice objektu

Freemanovy ˇ retˇ ezov´ e k´ ody

Popisuje objekty na základˇe smˇeru hranice (obr. 3.2). Pro kaˇzd´ y bod hranice urˇc´ı zmˇenu oproti pˇredchoz´ımu a pop´ıˇse hranici odpov´ıdaj´ıc´ım ˇc´ıslem. Popis lze volit pro tzv. 4-okol´ı nebo 8-okol´ı. Podle typu okol´ı je dosaˇzena pˇresnost popisu hranice. Popis je nezávisl´ y na otoˇcen´ı objektu.

Obrázek 3.2: Typy okol´ı: a) 4-okol´ı, b) 8-okol´ı Pˇr´ıklad popisu obrázku pro 8-okol´ı (obr. 3.3):

Obrázek 3.3: Pˇr´ıklad 8-okol´ı Freeman˚ uv kód: 076553221

12

Popis a identifikace objekt˚ u

Popisy jednoduchých objekt˚ u

Geometrick´ e popisy Vyuˇz´ıvaj´ı se ˇca´steˇcnˇe Freemanovy ˇretˇezové kódy. U metody pˇr´ımost hranice se urˇcuje pomˇer mezi celkov´ ym poˇctem bod˚ u v hranici a poˇctem bod˚ u, ve kter´ ych hranice nen´ı pˇr´ımá, tzn. kde mˇen´ı smˇer. Metoda délka hranice pˇriˇrazuje délku o hodnotˇe 1 horizontáln´ım a vertikáln´ım posuv˚ um, pro diagonáln´ı posuv je dána hodnota odmocniny 2. Takto se urˇc´ı délka hranice, která je vlastnˇe obvodem objektu.

3.2

Popisy jednoduch´ ych objekt˚ u

Metoda má vyuˇzit´ı pouze pro velmi jednoduché tvary objekt˚ u. Popisuje se celá oblast objektu. Vyuˇz´ıvaj´ı se k tomu napˇr. následuj´ıc´ı vlastnosti:

• Podlouhlost: pomˇer mezi délkou a ˇs´ıˇrkou nejmenˇs´ıho opsaného obdéln´ıku • V´ ystˇrednost: pomˇer dvou nejdelˇs´ıch na sebe kolm´ ych tˇetiv • Velikost: poˇcet bod˚ u v objektu • Nekompaktnost: delka hranice2 velikost • Eulerovo ˇc´ıslo: poˇcet souvislých oblast´ı - poˇcet dˇer (obr. 3.4) • V´ yˇska, ˇs´ıˇrka

Obrázek 3.4: Eulerovo ˇc´ıslo: 1 souvislá oblast, 2 d´ıry. 13

4 Klasifikace objekt˚ u Klasifikace je posledn´ım krokem pˇri zpracován´ı obrazu. Klasifikac´ı se rozum´ı zaˇrazován´ı nalezen´ ych objekt˚ u do tˇr´ıd, které jsou pˇredem známy.

4.1

Pˇ r´ıznakov´ e rozpozn´ av´ an´ı

Metoda je zaloˇzena na vyuˇzit´ı pˇr´ıznak˚ u. Hodnoty jednotliv´ ych pˇr´ıznak˚ u vytvoˇr´ı vektor, kter´ ym je pak obraz charakterizován.

Zp˚ usob zaˇ razen´ı objekt˚ u do tˇ r´ıd se prov´ ad´ı pomoc´ı n´ asleduj´ıc´ıch klasifik´ ator˚ u:

4.1.1

Metoda nejbliˇ zˇ s´ıho souseda

Tˇr´ıdˇen´ı objekt˚ u prob´ıhá tak, ˇze se urˇcuje vzdálenost od vˇsech objekt˚ u, které jsou jiˇz zaˇrazeny a objektu, kter´ y se zaˇrazuje. Tˇr´ıda nejbliˇzˇs´ıho objektu je pˇriˇrazena novému objektu. Pro hledán´ı vzdálenosti se pouˇz´ıvá napˇr. Euklidovská metrika [7] a je poˇc´ıtána z pˇr´ıznakov´ ych vektor˚ u objekt˚ u, tj. jak jsou si objekty podobné.

4.1.2

Metoda minim´ aln´ı vzd´ alenosti

Jednotlivé tˇr´ıdy zde zastupuje pouze jeden hlavn´ı objekt. Ten má souˇradnice tˇeˇziˇstˇe vˇsech objekt˚ u dané tˇr´ıdy. Pˇriˇrazen´ı tˇr´ıd prob´ıhá podobnˇe jako u pˇredchoz´ı metody nejbliˇzˇs´ı soused, tj. na základˇe minimáln´ı vzdálenosti od hlavn´ıho a vkládaného objektu.

14

Klasifikace objekt˚ u

4.2

Strukturáln´ı rozpoznáván´ı

Struktur´ aln´ı rozpozn´ av´ an´ı

Objekt se pop´ıˇse jeho elementárn´ımi vlastnostmi, kter´ ym se ˇr´ıká primitiva. Primitiva maj´ı mezi sebou vzájemn´ y vztah (obr. 4.1).

Obrázek 4.1: Strukturáln´ı rozpoznáván´ı: primitiva

15

5 Praktická ˇcást D˚ uleˇzitou ˇcást´ı k napsán´ı programu jsou zdrojová data. Ty lze z´ıskat z univerzitn´ıch kamer, um´ıstˇen´ ych v prostorách menzy. Pro sbˇer dat jsem vytvoˇril aplikaci (obr. 5.1), napsanou v jazyce JAVA, která sb´ırá data ze vˇsech kamer menzy.

Obrázek 5.1: Aplikace pro stahován´ı obrazu kamer

5.1

Stahov´ an´ı dat

Data jsou z´ıskávána ze tˇr´ı kamer, um´ıstˇen´ ych v prostorách budovy univerzitn´ı menzy. Jejich obraz je dostupn´ y na webov´ ych stránkách [http://skm.zcu.cz], odkud je aplikace stahuje. Obrazy kamer se vˇzdy mˇen´ı ve stanoveném intervalu, pˇri kterém se ukládaj´ı na disk. Kamery funguj´ı pouze v provozn´ı dobu menzy, tj. 4,5 hodiny dennˇe. Testovac´ı data jsem sb´ıral ze vˇsech kamer po dobu jednoho t´ ydne.

5.1.1

Struktura programu

Program mus´ı po spuˇstˇen´ı nepˇretrˇzitˇe stahovat sn´ımky z kamer. Ty ale bˇeˇz´ı pouze v pracovn´ı dny a v provozn´ı dobˇe menzy. Pozoroval jsem, ˇze ˇcasto nˇekterá kamera nebˇeˇz´ı a neposkytuje potˇrebn´ y obraz nebo nen´ı dostupn´ y na webov´ ych stránkách z d˚ uvodu v´ ypadku internetového pˇripojen´ı.

16

Praktická ˇcást

Stahován´ı dat

Cel´ y program je zaloˇzen na systémovém ˇcase (tˇr´ıda Hodiny.java). Program kontroluje ˇcas a bˇehem otev´ırac´ı doby stahuje (StahniObrazek.java) data z kamer. Stahován´ı prob´ıhá v intervalu zmˇeny sn´ımk˚ u kamer. Mimo provozn´ı dobu menzy program pouze ˇceká na jej´ı otevˇren´ı. Aby neprob´ıhalo zbyteˇcnˇe stahován´ı dat i pˇres v´ıkendy, program kontroluje systémov´ y datum a z´ıskává data pouze v pracovn´ı dny. Pˇred samotn´ ym stahován´ım sn´ımk˚ u se provád´ı test dostupnosti URL (ExistenceURL.java). To ˇreˇs´ı problémy v´ ypadk˚ u stahován´ı, které mohou vzniknout nedostupnost´ı webov´ ych stránek, nefunkˇcn´ıho internetového pˇripojen´ı nebo nedostupnosti nˇekteré z kamer. V tomto pˇr´ıpadˇe se program stále snaˇz´ı v intervalu obnovy sn´ımk˚ u stahovat dalˇs´ı data. Pokud jsou splnˇeny vˇsechny podm´ınky v programu, tj. menza je otevˇrená, je pracovn´ı den a jsou dostupná data z kamer, dojde k jejich uloˇzen´ı na disk (UlozObrazek.java). V uˇzivatelském rozhran´ı (OknoOvladani.java) je uˇzivatel informován o aktuáln´ım ˇcase a datu (obr. 5.1). Zobrazuje se dostupnost kamer a informace, zda je aktuálnˇe menza otevˇrena.

Pamˇ et’ov´ e n´ aroky Velikost jednoho uloˇzeného sn´ımku se pohybuje od 30 do 50 kB. Pro sn´ımky jednoho dne ze tˇr´ı kamer (3 ∗ 1607 = 4821) je potˇrebné m´ısto na disku kolem 240 MB. Dalˇs´ım u ´kolem bylo vhodnˇe navrhnout algoritmus, kter´ y na z´ıskan´ ych sn´ımc´ıch identifikuje osoby. K tomu je potˇreba jednotlivé sn´ımky pˇredem pˇredzpracovat. Jelikoˇz zpracován´ı obrazu je závislé na mnoha faktorech, napˇr. osvˇetlen´ı sn´ımané scény, ˇsumu v obraze, bylo nutné navrhnout takov´ y algoritmus, kter´ y by co moˇzná nejv´ıce eliminoval tyto neˇzádouc´ı vlastnosti.

17


5.2

Hledán´ı objekt˚ u

Hled´ an´ı objekt˚ u

Prvn´ım krokem pˇri hledán´ı lidsk´ ych postav je oddˇelen´ı pozad´ı od popˇred´ı sn´ımku, tj. lidsk´ ych postav. Z toho plyne, ˇze je vhodné zaˇc´ıt upravovat sn´ımky metodou prahován´ı (tˇr´ıda Prahovani.java), která pˇresnˇe toto spln ˇuje. Aby bylo moˇzné pouˇz´ıt prahován´ı, je nejdˇr´ıve nutné pˇrevést barevn´ y sn´ımek na ˇsedotónov´ y (PrevodDoCB.java). Ztrat´ı se tak informace o barvˇe, ale to dalˇs´ımu zpracován´ı nevad´ı, nebot’ pouˇzit´ y algoritmus je navrˇzen tak, aby pracoval pouze s binárn´ım obrazem. Hledané objekty (postavy) v obraze se odliˇsuj´ı od pozad´ı (jsou tmavˇs´ı), tj. ideáln´ı pro vyuˇzit´ı metody prahován´ı. Proto nen´ı nutné dále vyuˇz´ıvat informaci o barvˇe a staˇc´ı pouze binárn´ı obraz (obr. 5.3). B´ılá – objekty, ˇcerná – pozad´ı. Pˇr´ıklady pˇredzpracován´ı budu ukazovat na následuj´ıc´ım obr. 5.2 z prvn´ı kamery, nicménˇe metody funguj´ı i pro ostatn´ı kamery.

Obrázek 5.2: Vzorov´ y obrázek Jak je vidˇet na obrázc´ıch 5.2 a 5.3, doˇslo k oddˇelen´ı pozad´ı od popˇred´ı a z˚ ustaly zv´ yraznˇeny pouze objekty. 18



Obrázek 5.3: Obrázek 5.2 po prahován´ı Bohuˇzel mezi objekty se nenalézaj´ı jen lidské postavy. Jsou zde napˇr. r˚ uzné stojany, ˇcást televizoru a spousta dalˇs´ıho ˇsumu. ˇ ast objekt˚ C´ u by se mohla odstranit vhodnˇejˇs´ı volbou prahu pˇri prahován´ı, ale mus´ıme brát ohled na to, ˇze nejsou vˇsechny sn´ımky stejnˇe osvˇetleny. Tzn., ˇze bychom se mohli v jednom sn´ımku zbavit ˇsumu a neˇza´douc´ıch objekt˚ u, ale jiˇz v dalˇs´ım sn´ımku by se mohlo stát, ˇze d´ıky ˇspatnému osvˇetlen´ı ztrat´ıme i nˇekteré lidské postavy. Proto je nutné zvolit hodnotu prahu takovou, aby prahován´ı bylo efektivn´ı pro vˇsechny sn´ımky a neztráceli jsme informace o lidsk´ ych postavách. Vice informac´ı o vhodné volbˇe prahu v kapitole 5.4. Neˇza´douc´ıch objekt˚ u se kompletnˇe po prahován´ı nezbav´ıme. Proto je nutné dalˇs´ı zpracován´ı obrazu. Uváˇz´ıme-li, ˇze se postavy pohybuj´ı vˇzdy jen v urˇcité ˇca´sti sn´ımku, je moˇzné m´ısta, kde se osoby nemohou vyskytnou, dále vynechat ze zpracován´ı (OriznutiObrazu.java). Pro kaˇzdou kameru se jedná o jiná m´ısta, viz následuj´ıc´ı ukázky obr. 5.4, 5.5, 5.6. M´ısta jsou oznaˇcena ˇcervenou barvou. V této ˇca´sti programu se odstran´ı i liˇsta v doln´ı ˇca´sti sn´ımku, informuj´ıc´ı o aktuáln´ım datu a ˇcase.

19



Obrázek 5.4: Oˇr´ıznut´ı 1.kamera



20


Identifikace nalezených objekt˚ u

Odstranˇen´ı tˇechto oblast´ı eliminuje ˇca´st neˇzádouc´ıch objekt˚ u v obraze a t´ım se usnadn´ı identifikace postav.

5.3

Identifikace nalezen´ ych objekt˚ u

Aktuálnˇe jsou k dispozici sn´ımky z kamer, které jsou upraveny tak, ˇze by mˇely obsahovat pouze poˇzadované objekty, tj. lidské postavy. Jak je vidˇet napˇr. na obr. 5.4, jsou na sn´ımku vidˇet i dalˇs´ı objekty, které jsou nadbyteˇcné. Proto je nutné navrhnout takov´ y algoritmus, kter´ y je schopen rozeznat lidskou postavu od ostatn´ıch objekt˚ u v obraze. Uváˇz´ıme-li, ˇze lidská postava se ve sn´ımc´ıch jev´ı jako pln´ y, vˇetˇs´ı, podlouhl´ y a vysok´ y objekt, usnadn´ı se t´ım jeho odliˇsen´ı od ostatn´ıch. Bohuˇzel objekty v zadn´ıch ˇca´st´ı sn´ımaného prostoru se jev´ı jako menˇs´ı, proto bude obt´ıˇznˇejˇs´ı je identifikovat, viz prav´ y horn´ı roh obr. 5.4. Aby bylo moˇzné splnit zadán´ı práce, je potˇreba dostat ze sn´ımku u ´daj o poˇctu vyskytuj´ıc´ıch se osob. Nestaˇc´ı tedy jen vizuáln´ı informace. Proto je cel´ y sn´ımek prohledáván a hledaj´ı se objekty jiˇz zmiˇ novan´ ych vlastnost´ı (souvislá, vysoká oblast), (OznacPostavu.java). Prohledáván´ı sn´ımku je ˇreˇseno dvˇema cykly for. Sn´ımek je tedy matice bod˚ u, která se prohledává [1]. Aby procházen´ı sn´ımku netrvalo pˇr´ıliˇs dlouho, zvolil jsem zpracováván´ı pixel˚ u ze sn´ımku s urˇcit´ ym rozestupem. T´ım mysl´ım, ˇze nezpracovávám pixel po pixelu a ˇrádku po ˇra´dce, ale vˇzdy kaˇzd´ y x-tý pixel a kaˇzdou x-tou ˇra´dku (viz obr. 5.7 ). T´ım se ˇca´steˇcnˇe eliminuj´ı i chyby oblast´ı, které nemus´ı b´ yt nutnˇe v celé ˇra´dce souvislé, napˇr. pˇri nevhodné volbˇe hodnoty prahu, m˚ uˇze vzniknou v souvislé oblasti prázdné m´ısto. Body na obr. 5.7 vznikly tak, ˇze pˇri prohledáván´ı sn´ımku po ˇra´dc´ıch se nalezla v ˇradˇe souvislá oblast bod˚ u. Geometricky si to lze pˇredstavit, ´ cka vznikne tak, ˇze vezmu pixel v obraze a jeho ˇze v ˇra´dce je u ´seˇcka. Useˇ následuj´ıc´ıch x pixel˚ u, na základˇe zvoleného rozliˇsen´ı.

21



Obrázek 5.7: Rozliˇsen´ı s hodnotou 7 pro obr. 5.2 Pokud tyto pixely tvoˇr´ı plnou ˇcáru, na m´ıstˇe prvn´ıho pixelu vytvoˇr´ım bod. Aby se eliminovaly chyby po prahován´ı, je zde moˇznost tolerovat urˇcitou chybu, kdy nalezená u ´seˇcka m˚ uˇze b´ yt pˇreruˇsena. V´ıce v kapitole 5.4. T´ımto postupem nalezneme v obraze body, jejichˇz poˇcet v ˇra´dce symbolizuje ˇs´ıˇrku objektu. Na obr. 5.7 je stále vidˇet pˇr´ıtomn´ y ˇsum, tj. osamocené body nebo malé skupinky bod˚ u. Tyto body se odstran´ı velice snadno a to tak, ˇze pokud se najde ve sn´ımku jak´ ykoliv bod, kter´ y nemá alespoˇ n jeden sousedn´ı bod, je smazán (OznacPostavu.java). Dalˇs´ım krokem je zjiˇstˇen´ı pro kaˇzdou skupinu bod˚ u, zda se opravdu jedná o lidskou postavu, nikoli napˇr. chladniˇcku apod. Zjist´ı se ˇs´ıˇrka a v´ yˇska kaˇzdé skupiny podle poˇctu bod˚ u v ˇra´dce a ve sloupci. Pokud zjiˇstˇené hodnoty odpov´ıdaj´ı nastaven´ ym parametr˚ um pro postavu (kapitola 5.4), je oblast prohláˇsena za postavu. Bˇehem zjiˇst’ován´ı ˇs´ıˇrky a v´ yˇsky oblasti se zjiˇst’uj´ı krajn´ı body oblasti, které v pˇr´ıpadˇe prohláˇsen´ı oblasti za postavu slouˇz´ı k vizuáln´ımu oznaˇcen´ı oblasti do p˚ uvodn´ıho sn´ımku (obr. 5.8, 5.9, 5.14).

22



Obrázek 5.8: Oznaˇcen´ı postav: 1.kamera

Obrázek 5.9: Oznaˇcen´ı postav: 2.kamera

5.3.1

Pˇ rekryv postav

Pˇresnou identifikaci jednotliv´ ych osob ztˇeˇzuje velmi ˇcast´ y pˇrekryv postav. Doposud popsan´ y algoritmus identifikuje shluk postav pouze jako jedinou, proto je tˇreba ho dále upravit.

23



Vyuˇzil jsem k tomu znalosti pˇribliˇzné velikosti postav vzhledem k pozici na sn´ımku. Tzn., ˇze bliˇzˇs´ı postava ke kameˇre je na sn´ımku vˇetˇs´ı, neˇzli postava v dáli. Objev´ı-li se v bl´ızkosti kamery objekt velikosti, kter´ y neodpov´ıdá pˇredpokládan´ ym rozmˇer˚ um lidské postavy, bud’to ˇsirˇs´ı nebo vyˇsˇs´ı, bude tento objekt rozdˇelen na ˇca´sti, opˇet v závislosti na poloze od kamery (OznacPostavu.java). Rozdˇelen´ı ˇsirˇs´ıho objektu je vidˇet na obr. 5.10, kde rozdˇelen´ı symbolizuje b´ılá svislá ˇca´ra. Dˇelen´ı vysok´ ych objekt˚ u viz obr. 5.11.

Obrázek 5.10: Rozdˇelen´ı ˇsirokého objektu

Obrázek 5.11: Rozdˇelen´ı vysokého objektu 24



Pseudok´ od algoritmu pro rozdˇ elov´ an´ı objekt˚ u:

Zvolené hraniˇcn´ı hodnoty pixel˚ u se jev´ı po prozkouˇsen´ı r˚ uzného nastaven´ı jako rozumné. Pro lepˇs´ı u ´spˇeˇsnost algoritmu by bylo vhodné rozdˇelit obraz do v´ıce ˇca´st´ı. Rozdˇelen´ı obrazu pro lepˇs´ı pˇredstavu na obr. 5.12.

25


Ladˇen´ı programu

Obrázek 5.12: Rozdˇelen´ı obrazu na ˇca´sti Pln´ a menza Problém je v pˇr´ıpadˇe plnˇe zabraného prostoru strávn´ıky. Vznikne jeden velk´ y objekt, kter´ y lze jen tˇeˇzko separovat na jednotlivé postavy. Proto se v tomto pˇr´ıpadˇe urˇc´ı poˇcet osob na sn´ımku pevnou hodnotou a to konkrétnˇe ˇc´ıslem 18. Tuto hodnotu jsem zvolil po sledován´ı mnoˇzstv´ı zaplnˇen´ ych sn´ımk˚ u a jev´ı se jako dobr´ y kompromis. Pˇres obrázek se nakresl´ı kˇr´ıˇz, jako symbol plné menzy. Bohuˇzel sn´ımky z kamer jsou v n´ızkém rozliˇsen´ı, proto oblasti v zadn´ıch ˇcástech sn´ımku je velice obt´ıˇzné zpracovávat, proto m˚ uˇze docházet k faleˇsn´ ym detekc´ım lidsk´ ych postav nebo k nenalezen´ı vzdálen´ ych postav.

5.4

Ladˇ en´ı programu

Jelikoˇz je algoritmus závisl´ y na nˇekolika parametrech:

• Volba hodnoty prahu pro prahován´ı obrazu • Rozliˇsen´ı pro prohledáván´ı obrazu • Volba minimáln´ı velikosti postavy

26


Ladˇen´ı programu

Vytvoˇril jsem aplikaci (KonfigUI.java) pro ladˇen´ı tˇechto parametr˚ u (obr. 5.13). C´ılem je nalezen´ı optimáln´ıho nastaven´ı jednotliv´ ych parametr˚ u, aby byly v´ ysledky identifikace lidsk´ ych postav co moˇzná nejlepˇs´ı.

Obrázek 5.13: Konfigurátor parametr˚ u Aplikace je schopná nastavovat vˇsechny potˇrebné parametry, které jsou pouˇzité pˇri zpracován´ı sn´ımku. Pro rychlejˇs´ı ladˇen´ı algoritmu je nutné pˇredem pˇripravit sn´ımky, na kter´ ych je potˇreba manuálnˇe urˇcit mnoˇzstv´ı lidsk´ ych postav.

27

ˇ Casy výpoˇctu


ˇ ıslo, udávaj´ıc´ı poˇcet postav na sn´ımku se pˇridá za název sn´ımku: C´

hh-mm-ss_x.jpg

• hh-mm-ss – formát názvu sn´ımku (hodiny-minuty-sekundy) • x – ˇc´ıslo udávaj´ıc´ı poˇcet osob na sn´ımku

Aplikace po dokonˇcen´ı zpracován´ı vˇsech vybran´ ych dat vyhodnot´ı mnoˇzstv´ı identifikovan´ ych postav. To se poˇc´ıtá na základˇe správného poˇctu lidsk´ ych postav na sn´ımku a poˇctu postav nalezen´ ych programem. Hodnoty nastaven´ ych parametr˚ u a v´ ysledek hledán´ı se ukládaj´ı do XML souboru parametry.xml, kter´ y nalezneme ve zvolené sloˇzce pro v´ ystup. V´ıce o XML v [3]. Tento v´ ystup slouˇz´ı k pˇredstavˇe, s jak´ ymi parametry nastaven´ı má program jakou u ´spˇeˇsnost. Pouze tato informace ale nestaˇc´ı, je potˇreba nav´ıc provádˇet vizuáln´ı kontrolu na sn´ımc´ıch, zda nedocház´ı k chybnému oznaˇcován´ı jin´ ych objekt˚ u.

5.5

ˇ Casy v´ ypoˇ ctu

Celkov´ y poˇcet sn´ımk˚ u z jedné kamery za provozn´ı dobu menzy je 1607. Na tˇechto datech se provád´ı anal´ yza pr˚ ubˇehu jednoho dne chován´ı strávn´ık˚ u v menze. Celkov´ y ˇcas v´ ypoˇctu se pohybuje kolem 250 sekund, tj. kolem 4 minut . Testováno na Intel Core i3 (2.53 GHz), 4GB RAM, Windows 7 Home Premium. Na zpracován´ı jednoho sn´ımku tak pˇripadá pˇribliˇznˇe 156 milisekund.

28


5.6

Výsledky

V´ ysledky

Poˇcet nalezen´ ych osob se poˇc´ıtá, jak je jiˇz napsáno v kap. 5.4, z pˇripraven´ ych sn´ımk˚ u, kde je pˇredem urˇcen pˇr´ıtomn´ y poˇcet lid´ı. Následuj´ıc´ı tab. 5.1, 5.2, 5.3 ukazuj´ı pˇr´ıklady v´ ystupu programu pˇri r˚ uzném nastaven´ı parametr˚ u. Práh Rozliˇsen´ı Chyba Postava Poˇc. 80 10 2 4 118 10 2 4 55 10 2 4 80 7 2 4 80 13 2 4 80 10 2 17 80 10 2 10 80 10 2 2

dat Osob [%] 46 64 46 28 46 70 46 39 46 73 46 47 46 69 46 69

Tabulka 5.1: Nastaven´ı parametr˚ u, kamera ˇc.1 Práh Rozliˇsen´ı Chyba Postava Poˇc. 80 10 2 4 118 10 2 4 55 10 2 4 80 7 2 4 80 13 2 4 80 10 2 17 80 10 2 10 80 10 2 2

dat Osob [%] 54 42 54 45 54 71 54 24 54 62 54 42 54 63 54 38

Tabulka 5.2: Nastaven´ı parametr˚ u, kamera ˇc.2 Hodnoty z tabulky nejsou moc vypov´ıdaj´ıc´ı o u ´spˇeˇsnosti detekce. Proto je nutná vizuáln´ı kontrola oznaˇcen´ ych sn´ımk˚ u, zda nedocház´ı s dan´ ymi parametry k faleˇsn´ ym detekc´ım a neoznaˇcuj´ı se jiné objekty, neˇz lidské postavy. Jako optimáln´ı nastaven´ı (pro kameru ˇc.1), které má dobrou u ´spˇeˇsnost a docház´ı k malému poˇctu faleˇsn´ ych detekc´ı, je nastaven´ı parametr˚ u viz 1.ˇra´dka tab. 5.1.

29


Výsledky

Práh Rozliˇsen´ı Chyba Postava Poˇc. 80 10 2 4 118 10 2 4 55 10 2 4 64 11 2 5 70 13 2 5 70 11 2 5 64 11 2 10 64 11 2 2

dat Osob [%] 42 38 42 49 42 49 42 33 42 31 42 21 42 51 42 17

Tabulka 5.3: Nastaven´ı parametr˚ u, kamera ˇc.3 To samé se dá ˇr´ıci i pro druhou kameru, kde testován´ı prob´ıhalo stejn´ ym zp˚ usobem a koneˇcné nastaven´ı parametr˚ u se shoduje s parametry prvn´ı kamery. Pouze pro tˇret´ı kameru je potˇreba nastavit parametry na hodnoty 4.ˇra´dky tab. 5.3 a to z d˚ uvodu pˇr´ıtomn´ ych stojan˚ u a mrazáku v obraze (obr. 5.14), které by s parametry prvn´ıch dvou kamer zp˚ usobovaly ˇcasté faleˇsné detekce.

Obrázek 5.14: Oznaˇcen´ı postav: 3.kamera 30


Vizualizace výsledku

Hodnoty z tabulek 5.1, 5.2, 5.3 jsou ale m´ırnˇe zavádˇej´ıc´ı, protoˇze pro ladˇen´ı algoritmu byly vybrány vhodné sn´ımky, na kter´ ych docházelo k malému pˇrekryvu osob, aby bylo dobˇre vidˇet, jak algoritmus pracuje a ˇsel lépe odladit. Proto jsou v´ ysledná ˇc´ısla pro vˇsechny druhy sn´ımk˚ u niˇzˇs´ı, neˇz uvád´ı tabulka.

5.7

Vizualizace v´ ysledku

Program v pr˚ ubˇehu anal´ yzy jednotliv´ ych sn´ımk˚ u ukládá hodnoty o poˇctu nalezen´ ych osob do grafu (Vizualizace.java). Je zde pouˇzita knihovna JFreeChart, která vytváˇr´ı a zobrazuje grafy. V´ıce o knihovnˇe [4]. Pˇr´ıklad pr˚ ubˇehu jednoho dne viz obr. pro jednotlivé kamery 5.15, 5.16, 5.17.

Obrázek 5.15: Vizualizace pr˚ ubˇehu dne, 1.kamera Z v´ ystupu je vidˇet, ˇze v absolutn´ı vˇetˇsinˇe pˇr´ıpad˚ u je vyˇsˇs´ı návˇstˇevnost z poˇca´tku otevˇren´ı menzy. To samé plat´ı o ˇcasech, kdy konˇc´ı vyuˇcovac´ı hodiny a studenti jdou do menzy na obˇed. Ke konci otev´ırac´ı doby menzy návˇstˇevnost klesá a nedosahuje jiˇz takov´ ych extrém˚ u, jako v dˇr´ıvˇejˇs´ıch ˇcasech. 31


Vizualizace výsledku

Obrázek 5.16: Vizualizace pr˚ ubˇehu dne, 2.kamera

Obrázek 5.17: Vizualizace pr˚ ubˇehu dne, 3.kamera

32


5.8

Závˇer

Z´ avˇ er

C´ılem práce bylo vytvoˇrit si pˇredstavu o chován´ı strávn´ık˚ u v prostorách univerzitn´ı menzy v pr˚ ubˇehu dne. Vytvoˇren´ y program je schopen vizualizovat pr˚ ubˇehy jednotliv´ ych dn˚ u formou grafu, ze kterého lze vidˇet, jak provoz menzy prob´ıhá. Program oznaˇcuje v kaˇzdém sn´ımku nalezené osoby. Z toho lze snadno vidˇet, jak je algoritmus u ´spˇeˇsn´ y. Pokud uˇzivatel vhodnˇe zvol´ı jeho parametry, je identifikace lidsk´ ych postav velmi u ´spˇeˇsná pro oddˇelené objekty (lidské postavy). Z d˚ uvodu niˇzˇs´ıho rozliˇsen´ı dostupn´ ych sn´ımk˚ u z kamer, je moˇznost identifikace vzdálen´ ych postav sloˇzitá, a proto se stává, ˇze postavy nejsou nalezeny nebo naopak jsou nalezeny jiné objekty a prohláˇseny za lidskou postavu. Vzájemné pˇrekryvy postav na sn´ımku se program snaˇz´ı ˇcásteˇcnˇe eliminovat na základˇe velikosti objektu a jeho pozici na sn´ımk˚ u (v˚ uˇci vzdálenosti od kamery). D´ıky tomu m˚ uˇze z jednoho nalezeného objektu identifikovat v´ıce postav. Pochopitelnˇe postavy, které stoj´ı z velké ˇca´sti své plochy za sebou, nen´ı moˇzné rozeznat a program je identifikuje jako jedinou. V pˇr´ıpadˇe zaplnˇen´ı celého prostoru vˇetˇs´ım poˇctem osob a jejich pˇrekryvu, vznikne jeden velk´ y objekt a program prohlás´ı menzu za plnˇe obsazenou a o konkrétn´ı zjiˇst’ován´ı poˇctu lidsk´ ych postav se nesnaˇz´ı, nebot’ by to nebylo s t´ımto algoritmem moˇzné. Program je schopen odhadovat mnoˇzstv´ı lid´ı v univerzitn´ı menze. Zat´ım nen´ı schopen provádˇet predikci chován´ı strávn´ık˚ u na základˇe jiˇz z´ıskan´ ych dat. To je jedna z vˇec´ı, kterou bych pˇri pokraˇcován´ı v této práci dokonˇcil. Jako dalˇs´ı zlepˇsen´ı by bylo dobré lépe navrhnout identifikaci pˇrekryvu osob nebo alespoˇ n provést lepˇs´ı odladˇen´ı stávaj´ıc´ıho zp˚ usobu identifikace na základˇe vzdálenosti postav od kamer.

33

Seznam obr´ azk˚ u

2.1

Moˇznosti pˇredzpracován´ı obrazu . . . . . . . . . . . . . . . . .

3

2.2

Jasové transformace: a) p˚ uvodn´ı obraz [8], b) u ´prava jasu, c) u ´prava kontrastu, d) negativ obrazu. . . . . . . . . . . . . .

4

2.3

Funkce jasové transformace: zv´ yˇsen´ı jasu . . . . . . . . . . . .

5

2.4

Interpolace 1.stupnˇe, zvˇetˇsen´ı: a) p˚ uvodn´ı obraz, b) postup zvˇetˇsen´ı, c) v´ ysledek . . . . . . . . . . . . . . . . . . . . . . .

6

2.5

Ztráta informace obrazu . . . . . . . . . . . . . . . . . . . . .

6

2.6

Histogram pro obr. 2.7 a) . . . . . . . . . . . . . . . . . . . .

8

2.7

Volba prahu: a) p˚ uvodn´ı sn´ımek [9], b) n´ızk´ y, b) vhodn´ y, c) vysok´ y práh. . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

2.8

Nalezen´ı hran v obraze 2.2 a) . . . . . . . . . . . . . . . . . .

9

3.1

Segmenty hranice . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.2

Typy okol´ı: a) 4-okol´ı, b) 8-okol´ı . . . . . . . . . . . . . . . . . 12

3.3

Pˇr´ıklad 8-okol´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.4

Eulerovo ˇc´ıslo: 1 souvislá oblast, 2 d´ıry. . . . . . . . . . . . . . 13 34

´ ˚ SEZNAM OBRAZK U

´ ˚ SEZNAM OBRAZK U

4.1

Strukturáln´ı rozpoznáván´ı: primitiva . . . . . . . . . . . . . . 15

5.1

Aplikace pro stahován´ı obrazu kamer . . . . . . . . . . . . . . 16

5.2

Vzorov´ y obrázek . . . . . . . . . . . . . . . . . . . . . . . . . 18

5.3

Obrázek 5.2 po prahován´ı . . . . . . . . . . . . . . . . . . . . 19

5.4

Oˇr´ıznut´ı 1.kamera . . . . . . . . . . . . . . . . . . . . . . . . . 20

5.5


5.6


5.7

Rozliˇsen´ı s hodnotou 7 pro obr. 5.2 . . . . . . . . . . . . . . . 22

5.8

Oznaˇcen´ı postav: 1.kamera . . . . . . . . . . . . . . . . . . . . 23

5.9

Oznaˇcen´ı postav: 2.kamera . . . . . . . . . . . . . . . . . . . . 23

5.10 Rozdˇelen´ı ˇsirokého objektu . . . . . . . . . . . . . . . . . . . . 24 5.11 Rozdˇelen´ı vysokého objektu . . . . . . . . . . . . . . . . . . . 24 5.12 Rozdˇelen´ı obrazu na ˇcásti . . . . . . . . . . . . . . . . . . . . 26 5.13 Konfigurátor parametr˚ u . . . . . . . . . . . . . . . . . . . . . 27 5.14 Oznaˇcen´ı postav: 3.kamera . . . . . . . . . . . . . . . . . . . . 30 5.15 Vizualizace pr˚ ubˇehu dne, 1.kamera . . . . . . . . . . . . . . . 31 5.16 Vizualizace pr˚ ubˇehu dne, 2.kamera . . . . . . . . . . . . . . . 32 5.17 Vizualizace pr˚ ubˇehu dne, 3.kamera . . . . . . . . . . . . . . . 32 5.18 V´ ybˇer cesty pro ukládán´ı . . . . . . . . . . . . . . . . . . . . . 39 5.19 Adresáˇrová struktura pro ukládán´ı dat . . . . . . . . . . . . . 40 35

Seznam tabulek

2.1

Bitové hloubky obrazu (RGB) . . . . . . . . . . . . . . . . . .

5.1

Nastaven´ı parametr˚ u, kamera ˇc.1 . . . . . . . . . . . . . . . . 29

5.2


5.3


36

2

Literatura [1] Bogdan Kiszka, 1001 tip˚ u a trik˚ u pro jazyk JAVA, Computer press, 2009. [2] Jiˇr´ı Laˇzansk´ y Umˇelá inteligence, Academia, 2001. [3] Pavel Herout, Java a XML, Koop, 2007, ISBN: 978-80-7262-307-4. [4] David Gilbert, JFreeChart, 2011, [cit. 6.5.2012]. Dostupné z WWW: http://www.jfree.org/jfreechart. [5] Ondˇrej Neff, Co je to ˇsum, 2010, [cit. 6.5.2012]. Dostupné z WWW: http://www.digineff.cz/cojeto/ruzne/sum.html. [6] IDL Online Help, Interpolation methods, 2007, [cit. 6.5.2012]. Dostupné z WWW: http://idlastro.gsfc.nasa.gov/idl\_html\ _help/Interpolation\_Methods.html. [7] Eric Weisstein, Euclidean Metric, 2012, [cit. 6.5.2012]. Dostupné z WWW: http://mathworld.wolfram.com/EuclideanMetric.html. [8] Rubiks cube by keqs.jpg, [cit. 6.5.2012]. Dostupné z WWW: http://upload.wikimedia.org/wikipedia/commons/b/bb/Rubiks_ cube_by_keqs.jpg. [9] socha-svobody-3.jpg, [cit. 6.5.2012]. Dostupné z WWW: http://www.usa24.cz/wp-content/gallery/socha-svobody/ socha-svobody-3.jpg.

37

A Seznam pˇ r´ıloh A.1 N´ apovˇ eda k aplikaci pro stahov´ an´ı dat A.2 N´ apovˇ eda k aplikaci pro nastavov´ an´ı parametr˚ u A.3 N´ apovˇ eda pro spuˇ stˇ en´ı programu

38

LITERATURA

LITERATURA

A.1 N´ apovˇ eda k aplikaci pro stahov´ an´ı dat Pˇ reloˇ zen´ı programu Program je napsán v jazyce JAVA s vyuˇzit´ım v´ yvojového prostˇred´ı Eclipse. Obsahuje soubor build.xml, kter´ y zdrojové soubory pˇreloˇz´ı a je um´ıstˇen ve sloˇzce projektu programu. Pˇreloˇzen´ı se provede pˇr´ıkazem ant distjar v pˇr´ıkazovém ˇra´dku (je nutné m´ıt nainstalován Ant, potˇrebn´ y pro pˇreklad) nebo se soubor spust´ı pˇr´ımo v prostˇred´ı Eclipse. Pˇreloˇzen´ım vznikne spustiteln´ y soubor s názvem StahovaniDat.jar v podadresáˇri jar. Pro u ´spˇeˇsn´ y pˇreklad je nutné, aby byla zachována adresáˇrová struktura projektu.

Spuˇ stˇ en´ı programu Aplikaci pro stahován´ı dat spust´ıme souborem StahovaniDat.jar. V oknˇe (obr. 5.1) je aktivn´ı pouze jedno tlaˇc´ıtko Vyber cestu. Tlaˇc´ıtkem vybereme cestu, kam se budou ukládat stahované sn´ımky z kamer (obr. 5.18).

Obrázek 5.18: V´ ybˇer cesty pro ukládán´ı 39

LITERATURA

LITERATURA

Po vybrán´ı cesty je aktivn´ı tlaˇc´ıtko Spust, které spust´ı stahován´ı dat do zvoleného adresáˇre s následuj´ıc´ı strukturou (obr. 5.19):

Obrázek 5.19: Adresáˇrová struktura pro ukládán´ı dat

• rrrr–mm–dd – formát: rok–mˇes´ıc–den • hh–mm–ss – formát: hodina–minuta–sekunda

40

LITERATURA

LITERATURA

A.2 N´ apovˇ eda k aplikaci pro nastavov´ an´ı parametr˚ u Pˇ reloˇ zen´ı programu Program je napsán v jazyce JAVA s vyuˇzit´ım v´ yvojového prostˇred´ı NetBeans. Obsahuje soubor build.xml, kter´ y zdrojové soubory pˇreloˇz´ı a je um´ıstˇen ve sloˇzce projektu programu. (Vyuˇz´ıvá souboru nbproject/build-impl.xml, bez nˇehoˇz pˇreklad neprobˇehne.) Pˇreloˇzen´ı se provede pˇr´ıkazem ant jar v pˇr´ıkazovém ˇra´dku, (je nutné m´ıt nainstalován Ant, potˇrebn´ y pro pˇreklad). Spustiteln´ y soubor je také moˇzno automaticky generovat z NetBeans. Pˇreloˇzen´ım programu vznikne spustiteln´ y soubor s názvem ZpracovaniDat.jar v podadresáˇri dist. Pro u ´spˇeˇsn´ y pˇreklad je nutné, aby byla zachována adresáˇrová struktura projektu.

Spuˇ stˇ en´ı programu Aplikaci pro nastaven´ı parametr˚ u spust´ıme souborem ZpracovaniDat.jar. Otevˇre se okno (obr.5.13), kde je nˇekolik moˇznost´ı nastaven´ı:

• Tlaˇc´ıtko Zdroj dat – cesta ke zpracovávan´ ym sn´ımk˚ um • Tlaˇc´ıtko Výstup – cesta k uloˇzen´ı v´ ysledk˚ u programu • Tlaˇc´ıtko Spust’ – spust´ı zpracováván´ı sn´ımk˚ u • Tlaˇc´ıtko Stop – okamˇzité ukonˇcen´ı zpracováván´ı • Pˇrep´ınaˇc Kamera – data z jaké kamery jsou vyuˇz´ıvána • Posuvn´ık Hodnota prahu – nastaven´ı hodnoty prahu pro prahován´ı • Posuvn´ık Hodnota rozliˇsen´ı – nastaven´ı rozliˇsen´ı pˇri hledán´ı objekt˚ u 41

LITERATURA

LITERATURA

• Posuvn´ık Tolerance chyby – kolikrát m˚ uˇze b´ yt pˇreruˇsen hledan´ y objekt • Posuvn´ık Poˇcet bod˚ u postavy – minimáln´ı velikost postavy • Pˇrep´ınaˇc Prahován´ı – uloˇzen´ı prahovan´ ych sn´ımk˚ u • Pˇrep´ınaˇc Rozliˇsen´ı – uloˇzen´ı sn´ımk˚ u po hledán´ı objekt˚ u • Pˇrep´ınaˇc Oznaˇcen´ı – uloˇzen´ı sn´ımk˚ u s oznaˇcen´ ymi osobami • Pˇrep´ınaˇc Ladˇen´ı – pro ladˇen´ı algoritmu, nutné m´ıt pˇripraveny sn´ımky a znát poˇcet postav

Ukazatel ve spodn´ı ˇca´sti okna ukazuje aktuáln´ı mnoˇzstv´ı zpracovan´ ych dat.

A.3 N´ apovˇ eda pro spuˇ stˇ en´ı programu Program spust´ıme souborem ZpracovaniDat.jar. Nastaven´ı parametr˚ u je jiˇz vhodnˇe pˇrednastaveno, proto je potˇreba pouze vybrat cestu k dat˚ um, v´ ystupn´ı cestu a spustit program tlaˇc´ıtkem Spust’

42

Odhadování a predikce počtu lidí v menze na

Recommend Documents