Zpracování signálu z obrazového senzoru

ˇ ´ vysoke ´ uc ˇen´ı technicke ´ v Praze Cesk e ´ Fakulta elektrotechnicka ˇr ˇen´ı Katedra me

Zpracov´ an´ı sign´ alu z obrazov´ eho senzoru s vyuˇ zit´ım OS Linux pro embedded zaˇr´ızen´ı

Bc. Jan Breuer

Vedouc´ı práce: Ing. Jan Fischer, CSc.

Diplomová práce kvˇeten 2009

Abstrakt C´ılem této diplomové práce je vytvoˇren´ı aplikace pro zpracován´ı obrazu ve vestavném (embedded) zaˇr´ızen´ı. Na c´ılové zaˇr´ızen´ı byl portován operaˇcn´ı systém Linux. V tomto systému byla vytvoˇrena aplikace detekuj´ıc´ı pohyb v obraze. V práci jsou dále porovnány rozd´ıly mezi detekc´ı pohybu pomoc´ı senzoru PIR a detekc´ı pohybu v obraze.

Abstract The purpose of this Diploma’s thesis is to develop an image processing application on an embadded device. For this purpose, Linux had to be ported on the target device in order to develop a picture motion detection application on it. Furthermore, differences between a PIR sensor and picture motion detection are compared.

Podˇ ekov´ an´ı Chtˇel bych podˇekovat Ing. Janu Fischerovi, CSc., vedouc´ımu mé diplomové práce, za podnˇetné rady a pˇripom´ınky. Dˇekuji také firmˇe JabloCOM, pˇredevˇs´ım pak Ing. Jiˇr´ımu Holnigerovi, za poskytnut´ı zázem´ı pro tvorbu práce a za poskytnut´ı vzorku kamery EYE-02. Dále bych chtˇel podˇekovat své rodinˇe za podporu a fináln´ı korektury.

Prohl´ aˇ sen´ı Prohlaˇsuji, ˇze jsem svou diplomovou práci vypracoval samostatnˇe a pouˇzil jsem pouze podklady (literaturu, projekty, SW atd.) uvedené v pˇriloˇzeném seznamu.

V Praze dne ...............

......................................... podpis

Obsah 1 Rozbor problematiky

7

2 Bezpeˇ cnostn´ı kamera JabloCOM EYE-02 2.1 Popis bezpeˇcnostn´ı kamery EYE-02 . . . . . . . . . . . . . . . . . 2.2 Hardwarové uspoˇra´dán´ı kamery EYE-02 . . . . . . . . . . . . . .

10 10 11

3 Operaˇ cn´ı syst´ em Linux ´ 3.1 Uvod do operaˇcn´ıho systému Linux . . . . . . . . . . . . 3.1.1 Obecné vlastnosti operaˇcn´ıch systém˚ u . . . . . . 3.1.2 Existuj´ıc´ı operaˇcn´ı systémy pro vestavná zaˇr´ızen´ı 3.1.3 Linuxové distribuce pro vestavná zaˇr´ızen´ı . . . . . 3.1.4 V´ yhody a nev´ yhody pouˇzit´ı OS Linux . . . . . . 3.2 Popis nˇekter´ ych vlastnost´ı OS Linux . . . . . . . . . . . 3.2.1 Souborov´ y systém a adresáˇrová struktura . . . . . 3.2.2 Virtuáln´ı soubory zaˇr´ızen´ı . . . . . . . . . . . . . 3.2.3 Operace se soubory . . . . . . . . . . . . . . . . . 3.2.4 Sd´ılené knihovny a knihovna libc . . . . . . . . . 3.2.5 Procesy a vlákna . . . . . . . . . . . . . . . . . . 3.3 Portován´ı OS Linux na nové zaˇr´ızen´ı . . . . . . . . . . . 3.3.1 V´ yvojové nástroje jazyka C pro procesory ARM . ´ 3.3.2 Uprava a kompilace jádra Linuxu . . . . . . . . . 3.3.3 Bal´ıˇckovac´ı systém distribuc´ı . . . . . . . . . . . . 3.3.4 Pˇr´ıprava obrazu souborového systému . . . . . . . 3.4 Inicializace a start systému . . . . . . . . . . . . . . . . . 3.4.1 Bootloader – zavadˇeˇc systému . . . . . . . . . . . 3.4.2 Start linuxového jádra . . . . . . . . . . . . . . .

14 14 14 15 16 16 17 17 19 21 21 22 23 23 25 25 26 27 27 29

4

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

3.4.3 Souborov´ y systém v pamˇeti RAM . . . 3.4.4 Program init a spuˇstˇen´ı sluˇzeb . . . . . 3.5 Pˇr´ıstup k zaˇr´ızen´ı pro digitalizaci obrazu . . . . 3.5.1 Inicializace kamery a z´ıskán´ı informac´ı . 3.5.2 Vyˇc´ıtán´ı obrázk˚ u ze senzoru . . . . . . . 3.6 Testován´ı nároˇcnosti detekce pohybu . . . . . . 3.6.1 Aplikace pro testován´ı nároˇcnosti detekce 3.7 Komunikace s vestavn´ ym zaˇr´ızen´ım . . . . . . . 3.7.1 Zp˚ usoby komunikace s kamerou . . . . . 3.7.2 Spouˇstˇen´ı program˚ u v kameˇre . . . . . . 3.7.3 Sd´ılen´ı soubor˚ u . . . . . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

29 31 31 32 33 33 34 35 35 35 36

. . . . . . . . . . . . . . . . . . .

38 38 39 39 39 45 47 49 49 50 50 50 51 51 51 51 52 52 52 53

5 Vlastn´ı ˇ reˇ sen´ı detekce pohybu 5.1 Optimalizace v´ ypoˇctu . . . . . . . . . . . . . . . . . . . . . . . . .

54 54

4 Detekce pohybu v obraze 4.1 Pˇrehled projekt˚ u zab´ yvaj´ıc´ıch se detekc´ı pohybu v obraze . 4.2 Metody detekce pohybu v obraze . . . . . . . . . . . . . . 4.2.1 Definice . . . . . . . . . . . . . . . . . . . . . . . . 4.2.2 Metody vyuˇz´ıvaj´ıc´ı model pozad´ı . . . . . . . . . . 4.2.3 Metody zaloˇzené na korelaci obrázk˚ u . . . . . . . . 4.2.4 Detekce pohybu kamery . . . . . . . . . . . . . . . 4.3 Nastaven´ı parametr˚ u detekce . . . . . . . . . . . . . . . . . 4.3.1 Volba prahu rozd´ılového obrázku . . . . . . . . . . 4.4 Poˇzadavky na detekci pohybu v obraze . . . . . . . . . . . 4.4.1 Detekce pohybu ve venkovn´ım prostˇred´ı . . . . . . 4.4.2 Adaptace na zmˇeny pozad´ı . . . . . . . . . . . . . . 4.4.3 Necitlivost na zmˇeny celkového osvˇetlen´ı scény . . . 4.4.4 Potlaˇcen´ı faleˇsn´ ych poplach˚ u. . . . . . . . . . . . . 4.4.5 V´ ypoˇcet v reálném ˇcase . . . . . . . . . . . . . . . 4.4.6 Filtrace ˇsumu . . . . . . . . . . . . . . . . . . . . . 4.5 Implementace detekce pohybu v obraze . . . . . . . . . . . 4.5.1 Implementace metod v programu Matlab . . . . . . 4.5.2 Implementace metod s pouˇzit´ım knihovny OpenCV 4.5.3 Vlastn´ı ˇreˇsen´ı implementace detekce pohybu . . . .

5

. . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

5.1.1 Pˇr´ıstup k prvk˚ um pole . . . . . . . . . . . . . . . . . 5.1.2 Rychl´ y v´ ypoˇcet odmocniny . . . . . . . . . . . . . . . 5.1.3 Dˇelen´ı cel´ ych ˇc´ısel . . . . . . . . . . . . . . . . . . . . 5.2 Poˇzadavky na prostˇred´ı pro detekci pohybu . . . . . . . . . 5.3 Pouˇzitá metoda pro detekci pohybu . . . . . . . . . . . . . . 5.3.1 Zmenˇsen´ı nasn´ımaného obrazu pro potˇreby detekce . 5.3.2 Stabilizace obrazu kamery . . . . . . . . . . . . . . . 5.3.3 Celková zmˇena jasu v obraze . . . . . . . . . . . . . 5.3.4 Modelován´ı odhadu pozad´ı scény . . . . . . . . . . . 5.3.5 Detekce objekt˚ u na popˇred´ı . . . . . . . . . . . . . . 5.3.6 Zpracován´ı detekovan´ ych bod˚ u popˇred´ı . . . . . . . . 5.3.7 Zpracován´ı detekovan´ ych souvisl´ ych komponent . . . 5.3.8 Namˇeˇrené v´ ysledky v r˚ uzn´ ych prostˇred´ıch . . . . . . 5.4 Detekce pohybu pomoc´ı senzoru PIR . . . . . . . . . . . . . 5.4.1 Pasivn´ı infraˇcerven´ y senzor . . . . . . . . . . . . . . . 5.4.2 Typické v´ ystupn´ı pr˚ ubˇehy signál˚ u . . . . . . . . . . . 5.4.3 Zpracován´ı signálu z ˇcidla . . . . . . . . . . . . . . . 5.4.4 Ruˇsivé vlivy senzoru PIR . . . . . . . . . . . . . . . 5.4.5 Porovnán´ı detekce pohybu v obraze se senzorem PIR

. . . . . . . . . . . . . . . . . . .

6 Uˇ zivatelsk´ e rozhran´ı a vizualizace detekce pohybu 6.1 Poˇc´ıtaˇcov´ y program pro demonstraci detekce pohybu v obraze 6.2 Demonstrace detekce pohybu pˇr´ımo v kameˇre EYE-02 . . . . . 6.3 Ovládán´ı kamery z osobn´ıho poˇc´ıtaˇce . . . . . . . . . . . . . . 6.4 Ovládán´ı kamery pˇres mobiln´ı telefon . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . . . . .

54 58 59 60 60 62 62 63 64 65 66 66 67 67 67 71 71 73 73

. . . .

75 75 77 77 78

7 Z´ avˇ er

80

Obsah CD

84

Literatura

86

6

Kapitola 1 Rozbor problematiky Tato diplomová práce se zab´ yvá nˇekolika oblastmi, které umoˇzn ˇuj´ı zpracován´ı obrazu ve vestavném zaˇr´ızen´ı. Pro vytvoˇren´ı v´ ysledné aplikace byl zvolen operaˇcn´ı systém Linux, kter´ y mus´ı b´ yt upraven pro potˇreby kaˇzdého specifického vestavného zaˇr´ızen´ı. Zpracován´ı obrazu je demonstrováno na detekci pohybu v obraze. V této ˇca´sti je brán ohled na v´ ypoˇcetn´ı nároˇcnost pouˇzit´ ych algoritm˚ u. C´ılové zaˇr´ızen´ı je zabezpeˇcovac´ı kamera EYE-02 firmy JabloCOM. V kameˇre je pouˇz´ıván proprietárn´ı systém, kter´ y je pro tuto práci nahrazen operaˇcn´ım systémem Linux. Pouˇzit´ı operaˇcn´ıho systému pˇrináˇs´ı oproti proprietárn´ımu systému nˇekolik v´ yhod. V´ yvoj jednotliv´ ych ˇca´st´ı systému m˚ uˇze prob´ıhat naprosto oddˇelenˇe. Na jednotlivé ˇcásti mohou b´ yt napsány testovac´ı skripty, které automaticky odhal´ı regrese v nov´ ych verz´ıch. Operaˇcn´ı systém pˇrináˇs´ı dokonalejˇs´ı správu proces˚ u a pamˇeti a poskytuje v´ yvojáˇri definovaná aplikaˇcn´ı rozhran´ı pro pˇr´ıstup k zaˇr´ızen´ım. Pro operaˇcn´ı systém Linux bylo napsáno mnoˇzstv´ı aplikac´ı, které jsou zveˇrejnˇeny se zdrojov´ ym kódem. Mnohé z nich lze pouˇz´ıt pro vestavná zaˇr´ızen´ı bez velk´ ych zmˇen. T´ım je moˇzné uˇsetˇrit ˇcas v´ yvoje stejné funkcionality pro proprietárn´ı systém. Jádro Linuxu se mus´ı pˇripravit pro urˇcené zaˇr´ızen´ı. Cel´ y systém Linux zab´ırá vˇetˇs´ı mnoˇzstv´ı pamˇeti neˇz p˚ uvodn´ı proprietárn´ı systém. Je tedy nutné nalézt zp˚ usob pro uloˇzen´ı jádra systému a pro uloˇzen´ı souborového systému. Se zp˚ usobem uloˇzen´ı také souvis´ı zp˚ usob startu celého systému. Pro start systému je tˇreba vytvoˇrit jednoduch´ y program, kter´ y cel´ y systém zavede do pamˇeti. Operaˇcn´ı systém Linux pˇrináˇs´ı pro kameru v´ yhody v podobˇe abstrakce hard7

ware. Aplikace vyvinuté pro c´ılovou platformu mohou b´ yt pouˇzity beze zmˇeny na jin´ ych zaˇr´ızen´ıch se stejn´ ym procesorem. Aplikace jsou psány v jazyce C a C++ a je tedy velice snadné je pouˇz´ıt i na jin´ ych platformách. D´ıky abstrakci hardware je tak moˇzné vyv´ıjet, testovat a spouˇstˇet aplikace na jiném stroji, napˇr´ıklad osobn´ım poˇc´ıtaˇci. Pro c´ılové zaˇr´ızen´ı je tˇreba sestavit upravené jádro a sadu utilit pro vytvoˇren´ı základn´ıho souborového systému. Dále je nutné vytvoˇrit ovladaˇce zaˇr´ızen´ı, která nejsou souˇca´st´ı hlavn´ı ˇrady jádra. K ovladaˇc˚ um zaˇr´ızen´ı mus´ı b´ yt napsány sluˇzby, které s daty zacházej´ı. Pro kamery EYE-02 je napˇr´ıklad nutné vytvoˇrit ovladaˇc senzoru PIR a dále vytvoˇrit sluˇzbu, která bude tento senzor hl´ıdat z uˇzivatelského prostoru operaˇcn´ıho systému. C´ılové zaˇr´ızen´ı nemá obrazovku, je tedy nutné nalézt zp˚ usob pˇr´ıstupu. Pro tyto u ´ˇcely jsou nejvhodnˇejˇs´ı sériové porty nebo porty USB. Dále je nutné nalézt zp˚ usob pˇrenosu velkého objemu informac´ı v podobˇe obrázk˚ u. Dalˇs´ım u ´kolem je navrhnout metodu detekce pohybu v obraze. Existuje mnoho projekt˚ u a odborn´ ych ˇclánk˚ u, které se touto problematikou zab´ yvaj´ı. Nˇekteré metody jsou nároˇcnˇejˇs´ı, ale dokáˇz´ı lépe popsat sledované prostˇred´ı, jiné metody jsou jednoduˇsˇs´ı, ale horˇs´ı v identifikaci pohybuj´ıc´ıch se objekt˚ u. Je tˇreba nalézt vhodnou metodu, která bude dostateˇcnˇe pˇresná i pˇri minimáln´ıch nároc´ıch. Je tˇreba eliminovat vlivy prostˇred´ı jako jsou zmˇeny osvˇetlen´ı, pohybuj´ıc´ı se pozad´ı apod. Vytvoˇrenou metodu je tedy nutné otestovat v r˚ uzn´ ych prostˇred´ıch a vyhodnotit v´ ysledky. Detekce pohybu v obraze je doplˇ nková funkce zabezpeˇcovac´ı kamery EYE02. Je tˇreba porovnat vlastnosti detekce pohybu v obraze a vlastnosti detekce pohybu pomoc´ı senzoru PIR, kter´ y je také souˇcást´ı kamery. Senzor PIR je vhodn´ y pro vnitˇrn´ı pouˇzit´ı, ale pro venkovn´ı ne, protoˇze vyvolává pˇr´ıliˇs velké mnoˇzstv´ı faleˇsn´ ych poplach˚ u. Implementace pohybu v obraze mus´ı b´ yt napsána s pˇrihlédnut´ım na v´ ypoˇcetn´ı nároˇcnost. V aplikaci je nˇekolik funkc´ı, které procházej´ı kaˇzd´ y obrazov´ y bod v obraze. Tyto funkce mus´ı b´ yt optimalizované pro rychlé vykonán´ı. D´ıky tomu, ˇze jsou vˇsechny aplikace psány pro operaˇcn´ı systém, je jednoduché je modifikovat tak, aby fungovaly bez velk´ ych zmˇen na osobn´ım poˇc´ıtaˇci a na vestavném zaˇr´ızen´ı. Toho lze vyuˇz´ıt jednak pro vlastn´ı v´ yvoj, kter´ y je na osobn´ım poˇc´ıtaˇci jednoduˇsˇs´ı a jednak pro vytvoˇren´ı demonstraˇcn´ı aplikace detekce pohybu

8

v obraze. Dalˇs´ı demonstrace ˇcinnosti je moˇzná vytvoˇren´ım webového rozhran´ı kamery, pˇres které jsou pˇrenáˇseny jednotlivé obrázky. V´ ysledkem celé práce by mˇel b´ yt funkˇcn´ı systém detekce pohybu v obraze a návrh spolupráce se senzorem PIR. Detekce by mˇela co nejv´ıce odolat ruˇsiv´ ym vliv˚ um tak, aby vytváˇrela minimáln´ı poˇcet faleˇsn´ ych poplach˚ u.

9

Kapitola 2 Bezpeˇ cnostn´ı kamera JabloCOM EYE-02 2.1

Popis bezpeˇ cnostn´ı kamery EYE-02

Kamera JabloCOM EYE-02 je zabezpeˇcovac´ı zaˇr´ızen´ı, které slouˇz´ı pro monitorován´ı prostor. Kamera obsahuje jednak vizuáln´ı monitorovac´ı systém s detekc´ı pohybu a jednak zvukov´ y monitorovac´ı systém. Veˇskerá data je moˇzné odes´ılat prostˇrednictv´ım vestavˇeného GSM modulu v podobˇe SMS, MMS, hlasového volán´ı nebo e-mailu. Kamera m˚ uˇze komunikovat s centráln´ım serverem a je tedy moˇzné kontrolovat stav kamery pomoc´ı webového rozhran´ı. Kameru je moˇzné ovládat pomoc´ı zaslané SMS nebo pomoc´ı bezdrátové kl´ıˇcenky.

Obr´ azek 2.1: Fotografie kamery EYE-02 [25]

V kameˇre bˇeˇz´ı proprietárn´ı systém firmy JabloCOM, kter´ y je vyvinut pˇr´ımo 10

pro tuto kameru. Systém se stará o sledován´ı senzor˚ u a o zpracován´ı a zaslán´ı poplachu. Kamera m˚ uˇze b´ yt pˇripojena k poˇc´ıtaˇci pomoc´ı USB portu. K ovládán´ı funkc´ı kamery z poˇc´ıtaˇce slouˇz´ı nástroj JabloTool. V tomto nástroji je moˇzné sledovat obraz z kamery, ˇc´ıst události z historie kamery a nastavovat parametry kamery. Kamera je vyv´ıjena s c´ılem jednoduché obsluhy a montáˇze. Je urˇcena pro nepˇretrˇzité sledován´ı a monitorován´ı prostor odkudkoli pomoc´ı poˇc´ıtaˇce nebo mobiln´ıho telefonu. Kamera umoˇzn ˇuje jednak reˇzim hl´ıdán´ı s vyvolán´ım poplachu a jednak reˇzim samostatného monitorován´ı prostor bez vyvolán´ı poplachu. Kamera je chránˇena pˇred neoprávnˇenou manipulac´ı pomoc´ı otˇresového senzoru. Nasn´ımané video sekvence a obrázky k jednotliv´ ym událostem jsou uloˇzeny na microSD kartˇe.

2.2

Hardwarov´ e uspoˇ r´ ad´ an´ı kamery EYE-02

C´ılem práce je vytvoˇrit aplikaci detekce pohybu pro kamery EYE-02. Kamera je navrˇzena pro bˇeh firemn´ıho software. Dostupné periferie v zaˇr´ızen´ı jsou popsány na blokovém schématu. Základem celé kamery je mikrokontrolér s jádrem ARM926EJ-S. Jedná se o mikrokontrolér firmy ATMEL AT91SAM9260. Tento mikrokontrolér obsahuje sadu ˇc´ıtaˇc˚ u a ˇcasovaˇc˚ u, ˇradiˇc DMA, periferie pro sériovou komunikaci (UART, I2C/SMBUS, SPI, I2S), periferie pro ladˇen´ı JTAG a sériov´ y port pro ladˇen´ı. Disponuje tˇremi 32bit paraleln´ımi IO ˇradiˇci, hostitelsk´ ym portem USB, portem USB zaˇr´ızen´ı, ˇradiˇcem pro obsluhu obrazového senzoru a ˇradiˇcem pro obsluhu pamˇet’ov´ ych karet MMC/SD. Systém bˇeˇz´ı na frekvenci 198MHz, která je mˇenitelná za bˇehu pomoc´ı PLL. Zmˇenou frekvence lze dosáhnout u ´spory energie. Pro detekován´ı zaseknut´ı ˇ ızen´ı hodin vykonáván´ı vnitˇrn´ıho programu je dostupn´ y ˇc´ıtaˇc watchdog. R´ reálného ˇcasu obstarává vnitˇrn´ı oscilátor 32kHz. Jádro mikrokontroléru m˚ uˇze zpracovávat 32bit instrukce ARM a nebo 16bit instrukce Thumb. Dále m˚ uˇze b´ yt pˇrepnuto do reˇzimu Jazelle, ve kterém pˇr´ımo vykonává bytecode Javy. Pomoc´ı instrukc´ı Thumb lze pˇreloˇzit kód, u kterého nen´ı d˚ uleˇzitá rychlost, ale velikost v´ ysledného binárn´ıho programu. Vˇetˇsina bˇeˇzn´ ych funkc´ı m˚ uˇze b´ yt pˇreloˇzena do instrukc´ı Thumb, pouze nˇekteré nároˇcné funkce pro zpracován´ı obrazu by mˇely b´ yt pˇreloˇzeny do instrukc´ı ARM. Pˇrekladaˇc GNU

11

!"

)*) !+,

2+.5 !+,

7 1

-%/

$-.+/0%% 123%

#$ %!'

.4.'

$0.5

Obr´ azek 2.2: Hardwarov´ a koncepce kamery EYE-02

GCC ovládá oba reˇzimy a umoˇzn ˇuje pouˇz´ıt reˇzim Thumb i ARM v jednom programu. K mikrokontroléru je pˇripojena operaˇcn´ı pamˇet’ DRAM o velikosti 32MB. Pamˇet’ je ve verzi pro mobiln´ı zaˇr´ızen´ı pro sn´ıˇzen´ı spotˇreby. Velikost operaˇcn´ı pamˇeti dostaˇcuje pro pouˇzit´ı systémem Linux. K mikrokontroléru je dále pˇripojena pamˇet’ EEPROM pro ukládán´ı nastaven´ı. Hlavn´ı program je naˇc´ıtán z DataFlash velikosti 512kB. Tato pamˇet’ je plnˇe dostaˇcuj´ıc´ı pro firemn´ı systém, ale pro pouˇzit´ı se systémem Linux je pˇr´ıliˇs malá. Doporuˇcená zmˇena hardware pro kameru je nahrazen´ı této pamˇeti DataFlash ekvivalentem s vˇetˇs´ı kapacitou. Nejmenˇs´ı doporuˇcená hodnota je 4MB optimálnˇe vˇsak 8MB pro kompletn´ı systém. Pro v´ yvojové u ´ˇcely jsem pamˇet’ DataFlash pouˇzil jen pro um´ıstˇen´ı zavadˇeˇce systému (Bootloaderu). Tento zavadˇeˇc naˇcte jádro Linuxu z extern´ı pamˇet’ové karty, na které je i cel´ y souborov´ y systém Linuxu. Na pamˇet’ové kartˇe je dostatek m´ısta a nen´ı tˇreba zmˇeny hardware. Pokud by mˇela b´ yt kamera vyrábˇena komerˇcnˇe se systémem Linux, byla by zmˇena hardware nutná. Pokud by uˇzivatel smazal pamˇet’ovou kartu, smazal by t´ım i cel´ y systém a kamera by pˇrestala fungovat. Dalˇs´ı periferie obsaˇzené v kameˇre slouˇz´ı pro komunikaci se zaˇr´ızen´ımi. Kamera obsahuje rádiov´ y modul pro obsluhu extern´ıch ˇcidel, kl´ıˇcenek a sirén. Dále je v kameˇre um´ıstˇen GSM/GPRS modul. Ten slouˇz´ı k pˇredáván´ı informac´ı o poplachu pomoc´ı SMS, MMS a e-mailu. GSM modul je pˇripojen pˇres sériov´ y port a je ovládán AT pˇr´ıkazy. Kamera obsahuje senzory pro detekci vniknut´ı do hl´ıdané oblasti. Pro de-

12

tekci pohybu v interiérech slouˇz´ı senzor PIR. Dále je k dispozici detekce otˇresu a detekce rozbit´ı skla. Kamera obsahuje obrazov´ y sn´ımaˇc CMOS. Tento sn´ımaˇc je schopn´ y dodávat obraz v rozliˇsen´ı aˇz 640×480 px. Obrazov´ y sn´ımaˇc je barevn´ ya barevné filtry jednotliv´ ych obrazov´ ych bod˚ u sn´ımaˇce jsou um´ıstˇeny v Bayerovˇe mˇr´ıˇzce. Funkci senzoru PIR lze rozˇs´ıˇrit pomoc´ı detekce pohybu v obraze a t´ım umoˇznit detekci pohybu i v prostˇred´ıch, kde PIR nelze pouˇz´ıt.

13

Kapitola 3 Operaˇ cn´ı syst´ em Linux Kapitola o Linuxu ukazuje moˇznosti pouˇzit´ı tohoto systému ve vestavném zaˇr´ızen´ı. Jsou zde uvedeny informace potˇrebné pro pochopen´ı ovladaˇc˚ u zaˇr´ızen´ı v systému. Dále je popsána metoda pro komunikaci s takov´ ym ovladaˇcem, konkrétnˇe s ovladaˇcem kamery. Tato ˇcást je urˇcena pro navázán´ı na tuto práci a pro poskytnut´ı základn´ıch informac´ı pro v´ yvoj software pro kameru EYE-02 v Linuxu.

3.1 3.1.1

´ Uvod do operaˇ cn´ıho syst´ emu Linux Obecn´ e vlastnosti operaˇ cn´ıch syst´ em˚ u

Operaˇcn´ı systém vytváˇr´ı rozhran´ı mezi aplikaˇcn´ım programem a hardware. Skládá se z jádra systému a obsluˇzn´ ych program˚ u a knihoven. Slouˇz´ı pro zaveden´ı a start aplikac´ı a pro správu zdroj˚ u, jako je napˇr´ıklad pamˇet’ nebo procesor. Operaˇcn´ı systém poskytuje aplikac´ım systémová volán´ı, která jsou definována jako aplikaˇcn´ı rozhran´ı systému (API). Obsluhu jednotliv´ ych specifick´ ych ˇcást´ı zaˇr´ızen´ı zajiˇst’uj´ı ovladaˇce, které pˇristupuj´ı pˇr´ımo k hardware a poskytuj´ı dalˇs´ı systémová volán´ı pro obsluhu takov´ ych zaˇr´ızen´ı z uˇzivatelské aplikace. Nˇekteré ovladaˇce poskytuj´ı pouze mezivrstvu pro dalˇs´ı ovladaˇce. Napˇr´ıklad ovladaˇc pro USB ˇradiˇc zprostˇredkovává komunikaci pˇripojeného zaˇr´ızen´ı s ovladaˇcem tohoto zaˇr´ızen´ı. Takov´ y ovladaˇc zaˇr´ızen´ı pak m˚ uˇze fungovat s libovoln´ ym ˇradiˇcem USB, protoˇze vˇsechny ovladaˇce ˇradiˇc˚ u USB poskytuj´ı stejné API.

14

Abstrakce hardware je v´ yhodná, protoˇze uˇzivatelské aplikace mohou b´ yt napsány v dobˇe, kdy konkrétn´ı zaˇr´ızen´ı jeˇstˇe neexistuje. Správn´ y ovladaˇc zaˇr´ızen´ı pouze poskytne definované API k novému zaˇr´ızen´ı. Operaˇcn´ı systém se dále stará o pˇridˇelován´ı pamˇeti aplikac´ım a o pˇrep´ınán´ı proces˚ u. V modern´ıch operaˇcn´ıch systémech je pˇrep´ınán´ı proces˚ u plnˇe v reˇzii operaˇcn´ıho systému, kter´ y v pravideln´ ych intervalech pˇreruˇs´ı provádˇen´ı aplikac´ı a podle situace pˇridˇel´ı procesor aplikaci jiné. V takto ˇreˇseném systému nevede napˇr´ıklad nekoneˇcná smyˇcka v jedné aplikaci k u ´plnému zaseknut´ı systému. Takovému chován´ı se ˇr´ıká preemptivn´ı multitasking. Záleˇz´ı na sloˇzitosti implementace, jak vhodnˇe budou jednotlivé aplikace pˇrep´ınány mezi sebou. V´ıce proces˚ u s sebou samozˇrejmˇe nese problémy v podobˇe souˇcasného pˇr´ıstupu v´ıce aplikac´ı ke stejnému zdroji. V takov´ ych pˇr´ıpadech se pouˇz´ıvaj´ı zámky, semafory a mutexy. Zaˇr´ızen´ı, která obsahuj´ı jednotku pro správu pamˇeti (MMU) mohou dále poskytovat ochranu pamˇeti pˇred neoprávnˇen´ ym pˇrepsán´ım. Aplikace, která se snaˇz´ı pˇristupovat do pamˇeti, kterou si nealokovala, je ukonˇcena. Nenaruˇs´ı tak chod jin´ ych aplikac´ı. Chyby zp˚ usobené zápisem do pamˇeti, která patˇr´ı jinému procesu, by mohly zp˚ usobit neoˇcekávané chován´ı jin´ ych aplikac´ı, které jinak pracuj´ı v poˇrádku. Ochrana pamˇeti zajist´ı, ˇze se tak nestane. Zápis do ˇspatné ˇca´sti pamˇeti, která shodou okolnost´ı patˇr´ı stejnému procesu nen´ı detekován.

3.1.2

Existuj´ıc´ı operaˇ cn´ı syst´ emy pro vestavn´ a zaˇ r´ızen´ı

Pro vestavná zaˇr´ızen´ı existuje mnoho operaˇcn´ıch systém˚ u a exekutiv. Existuj´ı jak komerˇcn´ı systémy, tak systémy s otevˇren´ ym zdrojov´ ym kódem. Mezi komerˇcn´ı systémy patˇr´ı napˇr´ıklad VxWorks, Windows CE. Znám´ ych otevˇren´ ych operaˇcn´ıch systém˚ u existuje celá ˇrada, napˇr. FreeRTOS, RTEMS, FreeBSD a Linux. Vˇetˇsina operaˇcn´ıch systém˚ u definuje své vlastn´ı API. Dále vˇetˇsina systém˚ u poskytuje jeˇstˇe vybrané ˇsiroce rozˇs´ıˇrené API, jako je napˇr´ıklad POSIX nebo TRON. POSIX (Portable Operating System Interface for Unix) je standard definovan´ y IEEE. Definuje základn´ı knihovnu jazyka C, vytváˇren´ı a ˇr´ızen´ı proces˚ u, jednoduchou meziprocesovou komunikaci, práci se soubory a adresáˇri a ˇr´ızen´ı vstup˚ u a v´ ystup˚ u. Dalˇs´ı rozˇs´ıˇrené ˇca´sti normy definuj´ı vytváˇren´ı vláken a chován´ı v systémech reálného ˇcasu. 15

3.1.3

Linuxov´ e distribuce pro vestavn´ a zaˇ r´ızen´ı

Operaˇcn´ı systém Linux implementuje z velké ˇca´sti standard POSIX. Linux jako takov´ y je pouze jádro operaˇcn´ıho systému. Vˇetˇsinou se pouˇz´ıvá s programy a nástroji, které vznikly pod záˇstitou projektu GNU (GNU is Not Unix). Z tohoto d˚ uvodu je nˇekdy oznaˇcován jako GNU/Linux. O spojen´ı jádra s vybran´ ymi aplikacemi se staraj´ı skupiny lid´ı, které vytváˇrej´ı distribuce Linuxu. Nejznámˇejˇs´ı distribuce pro poˇc´ıtaˇce PC jsou napˇr´ıklad Debian, SuSe, Ubuntu, Gentoo apod. Pro vestavná zaˇr´ızen´ı existuj´ı specializované distribuce, které pˇredpokládaj´ı nasazen´ı v systémech s omezen´ ym mnoˇzstv´ım pamˇeti nebo diskového prostoru. Distribuce pro vestavná zaˇr´ızen´ı jsou vyv´ıjena jednak komerˇcn´ımi firmami a jednak komunitami v´ yvojáˇr˚ u. Komerˇcn´ı produkty jsou vˇetˇsinou k zákazn´ıkovi dodány jiˇz pˇripravené pro pˇredem domluven´ y hardware. Firma vytvoˇr´ı a zprovozn´ı vˇsechny periferie v zaˇr´ızen´ı a vytvoˇr´ı pro nˇe ovladaˇce. Zákazn´ık pak jiˇz p´ıˇse jen uˇzivatelské aplikace, které nepˇristupuj´ı pˇr´ımo k hardware. Mezi takové distribuce patˇr´ı napˇr´ıklad MontaVista Linux a ELinOS. Komunitn´ı distribuce se dále dˇel´ı na distribuce odvozené od kompletn´ıch linuxov´ ych distribuc´ı, napˇr. Emdebian, Embedded Gentoo apod. Nˇekteré distribuce jsou urˇceny pouze pro vestavná zaˇr´ızen´ı, nebo dokonce v´ yhradnˇe pro mobiln´ı telefony, napˇr. Openmoko, Angstrom, OpenWRT a Android. Posledn´ı skupinou jsou pouze nástroje pro snadné vytvoˇren´ı vlastn´ıho systému, jako je napˇr. OpenEmbedded, nebo Buildroot. Jednou z cest je i vytvoˇren´ı vlastn´ıho sestaven´ı bez pouˇzit´ı v´ yˇse zm´ınˇen´ ych nástroj˚ u. Takové sestaven´ı nen´ı komplikované, protoˇze je vˇetˇsinou potˇreba pouze velmi malé mnoˇzstv´ı aplikac´ı. Systém dále neobsahuje aplikace, které nebudou nikdy pouˇzity.

3.1.4

V´ yhody a nev´ yhody pouˇ zit´ı OS Linux

Linux je ˇskálovateln´ y operaˇcn´ı systém. Koncepce Linuxu je univerzáln´ı, takˇze pracuje stejnˇe dobˇre na vestavn´ ych zaˇr´ızen´ıch, osobn´ıch poˇc´ıtaˇc´ıch nebo na superpoˇc´ıtaˇc´ıch. Vytváˇr´ı abstrakci hardware, takˇze je moˇzné ladit aplikace na jiném stroji, neˇz bude c´ılová platforma. Pro zaˇr´ızen´ı, která nemaj´ı ani jednotku pro správu pamˇeti, byla vytvoˇrena speciáln´ı u ´prava jádra uCLinux. V´ yhody Linuxu spoˇc´ıvaj´ı právˇe ve snadnosti v´ yvoje aplikac´ı. Jednotlivé sluˇzby

16

a aplikace mohou b´ yt vyv´ıjeny a testovány samostatnˇe. Pro v´ yvoj mohou b´ yt dále pouˇzity rozmanité lad´ıc´ı nástroje, které odhal´ı napˇr´ıklad nesprávné pˇr´ıstupy do pamˇeti. Linux poskytuje definovaná a dokumentovaná API k r˚ uzn´ ym standardn´ım zaˇr´ızen´ım a je proto jednoduché pracovat napˇr´ıklad se sériov´ ym portem bez znalosti konkrétn´ı hardwarové implementace. Jedna z v´ yhod Linuxu je také jeho otevˇrenost. Na v´ yvoji se pod´ıl´ı komunita v´ yvojáˇr˚ u sloˇzená jak z nadˇsenc˚ u, tak i z profesionál˚ u z r˚ uzn´ ych firem. Otevˇren´ y kód je dále dobr´ ym vzorem pro psan´ı vlastn´ıch ovladaˇc˚ u zaˇr´ızen´ı, které by bylo jinak komplikované. Hlavn´ı nev´ yhoda Linuxu je vˇetˇs´ı spotˇreba operaˇcn´ı pamˇeti a pamˇeti pro uloˇzen´ı aplikac´ı. Minimáln´ı systém lze um´ıstit do datové pamˇeti o velikosti 4MB s vyuˇzit´ım 16MB pamˇeti RAM.

3.2

Popis nˇ ekter´ ych vlastnost´ı OS Linux

3.2.1

Souborov´ y syst´ em a adres´ aˇ rov´ a struktura

K vˇetˇsinˇe zdroj˚ um se v Linuxu pˇristupuje pomoc´ı soubor˚ u. Kdo m˚ uˇze k jednotliv´ ym soubor˚ um pˇristupovat je dáno uˇzivatelsk´ ymi právy. Kaˇzd´ y uˇzivatel má pˇriˇrazeno vlastn´ı ˇc´ıslo UID (user ID) a ˇc´ıslo skupiny, do které patˇr´ı GID (group ID). Kaˇzd´ y soubor má nastavena práva pro ˇcten´ı, zápis a vykonán´ı pro majitele, skupinu a pro vˇsechny ostatn´ı. Pokud napˇr´ıklad provedeme v´ ypis adresáˇre /bin pomoc´ı pˇr´ıkazu 1

# l s −l

Listing 3.1: Pˇr´ıkaz pro v´ ypis adres´ aˇre

bude jeden z ˇrádk˚ u vypadat následovnˇe: 1

−rwxr−xr−x 1 r o o t r o o t

35208 2 5 . ˜ dub 1 0 . 0 9 mkdir

Listing 3.2: Jeden ˇra´dek z v´ ypisu adres´ aˇre

Prvn´ı trojice rwx ˇr´ıká, ˇze uˇzivatel root má práva pro zápis, ˇcten´ı a spuˇstˇen´ı. Druhá trojice r-x ˇr´ıká, ˇze vˇsichni, kdo jsou ve skupinˇe root mohou program mkdir pouze ˇc´ıst a spouˇstˇet a tˇret´ı trojice r-x ˇr´ıká, ˇze tento program mohou 17

ˇc´ıst a spouˇstˇet také vˇsichni ostatn´ı. Uˇzivatel root má vˇzdy UID=0 a GID=0. Jde o takzvaného superuˇzivatele nebo administrátora, kter´ y má práva provádˇet vˇsechny operace. Soubory jsou organizovány v adresáˇr´ıch. Standardn´ı adresáˇrová struktura obsahuje následuj´ıc´ı adresáˇre. • /bin – adresáˇr s d˚ uleˇzit´ ymi utilitami pro systém. • /boot – adresáˇr obsahuj´ıc´ı obraz jádra a konfiguraci bootloaderu. V systému pro kameru nen´ı tento adresáˇr vyuˇzit. • /dev – adresáˇr s virtuáln´ımi soubory zaˇr´ızen´ı. • /etc – adresáˇr s nastaven´ım systému. • /home – adresáˇr ve kterém jsou domovské adresáˇre uˇzivatel˚ u. • /lib – adresáˇr se sd´ılen´ ymi knihovnami. • /mnt – adresáˇr, ve kterém jsou nejˇcastˇeji pˇripojovány jiné souborové systémy. • /opt – adresáˇr, kter´ y slouˇz´ı k uloˇzen´ı program˚ u, které nepocházej´ı od distributora. V systému pro kameru nen´ı adresáˇr vyuˇzit. • /proc – adresáˇr s virtuáln´ım souborov´ ym systémem, kaˇzd´ y spuˇstˇen´ y proces má v tomto adresáˇri sv˚ uj adresáˇr ve kterém jsou vˇsechny informace o procesu. Dále jsou zde informace o naˇcten´ ych modulech, informace o procesoru apod. • /root – domovsk´ y adresáˇr uˇzivatele root. • /sbin – adresáˇr s utilitami, které jsou urˇcené v´ yhradnˇe pro uˇzivatele root. • /sys – adresáˇr s virtuáln´ım souborov´ ym systémem, kter´ y poskytuje ˇradu informac´ı o naˇcten´ ych ovladaˇc´ıch. Nˇekterá zaˇr´ızen´ı je moˇzné pˇres tento adresáˇr ovládat. Napˇr´ıklad ovladaˇc LED je moˇzné nastavovat pomoc´ı soubor˚ u v tomto adresáˇri. • /tmp – adresáˇr pro odkládán´ı doˇcasn´ ych soubor˚ u. V systému pro kameru je tento adresáˇr pˇripojen jako ramdisk. 18

• /usr – adresáˇr pro uˇzivatelské programy, které nejsou potˇreba pro start systému. • /usr/bin – adresáˇr pro spustitelné soubory program˚ u. • /usr/lib – adresáˇr pro knihovny program˚ u. • /usr/share – adresáˇr pro nemˇenná data program˚ u. • /var – adresáˇr pro data, která se mˇen´ı za bˇehu systému. V systému pro kameru jsou vˇsechny následuj´ıc´ı adresáˇre pˇripojeny jako ramdisk. • /var/lock – adresáˇr pro ukládán´ı soubor˚ u zámk˚ u. • /var/log – adresáˇr pro zapisován´ı informac´ı o bˇehu program˚ u. • /var/run – adresáˇr pro ukládán´ı informac´ı o bˇeˇz´ıc´ıch sluˇzbách. • /var/tmp – adresáˇr pro odkládán´ı doˇcasn´ ych soubor˚ u.

3.2.2

Virtu´ aln´ı soubory zaˇ r´ızen´ı

V unixov´ ych systémech je pro pˇr´ıstup k zaˇr´ızen´ım pouˇz´ıván adresáˇr se soubory, které reprezentuj´ı jednotlivá zaˇr´ızen´ı. Tento adresáˇr se nejˇcastˇeji jmenuje /dev. Kaˇzd´ y soubor m˚ uˇze reprezentovat znakové nebo blokové zaˇr´ızen´ı. Znakové zaˇr´ızen´ı reprezentuje sekvenˇcn´ı pˇr´ıstup k proudu dat. Typická znaková zaˇr´ızen´ı jsou sériové porty, USB endpointy, klávesnice, zaˇr´ızen´ı pro zpracován´ı videa apod. U takov´ ych zaˇr´ızen´ı nen´ı moˇzné pˇreskoˇcit na jinou ˇca´st pamˇeti a tu naˇc´ıst. Blokové zaˇr´ızen´ı reprezentuje pˇr´ıstup k dat˚ um s náhodn´ ym pˇr´ıstupem. Typická bloková zaˇr´ızen´ı jsou napˇr´ıklad pamˇet’ RAM, pevn´ y disk, pamˇet’ová karta apod. Tato zaˇr´ızen´ı podporuj´ı nav´ıc funkci seek, která umoˇzn ˇuje pˇr´ıstup do libovolné ˇca´sti pamˇeti zaˇr´ızen´ı. V´ ypis nˇekter´ ych soubor˚ u z adresáˇre /dev ukazuje typ zaˇr´ızen´ı (prvn´ı p´ısmeno v ˇra´dku) a major a minor ˇc´ıslo zaˇr´ızen´ı. Propojen´ı mezi jadern´ ym a uˇzivatelsk´ ym prostorem je vytvoˇreno pomoc´ı soubor˚ u zaˇr´ızen´ı. Kaˇzd´ y soubor je reprezentován tˇremi u ´daji. Prvn´ı je typ zaˇr´ızen´ı, kter´ y oznaˇcuje, jestli jde o znakové nebo blokové zaˇr´ızen´ı. Druh´ y a tˇret´ı u ´daj jsou osmibitová ˇc´ısla, která reprezentuj´ı takzvaná major a minor ˇc´ısla. 19

1 2 3 4 5 6 7 8

/ dev # l s − l crw−rw−−−− crw−r−−r−− crw−rw−−−− crw−rw−−−− brw−rw−−−− crw−rw−−−− crw−rw−−−−

1 1 1 1 1 1 1

root root root root root root root

audio root root root disk tty root

14 , 61 , 89 , 1, 179 , 4, 1,

4 0 0 3 0 0 5

Feb 10 2009 a u d i o Jan 1 0 1 : 4 3 g p i o Jan 1 0 1 : 1 8 i 2 c −0 Jan 1 0 1 : 1 8 n u l l Jan 1 0 1 : 1 8 mmcblk0 Jan 1 0 1 : 1 8 t t y 0 Jan 1 0 1 : 1 8 z e r o

Listing 3.3: Pˇr´ıklad v´ ypisu adres´ aˇre zaˇr´ızen´ı ukazuje pˇridˇelená ˇc´ısla k soubor˚ um

Major ˇc´ıslo udává ˇc´ıslo ovladaˇce, se kter´ ym má jádro komunikovat pˇri pouˇz´ıván´ı takového souboru. Minor ˇc´ıslo udává poˇrad´ı zaˇr´ızen´ı pro ovladaˇc. M˚ uˇze tak b´ yt najednou naˇcteno aˇz 256 znakov´ ych a 256 blokov´ ych ovladaˇc˚ ua kaˇzd´ y z nich m˚ uˇze obsluhovat aˇz 256 zaˇr´ızen´ı. Modern´ı linuxová jádra umoˇzn ˇuj´ı sd´ılen´ı major ˇc´ısel mezi ovladaˇci tak, ˇze si ovladaˇce rozdˇel´ı rozsahy minor ˇc´ısel. Vˇetˇsina ovladaˇc˚ u v jádˇre ale tento pˇr´ıstup stále nedovoluje. Ovladaˇce zaˇr´ızen´ı, která jsou v systému naˇctena, je moˇzné zjistit vyˇcten´ım virtuáln´ıho souboru /proc/devices 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

˜ # cat / proc / d e v i c e s Character d e vi ce s : 1 mem 2 pty 3 ttyp 4 / dev / vc /0 4 tty 4 ttyS 5 / dev / t t y 5 / dev / c o n s o l e 5 / dev /ptmx 7 vcs 10 misc 13 i n p u t 89 i 2 c 128 ptm 136 p t s 254 r t c

19 20 21 22

Block d e v i c e s : 7 loop 179 mmc

Listing 3.4: Obsah souboru ‘/proc/devices‘ ukazuje naˇctené moduly znakov´ ych a blokov´ ych zaˇr´ızen´ı

20

3.2.3

Operace se soubory

Vˇsechny obyˇcejné soubory umoˇzn ˇuj´ı operace open, close, read, write. Dále je moˇzné s obyˇcejn´ ymi soubory pracovat pomoc´ı funkce fcntl, která umoˇzn ˇuje nadstandardn´ı operace se soubory. Napˇr´ıklad umoˇzn ˇuje zamknout byty 100 aˇz 110 v daném souboru. Virtuáln´ı soubory zaˇr´ızen´ı podporuj´ı stejnou sadu operac´ı jako obyˇcejné soubory, ale nav´ıc je moˇzné pouˇz´ıvat funkce jako select nebo ioctl. Funkce select slouˇz´ı k blokuj´ıc´ımu ˇcekán´ı na zmˇenu souboru. Pokud ovladaˇc zaˇr´ızen´ı tuto funkci podporuje, m˚ uˇze napˇr´ıklad po pˇr´ıchodu znaku z obsluhované periferie uvolnit ˇcekán´ı uˇzivatelského procesu, kter´ y si okamˇzitˇe naˇcte v´ ysledek. Funkce ioctl slouˇz´ı k nastaven´ı a vyˇcten´ı parametr˚ u zaˇr´ızen´ı, která jsou virtuáln´ımi soubory definována. Tato funkce slouˇz´ı napˇr´ıklad pro nastaven´ı pˇrenosové rychlosti sériového portu, pro nastaven´ı sn´ımkové frekvence zaˇr´ızen´ı pro zachytáván´ı videa apod. Nˇekteré virtuáln´ı soubory v˚ ubec nemus´ı pouˇz´ıvat funkce read a write, protoˇze jejich pouˇzit´ı nen´ı vhodné a veˇskerá komunikace se zaˇr´ızen´ım prob´ıhá pouze pˇres volán´ı pˇr´ısluˇsn´ ych ioctl. Pˇr´ıkladem takového zaˇr´ızen´ı jsou nˇekterá zaˇr´ızen´ı pro zachytáván´ı videa. Pˇri pouˇzit´ı funkce read by docházelo ke zbyteˇcnému kop´ırován´ı velkého mnoˇzstv´ı dat. Proto se pro pˇredáván´ı nasn´ıman´ ych obrázk˚ u pouˇz´ıvá sd´ılená pamˇet’.

3.2.4

Sd´ılen´ e knihovny a knihovna libc

Vˇsechny spustitelné soubory potˇrebuj´ı pro svoji ˇcinnost stejnou základn´ı sadu funkc´ı. Pokud v systému nen´ı velké mnoˇzstv´ı binárn´ıch aplikac´ı, je moˇzné vˇsechny aplikace slinkovat staticky se vˇsemi knihovnami. Taková aplikace nebude ke své ˇcinnosti potˇrebovat ˇza´dné dalˇs´ı soubory. Pouˇzit´ı statického linkován´ı má nev´ yhodu ve zv´ yˇsené velikosti aplikace. V´ yhoda statického linkován´ı je zaruˇcená funkˇcnost na kaˇzdém systému s dan´ ym procesorem. Jediné, co je potˇreba pro správnou funkˇcnost takové aplikace, je správné binárn´ı rozhran´ı jádra. Základem kaˇzdé aplikace napsané v jazyce C je i knihovna libc. Tato knihovna je popsána v normˇe POSIX. Nejpouˇz´ıvanˇejˇs´ı implementac´ı této knihovny v prostˇred´ı operaˇcn´ıho systému Linux je knihovna GNU C Library (glibc). Tato knihovna implementuje kompletnˇe normu POSIX.1, ale pro svou univerzálnost

21

nen´ı vˇzdy vhodná. Pro vestavná zaˇr´ızen´ı a pro jiné speciáln´ı u ´ˇcely vzniklo nˇekolik jin´ ych implementac´ı knihovny libc. Knihovna uClibc vznikla jako implementace knihovny libc se snahou o co nejmenˇs´ı velikost v´ ysledného binárn´ıho souboru. Nen´ı zde kladen d˚ uraz na plnou implementaci standardu. Knihovna vznikla jako souˇca´st projektu uCLinux. Na rozd´ıl od této verze jádra podporuje plnˇe jednotku pro správu pamˇeti MMU, takˇze je vhodná pro libovoln´ y systém. Nev´ yhoda této knihovny je nutnost u ´pravy nˇekter´ ych program˚ u, které vyuˇz´ıvaj´ı pokroˇcil´ ych funkc´ı glibc. Knihovna klibc vznikla pro u ´ˇcely inicializaˇcn´ıch ramdisk˚ u. Inicializaˇcn´ı ramdisk je naˇcten do pamˇeti bootloaderem spolu s jádrem Linuxu. Z ramdisku jsou dále spuˇstˇeny programy, které napˇr´ıklad pomohou pˇripojit koˇrenov´ y adresáˇr. Po vykonán´ı vˇsech potˇrebn´ ych funkc´ı je ramdisk smazán. Pro rychlé naˇc´ıtán´ı ramdisku do pamˇeti je potˇreba jeho malá velikost. Ta m˚ uˇze b´ yt zaruˇcena právˇe knihovnou klibc. linkov´ an´ı glib uClibc statick´ e 579656 14344 dynamick´ e 6472 5904 ld.so 119056 21728 velikost libc 1375408 352576

klibc 1416 896 72872 0

Tabulka 3.1: Porovn´ an´ı velikost´ı aplikace Hello World

Knihovny, které mohou b´ yt naˇcteny za bˇehu aplikace se nejˇcastˇeji oznaˇcuj´ı pˇr´ıponou .so a knihovny, které slouˇz´ı jen v ˇcas sestaven´ı aplikace maj´ı nejˇcastˇeji pˇr´ıponu .a. O naˇc´ıtán´ı dynamick´ ych knihoven se stará základn´ı knihovna /lib/ld.so, která po naˇcten´ı aplikace do pamˇeti naˇcte i vhodné knihovny do jej´ıho pamˇet’ového prostoru.

3.2.5

Procesy a vl´ akna

Operaˇcn´ı systém Linux nerozliˇsuje mezi procesem a vláknem. Vˇsechna vlákna maj´ı stejné vlastnosti jako proces. V Linuxu je implementován preemptivn´ı multitasking. Kaˇzd´ y proces má svoji prioritu s hodnotou od –20 do 19. Prioritu menˇs´ı neˇz 0 m˚ uˇze nastavit pouze uˇzivatel root. Priorita –20 je nejvyˇsˇs´ı moˇzná. Procesy mohou b´ yt synchronizovány pomoc´ı semafor˚ u a signál. Pro sd´ılen´ı dat mohou b´ yt pouˇzity mechanizmy sd´ılené pamˇeti. Jednosmˇernou komunikaci 22

lze realizovat jednoduˇse pomoc´ı rour. Na jedné stranˇe je roura otevˇrena aplikac´ı, která vytváˇr´ı data, a na druhé stranˇe je roura otevˇrena aplikac´ı, která data zpracovává. Obousmˇerná komunikace m˚ uˇze b´ yt vytvoˇrena pomoc´ı UNIX socket. Jde o virtuáln´ı soubor, kter´ y se po otevˇren´ı chová jako socket znám´ y ze s´ıt’ov´ ych rozhran´ı. Dokonalejˇs´ı obousmˇerná komunikace m˚ uˇze b´ yt vytvoˇrena pomoc´ı rozhran´ı SysV IPC, nebo pomoc´ı DBUS.

3.3

Portov´ an´ı OS Linux na nov´ e zaˇ r´ızen´ı

Pro vytvoˇren´ı kompletn´ıho systému pro nové zaˇr´ızen´ı jsem proˇsel nˇekolik krok˚ u. Prvn´ı krok je vytvoˇren´ı nebo z´ıskán´ı nástroj˚ u pro vytváˇren´ı aplikac´ı pro danou architekturu. Následnˇe jsem upravil a nakonfiguroval jádro a pomoc´ı tˇechto nástroj˚ u jsem jej pˇreloˇzil. Následovala ˇcást pˇreloˇzen´ı zb´ yvaj´ıc´ıch program˚ u a pˇr´ıprava souborového systému. Inicializaci systému jsem provedl pomoc´ı vlastn´ıho bootloaderu, kter´ y z pamˇet’ové karty naˇcetl binárn´ı obraz jádra a spustil ho.

3.3.1

V´ yvojov´ e n´ astroje jazyka C pro procesory ARM

Projekt GNU zaˇstit’uje veˇskeré nástroje pro v´ yvoj aplikac´ı pro procesory ARM. Jako prvn´ı je nutné zvolit si knihovnu jazyka C, kterou budu pouˇz´ıvat. Dále je nutné vytvoˇrit nástroje slouˇz´ıc´ı pro práci s binárn´ımi soubory. Následuje vytvoˇren´ı samotného kompilátoru pro procesor ARM a cel´ y proces pˇr´ıpravy je ukonˇcen kompilac´ı knihovny jazyka C. Jako základn´ı knihovnu jsem zvolil knihovnu jazyka C glibc, protoˇze je kompatibiln´ı se vˇsemi programy, které jsou dostupné pro Linux. Dále vol´ım novˇejˇs´ı aplikaˇcn´ı binárn´ı rozhran´ı (ABI) jádra a knihovny C, které je upraveno speciálnˇe pro vestavná zaˇr´ızen´ı a které zrychluje práci s ˇc´ısly v plovouc´ı ˇra´dové ˇca´rce na procesorech, na kter´ ych nen´ı k dispozici jednotka pro v´ ypoˇcty v plovouc´ı ˇra´dové ˇca´rce. Pro v´ yvojové u ´ˇcely je jednoduˇsˇs´ı pouˇz´ıvat kompletn´ı nástroje a po vyvinut´ı program˚ u pouˇz´ıt optimalizace pro malá zaˇr´ızen´ı jako je napˇr´ıklad zámˇena za knihovnu uCLibc. Pˇred samotn´ ym zapoˇcet´ım práce jsem se rozhodl pro pouˇzit´ı distribuce Embedded Gentoo. V této distribuci jsou vˇsechny bal´ıˇcky distribuovány ve zdrojov´ ych souborech. Obsahuje také podporu pro kˇr´ıˇzovou kompilaci. Kompilace 23

samotná prob´ıhá na silnˇejˇs´ım stroji, obvykle osobn´ım poˇc´ıtaˇci, a v´ ysledná aplikace se do c´ılového zaˇr´ızen´ı zkop´ıruje jiˇz v binárn´ım tvaru. Cel´ y proces zaˇc´ıná pˇr´ıpravou prostˇred´ı pomoc´ı nástroje crossdev, podle zadaného ˇretˇezce vytvoˇr´ı nástroje pro kˇr´ıˇzovou kompilaci. 1

˜ # c r o s s d e v arm−s o f t f l o a t −l i n u x −g n u e a b i

Listing 3.5: Pˇr´ıkaz pro vytvoˇren´ı kompletn´ıho prostˇred´ı pro vytv´ aˇren´ı aplikac´ı pro procesor ARM v jazyc´ıch C, C++ a Fortran.

Podle zvoleného procesoru a pouˇzité knihovny vytvoˇr´ım textov´ y ˇretˇezec, kter´ y bude nadále pouˇz´ıván pro vˇsechny nástroje. Textov´ y ˇretˇezec pro nástroje pro procesor ARM s vyuˇzit´ım knihovny glibc a s pouˇzit´ım nového binárn´ıho rozhran´ı (EABI) arm-softfloat-linux-gnueabi dále ˇr´ıká, ˇze v´ ysledné nástroje budou vytváˇret aplikace pro Linux. Podobnˇe by tento ˇretˇezec vypadal napˇr´ıklad pro pouˇzit´ı knihovny uCLibc arm-softfloat-linux-uclibcgnueabi. Bal´ık nástroj˚ u, kter´ y se stará o statické linkován´ı a vytváˇren´ı knihoven, se jmenuje binutils. Tento bal´ık obsahuje skripty pro v´ ysledné sestaven´ı binárn´ıch aplikac´ı. Dále obsahuje nástroj pro statické sestaven´ı knihoven ar, nástroj pro statické a dynamické sestavován´ı v´ ysledn´ ych binárn´ıch soubor˚ u ld, dále je dostupn´ y nástroj strip pro odstranˇen´ı informac´ı z binárn´ıho souboru, které nejsou potˇreba pro správn´ y bˇeh, ale jsou napˇr´ıklad d˚ uleˇzité pro ladˇen´ı aplikace. V´ ysledné programy se jmenuj´ı arm-softfloat-linux-gnueabi-ar, arm-softfloat-linux-gnueabi-ld apod. Dále je sestaven vlastn´ı kompilátor pro jazyk C a následnˇe i pro jazyk C++. Nakonec je sestavena knihovna jazyka C, v tomto pˇr´ıpadˇe glibc. Pro snadné sestavován´ı vlastn´ıch aplikac´ı a pro sestaven´ı jádra pouˇz´ıvám skript, kter´ y pro správnˇe napsan´ y Makefile vytvoˇr´ı spustiteln´ y soubor pro platformu ARM. 1 2 3 4

#! / b i n / b a s h SYSROOT=” / u s r /arm−s o f t f l o a t −l i n u x −g n u e a b i / ” TOOLCHAIN=”arm−s o f t f l o a t −l i n u x −gnueabi−” make ARCH=”arm” CROSS COMPILE=”$TOOLCHAIN” INSTALL MOD PATH=”$SYSROOT” $ ∗

Listing 3.6: N´ ahrada programu ‘make‘ pro kˇr´ıˇzovou kompilaci

Ladˇen´ı aplikac´ı jsem provádˇel pˇr´ımo v PC t´ım, ˇze jsem programy zkompiloval pro architekturu x86. D´ıky abstrakci hardware je pro testován´ı aplikac´ı pro kameru jedin´ y zásadn´ı rozd´ıl rychlost procesoru a velikost dostupné pamˇeti. 24

Jako v´ yvojové prostˇred´ı jsem pouˇz´ıval IDE code::blocks, které poskytovalo jednoduchou moˇznost v´ yvoje a ladˇen´ı jak aplikac´ı pro x86 pomoc´ı debuggeru GDB, tak vzdálené ladˇen´ı aplikace pomoc´ı nástroje GDBserver [41] [17]. Mocn´ y nástroj na hledán´ı problému s pˇr´ıstupem do pamˇeti je program Valgrind, kter´ y slouˇz´ı k detekci pˇr´ıstupu do nealokovan´ ych m´ıst v pamˇeti a k detekci neuvolˇ nované pamˇeti (memory leak).

3.3.2

´ Uprava a kompilace j´ adra Linuxu

Jádro Linuxu je jiˇz pˇripraveno pro procesory ARM, ale nen´ı pˇredpˇripraveno pro konkrétn´ı zapojen´ı r˚ uzn´ ych zaˇr´ızen´ı. Nejpodobnˇejˇs´ı zapojen´ı ke kameˇre EYE02 byl v´ yvojov´ y kit pro procesor AT91SAM9260. Z definice této desky jsem vycházel a vytvoˇril jsem vlastn´ı definici pro kameru. 1

a r c h /arm/mach−a t 9 1 / board−e y e 0 2 . c

Listing 3.7: Soubor pro vlastn´ı definici hardware

Dále jsem zaregistroval novou desku EYE-02 na internetov´ ych stránkách projektu Linuxu pro ARM, takˇze od verze jádra 2.6.28 je tato definice jiˇz v hlavn´ı vˇetvi jádra. Desce EYE-02 bylo pˇriˇrazeno ˇc´ıslo 1887. 1

a r c h /arm/ t o o l s /mach−t y p e s

Listing 3.8: Soubor s informacemi o zaregistrovaném zaˇr´ızen´ı

Po vytvoˇren´ı souboru desky s definic´ı vˇsech pˇripojen´ ych periferi´ı jsem jádro nakonfiguroval a zkompiloval. V´ ysledn´ y obraz je uloˇzen v souboru arch/arm/boot/zImage. Tento soubor je pomoc´ı bootloaderu naˇcten do pamˇeti RAM. V souboru zImage je zkomprimovan´ y obraz jádra. Jádro se po spuˇstˇen´ı samo dekomprimuje.

3.3.3

Bal´ıˇ ckovac´ı syst´ em distribuc´ı

Vˇetˇsina linuxov´ ych distribuc´ı obsahuje bal´ıˇckovac´ı systém, kter´ y slouˇz´ı pro jednoduchou instalaci aplikac´ı. Distribuce Gentoo obsahuje bal´ıˇckovac´ı systém portage, kter´ y je vhodn´ y i pro kˇr´ıˇzovou kompilaci pro jinou architekturu. Vyuˇzil jsem proto tento systém pro snadnou kompilaci a instalaci základn´ıch program˚ u 25

potˇrebn´ ych pro bˇeh systému. Program pro kompilaci bal´ıˇck˚ u se jmenuje emerge. Vytvoˇril jsem jednoduch´ y skript emerge arm, kter´ y nastav´ı promˇenné prostˇred´ı tak, aby probˇehla kompilace a instalace do správného adresáˇre. Následné vytvoˇren´ı aplikace, která je souˇcást´ı bal´ıˇckovac´ıho systému Gentoo, lze elegantnˇe zprostˇredkovat pomoc´ı zavolán´ı pˇr´ıkazu emerge. 1

˜ # emerge busybox

Listing 3.9: Pˇr´ıkaz pro sestaven´ı a instalaci programu Busybox

Konkrétnˇe tento pˇr´ıkaz sám stáhne zdrojové soubory bal´ıku busybox, provede konfiguraci, kompilaci a instalaci v´ ysledného binárn´ıho programu do pˇredem urˇceného adresáˇre.

3.3.4

Pˇ r´ıprava obrazu souborov´ eho syst´ emu

Základem celého systému je aplikace busybox, která obsahuje vˇsechny d˚ uleˇzité utility. Jedná se o jedin´ y binárn´ı soubor, ke kterému je vytvoˇreno mnoho symbolick´ ych odkaz˚ u s názvy program˚ u. Bal´ık busybox obsahuje veˇskeré základn´ı nástroje pro práci se soubory (mv, cp, rm, . . . ), dále obsahuje napˇr´ıklad nástroje pro práci v s´ıti (udhcp, httpd, telnet, wget). Na pˇripravovaném souborovém systému je dále pomoc´ı bal´ıku static-dev vytvoˇren adresáˇr /dev se základn´ımi soubory zaˇr´ızen´ı. Ostatn´ı aplikace a knihovny jsou z´ıskány stejn´ ym zp˚ usobem. Systém je nutné nakonfigurovat pomoc´ı soubor˚ u v adresáˇri /etc. V souboru fstab jsou nadefinovány pˇripojené diskové odd´ıly a pˇripojené virtuáln´ı souborové systémy sysfs, procfs, ramfs apod. V souborech group a passwd jsou nadefinovány uˇzivatelské u ´ˇcty a skupiny uˇzivatel˚ u. V souboru inittab je nastaveno chován´ı po startu systému a chován´ı pˇri ukonˇcen´ı bˇehu systému. Je zde nadefinován prvn´ı inicializaˇcn´ı skript, kter´ y bude spuˇstˇen procesem init. Prvn´ı spuˇstˇen´ y skript se jmenuje /etc/init.d/rcS a spouˇst´ı dalˇs´ı sluˇzby, jejichˇz inicializaˇcn´ı skripty jsou um´ıstˇeny v adresáˇri /etc/init.d. Inicializaˇcn´ı skripty se skládaj´ı ze dvou ˇca´st´ı, jedné, která je spuˇstˇena pˇri startu sluˇzby a druhé, která je spuˇstˇena pˇri ˇza´dosti o jej´ı ukonˇcen´ı. Základn´ı inicializaˇcn´ı skript má jednoduchou strukturu. Obsahuje hlaviˇcku, spouˇstˇec´ı a zastavovac´ı funkci. Spouˇstˇec´ı program /sbin/runscript vycház´ı z programu, kter´ y je pouˇz´ıván 26

1 2 3 4 5 6 7 8 9 10 11 12 13

#! / s b i n / r u n s c r i p t start () { ebegin ” Start sluzby ” s t a r t −stop −daemon −−s t a r t −−exec s l u z b a eend $ ? } stop () { e b e g i n ” Ukonceni s l u z b y ” s t a r t −stop −daemon −−s t o p −−exec s l u z b a eend $ ? }

Listing 3.10: Pˇr´ıklad jednoduchého inicializaˇcn´ıho skriptu

v distribuci Gentoo. Je pouˇzita podobná myˇslenka, ale program jsem napsal jako jednoduch´ y skript pro program sh. Tento program netestuje závislosti sluˇzeb, pouze zjednoduˇsuje práci pˇri psan´ı inicializaˇcn´ıch skript˚ u. Napsal jsem dále inicializaˇcn´ı skripty pro s´ıt’ovou kartu pˇres USB, telnet, http, obsluhu GSM modulu a pro zapoˇcet´ı vzdáleného sd´ılen´ı adresáˇre.

3.4

Inicializace a start syst´ emu -./0#-/

"# ! $%'(

+% ,!

Obr´ azek 3.1: Bootovac´ı proces

3.4.1

Bootloader – zavadˇ eˇ c syst´ emu

Prvn´ı kód, kter´ y je nutné spustit v zaˇr´ızen´ı je bootloader. Jeho u ´kolem je pˇripravit periferie k u ´spˇeˇsnému naˇcten´ı jádra. Pro v´ yvoj je nejprve inicializována sériová linka. K tomuto u ´ˇcelu je vyhrazena periferie DBGU (Debug Unit). Pomoc´ı tohoto rozhran´ı je moˇzné se pˇripojit napˇr´ıklad k nástroji SAM-BA, kter´ y slouˇz´ı pro nahrán´ı programu do pamˇet´ı pˇripojen´ ych k procesoru. Z toho d˚ uvodu je volba 27

vhodná i pro zobrazován´ı lad´ıc´ıch informac´ı, ke kter´ ym by normáln´ı uˇzivatel zaˇr´ızen´ı nemˇel m´ıt pˇr´ıstup. Dále je provedena inicializace hodinov´ ych signálu do periferi´ı. Jsou inicializovány nˇekteré GPIO piny a periferie potˇrebné pro start systému, jako napˇr´ıklad rozhran´ı MCI pro práci s pamˇet’ovou kartou. -./%01'

(

!" #$%&'

)*!$* $ +,

Obr´ azek 3.2: Rozdˇelen´ı pamˇet’ové karty na odd´ıly

Bootloader se na lad´ıc´ım rozhran´ı ohlás´ı a zaˇcne provádˇet pˇr´ıpravné práce. Po inicializaci pin˚ u a rozhran´ı MCI následuje inicializace pamˇet’ové karty. Pamˇet’ová karta je rozdˇelena na nˇekolik primárn´ıch odd´ıl˚ u. Kaˇzd´ y odd´ıl obsahuje ˇcást systému. Bootloader nejprve naˇcte tabulku rozdˇelen´ı disku (partition table) a na n´ı se snaˇz´ı nalézt odd´ıl se souborov´ ym systémem s identifikaˇcn´ım ˇc´ıslem 0x8A. Pro porovnán´ı, NTFS má ˇc´ıslo 0x07, souborové systémy Linuxu (Ext2, Ext3, . . . ) maj´ı ˇc´ıslo 0x83. Identifikaˇcn´ı ˇc´ıslo 0x8A bylo zvoleno tak, aby nekolidovalo s ˇza´dn´ ym znám´ ym souborov´ ym systémem pro bˇeˇzné operaˇcn´ı systémy (Linux, Windows). Takto oznaˇcen´ y odd´ıl neobsahuje souborov´ y systém, ale pˇr´ımo obraz jádra. Podle informac´ı [6] je pro oznaˇcen´ı odd´ılu obsahuj´ıc´ıho pˇr´ımo obraz jádra pouˇz´ıváno identifikaˇcn´ı ˇc´ıslo 0x8A programem AiR-BOOT [27]. Tato hodnota byla zachována i pro vlastn´ı bootloader. Pokud je nalezen odd´ıl, kter´ y má nastaveno identifikaˇcn´ı ˇc´ıslo 0x8A a má zároveˇ n nastaven startovac´ı pˇr´ıznak, je z tohoto odd´ılu naˇcten obraz jádra do pamˇeti. Nejprve je naˇcten jen prvn´ı sektor odd´ılu. Pokud sektor reprezentuji jako pole neznaménkov´ ych celoˇc´ıseln´ ych 32bit promˇenn´ ych, je na indexu 9 magické ˇc´ıslo 0x016F2818, které informuje bootloader, ˇze jde o obraz jádra Linuxu ve formátu zImage pro architekturu ARM. Na pozici 10 je adresa zaˇca´tku obrazu a na pozici 11 je adresa konce obrazu. Velikost celého obrazu je rozd´ıl tˇechto dvou ˇc´ısel. T´ım jsou zjiˇstˇeny vˇsechny informace pro naˇcten´ı obrazu jádra do pamˇeti. Pamˇet’ RAM zaˇc´ıná na adrese 0x20000000 a obraz jádra je naˇcten na adresu 28

0x20008000. Adresa poˇcátku obrazu je brána jako adresa funkce s tˇremi parametry. Prvn´ı parametr je vˇzdy 0, druh´ y parametr je identifikaˇcn´ı ˇc´ıslo zaˇr´ızen´ı, u kamery EYE-02 jde o ˇc´ıslo 1887. Posledn´ı parametr je ukazatel na strukturu s parametry, které informuj´ı jádro napˇr´ıklad o velikosti pamˇeti RAM. 1

t h e K e r n e l ( 0 , ma chine type , parm at ) ;

Listing 3.11: K´ od pro spuˇstˇen´ı linuxového j´ adra z bootloaderu

Podle identifikaˇcn´ıho ˇc´ısla zaˇr´ızen´ı se jádro rozhodne, jestli je schopno obsluhovat dan´ y hardware. Nen´ı dobré pouˇz´ıvat vlastn´ı identifikaˇcn´ı ˇc´ıslo bez pˇredchoz´ı registrace [28]. V pˇr´ıpadˇe potˇreby aktualizace verze jádra m˚ uˇze nastat kolize identifikaˇcn´ıch ˇc´ısel.

3.4.2

Start linuxov´ eho j´ adra

Pˇri konfiguraci jádra byly zvoleny ovladaˇce, které slouˇz´ı pro obsluhu r˚ uzn´ ych rozhran´ı a periferi´ı. Nˇekteré ovladaˇce jsou potˇreba pro správn´ y start systému, jako napˇr´ıklad ovladaˇc pro obsluhu pamˇet’ové karty, ovladaˇc pro obsluhu souborového systému apod. Tyto ovladaˇce jsou pˇr´ımo souˇcást´ı binárn´ıho obrazu jádra. Ovladaˇce, které nejsou potˇreba pro start a nejsou dokonce vˇetˇsinu ˇcasu potˇreba pro bˇeh systému jsou vytvoˇreny jako extern´ı moduly a lze je zavádˇet za bˇehu systému podle potˇreby (napˇr. ovladaˇce pro USB-device rozhran´ı). Nˇekteré ovladaˇce ale nepˇredpokládaj´ı, ˇze pomoc´ı nich bude naˇcten systém a neinicializuj´ı se ve správném poˇrad´ı. Poˇrad´ı ovladaˇc˚ u je rozdˇeleno do nˇekolika skupin core, postcore, arch, subsys, fs, rootfs, device, late. Do skupiny device patˇr´ı vˇetˇsina bˇeˇzn´ ych ovladaˇc˚ u. Problém nastává, pokud je potˇreba zavést systém z pamˇet’ové karty. Ovladaˇc pamˇet’ové karty je v jádˇre zaˇrazen do skupiny device. Ovladaˇc pamˇet’ové karty jsem musel upravit tak, aby byl jádrem naˇcten jeˇstˇe pˇred pokusem o pˇripojen´ı koˇrenového adresáˇre. Proto jsem ovladaˇc pˇresunul do skupiny subsys.

3.4.3

Souborov´ y syst´ em v pamˇ eti RAM

K ˇreˇsen´ı problém˚ u pˇri startu systému slouˇz´ı ramdisk. Ten je k dispozici od poˇca´tku startu systému a mohou na nˇem b´ yt nahrány konfiguraˇcn´ı skripty pro 29

Obr´ azek 3.3: Porovn´ an´ı initrd a initramfs vzhledem k velikosti obsazené pamˇeti

poˇca´teˇcn´ı inicializaci systému, nebo i cel´ y systém. Existuj´ı dva druhy ramdisku urˇcené pro start systému – initrd a initramfs. Initrd ramdisk zab´ırá fixn´ı velikost zvolenou pˇri kompilaci jádra. V nov´ ych systémech je nahrazován pomoc´ı initramfs, kter´ y v pamˇeti zab´ırá právˇe tolik m´ısta, kolik zab´ıraj´ı data na nˇem. Po smazán´ı vˇsech dat z ramdisku je uvolnˇena i zabraná pamˇet’. Initramfs ramdisk je obyˇcejn´ y CPIO archiv. Bootloader tento archiv zkop´ıruje na pˇredem urˇcené m´ısto v pamˇeti RAM, nebo je archiv pˇr´ımo souˇcást´ı binárn´ıho obrazu jádra. Pokud je pouˇz´ıván ramdisk pro bˇeh celého systému, lze vyuˇz´ıt nˇekolika v´ yhod. Cel´ y souborov´ y systém je pˇr´ıstupn´ y pro ˇcten´ı i pro zápis. Je moˇzné modifikovat vˇsechny soubory. Nˇekteré aplikace potˇrebuj´ı povolen´ı zápisu do nˇekter´ ych adresáˇr˚ u za bˇehu. Pokud je systém násilnˇe vypnut, nehroz´ı ˇza´dné poˇskozen´ı dat, protoˇze po znovuspuˇstˇen´ı je nahrán star´ y obraz ramdisku. Nev´ yhodou ramdisku je nutnost pouˇz´ıván´ı jiného zaˇr´ızen´ı pro ukládán´ı dat, která maj´ı b´ yt dostupná i po restartu systému. Ramdisk mus´ı obsahovat vˇsechny soubory nutné pro bˇeh systému, které obsazuj´ı prostor okolo 4MB aˇz 8MB, coˇz m˚ uˇze b´ yt vzhledem k velikost pamˇeti RAM mnoho. Nejˇcastˇejˇs´ı pouˇzit´ı ramdisku je tedy jen pro inicializaci systému. Utility potˇrebné ke startu mohou zab´ırat i ménˇe neˇz 500kB. Koˇrenov´ y adresáˇr je po jejich spuˇstˇen´ı pˇrepnut na poˇzadované zaˇr´ızen´ı, napˇr. pamˇet’ovou kartu, a ramdisk je smazán. Nov´ y ramdisk je vytvoˇren a pˇripojen do adresáˇrové struktury na m´ısta jako /var/lock/, /tmp a podobnˇe, která jsou vˇetˇsinou aplikac´ı pouˇz´ıvána pro zápis stavov´ ych informaci o bˇehu programu. Ve v´ ysledném zaˇr´ızen´ı je cel´ y souborov´ y systém pˇripojen pouze pro ˇcten´ı. V systému je vytvoˇren jeden ramdisk, do kterého jsou pˇresmˇerovány adresáˇre

30

pro doˇcasné soubory. T´ım je zajiˇstˇena správná funkce aplikac´ı, které potˇrebuj´ı zapisovat stavová data a zároveˇ n je zajiˇstˇena bezpeˇcnost souborového systému pˇri náhlé ztrátˇe napájen´ı.

3.4.4

Program init a spuˇ stˇ en´ı sluˇ zeb

Prvn´ı proces, kter´ y jádro spust´ı je /sbin/init. Tento program slouˇz´ı k nastaven´ı dalˇs´ıch moˇznost´ı systému a ke spuˇstˇen´ı sluˇzeb, které obsluhuj´ı systémová zaˇr´ızen´ı. Program init naˇcte svoji konfiguraci ze souboru /etc/inittab a podle této konfigurace spust´ı inicializaˇcn´ı skript. Program pˇripoj´ı vˇsechny zb´ yvaj´ıc´ı souborové systémy, které jeˇstˇe nejsou pˇripojeny, jako je napˇr´ıklad adresáˇr /proc a /sys, které slouˇz´ı pro komunikaci s jádrem. V adresáˇr´ıch jsou pˇr´ıstupné soubory pro ovládán´ı nˇekter´ ych modul˚ u, jsou v nich informace o pˇripojen´ ych zaˇr´ızen´ıch a spuˇstˇen´ ych procesech. Dále init spust´ı program mdev, kter´ y zaregistruje jako správce adresáˇre /dev. Program mdev je souˇcást´ı bal´ıku program˚ u Busybox a slouˇz´ı k naplnˇen´ı adresáˇre /dev soubory zaˇr´ızen´ı, která jsou v systému dostupná. Adresáˇr /tmp je pˇripojen jako ramdisk. Ve chv´ıli, kdy jsou pˇripojeny vˇsechny souborové systémy m˚ uˇze proces init startovat dalˇs´ı sluˇzby. Je zaveden modul pro obsluhu USB. Modul se chová jako USB s´ıt’ová karta. Po pˇripojen´ı do portu USB poˇc´ıtaˇce je v nˇem dostupné ethernetové pˇripojen´ı. S´ıt’ové rozhran´ı je nastaveno a je spuˇstˇen DHCP server na stranˇe kamery pro snadné pˇripojen´ı do poˇc´ıtaˇce. Pro v´ yvojové u ´ˇcely jsou nastartovány napˇr´ıklad sluˇzby telnet a http server.

3.5

Pˇ r´ıstup k zaˇ r´ızen´ı pro digitalizaci obrazu

V operaˇcn´ım systému Linux slouˇz´ı k pˇr´ıstupu rozhran´ı V4L (Video4Linux) [39]. V tomto rozhran´ı jsou definovány základn´ı funkce pro komunikaci se senzorem. Modul, kter´ y implementuje rozhran´ı V4L, vytváˇr´ı soubor zaˇr´ızen´ı, kter´ y se nejˇcastˇeji jmenuje /dev/videoX, kde X je nahrazeno poˇradov´ ym ˇc´ıslem. Pˇres soubor zaˇr´ızen´ı /dev/videoX jsou modulu ovladaˇce zas´ılány poˇzadavky pomoc´ı funkce ioctl. Pokud to ovladaˇc dovoluje, m˚ uˇze b´ yt zaˇr´ızen´ı otevˇreno nˇekolika procesy najednou. Jeden napˇr´ıklad nastavuje jas, kontrast apod. a druh´ y vyˇc´ıtá obrazovou informaci. 31

3.5.1

Inicializace kamery a z´ısk´ an´ı informac´ı

Rozhran´ı V4L je navrˇzeno univerzálnˇe pro vˇsechna zaˇr´ızen´ı digitalizuj´ıc´ı obraz a zvuk. Ovladaˇce pouˇz´ıvaj´ıc´ı V4L existuj´ı pro televizn´ı a rádiové karty a dále existuj´ı pro velké mnoˇzstv´ı kamer, které poskytuj´ı pouze obrazovou informaci. Kaˇzdé zaˇr´ızen´ı má jiné schopnosti, které lze pˇres ioctl ovládat. Ke zjiˇstˇen´ı, jak´ ymi vlastnostmi daná kamera disponuje, je provedeno nˇekolik základn´ıch dotaz˚ u. Volán´ı ioctl VIDIOC QUERYCAP slouˇz´ı ke zjiˇstˇen´ı, zda je zaˇr´ızen´ı kompatibiln´ı s rozhran´ım V4L a dále poskytuje informace o dalˇs´ıch podporovan´ ych ioctl volán´ıch. Kaˇzd´ y V4L ovladaˇc mus´ı obsluhovat alespoˇ n VIDIOC QUERYCAP a kaˇzdá aplikace pracuj´ıc´ı s V4L mus´ı vˇzdy na zaˇca´tku zavolat toto ioctl. Volán´ı VIDIOC QUERYCTRL a VIDIOC QUERYMENU slouˇz´ı k z´ıskán´ı konkrétn´ıch ovládac´ıch prvk˚ u. Vˇsechny prvky obsahuj´ı informace o mezn´ıch hodnotách. Uˇzivatelská aplikace m˚ uˇze ovládat pouze parametry, z´ıskané pomoc´ı tˇechto volán´ı. Parametry lze mˇenit v pr˚ ubˇehu z´ıskáván´ı sn´ımk˚ u. Pˇred vyˇc´ıtán´ım sn´ımk˚ u je pomoc´ı volán´ı VIDIOC ENUM FMT zjiˇstˇena mnoˇzina podporovan´ ych v´ ystupn´ıch formát˚ u. Kaˇzd´ y formát má sv˚ uj ˇctyˇrp´ısmenn´ y kód. Pro komunikaci s bˇeˇzn´ ymi kamerami jsou nejpouˇz´ıvanˇejˇs´ı pˇr´ımé barevné prostory RGB a YUV. Nˇekteré kamery odes´ılaj´ı proud MJPEG. Kamera EYE-02 pouˇz´ıvá data ve formátu BA81 nebo BA82, jedná se o 8bit nebo 16bit reprezentaci filtru Bayer RGB. V4L ovladaˇc pˇredává data z´ıskaná z CMOS sn´ımaˇce pˇr´ımo a nechává dekódován´ı jednotliv´ ych obrázk˚ u na aplikaci v uˇzivatelském prostoru. Ta mus´ı obrázek interpolovat a doplnit chybˇej´ıc´ı m´ısta.

Obr´ azek 3.4: RGB mˇr´ıˇzka CMOS sn´ımaˇce

Novˇejˇs´ı definice API rozhran´ı V4L2 povoluje pˇredáván´ı obrazov´ ych dat v libovolném formátu. V V4L1 byly provádˇeny v ovladaˇci veˇskeré konverze formát˚ u na RGB nebo YUV. Nová koncepce se snaˇz´ı pˇredat vˇsechny konverzn´ı operace do uˇzivatelského prostoru. Pro práci s kamerou proto vznikla knihovna libv4l, 32

která podporuje vˇsechny doposud známé v´ ystupn´ı formáty V4L2 zaˇr´ızen´ı. Pro uˇzivatelskou aplikaci je tedy velice jednoduché provést naˇc´ıtán´ı obrazov´ ych dat.

3.5.2

Vyˇ c´ıt´ an´ı obr´ azk˚ u ze senzoru

Z´ıskán´ı obrazové informace z ovladaˇce m˚ uˇze b´ yt ˇreˇseno nˇekolika zp˚ usoby. Záleˇz´ı na konkrétn´ı implementaci ovladaˇce. Prvn´ı a nejjednoduˇsˇs´ı metoda je pˇr´ımé ˇcten´ı ze souboru /dev/video0 pomoc´ı funkce read(). Tato metoda je neoptimáln´ı, protoˇze se provád´ı zbyteˇcné kop´ırován´ı pamˇeti. Pro velká rozliˇsen´ı sn´ımaˇc˚ u je nevhodná. V nˇekter´ ych pˇr´ıpadech m˚ uˇze b´ yt pro kop´ırován´ı pouˇzito DMA, takˇze se neoptimálnost sniˇzuje a metoda se v´ ykonnostnˇe pˇribliˇzuje dvˇema následuj´ıc´ım metodám. Nejrozˇs´ıˇrenˇejˇs´ı metoda pˇredáván´ı obrazov´ ych dat prob´ıhá pˇres sd´ılenou fyzickou pamˇet’. Uˇzivatelsk´ y proces si namapuje fyzickou pamˇet’ pomoc´ı funkce mmap(). Pokud jiˇz fyzická pamˇet’ nen´ı potˇreba je procesem uvolnˇena pomoc´ı funkce munpam(). Ovladaˇc kamery do pamˇeti ukládá jednotlivé nasn´ımané obrázky a uˇzivatelsk´ y proces pamˇet’ pouˇz´ıvá pro dalˇs´ı práci se sn´ımky. Nev´ yhoda této metody spoˇc´ıvá v pouˇzit´ı konkrétn´ı fyzické pamˇeti, která nem˚ uˇze b´ yt nijak swapována. Posledn´ı moˇznost´ı pˇredáván´ı obrazov´ ych dat je pˇres alokovanou virtuáln´ı pamˇet’ v uˇzivatelském prostoru. D´ıky tomu, ˇze je pamˇet’ alokována bˇeˇzn´ ym zp˚ usobem, m˚ uˇze b´ yt i doˇcasnˇe pˇresunuta do swapovac´ıho odd´ılu. Zaˇr´ızen´ı bez swapovac´ıho odd´ılu nejsou schopna vyuˇz´ıt rozd´ılu posledn´ıch dvou metod, vˇetˇsina ovladaˇc˚ u kamer proto pouˇz´ıvá pouze metodu mapován´ı fyzické pamˇeti.

3.6

Testov´ an´ı n´ aroˇ cnosti detekce pohybu

Detekci pohybu v obraze je nutné testovat na reálném zaˇr´ızen´ı. Zat´ım jeˇstˇe neexistuje ovladaˇc Image Sensor Interface (ISI) pro procesorovou ˇradu AT91SAM9. Testován´ı detekce provád´ım pomoc´ı jiného zdroje obrazov´ ych dat. Pro tento u ´ˇcel jsem vytvoˇril jednoduchou s´ıt’ovou aplikaci pro pˇredáván´ı obrázk˚ u.

33

Obr´ azek 3.5: Testovac´ı zdroj obrazov´ ych dat

3.6.1

Aplikace pro testov´ an´ı n´ aroˇ cnosti detekce

Základem aplikace je jednoduch´ y server [19], kter´ y pomoc´ı funkc´ı socket, bind, listen, accept naslouchá na zvoleném portu 8083. Po pˇripojen´ı klientského programu ˇceká na zaslán´ı poˇzadavku na obrázek, na kter´ y odpov´ı nekomprimovan´ ym datov´ ym proudem, kter´ y obsahuje barevn´ y RGB obrázek v rozliˇsen´ı 320×240px. Server na kaˇzd´ y poˇzadavek odpov´ı nov´ ym obrázkem. Naˇc´ıtán´ı obrázk˚ u z kamery zprostˇredkovává knihovna OpenCV, která pro tuto ˇcinnost obsahuje funkce cvCaptureFromCAM pro inicializaci kamery a cvQueryFrame pro vlastn´ı z´ıskán´ı obrazov´ ych dat. Pro testovac´ı u ´ˇcely je pouˇzita webkamera poˇc´ıtaˇce, na kterém bˇeˇz´ı server. Obrázek z webkamery je pˇred odeslán´ım zmenˇsen na poˇzadovanou velikost 320×240px. Klientská aplikace je spuˇstˇena pˇr´ımo v kameˇre EYE-02. Aplikace se pˇripoj´ı na port 8083 na vzdáleném stroji a poˇsle poˇzadavek na zaslán´ı sn´ımku. Celé s´ıt’ové rozhran´ı je provozováno jako USB zaˇr´ızen´ı, protoˇze v kameˇre nen´ı k dispozici ˇza´dné jiné s´ıt’ové rozhran´ı. Pro pˇripojen´ y poˇc´ıtaˇc se kamera jev´ı jako USB s´ıt’ová karta. Veˇskerá komunikace prob´ıhá pomoc´ı TCP protokolu. Propustnost USB portu se pˇri reálném testován´ı pohybovala okolo 800kB/s. Velikost zas´ılaného obrázku je 320×240×3 = 225kB. V ideáln´ım pˇr´ıpadˇe lze pˇrenést 3,5 sn´ımk˚ u za vteˇrinu. Sn´ıˇzen´ı velikosti obrázku pˇred zaslán´ım klientské aplikaci je d˚ usledek omezené propustnosti pˇripojen´ı. Pro pˇrenos nebyla zvolena jiná forma obrázku, protoˇze je poˇzadováno minimáln´ı mnoˇzstv´ı ˇsumu a maximáln´ı rychlost zpracován´ı. Ztrátová komprese obrazu JPEG nen´ı vhodná, protoˇze pˇridává do obrazu dalˇs´ı ˇsum. Bezztrátová komprese je nároˇcná na v´ ypoˇcetn´ı v´ ykon a pro zjednoduˇsen´ı pˇrij´ımac´ı strany nebyla pouˇzita. Pˇredáván´ı

34

obrázk˚ u z jiného zaˇr´ızen´ı slouˇz´ı pouze pro testovac´ı u ´ˇcely. Nen´ı proto optimalizováno pro maximáln´ı v´ ykon.

3.7 3.7.1

Komunikace s vestavn´ ym zaˇ r´ızen´ım Zp˚ usoby komunikace s kamerou

Kamera EYE-02 obsahuje pouze dvˇe komunikaˇcn´ı rozhran´ı, která je moˇzné vyuˇz´ıt pro rychlou práci. Prvn´ı z tˇechto rozhran´ı je sériov´ y port vyveden´ y pro ladˇen´ı a druhé rozhran´ı je port USB. Na sériové rozhran´ı jsou pˇresmˇerovány vˇsechny v´ ystupy pˇri startu systému. Je tedy moˇzné sledovat zaveden´ı a start bootloaderu a samotné zaveden´ı a start linuxového jádra. Na tomto sériovém rozhran´ı je také spuˇstˇen program pro obsluhu konzole. Je tedy moˇzné se systémem pracovat pomoc´ı terminálového programu v PC. V Linuxu existuje nˇekolik hotov´ ych ovladaˇc˚ u pro USB zaˇr´ızen´ı. Existuje ovladaˇc implementuj´ıc´ı tˇr´ıdu CDC-ACM. Takové zaˇr´ızen´ı se jev´ı jako sériov´ y port. Pro komunikaci s kamerou jsem tento ovladaˇc nezvolil, protoˇze jiˇz mám jeden sériov´ y port k dispozici. Ovladaˇc implementuj´ıc´ı tˇr´ıdu CDC-ECM je také dostupn´ y. Tento ovladaˇc se chová jako s´ıt’ové rozhran´ı. V kameˇre i v pˇripojeném PC se vytvoˇr´ı nová virtuáln´ı s´ıt’ová karta. Pomoc´ı tohoto rozhran´ı lze velice jednoduˇse pˇrenáˇset libovolné informace pomoc´ı existuj´ıc´ıho software. Dalˇs´ı ovladaˇc, kter´ y je obsaˇzen pˇr´ımo v jádˇre, implementuje tˇr´ıdu mass storage device. Ovladaˇc umoˇzn ˇuje export libovolného blokového zaˇr´ızen´ı jako základ pro MSD. Pro zachován´ı integrity dat je k tomuto blokovému zaˇr´ızen´ı vˇzdy pˇripojen jen poˇc´ıtaˇc nebo kamera.

3.7.2

Spouˇ stˇ en´ı program˚ u v kameˇ re

Pro spouˇstˇen´ı programu v kameˇre je dostaˇcuj´ıc´ı sériové rozhran´ı. Toto sériové rozhran´ı je ale pro nˇekteré programy pomalé a neposkytuje plnˇe moˇznosti virtuáln´ıho terminálu. Z tohoto d˚ uvodu jsem se rozhodl o pouˇzit´ı ovladaˇce CDC-ECM. T´ım jsem v kameˇre vytvoˇril s´ıt’ové rozhran´ı. Na tomto s´ıt’ovém rozhran´ı jsem spustil jednak server DHCP a jednak server pro TELNET a pro 35

HTTP. Server DHCP zaruˇc´ı automatickou konfiguraci pˇripojeného poˇc´ıtaˇce. Ten se pak m˚ uˇze jednoduˇse pˇripojit pomoc´ı programu telnet. Po pˇrihláˇsen´ı do systému m˚ uˇze uˇzivatel spouˇstˇet libovolné pˇr´ıkazy. Pomoc´ı webového prohl´ıˇzeˇce je moˇzné pˇristupovat k webov´ ym stránkám kamery a je moˇzné sledovat obraz a nebo nastavovat parametry kamery.

3.7.3

Sd´ılen´ı soubor˚ u

Sd´ılen´ı soubor˚ u v kameˇre je pomˇernˇe problematické. Nejsnazˇs´ı zp˚ usob, kter´ y se nab´ız´ı, je pomoc´ı zaˇr´ızen´ı MSD. Ovladaˇci pro MSD je nastaveno blokové zaˇr´ızen´ı pamˇet’ové karty. Zároveˇ n je toto blokové zaˇr´ızen´ı pˇripojeno v kameˇre pomoc´ı pˇr´ıkazu mount. Tento zp˚ usob komunikace je ale velice nebezpeˇcn´ y. Pokud poˇc´ıtaˇc provede zápis dat, kamera se o tomto zápisu nijak nedozv´ı. Oba systémy pouˇz´ıvaj´ı pro pˇr´ıstup k disku vyrovnávac´ı pamˇet’. Pokud tedy pomoc´ı poˇc´ıtaˇce nebo pomoc´ı kamery vytvoˇr´ıme nov´ y soubor na pamˇet’ové kartˇe, bude nejprve na obou zaˇr´ızen´ıch uloˇzen jen ve vyrovnávac´ı pamˇeti. Pˇri pokusu o zapsán´ı vyrovnávac´ı pamˇeti na pamˇet’ovou kartu nastane kolize, kterou ani jedna strana nem˚ uˇze detekovat, takˇze dojde ke vzájemnému pˇrepisu dat a k poˇskozen´ı souborového systému. Jedin´ y bezpeˇcn´ y zp˚ usob sd´ılen´ı dat pomoc´ı ovladaˇce MSD je umoˇznit obˇema stranám pˇr´ıstup pouze pro ˇcten´ı. Tento problém neˇreˇs´ı ani vynucené odpojen´ı ze strany kamery. Pokud je kamera odpojena ve chv´ıli kdy docház´ı k zápisu dat ze strany PC, je komunikace pˇreruˇsena a dojde ke ztrátˇe dat. Nav´ıc m˚ uˇze b´ yt neustálé odpojován´ı v PC nepˇr´ıjemné. Pˇri pouˇzit´ı takového zaˇr´ızen´ı s PC, na kterém bˇeˇz´ı operaˇcn´ı systém Linux, je tento pˇr´ıstup nefunkˇcn´ı, protoˇze systém Linux automaticky nepˇripojuje USB disky, takˇze po násilném odpojen´ı zaˇr´ızen´ı se jiˇz samo nepˇripoj´ı. Problém sd´ılen´ı souborového systému se snaˇz´ı ˇreˇsit tˇr´ıdy Still Image Capture Device a protokol PTP. Ovladaˇce pro tyto tˇr´ıdy ale nejsou souˇca´st´ı Linux, takˇze jsem pro sd´ılen´ı souboru musel pouˇz´ıt jin´ y zp˚ usob. Sd´ılen´ı souboru provád´ım pˇres vytvoˇrené s´ıt’ové rozhran´ı. Pro tento u ´ˇcel existuj´ı dva obecnˇe známé protokoly: protokol NFS, kter´ y se ˇcasto pouˇz´ıvá pro sd´ılen´ı soubor˚ u v operaˇcn´ıch systémech odvozen´ ych od UNIXu, a protokol SMB, kter´ y se pouˇz´ıvá pro sd´ılen´ı soubor˚ u v systémech Windows. Oba protokoly jsou obsaˇzeny v linuxovém jádˇre a pomoc´ı nˇekolika utilit lze sd´ılen´ı lehce zprovoznit. Protoˇze pouˇz´ıvám na PC systém Linux, zvolil jsem pro sd´ılen´ı soubor˚ u protokol NFS. 36

Sd´ılen´ı soubor˚ u pˇres protokol, kter´ y je k tomu urˇcen, je bezpeˇcné. V provozu ˇ sen´ı nem˚ uˇze doj´ıt ke kolizi ani v pˇr´ıpadˇe, ˇze má v´ıce zaˇr´ızen´ı povolen zápis. Reˇ pomoc´ı sd´ılen´ı soubor˚ u pˇres s´ıt’ové rozhran´ı je nav´ıc pˇr´ımoˇcaré, pr˚ uhledné a bˇeˇznˇe pouˇz´ıvané.

37

Kapitola 4 Detekce pohybu v obraze 4.1

Pˇ rehled projekt˚ u zab´ yvaj´ıc´ıch se detekc´ı pohybu v obraze

Existuje velké mnoˇzstv´ı projekt˚ u a jednotliv´ ych metod, které se zab´ yvaj´ı detekc´ı pohybu v obraze. Nejˇcastˇeji je pro detekci pohybu vyuˇzit model pozad´ı. R˚ uzné techniky z´ıskán´ı modelu pozad´ı jsou vyjmenovány v [34]. Dále existuj´ı techniky vyuˇz´ıvaj´ıc´ı kumulativn´ıho histogramu [38], nebo metody vyuˇz´ıvaj´ıc´ı DCT, nebo vlnkovou transformaci [7]. Detekce pohybu v obraze je pouˇz´ıvána napˇr´ıklad pˇri kompresi MPEG. Ve videosignálu jsou vyhledávány ˇca´sti, které se nemˇen´ı, pouze mˇen´ı svoji polohu v obraze. Touto technikou lze sn´ıˇzit datov´ y tok potˇrebn´ y pro pˇrenos videa. Prvn´ı sn´ımek pˇrenese pohybuj´ıc´ı se oblast a v dalˇs´ıch sn´ımc´ıch jsou jiˇz jen vektory pohybu této oblasti. Program Motion [32] slouˇz´ı pro detekci pohybu v obraze. Jde o program s otevˇren´ ym zdrojov´ ym kódem. Pro vyhodnocen´ı pouˇz´ıvá rozd´ılové sn´ımky a matematickou morfologii pro filtraci. Program je urˇcen pro Linux a jako vstup videodat vyuˇz´ıvá rozhran´ı V4L nebo stahuje data z IP kamery. Motion Detection Algorithms [29] je softwarov´ y projekt, kter´ y vytváˇr´ı jednoduch´ y nástroj pro detekci pohybu v obraze. Program je napsán v .NET. Motiontrack [36] je sada nástroj˚ u pro detekci pohybu v obraze. Obsahuje nˇekolik program˚ u pro pˇr´ıpravu obrázk˚ u z kamery. Pro detekci pohybu pouˇz´ıvá nejjednoduˇsˇs´ı metodu rozd´ılov´ ych sn´ımk˚ u.

38

4.2 4.2.1

Metody detekce pohybu v obraze Definice

Pro pouˇzit´ı stejného znaˇcen´ı ve vˇsech popisovan´ ych metodách je nadefinováno následuj´ıc´ı základn´ı znaˇcen´ı. - t ∈ Z je diskrétn´ı ˇcas, kde t = 0 je ˇcas prvn´ıho sn´ımku - w ∈ N je ˇs´ıˇrka obrazu - h ∈ N je v´ yˇska obrazu - x ∈ 0, w) je souˇradnice bodu - y ∈ 0, h) je souˇradnice bodu - I ∈ Rh,w je obraz velikosti w × h - I(x, y) je jas obrazového bodu na pozici [x, y]T - It je obraz I v ˇcase t - B ∈ Rh,w je obraz pozad´ı - θ ∈ R je symbol pro oznaˇcen´ı prahu - n ∈ N je poˇcet sn´ımk˚ u

4.2.2

Metody vyuˇ z´ıvaj´ıc´ı model pozad´ı

Pr˚ umˇ er prvn´ıch n sn´ımk˚ u Nejjednoduˇsˇs´ı metoda detekce pohybu je uloˇzen´ı prvn´ıho sn´ımku, nebo pr˚ umˇeru prvn´ıch n sn´ımk˚ u. Pro kaˇzd´ y obrazov´ y bod plat´ı 1 B(x, y) = Ii (x, y) n i=1 n

(4.1)

Detekce objekt˚ u na popˇred´ı se provede pomoc´ı prahován´ı rozd´ılu jas˚ u pro kaˇzdou dvojici bodu pozad´ı a bodu v novém sn´ımku na stejné pozici |B(x, y) − It (x, y)| > θ

(4.2)

Pokud pravdˇepodobnost jasu jednotliv´ ych obrazov´ ych bod˚ u modeluji jako normáln´ı rozdˇelen´ı, lze spoˇc´ıtat smˇerodatnou odchylku pro kaˇzd´ y obrazov´ y bod

39

jako

n 1 Ii (x, y)2 − B(x, y)2 σ(x, y) = n i=1

(4.3)

Detekci objekt˚ u na popˇred´ı pak provedu prahován´ım, jako v pˇredchoz´ım pˇr´ıpadˇe, pouze konstantn´ı hodnotu prahu nahrad´ım násobkem smˇerodatné odchylky θ(x, y) = c · σ(x, y), tedy |B(x, y) − It (x, y)| > c · σ(x, y)

(4.4)

Velikost konstanty c je volena s ohledem na model Gaussova rozdˇelen´ı. Pro hodnotu c = 3 pˇri pouˇzit´ı pravidla 3σ spadá 99,7% namˇeˇren´ ych hodnot do intervalu okolo stˇredn´ı hodnoty. Je t´ım tedy dostateˇcnˇe eliminován faleˇsn´ y poplach.

Obr´ azek 4.1: Hustota norm´ aln´ıho rozdˇelen´ı pravdˇepodobnosti

Tato metoda funguje dobˇre pˇri pouˇzit´ı stálého osvˇetlen´ı. Pouˇzit´ı v reálném prostˇred´ı nen´ı moˇzné, protoˇze mus´ı prob´ıhat adaptace modelu pozad´ı podle zmˇen celkového osvˇetlen´ı. V dobˇe uˇcen´ı (prvn´ıch n sn´ımk˚ u) nesm´ı b´ yt v obraze ˇza´dn´ y pohybuj´ıc´ı se pˇredmˇet, jinak by byl model pozad´ı zkreslen´ y. Pro obrazové body, které jsou v saturaci, nebude detekce dobˇre fungovat, protoˇze pro takové body vyjde σ nulová a poplach zp˚ usob´ı libovolnˇe malá zmˇena jasu v daném bodˇe.

40

Klouzav´ y pr˚ umˇ er posledn´ıch n sn´ımk˚ u Zlepˇsen´ı pˇredchoz´ı metody spoˇc´ıvá ve v´ ypoˇctu modelu pozad´ı z posledn´ıch sn´ımk˚ u n 1 Bt (x, y) = It−i (x, y) (4.5) n i=1 n 1 It−i (x, y)2 − Bt (x, y)2 σt (x, y) = n i=1

(4.6)

Detekce objekt˚ u na popˇred´ı se provede |Bt (x, y) − It (x, y)| > θ

(4.7)

kde práh m˚ uˇze b´ yt opˇet konstantn´ı hodnota, nebo m˚ uˇze b´ yt vypoˇcten´ y yhoda tohoto modelu je nutnost uchovávat v pamˇeti jako θ = c · σt (x, y). Nev´ posledn´ıch n sn´ımk˚ u. Pouˇzit´ı ve vestavn´ ych zaˇr´ızen´ıch omezuje pamˇet’ovou nároˇcnost. Metodu je tedy nutné zjednoduˇsit tak, aby udrˇzovala minimáln´ı poˇcet obrázk˚ u v pamˇeti. Dalˇs´ı nev´ yhoda je moˇznost pouˇzit´ı v´ ysledného modelu pozad´ı aˇz po pˇr´ıchodu minimálnˇe n sn´ımk˚ u. Exponenci´ aln´ı vyhlazov´ an´ı Minimalizaci potˇrebné pamˇeti pro v´ ypoˇcet modelu pozad´ı lze provést pouˇzit´ım rekurzivn´ıho vztahu. Klouzav´ y pr˚ umˇer lze pˇrirovnat k FIR filtru ˇrádu n a exponenciáln´ı vyhlazován´ı lze pˇrirovnat k IIR filtru ˇrádu 1. Základem exponenciáln´ıho vyhlazován´ı je vztah st = αxt + (1 − α)st−1 (4.8) ysledek vyhlazován´ı, xt je vstupn´ı namˇeˇrená hodnota a 0 < α < 1 kde st je v´ je koeficient, kter´ y urˇcuje rychlost reakce na nová namˇeˇrená data. Pro α = 0 nedocház´ı k ˇza´dné zmˇenˇe hodnoty st = st−1 , pro α = 1 je naopak v´ ysledkem vˇzdy aktuáln´ı namˇeˇrená hodnota st = xt . Po aplikaci na model pozad´ı vznikne Bt (x, y) = αIt (x, y) + (1 − α)Bt−1 (x, y)

41

(4.9)

U exponenciáln´ıho vyhlazen´ı lze pouˇz´ıt analogii smˇerodatné odchylky 2 σt2 = β(xt − st−1 )2 + (1 − β)σt−1

(4.10)

σt (x, y)2 = β(It (x, y) − Bt−1 (x, y))2 + (1 − β)σt−1 (x, y)2

(4.11)

tedy

a v´ ysledné vyhodnocen´ı objekt˚ u na popˇred´ı je provedeno jako |Bt−1 (x, y) − It (x, y)| > θ

(4.12)

kde m˚ uˇze b´ yt opˇet pouˇzito θ = c · σt Vyhlazen´ı pomoc´ı medi´ anu Z´ıskáván´ı modelu pozad´ı pomoc´ı mediánu je vhodné proto, ˇze nen´ı vychylován krátkodob´ ymi ˇspiˇckami. Pokud je pouˇzit klouzav´ y medián, vyhodnocuje se posledn´ıch n vzork˚ u. Vzorky jsou seˇrazeny a je vybrán prostˇredn´ı vzorek. [12] Pokud v´ ykyv z konstantn´ı hodnoty netrvá déle neˇz n/2 vzork˚ u, neprom´ıtne se do v´ ysledné hodnoty a model pozad´ı z˚ ustane nezmˇenˇen. [3] Rekurzivn´ı aproximace medi´ anu Podobn´ ych vlastnost´ı jako klouzav´ y medián m˚ uˇze dosáhnout rekurzivn´ı zápis [9] ⎧ ⎪ ⎨ st + k (xt > st ) st = st − k (xt < st ) ⎪ ⎩ st (xt = st )

(4.13)

kde k je pˇredem zvolená konstanta. V´ ychylka xt od st , která bude ˇra´dovˇe velikosti k, bude správnˇe zaˇclenˇena do modelu pozad´ı. V´ ychylka, která bude nˇekolikanásobnˇe vˇetˇs´ı, ovlivn´ı model pozad´ı ménˇe, neˇz napˇr´ıklad pˇri pouˇzit´ı exponenciáln´ıho vyhlazen´ı. Pro pouˇzit´ı pˇri modelován´ı pozad´ı je pouˇzit vztah ⎧ ⎪ ⎨ Bt (x, y) + k (It (x, y) > Bt (x, y)) Bt (x, y) = Bt (x, y) − k (It (x, y) < Bt (x, y)) ⎪ ⎩ (It (x, y) = Bt (x, y)) Bt (x, y) 42

(4.14)

V ideáln´ım pˇr´ıpadˇe je model pozad´ı odhad konstantn´ı hodnoty, která je ovlivnˇena ˇsumem senzoru. Dále je hodnota ovlivnˇena zmˇenou okoln´ıho osvˇetlen´ı, které má velmi velkou ˇcasovou konstantu. Tento pˇredpoklad vede k pouˇzit´ı dalˇs´ı metody z´ıskáván´ı modelu pozad´ı. Kalmanova filtrace Na zjiˇstˇen´ı pozad´ı obrázku lze pohl´ıˇzet jako na odhad skrytého vnitˇrn´ıho stavu. Pozad´ı se mˇen´ı s velkou ˇcasovou konstantou a je ovlivnˇeno ˇsumem, kter´ y pˇredstavuj´ı objekty na popˇred´ı. Takov´ yto diskrétn´ı systém lze popsat maticemi A = [a], B = [1 − a], C = [1] Krok odhadu st = Ast + Bxt (4.15) Pt = AP A + Q Krok aktualizace = xt − Cst CPt−1 K = CPt−1 C + R Pt = (1 − KC)Pt st = xt + Ky y

(4.16)

kde P je kovarianˇcn´ı matice chyby odhadu st , Q je kovarianˇcn´ı matice ˇsumu systému a R je kovarianˇcn´ı matice ˇsumu mˇeˇren´ı. Pro správnou funkci mus´ı m´ıt ˇsum jasu obrazového bodu normáln´ı rozdˇelen´ı. Smˇ es gausi´ an˚ u (Mixture of Gaussians – MoG, GMM) Nejjednoduˇsˇs´ı multimodáln´ı metoda vyuˇz´ıvá pro reprezentaci kaˇzdého pixelu nˇekolik gausián˚ u, na rozd´ıl od exponenciáln´ıho vyhlazen´ı, které vyuˇz´ıvá pouze jeden. [30] Kaˇzd´ y obrazov´ y bod je modelován jako P (x) =

K

ωi η(x; μi , Σi )

(4.17)

i=1

kde P (x) je pravdˇepodobnost v´ yskytu obrazového bodu s jasem x, K je poˇcet gausián˚ u pouˇzit´ ych pro modelován´ı, ω je váha daného gausiánu, η(x; μ, Σ) znaˇc´ı normáln´ı rozdˇelen´ı, μ je stˇredn´ı hodnota a Σ je kovarianˇcn´ı matice. Pokud je hodnota jasu obrazového bodu sloˇzena ze tˇr´ı sloˇzek (ˇcervená, zelená, modrá), je pro 43

zjednoduˇsen´ı v´ ypoˇctu povaˇzována hodnota jasu jednotliv´ ych barev za nezávislou 2 Σ = σ I. Toto tvrzen´ı nen´ı pravdivé, protoˇze jednotlivé barevné sloˇzky jsou na sobˇe závislé. Pro zjednoduˇsen´ı v´ ypoˇctu je ale v´ yhodné toto pˇredpokládat. Chyba zp˚ usobená t´ımto zjednoduˇsen´ım nen´ı velká. [40] Model pozad´ı je aktualizován pomoc´ı modifikovaného E-M algoritmu podle následuj´ıc´ıch pravidel: 1. Pokud x patˇr´ı komponentˇe i, tedy |x − μi | < c · σ, kde c je voleno v rozsahu 2 aˇz 2,5, pak je i-tá komponenta aktualizována ωi,t = ωi,t−1 μi,t = (1 − ρ)μi,t−1 + ρxt 2 2 σi,t = (1 − ρ)σi,t−1 + ρ(xt − μi,t )2

(4.18)

kde ˇc´ıslo ρ je u ´mˇerné pravdˇepodobnosti, ˇze dané x patˇr´ı právˇe do komponenty i, tedy (4.19) ρ = αη(xt |μi,t−1 , σi,t−1 ) 2. Pokud x komponentˇe i nepatˇr´ı, je komponentˇe pouze sn´ıˇzena váha

μi,t = (1 − alpha)μi,t−1

(4.20)

3. Pokud nen´ı nalezena ˇzádná komponenta, je ta nejménˇe pravdˇepodobná nahrazena aktuáln´ı hodnotou, kde μi,t = xt , variance je nastavena velká a váha malá. 4. Komponenty jsou seˇrazeny podle pomˇeru ω/σ2 . Tato hodnota se zvyˇsuje, pokud je zapoˇcteno v´ıce podobn´ ych hodnot s malou varianc´ı. Bod v následuj´ıc´ım ˇcasovém okamˇziku je tedy testován oproti nejpravdˇepodobnˇejˇs´ı komponentˇe. 5. prvn´ıch B komponent je bráno jako model pozad´ı, kde

B = arg min b

b

ωk > T

(4.21)

k=1

Pokud je T malé, je vybrána pouze prvn´ı komponenta. Pokud je T vˇetˇs´ı, je vybráno v´ıce komponent a vyuˇzije se t´ım v´ yhod celého algoritmu. 44

Neparametrick´ y odhad (Kernel Density Estimator – KDE) Mˇejme sekvenci namˇeˇren´ ych dat x1 , x2 , ..., xN . Odhad hustoty pravdˇepodobnosti pro obrazov´ y bod xt v ˇcase t m˚ uˇze b´ yt neparametricky odhadnut jako N 1 P r(xt ) = K(xt − xi ) N i=1

(4.22)

K reprezentuje zvolenou jádrovou funkci. V tomto pˇr´ıpadˇe je zvoleno normáln´ı rozloˇzen´ı N (0, σ) [14].Obrazov´ y bod je oznaˇcen jako popˇred´ı, pokud P r(xt ) < θ

(4.23)

V´ yhoda tohoto algoritmu spoˇc´ıvá v niˇzˇs´ım mnoˇzstv´ı faleˇsn´ ych detekc´ı neˇz MoG. Algoritmus je popsán jednoduˇseji, ale pro vˇetˇs´ı mnoˇzstv´ı obrázk˚ u v historii a pro vˇetˇs´ı rozliˇsen´ı se zvyˇsuje v´ ypoˇcetn´ı sloˇzitost. Na rozd´ıl od klouzavého pr˚ umˇeru vyuˇz´ıvá mnohem lépe velkého mnoˇzstv´ı uloˇzené informace.

4.2.3

Metody zaloˇ zen´ e na korelaci obr´ azk˚ u

Vˇsechny v´ yˇse jmenované metody mˇely jednu spoleˇcnou vlastnost. Vyhodnocovaly obrázek bez ohledu na okoln´ı obrazové body. Pro reprezentaci pozad´ı bylo pˇredpokládáno, ˇze jednotlivé body jsou na sobˇe nezávislé. Pro reáln´ y obraz to ale neplat´ı a vˇsechny body obrazu jsou vzájemnˇe korelované. Normalizovan´ a vz´ ajemn´ a korelace Normalizovaná vzájemná korelace, nebo také lineárn´ı korelaˇcn´ı koeficient, je definován na vektorech, u kter´ ych hledáme vzájemnou podobnost x = (x1 , ..., xn ) y = (y1 , ..., yn )

(4.24)

Lineárn´ı korelaˇcn´ı koeficient r(x, y) udává, do jaké m´ıry jsou dvojice (xi , yi ) svázány lineárn´ı funkc´ı. Pokud jsou shodné, je v´ ysledek r(x, y) = 1. Pokud x = −y, pak r(x, y) = −1. Pro ostatn´ı pˇr´ıpady −1 < r(x, y) < 1. Postup v´ ypoˇctu je následuj´ıc´ı.

45

1. Odstran´ım stˇredn´ı hodnotu vektor˚ u x a y tak, ˇze od kaˇzdého prvku odeˇctu pr˚ umˇernou hodnotu prvk˚ u v celém vektoru

xi = x i − x

(4.25)

2. Zajist´ım jednotkovou varianci ˇc´ısel vektoru xi = xi / x 2

(4.26)

r(x, y) = x y

(4.27)

3. Spoˇc´ıtám koeficient

Lineárn´ı korelaˇcn´ı koeficient má nˇekolik d˚ uleˇzit´ ych vlastnost´ı. • je symetrick´ y r(x, y) = r(y, x) • invariantn´ı v˚ uˇci pˇriˇcten´ı konstanty a v˚ uˇci násoben´ı konstantou r(ax+b, cy+ d) = r(x, y) • v´ ysledn´ y koeficient je v omezeném intervalu −1, 1 Porovn´ an´ı obr´ azk˚ u pomoc´ı vz´ ajemn´ e korelace

Obr´ azek 4.2: Zdrojové obr´ azky pro porovn´ an´ı pomoc´ı NCC

Porovnávat celé obrázky nen´ı v´ yhodné, protoˇze lineárn´ı korelaˇcn´ı koeficient nebude moˇzné pouˇz´ıt k urˇcen´ı pohybu v obraze. Vhodnˇejˇs´ı metoda je porovnán´ı 46

obrázku po ˇcástech. Pomoc´ı okénka, které se pohybuje po obou porovnávan´ ych obrazech souˇcasnˇe. V kaˇzdém oknˇe je spoˇctena vzájemná korelace obou obrázk˚ u, v´ ysledek je uloˇzen a okna se posunou o dalˇs´ı obrazov´ y bod.

Obr´ azek 4.3: V´ ysledek porovn´ an´ı pomoc´ı NCC a) blok 5px b) blok 45px

Pro okno velikosti m × n a obraz velikosti M × N je matice vzájemné korelace K korelace obrázk˚ u A a B poˇc´ıtána pro x = 1..M − m a y = 1..N − n. a = A(x..x + m, y..y + n) b = B(x..x + m, y..y + n) K(x, y) = r(a, b)

(4.28)

Pokud se ve v´ ysledné matici K vyskytuj´ı prvky bl´ızké 1, jsou si obrázky podobné, v opaˇcném pˇr´ıpadˇe jsou nˇekteré prvky menˇs´ı a na dané pozici je mezi obrázky rozd´ıl. Tato metoda má nˇekolik zásadn´ıch nev´ yhod. Pro zpracován´ı je potˇreba velké mnoˇzstv´ı násoben´ı a sˇc´ıtán´ı. Pro zjednoduˇsen´ı v´ ypoˇctu byl popsán algoritmus rychlé vzájemné korelace obrázk˚ u pomoc´ı oken [13]. Pro správnou funkˇcnost je tˇreba volit dostateˇcnˇe veliká okna. Pro malá okna se pˇr´ıliˇs projevuje ˇsum obrázku, pro velká okna se naopak sniˇzuje rozliˇsen´ı detekce (velikost matice K). Metoda je velice náchylná na ˇsum. Pokud jsou porovnávány velké plochy jedné barvy, je d´ıky normalizaci vynásoben ˇsum a v´ ysledná korelace vyjde, d´ıky náhodné povaze ˇsumu, n´ızká.

4.2.4

Detekce pohybu kamery

Základn´ım c´ılem detekce pohybu v obraze je detekce pomoc´ı statické kamery. Pokud se zmˇen´ı vˇetˇsina obrazu mezi dvˇema sn´ımky, nelze pˇresnˇe urˇcit, co k tomu 47

vedlo. Náhlá zmˇena osvˇetlen´ı, prudk´ y pohyb kamerou nebo zakryt´ı objektivu vyvolaj´ı podobné zmˇeny, které lze jen tˇeˇzko rozliˇsit. Detekci pohybu kamery proto provád´ım pouze v malém mˇeˇr´ıtku, aby bylo moˇzné kompenzovat napˇr´ıklad chvˇen´ı. Následuj´ıc´ı metody popisuj´ı zp˚ usoby zjiˇstˇen´ı malého pohybu celého obrazu [3] [18] [4] [23] [1]. Srovn´ av´ an´ı blok˚ u Metoda hledá pohyb ve dvou sousedn´ıch sn´ımc´ıch. Prvn´ı obrázek je rozdˇelen na bloky, které jsou vyhledávány v druhém obrázku. Existuje nˇekolik metod vyhledáván´ı bloku v následuj´ıc´ım obrázku. D´ıky zjednoduˇsuj´ıc´ımu pˇredpokladu malého pohybu jsem zvolil jednoduch´ y algoritmus. Kaˇzd´ y blok se zpracovává samostatnˇe. Blok prvn´ıho obrázku je vyhledán ve druhém postupnˇe od pozice, ve které se nacházel v origináln´ım obrázku aˇz do maximáln´ı povolené vzdálenosti. Vyhledávac´ı algoritmus procház´ı vˇsechny posunut´ı ve spirále od stˇredu aˇz do chv´ıle, neˇz je nalezena korespondence lepˇs´ı, neˇz pˇredem urˇcen´ y práh.

Obr´ azek 4.4: Prohled´ av´ an´ı n´ asleduj´ıc´ıho sn´ımku

Takov´ ym zp˚ usobem jsou zpracovány vˇsechny bloky p˚ uvodn´ıho obrázku. V´ ysledkem celé operace jsou vektory pohybu jednotliv´ ych blok˚ u. Majorita vektor˚ u m´ıˇr´ıc´ıch stejn´ ym smˇerem je povaˇzována za globáln´ı pohyb kamery. Porovnán´ı shody bloku s m´ıstem ve druhém obrázku je provádˇeno pouze pomoc´ı pr˚ umˇerné diference. Pro dva v´ yˇrezy A a B je diference spoˇc´ıtána jako

X Y d=

x=1

y=1

|A(x, y) − B(x, y)| X ·Y

(4.29)

Porovnán´ı sloˇzitˇejˇs´ım algoritmem by bylo moˇzné, ale pˇr´ıliˇs v´ ypoˇcetnˇe nároˇcné. Normován´ı je moˇzné vypustit, protoˇze jsou porovnávány vˇzdy stejnˇe velké bloky 48

takˇze je velikost X · Y konstantn´ı, t´ım se zjednoduˇs´ı i v´ ypoˇcet, kter´ y lze cel´ y provádˇet v cel´ ych ˇc´ıslech. Hodnoty, z´ıskané pro kaˇzd´ y blok zvláˇst’, jsou dále zpracovány a je vybrána nejˇcetnˇejˇs´ı hodnota smˇerového vektoru pohybu. Tato hodnota je povaˇzována za globáln´ı pohyb kamery. Pˇri pohybu kamery docház´ı k rozmazán´ı obrazu, takˇze tato metoda nen´ı pˇr´ıliˇs spolehlivá. Nejvˇetˇs´ı nedostatek metody spoˇc´ıvá v pˇredpokladu, ˇze se cel´ y obraz pohybuje najednou, pokud se pohybuje kamera. Senzor je ale vyˇc´ıtán po ˇrádc´ıch, takˇze pohyb, kter´ y zaˇcal pˇri vyˇc´ıtán´ı prvn´ıho ˇrádku, nemus´ı trvat pˇri vyˇc´ıtán´ı posledn´ıho ˇrádku. Docház´ı k deformaci obrazu a ˇza´dná hodnota pohybového vektoru neodpov´ıdá optimálnˇe pro vˇsechny ˇrádky. Problém s deformac´ı obrazu lze ˇreˇsit pouˇzit´ım blok˚ u pro vyhledáván´ı pohybu, které jsou jen nˇekolik obrazov´ ych bod˚ u vysoké, ale jsou ˇsiroké jako polovina obrazu. Dále by se pro kaˇzdou n-tici ˇra´dk˚ u uchovávala hodnota pohybového vektoru, která by byla dále pouˇzita pro stabilizaci obrazu. Kompenzace pohybu by byla provádˇena v´ yhradnˇe v právˇe nasn´ımaném obrázku. Dále by byl poˇc´ıtán trend celkového pohybu a pomoc´ı nˇeho by byla provádˇena kompenzace pohybu v modelu pozad´ı. Kompenzace po ˇra´dc´ıch je komplikovaná a vyˇzaduje velké mnoˇzstv´ı pˇresun˚ u dat pˇri skládán´ı stabilizovaného obrazu. Kompenzace pohybu z celého obrazu je jednoduˇsˇs´ı, ale nedokáˇze správnˇe detekovat vˇsechny rychlosti pohybu kamery.

4.3

Nastaven´ı parametr˚ u detekce

4.3.1

Volba prahu rozd´ılov´ eho obr´ azku

Vˇetˇsina popisovan´ ych metod vyuˇz´ıvá absolutn´ı hodnotu rozd´ılu modelovaného pozad´ı a aktuáln´ıho sn´ımku. V´ ysledná hodnota rozd´ılu je prahována. U jednoduch´ ych metod je práh volen zkusmo. Hodnota prahu je urˇcena v závislosti na amplitudˇe ˇsumu v obraze a v závislosti na poˇzadované citlivosti. U metod, které vyuˇz´ıvaj´ı statistického zpracován´ı vstupn´ıch obrázk˚ u, je vˇetˇsinou práh urˇcen jako násobek smˇerodatné odchylky jednotliv´ ych obrazov´ ych bod˚ u. Pro body, které se v ˇcase pˇr´ıliˇs nemˇen´ı, vycház´ı takov´ y práh velice mal´ y a je zachycen i nepatrn´ y rozd´ıl v obraze. Vzhledem k velkému ˇsumu jsem v takov´ ych

49

pˇr´ıpadech pˇriˇc´ıtal konstantn´ı hodnotu k velikosti smˇerodatné odchylky k omezen´ı faleˇsn´ ych poplach˚ u. Sloˇzitˇejˇs´ı metody jako smˇes gausián˚ u a neparametrick´ y odhad zjiˇst’uj´ı pˇr´ımo pravdˇepodobnost s jakou namˇeˇren´ y bod patˇr´ı do popˇred´ı nebo do pozad´ı vzhledem k historii sn´ımk˚ u.

4.4

Poˇ zadavky na detekci pohybu v obraze

Detekce pohybu mus´ı b´ yt odolná proti okoln´ım vliv˚ um, které nemaj´ı b´ yt povaˇzovány za pohyb. Hlavn´ım c´ılem detekce je lidská postava, která má vzhledem k obrazu v kameˇre rozmˇery v urˇcit´ ych mez´ıch. Pokud jsou tyto meze pˇrekroˇceny, nejde pravdˇepodobnˇe o vyhledávan´ y pohyb a detekce pokraˇcuje bez poplachu.

4.4.1

Detekce pohybu ve venkovn´ım prostˇ red´ı

Venkovn´ı prostˇred´ı je pro detekci pohybu komplikované. Nastávaj´ı zde velké zmˇeny osvˇetlen´ı a velké pohyby prostˇred´ı, které nemaj´ı b´ yt povaˇzovány za pohyb. Nejvhodnˇejˇs´ı pro detekci pozad´ı jsou multimodáln´ı modely pozad´ı. Pomoc´ı neparametrického odhadu je moˇzné vytvoˇrit model pohybuj´ıc´ıho se list´ı ve vˇetru, které dále nebude vyvolávat poplach, protoˇze jsou v modelu zahrnuty vˇsechny polohy l´ıstk˚ u. Pouˇzit´ı unimodáln´ıch model˚ u pozad´ı, jako je napˇr´ıklad exponenciáln´ı vyhlazen´ı, je nutné sn´ıˇzit citlivost detekce pomoc´ı zv´ yˇsen´ı prahu pro maximáln´ı rozd´ıl aktuáln´ıho sn´ımku od modelu pozad´ı. T´ımto zv´ yˇsen´ım se ale zásadnˇe sniˇzuje schopnost detekovat pohyby, které jsou na nekontrastn´ım podkladˇe. Napˇr´ıklad pohyb ˇclovˇeka obleˇceného v hnˇedozelené barvˇe pohybuj´ıc´ıho se pˇred kˇrov´ım nebude správnˇe detekován.

4.4.2

Adaptace na zmˇ eny pozad´ı

Zvolená metoda detekce pozad´ı mus´ı b´ yt schopná adaptace na zmˇeny scény, aniˇz by vyvolala poplach. Pˇri zmˇenˇe osvˇetlen´ı scény (v´ ychod slunce, západ slunce, mrak) je nutné aktualizovat model dostateˇcnˇe rychle. Model pozad´ı mus´ı naopak

50

reagovat dostateˇcnˇe pomalu na to, aby pˇr´ıpadn´ y pohyb v obraze nebyl okamˇzitˇe pˇrevzat do modelu pozad´ı. Pˇr´ıklad metody, která si velice dobˇre porad´ı se zmˇenou osvˇetlen´ı scény je porovnáván´ı aktuáln´ıho a pˇredchoz´ıho sn´ımku. Bohuˇzel tato metoda je i pˇr´ıkladem velice rychle reaguj´ıc´ı metody, takˇze pˇri pomal´ ych pohybech pohybuj´ıc´ıch se pˇredmˇet˚ u budou pˇredmˇety adaptovány do pozad´ı a nebude vyvolán poplach.

4.4.3

Necitlivost na zmˇ eny celkov´ eho osvˇ etlen´ı sc´ eny

Metoda by mˇela b´ yt co nejménˇe citlivá na prudké zmˇeny jasu v celém obrázku. Takové zmˇeny mohou zp˚ usobit napˇr´ıklad svˇetla automobilu, kter´ y v noci projede okolo okna sledované m´ıstnosti. Prudké zmˇeny osvˇetlen´ı ve vˇetˇs´ı ˇcásti obrazu jsou proto ignorovány, pokud nen´ı moˇzné je kompenzovat.

4.4.4

Potlaˇ cen´ı faleˇ sn´ ych poplach˚ u

Citlivost detekce pohybu mus´ı b´ yt nastavena tak, aby vyvolala minimáln´ı mnoˇzstv´ı faleˇsn´ ych poplach˚ u. Proto m˚ uˇze b´ yt detekce poplachu v´ıcefázová. Pokud je detekován pohyb, kter´ y nen´ı jednoznaˇcn´ y, je tato informace uloˇzena a pokud do urˇcitého ˇcasu nastane pohyb znovu, je vyvolán poplach.

4.4.5

V´ ypoˇ cet v re´ aln´ em ˇ case

V´ ypoˇcet detekce pohybu v obraze mus´ı b´ yt provádˇen v reálném ˇcase. Optimalizace pro minimum v´ ypoˇct˚ u je v´ yhodná i z hlediska u ´spory energie pˇri bateriovém provozu kamery. Pro detekci pohybu dostaˇcuje sn´ımková frekvence okolo 2 aˇz 3 sn´ımk˚ u za vteˇrinu. Pˇr´ıpravná fáze uˇcen´ı modelu pozad´ı m˚ uˇze trvat déle, ale samotná detekce mus´ı trvat ménˇe neˇz 300ms.

4.4.6

Filtrace ˇ sumu

Pouˇzitá metoda detekce mus´ı b´ yt velmi odolná proti ˇsumu v obraze. Detekce pohybu v obraze je d˚ uleˇzitá i v noci pˇri velmi slabém osvˇetlen´ı. Kamera sice obsahuje reflektor s IR diodami, ale i pˇres to mus´ı m´ıt nastaven velk´ y zisk. Filtraci

51

ˇsumu lze provádˇet pomoc´ı matematické morfologie, nebo pomoc´ı pr˚ umˇerován´ı obrazu. Noˇcn´ı vidˇen´ı nav´ıc neobsahuje velké mnoˇzstv´ı relevantn´ı barevné informace, je proto v´ yhodnˇejˇs´ı pouˇz´ıvat metody detekce, které pracuj´ı s ˇsedotónov´ ym obrázkem. Metody pracuj´ıc´ı s barevn´ ym obrázkem mohou pouˇz´ıt barevné informace k potlaˇcen´ı st´ın˚ u od objekt˚ u v obraze.

4.5 4.5.1

Implementace detekce pohybu v obraze Implementace metod v programu Matlab

Vˇsechny popisované algoritmy jsem implementoval pomoc´ı Image Processing Toolbox v programu Matlab. V´ ysledky testován´ı unimodáln´ıch metod modelován´ı pozad´ı vycházely podobnˇe pro kalmanovu filtraci a pro exponenciáln´ı vyhlazen´ı. Rozd´ıl tˇechto dvou metod bylo pouze rychlejˇs´ı ustálen´ı hodnoty pˇri spuˇstˇen´ı detekce v pˇr´ıpadˇe kalmanova filtru. Aproximace mediánu se na scénách, ve kter´ ych nebyl pohyb, chovala podobnˇe jako exponenciáln´ı vyhlazen´ı. U scén s pohybem byly v´ ysledky aproximace mediánu v´ yhodnˇejˇs´ı, protoˇze se model pozad´ı nezaˇcal tak rychle pˇribliˇzovat rychl´ ym v´ ykyv˚ um, ale drobné v´ ykyvy v jasu sledoval dostateˇcnˇe rychle. Nev´ yhoda aproximace mediánu spoˇc´ıvala v neustálém kmitán´ı hodnoty modelu v okol´ı stˇredn´ı hodnoty jasu obrazového bodu. Kmitán´ı bylo odstranˇeno modifikac´ı algoritmu pomoc´ı pˇridán´ı pásma necitlivosti.

4.5.2

Implementace metod s pouˇ zit´ım knihovny OpenCV

Dalˇs´ım krokem byla implementace algoritm˚ u pomoc´ı knihovny OpenCV. [5] [24] Tato knihovna pro jazyk C++ je volnˇe dostupná a obsahuje funkce pro práci s obrázky. Implementace algoritm˚ u pro Optical Flow jsou souˇca´st´ı OpenCV. Dále jsou pˇripraveny optimalizované funkce, které lze pouˇz´ıt pro v´ ypoˇcet exponenciáln´ıho vyhlazen´ı. Bohuˇzel nˇekteré d˚ uleˇzité funkce obsahuj´ı v´ ypoˇcty v plovouc´ı ˇra´dové ˇca´rce a proto nejsou vhodné pˇr´ımo pro v´ ysledn´ y systém. Pro v´ yvoj programu pro detekci pohybu na PC jsou dobˇre pouˇzitelné. V knihovnˇe OpenCV jsou dále implementovány statistické metody extrakce

52

pozad´ı. Prvn´ı metoda [33] vyuˇz´ıvá algoritmu extrakce objekt˚ u na popˇred´ı v komplexn´ım pozad´ı. Druhá metoda vyuˇz´ıvá smˇesi gausián˚ u [26]. V extern´ı knihovnˇe cvBlobLib je implementován algoritmus [8] pro detekci a pojmenován´ı souvisl´ ych komponent, kter´ y pracuje s lineárn´ı sloˇzitost´ı. Pˇr´ımo v knihovnˇe OpenCV jsou implementovány algoritmy zaloˇzené na záplavovém vyplˇ nován´ı (flood fill), které jsou ale pomalejˇs´ı a nároˇcnˇejˇs´ı na spotˇrebovanou pamˇet’.

4.5.3

Vlastn´ı ˇ reˇ sen´ı implementace detekce pohybu

Vlastn´ı ˇreˇsen´ı detekce pohybu vycház´ı z knihovny OpenCV. Z této knihovny jsou pouˇzity základn´ı funkce pro zpracován´ı obrazu z V4L zaˇr´ızen´ı a funkce pro konverzi a zmˇeny velikosti obrazu. Implementace modelu pozad´ı je napsána vlastn´ı. Vˇsechny existuj´ıc´ı metody z této knihovny jsou pˇr´ıliˇs nároˇcné na v´ ypoˇcetn´ı v´ ykon. Pro rozdˇelen´ı obrázku popˇred´ı na souvislé komponenty je pouˇzita knihovna cvBlobLib.

53

Kapitola 5 Vlastn´ı ˇ reˇ sen´ı detekce pohybu Vlastn´ı ˇreˇsen´ı detekce pohybu je ˇreˇseno v jazyce C++. Nejprve je popisován zp˚ usob zrychlen´ı v´ ypoˇctu funkc´ı, které zpracovávaj´ı obrazová data. Dále je popsán cel´ y postup algoritmu detekce objekt˚ u na popˇred´ı a jejich vyhodnocen´ı.

5.1

Optimalizace v´ ypoˇ ctu

Rychlost v´ ypoˇctu vˇsech funkc´ı byla testována pomoc´ı programu GNU Profiler. Ten umoˇzn ˇuje sb´ırat data za bˇehu aplikace. Po jej´ım ukonˇcen´ı je vypsán seznam volan´ ych funkc´ı a kolik procent ˇcasu aplikace zab´ıraly.

5.1.1

Pˇ r´ıstup k prvk˚ um pole

Metoda, která se ˇcasto pouˇz´ıvá pro zrychlen´ı pˇr´ıstupu k prvk˚ um pole, je pouˇzit´ı ukazatelové aritmetiky. Ukazatel na prvek se postupnˇe inkrementuje, aˇz je zpracováno celé pole. Tento zp˚ usob pˇr´ıstupu je ale velice nepˇrehledn´ y a ze zdrojového kódu nen´ı u ´plnˇe zˇrejmé, co program vykonává. Oproti tomu indexov´ y pˇr´ıstup je mnohem pˇrehlednˇejˇs´ı, ale v nˇekter´ ych pˇr´ıpadech je povaˇzován za pomalejˇs´ı. Vyzkouˇsel jsem obˇe metody v jednoduchém pˇr´ıkladu. Pˇr´ıklad je koncipován tak, aby chytré vyhodnocen´ı kompilátoru nesmazalo tˇelo funkce z d˚ uvodu nepouˇzit´ı v´ ysledku v´ ypoˇctu. Z tohoto d˚ uvodu je vracen prvn´ı prvek pole. Pro vytváˇren´ı binárn´ıch aplikac´ı vyuˇz´ıvám GNU C Compiler. Jeden z jeho parametr˚ u je poˇzadovaná optimalizace kódu. Optimalizace -O0 je zakázán´ı vˇsech optimalizac´ı, -O1 jsou vˇsechny optimalizace, které nezp˚ usob´ı zneˇcitelnˇen´ı

54

1 2 3 4 5 6 7

i n t v y p o c e t I n d e x ( char a ) { char p o l e [ 6 4 ] ; f o r ( i n t i =0; i <64; i ++) { pole [ i ] = a ; } return p o l e [ 0 ] ; }

Listing 5.1: K´ od s pouˇzit´ım indexov´ an´ı 1 2 3 4 5 6 7 8

i n t v y p o c e t P o i n t e r ( char a ) { char p o l e [ 6 4 ] ; char ∗ pend = p o l e + 6 4 ; f o r ( char ∗ p i = p o l e ; pi
Listing 5.2: K´ od s pouˇzit´ım ukazatelové aritmetiky

v´ ysledného assembleru pˇri ladˇen´ı, -O2 jsou pokroˇcilejˇs´ı optimalizace, které ˇcasto zmˇen´ı poˇrad´ı instrukc´ı pro zv´ yˇsen´ı rychlosti, -Os je stejná jako -O2 a nav´ıc pˇridává optimalizace kódu, která nezvyˇsuj´ı velikost v´ ysledné aplikace, -O3 optimalizuje pomoc´ı rozbalen´ı cykl˚ u, pˇredpoˇc´ıtán´ım hodnot, inline vkládán´ı funkc´ı, které nebyly takto oznaˇceny, apod. Optimalizace -O3 nejv´ıce zvˇetˇsuje binárn´ı aplikace, ale v´ ysledné v´ ypoˇcty by mˇely b´ yt nejrychlejˇs´ı. Pro vytváˇren´ı aplikac´ı pouˇz´ıvám optimalizaci -Os, která se nejv´ıce hod´ı pro vestavná zaˇr´ızen´ı. V´ ysledek kompilace obou pˇr´ıklad˚ u vyˇsel rozd´ılnˇe pouze s optimalizac´ı -O0 a -O1. V tˇechto pˇr´ıpadech dokonce vycházel pˇr´ıstup pomoc´ı ukazatelové aritmetiky pomalejˇs´ı, protoˇze kompilátor provádˇel vˇetˇs´ı poˇcet instrukc´ı pro pˇr´ıpravu FOR cyklu. Pˇri zapnut´ı optimalizac´ı -O2 vyˇsel v´ ysledn´ y kód stejnˇe. Zde je ukázka v´ ysledného assembleru s popisem v jazyce C. Z ukázky je vidˇet, ˇze byl kód pˇreloˇzen jako pˇr´ıstup pomoc´ı index˚ u i pro zdrojov´ y kód pouˇz´ıvaj´ıc´ı ukazatelovou aritmetiku. Z toho vypl´ yvá, ˇze pro jednoduch´ y pˇr´ıstup k prvk˚ um pole nen´ı ukazatelová aritmetika vhodná, protoˇze je nepˇrehledná a nav´ıc je pˇrekládána stejnˇe jako pˇr´ıstup pomoc´ı index˚ u. Zrychlen´ı v´ ypoˇctu je moˇzné s pouˇzit´ım rozbalen´ı tˇela cyklu. Tˇelo cyklu je t´ımto zopakováno nˇekolikrát za sebou a promˇenná cyklu je inkrementována o v´ıce neˇz 1. Zdrojov´ y kód, kter´ y vyuˇz´ıvá této techniky pro zrychlen´ı pˇredchoz´ıch pˇr´ıklad˚ u, vypadá následovnˇe. Tento kód je s pouˇzit´ım optimalizace -Os pˇreloˇzen jako 55

1 2 3 4 5 6 7 8 9 10 11 12

i n t v y p o c e t ( char r 0 ) { a l l o c ( pole , 64) ; i n t r 3 =0; char ∗ r 2 = p o l e ; for { r 2 [ r 3 ]= r 0 ; r 3 ++; r3 <64; } return p o l e [ 0 ] ; f r e e ( pole ) ; }

// // //

<000>: <004>: <008>:

sub mov mov

sp , sp , #64 r3 , #0 r2 , sp

// // // // // // //

<012>: <016>: <020>: <024>: <028>: <032>: <036>:

strb add cmp bne ldrb add bx

r0 , [ r2 , r3 ] r3 , r3 , #1 r3 , #64 <012> r0 , [ sp ] sp , sp , #64 lr

Listing 5.3: Vytvoˇren´ y strojov´ y k´ od pro indexov´ an´ı i ukazatelovou aritmetiku

1 2 3 4 5 6 7 8 9 10

i n t v y p o c e t R o z b a l e n i ( char a ) { char p o l e [ 6 4 ] ; f o r ( i n t i =0; i <64; i +=4) { p o l e [ i +0]=a ; p o l e [ i +1]=a ; p o l e [ i +2]=a ; p o l e [ i +3]=a ; } return p o l e [ 0 ] ; }

Listing 5.4: K´ od s pouˇzit´ım indexov´ an´ı a rozbalen´ım cyklu

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

i n t v y p o c e t ( char r 0 ) { a l l o c ( pole , 64) ; char ∗ r 3 = p o l e ; for { r3 [0]= r0 ; r3 [1]= r0 ; r3 [2]= r0 ; r3 [3]= r0 ; r2 = pole + 64; r 3 +=4; r3
// //

<000>: <004>:

sub mov

sp , sp , #64 r3 , sp

// // // // // // // // // // //

<008>: <012>: <016>: <020>: <024>: <028>: <032>: <036>: <040>: <044>: <048>:

strb strb strb strb add add cmp bne ldrb add bx

r0 , [ r3 ] r0 , [ r3 , #1] r0 , [ r3 , #2] r0 , [ r3 , #3] r2 , sp , #64 r3 , r3 , #4 r3 , r2 <008> r0 , [ sp ] sp , sp , #64 lr

Listing 5.5: V´ ysledn´ y strojov´ y k´ od pˇri rozbalen´ı cyklu

56

Z v´ ysledku je zˇrejmé, ˇze byl cel´ y pˇr´ıstup pˇreloˇzen automaticky jako pˇr´ıstup pomoc´ı ukazatelové aritmetiky. Na ˇra´dku <024> je ale vidˇet, ˇze pˇreklad bez explicitn´ıho pouˇzit´ı ukazatelové aritmetiky nen´ı optimáln´ı. V kaˇzdém cyklu je totiˇz znovu poˇc´ıtána koncová mez, která je ale stále stejná. V´ ysledek registru r2 by bylo vhodnˇejˇs´ı pˇresunout pˇred cel´ y cyklus. Upravil jsem tento kód pro pouˇzit´ı ukazatelové aritmetiky, která dále zrychluje vykonáván´ı cyklu. 1 2 3 4 5 6 7 8 9 10 11

i n t v y p o c e t R o z b a l e n i P o i n t e r ( char a ) { char p o l e [ 6 4 ] ; char ∗ pend = p o l e + 6 4 ; f o r ( char ∗ p i = p o l e ; pi
Listing 5.6: K´ od s pouˇzit´ım ukazatelové aritmetiky a s rozbalen´ım cyklu

Tato funkce je skuteˇcnˇe pˇreloˇzena podle pˇredpoklad˚ u. optimalizace A -O0 13 -O1 4 -Os 4

B 10 4 4

C D 9,25 5,5 2 1,75 2 1,75

Tabulka 5.1: Porovn´ an´ı poˇctu instrukc´ı pro naplnˇen´ı jednoho prvku pole v z´ avislosti na optimalizaci k´ odu. A) pomoc´ı indexov´ an´ı B) pomoc´ı ukazatelové aritmetiky C) pomoc´ı indexov´ an´ı pˇri pouˇzit´ı ˇctyˇr pˇriˇrazen´ı v jednom cyklu D) pomoc´ı ukazatelové aritmetiky a ˇctyˇr pˇriˇrazen´ı v jednom cyklu

ˇ ım v´ıce operac´ı se provede v jednom cyklu, t´ım ménˇe bude potˇreba pr˚ C´ uchod˚ u t´ımto cyklem a t´ım menˇs´ı bude reˇzie na pˇriˇc´ıtán´ı indexovac´ı promˇenné. Jiˇz pˇri ˇctyˇrnásobném zkop´ırován´ı ˇra´dku s pˇriˇrazen´ım do tˇela cyklu lze dosáhnout v´ıce neˇz dvojnásobného zv´ yˇsen´ı rychlosti naplnˇen´ı pole. V této situaci se také vyplat´ı pouˇz´ıvat ukazatelovou aritmetiku, d´ıky které lze uˇsetˇrit nˇekteré v´ ypoˇcty. Samotná optimalizace kódu má také velk´ y vliv. Zapnut´ı prvn´ı u ´rovnˇe optimalizace zjednoduˇsilo cyklus natolik, ˇze ve vˇsech funkc´ıch doˇslo k v´ıce neˇz trojnásobnému zv´ yˇsen´ı rychlosti. Pˇri pouˇzit´ı techniky rozbalen´ı cyklu a pˇri správném pouˇzit´ı ukazatelové aritmetiky doˇslo oproti prvn´ımu naivn´ımu pˇr´ıstupu ke zrychlen´ı v´ıce neˇz sedminásobnému. Pˇri zapnut´ı optimalizace -Os 57

! " # %&$$

$$ %&'#

Obr´ azek 5.1: Poˇcet instrukc´ı potˇrebn´ ych pro naplnˇen´ı jednoho prvku pole v z´ avislosti na rozbalen´ı cyklu.

doˇslo pouze ke zjednoduˇsen´ı tˇel funkc´ı. T´ım se zmenˇsil celkov´ y poˇcet instrukc´ı ve funkci, ale rychlost v´ ypoˇctu cyklu se nezmˇenila. Nev´ yhoda této techniky optimalizace pro rychlost spoˇc´ıvá v pˇredpokladu, ˇze poˇcet prvk˚ u je dˇeliteln´ y poˇctem pˇr´ıkaz˚ u v jednom cyklu (v tomto pˇr´ıpade ˇc´ıslem 4). Tento nedostatek lze jednoduˇse ˇreˇsit doplnˇen´ım cyklu, kter´ y projde zbytek pole po jednom prvku. Tyto techniky zrychlen´ı jsou bˇeˇznˇe pouˇz´ıvány v knihovnách jako je glibc a OpenCV.

5.1.2

Rychl´ y v´ ypoˇ cet odmocniny

Pˇri detekci pohybu je vyhodnocována smˇerodatná odchylka. Pro v´ ypoˇcet je potˇreba rychlou implementaci odmocniny. Zvolen´ y zp˚ usob vyuˇz´ıvá Newtonovu metodu. Pro v´ ypoˇcet odmocniny v rozsahu od 0 do 65535 plnˇe dostaˇcuje. Funkce nav´ıc nemus´ı b´ yt pˇr´ıliˇs pˇresná. D˚ uraz je kladen hlavnˇe na rychlost. Newtonova metoda je numerická metoda pro nalezen´ı koˇren˚ u funkce. Pro v´ ypoˇcet odmocniny ˇc´ısla b se metoda snaˇz´ı minimalizovat funkci f (x) = x2 − b

(5.1)

f (x) = 2x

(5.2)

pomoc´ı jej´ı derivace

58

V´ ypoˇcet hodnoty x spoˇc´ıvá v opakován´ı v´ ypoˇctu xn+1 = xn −

xn + f (xn ) = f (xn ) 2

b xn

(5.3)

Tento krok se opakuje do doby, neˇz je dosaˇzeno rozd´ılu |xn+1 − xn | < . Pro v´ ypoˇcet odmocniny v rozsahu 16bit ˇc´ısla staˇc´ı zhruba tˇri aˇz ˇctyˇri iterace. Pro takto mal´ y poˇcet iterac´ı závis´ı pˇresnost v´ ypoˇctu na zvolené poˇca´teˇcn´ı hodnotˇe x0 , kterou jsem numericky stanovil na x0 = 68 pro tˇri iterace a na x0 = 46 pro ˇctyˇri iterace. S tˇemito poˇca´teˇcn´ımi hodnotami vzniká nejmenˇs´ı chyba v celém rozsahu. Cel´ y v´ ypoˇcet odmocniny byl ale stále pˇr´ıliˇs nároˇcn´ y, takˇze jsem zvolil pro v´ ypoˇcet odmocniny v rozsahu 0 aˇz 255 pˇredpoˇc´ıtanou tabulku. Z testován´ı nároˇcnosti totiˇz vyplynulo, ˇze vˇetˇsina v´ ypoˇct˚ u odmocniny prob´ıhá právˇe v tomto intervalu. V´ ypoˇcet odmocniny je v tabulce u ´myslnˇe vypoˇc´ıtán s chybou. Odmocnina se v této u ´loze nepouˇz´ıvá na jiné u ´ˇcely neˇz na v´ ypoˇcet smˇerodatné odchylky. K té by bylo nutné pˇriˇc´ıtat pro pˇr´ıliˇs malé hodnoty malé ˇc´ıslo, aby se eliminoval vliv ˇsumu v obraze. Toto malé ˇc´ıslo je tedy jiˇz souˇca´st´ı pˇredpoˇc´ıtané tabulky.

5.1.3

Dˇ elen´ı cel´ ych ˇ c´ısel

Dˇelen´ı cel´ ych ˇc´ısel je v jazyce C implementováno jako volán´ı funkce. Je proto pomalejˇs´ı, neˇz by se dalo oˇcekávat. Jedinou v´ yjimkou je dˇelen´ı ˇc´ısly, která jsou mocninou ˇc´ısla 2, nebo jsou této mocninˇe bl´ızko. Pokud je ve zdrojovém kódu dˇelen´ı takovou konstantou, je automaticky pˇrevedeno na operace posunu. Napˇr´ıklad pro pˇredchoz´ı popis v´ ypoˇctu odmocniny je pouˇzito dˇelen´ı dvˇema, které je kompilátorem automaticky pˇreloˇzeno jako posun vpravo o jeden bit. Z pˇredpokladu, ˇze dˇelen´ı a násoben´ı konstantou, která je bl´ızká mocninˇe dvou, je rychlé, vycház´ı i zp˚ usob v´ ypoˇct˚ u v pevné ˇrádové ˇca´rce. Pro v´ ypoˇcty byl zvolen základ 0x100, kter´ y odpov´ıdá ˇc´ıslu 1,0. Vˇsechny operace sˇc´ıtán´ı, násoben´ı a dˇelen´ı jsou následnˇe vˇzdy pˇred v´ ypoˇctem a po v´ ypoˇctu upraveny touto konstantou.

59

5.2

Poˇ zadavky na prostˇ red´ı pro detekci pohybu

Jedn´ım z c´ıl˚ u práce bylo vytvoˇren´ı detektoru pohybu v obraze, kter´ y bude v´ ypoˇcetnˇe nenároˇcn´ y a zároveˇ n robustn´ı. Nejjednoduˇsˇs´ı techniky vyuˇz´ıvaj´ı model pozad´ı, kter´ y je vypoˇc´ıtáván pro kaˇzd´ y obrazov´ y bod zvláˇst’ bez znalosti hodnot ostatn´ıch okoln´ıch bod˚ u. Pro takov´ yto zp˚ usob detekce je zapotˇreb´ı velk´ y odstup jasu popˇred´ı a pozad´ı (ˇra´dovˇe des´ıtky ze stupnice 0 aˇz 255). K zaruˇcen´ı správné detekce pohybuj´ıc´ıho se pˇredmˇetu je proto vhodné vyuˇz´ıvat kontrastn´ı pozad´ı s obsahem svˇetl´ ych i tmav´ ych tón˚ u. Pˇredpokladem pro správnou ˇcinnost detekce je i n´ızká rychlost zmˇen pozad´ı. ˇ Casové konstanty zmˇen delˇs´ı neˇz ˇcasová konstanta detektoru nezp˚ usob´ı poplach. Pomalé zmˇeny jsou adaptovány do modelu pozad´ı. V tomto ohledu tvoˇr´ı nejvˇetˇs´ı problém rychle se pohybuj´ıc´ı svˇetelné zdroje. Pˇr´ıklad pro problematickou detekci je napˇr´ıklad pokoj s oknem smˇeˇruj´ıc´ım do silnice. V noci tvoˇr´ı svˇetla proj´ıˇzdˇej´ıc´ıch automobil˚ u ostré zmˇeny osvˇetlen´ı lokáln´ıho charakteru, které lze jen tˇeˇzko odhalit a odstranit. Zmˇeny osvˇetlen´ı jsou ve velkém rozsahu, takˇze mohou zp˚ usobit faleˇsn´ y poplach. Existuje moˇznost kompenzace osvˇetlen´ı s pomoc´ı barevn´ ych kanál˚ u. Tuto kompenzaci nelze ve tmˇe vyuˇz´ıt, protoˇze se informace o barvách ztrác´ı. Sn´ımaˇc kamery dosahuje malého dynamického rozsahu. Pokud je tedy sn´ımána scéna, ve které se vyskytuj´ı zdroje svˇetla a velice tmavé ˇcast´ı, dostanou se pˇr´ımo osvˇetlená m´ısta do saturace. V neosvˇetlen´ ych m´ıstech nen´ı moˇzné provést správnou detekci pohybu, protoˇze pohybuj´ıc´ı se pˇredmˇety jsou pod prahem ˇsumu. Detekce pohybu v noˇcn´ıch scénách klade vˇetˇs´ı nároky na odstranˇen´ı ˇsumu ˇ z namˇeˇren´ ych obrázk˚ u. Sum lze ˇca´steˇcnˇe odstranit rozmazán´ım a následnou decimac´ı obrázku. Noˇcn´ı scény jsou nejˇcastˇeji pˇrisvˇetleny infraˇcerven´ ymi diodami okolo objektivu. Pˇri pˇrisvˇetlován´ı infraˇcerven´ ym svˇetlem se jeˇstˇe dále ztrác´ı barevná informace z obrazu.

5.3

Pouˇ zit´ a metoda pro detekci pohybu

Cel´ y postup detekce pohybu v obraze je rozdˇelen do nˇekolika fáz´ı. V prvn´ı fázi jsem provádˇel experimenty se stabilizac´ı obrazu, ty ale nejsou ve v´ ysledném programu pouˇzity. Ve druhé fázi je zjiˇstˇena celková zmˇena jasu obrazu. Z této zmˇeny 60

ˇ ım vˇetˇs´ı celková je vypoˇcten koeficient rychlosti adaptace modelu na pozad´ı. C´ zmˇena, t´ım rychlejˇs´ı adaptace. Model pozad´ı je vytvoˇren pomoc´ı aproximace mediánu. Práh pro zjiˇstˇen´ı objekt˚ u na popˇred´ı je urˇcován pomoc´ı aproximace smˇerodatné odchylky. V´ ysledkem této ˇca´sti je naprahovan´ y obrázek, kter´ y obsahuje ˇcerné body, znaˇc´ıc´ı pozad´ı a b´ılé body, znaˇc´ıc´ı pohybuj´ıc´ı se objekty.

! "!

#!! ""$!

# % "

"

&'( ""

Obr´ azek 5.2: Postup detekce pohybu v obraze

ˇ Cernob´ ıl´ y obrázek je rozdˇelen na souvislé komponenty. Komponenty jsou dále filtrovány a bl´ızké komponenty jsou slouˇceny. Podle vˇsech namˇeˇren´ ych faktor˚ u je stanoveno, jestli se jedná o poplach. Mˇeˇrené faktory jsou globáln´ı zmˇena jasu, poˇcet komponent, velikost komponent a stav v pˇredchoz´ım obrázku. Poplach je vyvolán pouze za pˇredpokladu, ˇze je potvrzen v´ıce sn´ımky v podobném rozsahu.

61

5.3.1

Zmenˇ sen´ı nasn´ıman´ eho obrazu pro potˇ reby detekce

Zmenˇsen´ı obrazu jsem provádˇel dvˇema zp˚ usoby. Oba zp˚ usoby jsou v knihovnˇe OpenCV implementovány. Prvn´ı zp˚ usob vyuˇz´ıvá klasické interpolace. Pro zmenˇsen´ı je pouˇzita jedna z metod od nejbliˇzˇs´ıho souseda po kubickou interpolaci. Tyto metody interpolace nezmenˇsuj´ı m´ıru ˇsumu v obraze. Pro detekci pohybuj´ıc´ıch se objekt˚ u jsou proto ménˇe vhodné protoˇze zp˚ usobuj´ı v dalˇs´ıch kroc´ıch faleˇsné detekce. Tato metoda zmˇeny velikosti obrázku je implementována ve funkci cvResize. Druhá metoda, která se pro následné zpracován´ı jev´ı jako v´ yhodnˇejˇs´ı vyuˇz´ıvá techniky gaussovsk´ ych pyramid [2]. Tato funkce je implementována v knihovnˇe OpenCV pod názvem cvPyrDown. Funkce zmenˇs´ı obrázek na polovinu t´ım zp˚ usobem, ˇze jej nejprve rozmaˇze pomoc´ı gausiánu a poté vypust´ı kaˇzd´ y druh´ y ˇra´dek a sloupec.

5.3.2

Stabilizace obrazu kamery

Stabilizace obrazu slouˇz´ı ke kompenzaci vibrac´ı kamery. Pˇredpoklad pro správnou funkˇcnost je pevnˇe ukotvená kamera, která má stálou polohu, kolem které kmitá. Algoritmus nem˚ uˇze kompenzovat pohyb kamery, která se pohybuje ve vˇetˇs´ı m´ıˇre. Detekce pohybu kamery je provádˇena porovnáván´ım aktuáln´ıho sn´ımku s modelem pozad´ı. Oba sn´ımky jsou rozdˇeleny na stejnˇe velké obdéln´ıky. Pro kaˇzd´ y obdéln´ık z aktuáln´ıho obrázku je vyhledán nejlépe odpov´ıdaj´ıc´ı obdéln´ık z modelu pozad´ı. Zaˇca´tek vyhledáván´ı je na p˚ uvodn´ıch souˇradnic´ıch obdéln´ıku v aktuáln´ım sn´ımku. Pro kaˇzd´ y obdéln´ık je uloˇzen lokáln´ı vektor jeho posunut´ı. Tyto vektory jsou seˇrazeny a je vybrán nejˇcetnˇejˇs´ı z nich. V´ ysledn´ y vektor pohybu je pouˇzit pro pˇrepoˇc´ıtán´ı aktuáln´ıho sn´ımku. Aktuáln´ı sn´ımek je sloˇzen z modelu pozad´ı a z posunutého aktuáln´ıho sn´ımku. Pˇrepoˇc´ıtán´ı aktuáln´ıho sn´ımku spoˇc´ıvá v mozaikovém sloˇzen´ı celkového obrázku. Na m´ıstech, kde informace chyb´ı je doplnˇena hodnota jasu z modelu pozad´ı. Pokud je v obraze v´ yrazn´ y pohyb jedn´ım smˇerem, kter´ y zakr´ yvá v´ıce neˇz polovinu plochy obrazu, zp˚ usob´ı faleˇsnou detekci pohybu kamery. Detekce globáln´ıho pohybu kamery m˚ uˇze b´ yt z u ´sporn´ ych d˚ uvod˚ u vyˇrazena. Pokud nedocház´ı k otˇres˚ um kamery, provád´ı zbyteˇcné v´ ypoˇcty. Pˇri menˇs´ıch po-

62

Obr´ azek 5.3: Sloˇzen´ı stabilizovaného obrazu A) aktu´ aln´ı sn´ımek P) model pozad´ı, vyˇsrafovan´ a ˇcást je v´ ysledn´ y sloˇzen´ y sn´ımek.

hybech, které se projev´ı posunut´ım o jeden obrazov´ y bod, nen´ı tˇreba kompenzaci provádˇet, protoˇze po zmenˇsen´ı obrazu na polovinu nebo na ˇctvrtinu se rozd´ıly ztrat´ı. Pˇri realizaci stabilizace obrazu docházelo ˇcasto k faleˇsn´ ym detekc´ım pohybu a nebo ke ˇspatné detekci skuteˇcného pohybu. Z tohoto d˚ uvodu nen´ı tento modul pouˇz´ıván, zbyteˇcnˇe zp˚ usobuje stav bl´ızk´ y vyhláˇsen´ı poplachu.

5.3.3

Celkov´ a zmˇ ena jasu v obraze

Obr´ azek 5.4: Mˇeˇr´ıc´ı body zmˇeny jasu v obraze

Celková zmˇena jasu je mˇeˇrena jen ve vybran´ ych bodech v obraze. Zmˇena je mˇeˇrena oproti modelu pozad´ı. Vzhledem ke kmitán´ı hodnoty modelu obrazu je 63

brána globáln´ı zmˇena jasu vˇetˇs´ı neˇz dvˇe u ´rovnˇe jasu. Ve vˇsech mˇeˇren´ ych bodech je spoˇc´ıtána zmˇena jasu se zachován´ım znaménka. Z v´ ysledn´ ych hodnot je vybrán medián, kter´ y reprezentuje hodnotu jasu nejlépe a nen´ı vych´ ylen ojedinˇel´ ymi ˇspiˇckami.

5.3.4

Modelov´ an´ı odhadu pozad´ı sc´ eny

Metodu pro modelován´ı pozad´ı jsem vyb´ıral s ohledem na jednoduchost implementace a na schopnosti oddˇelen´ı modelu pozad´ı. Nejlépe vˇsem poˇzadavk˚ um vyhovovala metoda aproximace klouzavého mediánu. U nˇekter´ ych model˚ u pozad´ı bylo vhodné mˇenit rychlost adaptace obrazového bodu v závislosti na tom, jestli je v masce pohybu nebo ne. U aproximace mediánu je tato zmˇena provádˇena automaticky jiˇz z principu zpracován´ı. D´ıky konstantn´ımu kroku, se kter´ ym se m˚ uˇze hodnota pozad´ı sniˇzovat nebo zvyˇsovat, je zajiˇstˇena poˇzadovaná sn´ıˇzená citlivost na pˇr´ıliˇs velké zmˇeny jasu. !#

#%&'%

$

Obr´ azek 5.5: Rychlost adaptace na celkovou zmˇenu jasu

Za normáln´ıch okolnost´ı je volen krok jako jedna u ´roveˇ n jasu. Pokud docház´ı ke globáln´ı zmˇenˇe jasu, je tato zmˇena detekována a v závislosti na n´ı je zvˇetˇsen krok. T´ım docház´ı k rychlejˇs´ı adaptaci na prudké zmˇeny celkového jasu. Pˇri kroku 1 by adaptace z ˇcerného obrazového bodu na b´ıl´ y trvala zhruba 256 sn´ımk˚ u (kv˚ uli 256 odst´ın˚ um ˇsedé). Pokud je krok ovlivnˇen globáln´ı zmˇenou jasu, m˚ uˇze prudká zmˇena celého obrazu z ˇcerného na b´ıl´ y trvat zhruba 9 sn´ımk˚ u.

64

"#"

#%&'(%"

$"

Obr´ azek 5.6: Rychlost adaptace na lok´ aln´ı zmˇenu jasu

5.3.5

Detekce objekt˚ u na popˇ red´ı

Detekce objekt˚ u je provádˇena pomoc´ı prahován´ı rozd´ılového sn´ımku, kter´ y vznikne odeˇcten´ım aktuáln´ıho sn´ımku a modelu pozad´ı. Práh jednotliv´ ych obrazov´ ych bod˚ u nen´ı stanoven pevnˇe, ale je pro kaˇzd´ y bod samostatnˇe poˇc´ıtán. V´ ypoˇcet prob´ıhá pomoc´ı rekurzivn´ıho odhadu smˇerodatné odchylky. Smˇerodatná odchylka je poˇc´ıtána jako exponenciáln´ı vyhlazen´ı hodnot druhé mocniny rozd´ılu sn´ımk˚ u. Smˇerodatná odchylka je uchovávána ve své druhé mocninˇe, protoˇze je to vhodnˇejˇs´ı pro z´ıskán´ı vˇetˇs´ı pˇresnosti pˇri aktualizaci nov´ ym sn´ımkem a nav´ıc je uˇsetˇreno nˇekolik v´ ypoˇct˚ u druhé mocniny. s = s · (1 − α) + (b − x)2 · α

(5.4)

kde s je druhá mocnina odhadnuté smˇerodatné odchylky pro aktuáln´ı obrazov´ y bod, b je hodnota jasu obrazového bodu modelu pozad´ı, x je hodnota jasu obrazového bodu aktuáln´ıho sn´ımku a α je koeficient, kter´ y ˇr´ıd´ı rychlost aktualizace smˇerodatné odchylky. Hodnota smˇerodatné odchylky je pouˇzita k prahován´ı rozd´ılového sn´ımku. Pokud je splnˇena podm´ınka |b − k| > k ·

√

s

(5.5)

kde k je konstanta, je bod detekován jako popˇred´ı. Hodnotu konstanty k jsem urˇcil na velikost 2. Podle vlastnost´ı normáln´ıho rozdˇelen´ı a smˇerodatné odchylky by do takového intervalu mˇelo spadat 68% vˇsech namˇeˇren´ ych hodnot. 65

Tato hodnota je dostateˇcná a osamocené body, které jsou faleˇsnˇe detekovány jsou v následuj´ıc´ıch kroc´ıch filtrovány.

5.3.6

Zpracov´ an´ı detekovan´ ych bod˚ u popˇ red´ı

Cel´ y obrázek je pˇredán algoritmu pro hledán´ı souvisl´ ych komponent. Tento algoritmus nalezne vˇsechny souvislé celky a oznaˇckuje je. Mnoˇzinu vˇsech souvisl´ ych celk˚ u dále zpracovávám. Na mnoˇzinu je aplikován filtr, kter´ y odstran´ı pˇr´ıliˇs malé objekty s obsahem menˇs´ım neˇz napˇr. 3px. Pouˇzit´ y algoritmus pro hledán´ı souvisl´ ych komponent je popsán v [8]. Popisovan´ y algoritmus pouˇz´ıvá techniky sledován´ı kontur. Algoritmus procház´ı obrázek postupnˇe po ˇra´dc´ıch. Pokud je nalezena kontura, procház´ı algoritmus celou konturu neˇz nalezne bod, ze kterého vyˇsel. Nalezená kontura je oznaˇcena. Algoritmus pokraˇcuje v procházen´ı ˇrádku a oznaˇc´ı vˇsechny body v tomto ˇra´dku, které jsou uvnitˇr kontury. Jakmile algoritmus dojde na konec posledn´ıho ˇrádku, jsou oznaˇceny vˇsechny komponenty. Algoritmus pracuje v lineárn´ım ˇcase a kromˇe bod˚ u kontury projde kaˇzd´ y obrazov´ y bod pouze jednou. V´ ysledné pojmenované komponenty jsou dále pˇredány filtru, kter´ y odebere komponenty menˇs´ı neˇz definovaná mez. Dalˇs´ı filtr komponent procház´ı postupnˇe vˇsechny komponenty, vypoˇc´ıtává polohu a velikost obdéln´ıku, kter´ y cel´ y obklop´ı danou komponentu. Vˇsechny takto vytvoˇrené obdéln´ıky jsou porovnány a ty, které se vzájemnˇe pˇrekr´ yvaj´ı, nebo jsou od sebe vzdáleny ménˇe neˇz daná mez, jsou slouˇceny do jedné komponenty.

5.3.7

Zpracov´ an´ı detekovan´ ych souvisl´ ych komponent

V´ ysledné komponenty jsou pˇredány jednoduchému rozhodovac´ımu algoritmu. Pokud je komponent velk´ y poˇcet, znaˇc´ı to zmˇenu jasu obrazu. V takovém pˇr´ıpadˇe nen´ı vyvolán poplach. Pokud je komponent ménˇe a jejich velikost je vˇetˇs´ı neˇz zadan´ y práh je uloˇzen stav pˇred poplachem. Pokud je v následuj´ıc´ım sn´ımku nalezen podobn´ y poˇcet podobnˇe velk´ ych komponent, je vyhláˇsen poplach. Poˇcet sn´ımk˚ u, které se pod´ılej´ı na vyhláˇsen´ı poplachu m˚ uˇze b´ yt r˚ uzn´ y. Obrana proti faleˇsn´ ym poplach˚ um od zv´ıˇrat m˚ uˇze b´ yt zajiˇstˇena potlaˇcen´ım detekce objekt˚ u, které jsou delˇs´ı neˇz vyˇsˇs´ı. Detekce pohybu oˇcekává sp´ıˇse lidské

66

Obr´ azek 5.7: Porovn´ an´ı rozmˇer˚ u ˇclovˇeka a zv´ıˇrete

postavy, které jsou sp´ıˇse vyˇsˇs´ı neˇz ˇsirˇs´ı. [10] Hodnota pomˇeru stran zjiˇstˇené komponenty tedy m˚ uˇze b´ yt jako jeden ze vstup˚ u do rozhodovac´ıho algoritmu.

5.3.8

Namˇ eˇ ren´ e v´ ysledky v r˚ uzn´ ych prostˇ red´ıch

V´ ysledn´ y algoritmus jsem vyzkouˇsel na nˇekolika sekvenc´ıch z reálného prostˇred´ı. Prvn´ı sekvence sleduje vzdálenou cestu. Pohybuj´ıc´ı se objekty jsou vysoké jen nˇekolik obrazov´ ych bod˚ u. Sn´ımaná oblast je dobˇre osvˇetlena, takˇze obsahuje minimáln´ı mnoˇzstv´ı ˇsumu. V obraze jsou ale stromy, které se za silného vˇetru pohybuj´ı a zp˚ usobuj´ı faleˇsné detekce. Druhá sekvence sleduje venkovn´ı scénu mezi budovami. Detekované objekty v podobˇe lid´ı a aut jsou také o rozmˇerech jen nˇekolik obrazov´ ych bod˚ u. Pˇri sn´ımán´ı sekvence docházelo k velk´ ym zmˇenám osvˇetlen´ı scény. Tyto zmˇeny zp˚ usobovaly mraky a prudké slunce. Nev´ yhoda pohybuj´ıc´ıch se mrak˚ u byla nerovnomˇerná zmˇena jasu celé scény a z tohoto d˚ uvodu ˇcásteˇcnˇe selhával algoritmus na detekci globáln´ı zmˇeny jasu v obraze. Tˇret´ı sekvence sleduje vnitˇrn´ı prostor pokoje. Detekovaná osoba zab´ırá velkou ˇca´st zorného pole kamery. Nav´ıc byla pouˇzita jiná metoda zmenˇsen´ı obrázku a t´ım vzniklo velké mnoˇzstv´ı ˇsumu.

5.4 5.4.1

Detekce pohybu pomoc´ı senzoru PIR Pasivn´ı infraˇ cerven´ y senzor

Pasivn´ı infraˇcerven´ y senzor (dále jen PIR) je elektronická souˇca´stka, která mˇeˇr´ı infraˇcervené záˇren´ı z objekt˚ u v zorném poli. Senzor je vyroben z pyroelektrického materiálu, kter´ y je citliv´ y na infraˇcervené záˇren´ı. Pro u ´ˇcely detekce pohybu je na 67

Maska popˇ red´ı

Detekovan´ e objekty

Sn´ımek ˇ c.: 861 Objekty v z´ abˇ eru: ˇclovˇek se psem, pohybuj´ıc´ı se stromy

Sn´ımek ˇ c.: 1020 Objekty v z´ abˇ eru: dva psi, pohyb strom˚ u nedetekován

Sn´ımek ˇ c.: 1083 Objekty v z´ abˇ eru: dva lidé a pes, jeden pes nedetekován Tabulka 5.2: Video sekvence: venkovn´ı cesta Pohybuj´ıc´ı se objekty: lidé a zv´ıˇrata Vlivy: list´ı strom˚ u pohybuj´ıc´ı se ve vˇetru

68

Maska popˇ red´ı


Sn´ımek ˇ c.: 220 Objekty v z´ abˇ eru: ˇclovˇek a automobil

Sn´ımek ˇ c.: 683 Objekty v z´ abˇ eru: jeden ˇclovˇek

Sn´ımek ˇ c.: 1182 Objekty v z´ abˇ eru: skupinka dvou lid´ı a faleˇsná detekce zmˇeny jasu stˇrechy budovy

Sn´ımek ˇ c.: 1727 Objekty v z´ abˇ eru: faleˇsná detekce zmˇeny jasu budovy pˇri pr˚ uchodu mraku Tabulka 5.3: Video sekvence: cesta mezi budovami Pohybuj´ıc´ı se objekty: lidé a vozidla Vlivy: prudké zmˇeny osvˇetlen´ı

69

Maska popˇ red´ı


Sn´ımek ˇ c.: 1128 Objekty v z´ abˇ eru: ˇclovˇek


Tabulka 5.4: Video sekvence: pr˚ uchod pokojem Pohybuj´ıc´ı se objekty: ˇclovˇek Vlivy: objekt zab´ır´ a velkou ˇcást obrazu

Maska popˇ red´ı



Tabulka 5.5: Video sekvence: pr˚ uchod pokojem Pohybuj´ıc´ı se objekty: ˇclovˇek Vlivy: ˇsum v obraze

70

Maska popˇ red´ı


Sn´ımek ˇ c.: 271 Objekty v z´ abˇ eru: kontrastn´ı objekty, klika, hlava, ruce Tabulka 5.6: Video sekvence: pr˚ uchod tmavou chodbou Pohybuj´ıc´ı se objekty: ˇclovˇek Vlivy: nekontrastn´ı prostˇred´ı – ˇclovˇek v tmavém obleˇcen´ı ve zhasnuté chodbˇe

ˇcipu um´ıstˇeno v´ıce senzor˚ u, které jsou zapojeny do diferenciáln´ıho zesilovaˇce. V takovém zapojen´ı se v´ ystupn´ı signály jednotliv´ ych ˇca´st´ı senzoru odeˇc´ıtaj´ı a je t´ım dosaˇzeno odstranˇen´ı pr˚ umˇerné teploty pozad´ı. Pˇri pohybu chladnˇejˇs´ıho nebo teplejˇs´ıho objektu pˇred senzorem dojde k v´ ykyvu v´ ystupn´ı hodnoty. Pro u ´ˇcely detekce pohybu je samotn´ y senzor spojován s Fresnelovou ˇcoˇckou, která vymezuje zorné pole senzoru a aktivn´ı zóny. Pˇr´ıklad takov´ ych zón je na obrázku 5.8 a 5.9. Pˇri pˇrechodu objektu do aktivn´ı zóny je infraˇcervené záˇren´ı vycházej´ıc´ı z teplejˇs´ıho pˇredmˇetu soustˇredˇeno na ploˇse senzoru.

5.4.2

Typick´ e v´ ystupn´ı pr˚ ubˇ ehy sign´ al˚ u

Signál z ˇcidla je ustálen na nulové hodnotˇe, kolem které kmitá. Pˇri pohybu objektu zónou se objev´ı pulz, kter´ y má zápornou i kladnou polaritu. Pokud je ˇcidlo zahˇr´ıváno nebo ochlazováno, vytvoˇr´ı se pulz pouze jedné polarity.

5.4.3

Zpracov´ an´ı sign´ alu z ˇ cidla

Hodnotu napˇet´ı na v´ ystupu ˇcidla vzorkuji kaˇzd´ ych 100ms. Namˇeˇrená hodnota je zpracována jednoduch´ ym IIR filtrem, kter´ y vytváˇr´ı exponenciáln´ı vyhlazen´ı signálu s dlouhou ˇcasovou konstantou. V´ ystup filtru je odhadnutá nulová hodnota napˇet´ı ˇcidla. Rozd´ıl aktuáln´ı hodnoty a odhadnuté nulové hodnoty je prahován. Pokud jedna p˚ ulvlna pulzu pˇrekroˇc´ı práh, je tento stav zaznamenán. Pokud se do urˇceného ˇcasu objev´ı i p˚ ulvlna s obrácenou polaritou, je vyhláˇsen poplach. Jinak se po urˇcité dobˇe neˇcinnosti vrát´ı systém do stavu pˇred upozornˇen´ım na poplach. 71

10m

5m

88.2o

0

5m

10m

Obr´ azek 5.8: Pˇr´ıklad pohledu zhora na z´ ony vytvoˇrené pomoc´ı fresnelov´ ych ˇcoˇcek [15]

2.1m

1.7m 3.7m

7m

15.6m

18m

Obr´ azek 5.9: Pˇr´ıklad pohledu ze strany na z´ ony vytvoˇrené pomoc´ı fresnelov´ ych ˇcoˇcek [15]

!"#%&!(%)*+,

/- .

-.

Obr´ azek 5.10: Pr˚ ubˇeh sign´ alu pˇri pr˚ uchodu pˇred ˇcidlem

72

5.4.4

Ruˇ siv´ e vlivy senzoru PIR

PIR senzor je citliv´ y na vˇsechny zdroje tepla. Senzor je ovlivˇ nován zmˇenami teplot v kameˇre. Rozsv´ıcen´ı a zhasnut´ı infraˇcerveného reflektoru obsaˇzeného v kameˇre zp˚ usob´ı takové zmˇeny, ˇze senzor PIR zp˚ usob´ı poplach. Za senzorem PIR je pˇripojen citliv´ y zesilovaˇc. V´ ystup senzoru je tedy velice citliv´ y na vysokofrekvenˇcn´ı ruˇsen´ı napˇr´ıklad od GSM antény. V pˇr´ıpadˇe vys´ılán´ı je tedy nutné potlaˇcit poplach zp˚ usoben´ y senzorem. Senzor nedetekuje objekty za sklem. Bˇeˇzné sklo má v oblasti infraˇcerveného svˇetla velk´ y u ´tlum. Senzor jsem um´ıstil na jednu stranu sklenˇené desky do vzdálenosti 5cm od desky. Na druhé stranˇe sklenˇené desky jsem pohyboval objektem s jinou teplotou neˇz pozad´ı (rukou) také ve vzdálenosti zhruba 5cm od sklenˇené desky. Na v´ ystupu senzoru nebyl znateln´ y v´ ykyv. Pˇri odstranˇen´ı sklenˇené desky a opakován´ı pohybu se dostal v´ ystup senzoru okamˇzitˇe do kladné a následnˇe záporné saturace.

5.4.5

Porovn´ an´ı detekce pohybu v obraze se senzorem PIR

Detekce pohybu v interi´ eru Detekce pohybu pomoc´ı senzoru PIR je velmi snadná. Pˇri správné volbˇe Fresnelov´ ych ˇcoˇcek, které ovlivˇ nuj´ı polohy detekˇcn´ıch zón, je detekce v interiéru velmi dobrá. Senzor reaguje na pohyb objekt˚ u bez ohledu na okoln´ı osvˇetlen´ı. V interiéru nen´ı tolik ruˇsiv´ ych vliv˚ u, které by senzor ovlivˇ novaly a vyvolávaly by faleˇsné poplachy. Detekce pohybu v obraze je pomˇernˇe jednoduchá. Pro detekci staˇc´ı jednoduché algoritmy. Podle velikosti sledované m´ıstnosti a podle zvoleného objektivu lze velice snadno nastavit velikost objekt˚ u, které mohou vyvolat poplach. Detekce pohybu v exteri´ eru Detekce pohybu pomoc´ı senzoru PIR je velmi nepˇresná. V exteriéru je tepelné pozad´ı velice nestabiln´ı a v´ ystup senzoru vykazuje neoˇcekávané v´ ykyvy. Ve venkovn´ım prostˇred´ı m˚ uˇze velice snadno doj´ıt k faleˇsn´ ym poplach˚ um. Detekce pohybu v obraze pˇrináˇs´ı v´ yhody oproti senzoru PIR. Pˇri detekci

73

pohybu v obraze je moˇzné zvolit regiony v obraze, které maj´ı b´ yt sledovány. Lze tak jednoduˇse zamezit faleˇsn´ ym poplach˚ um napˇr´ıklad od strom˚ u ve vˇetru, které lze v uˇzivatelském nastaven´ı maskovat. Pokud je potˇreba pouˇz´ıt detekci pohybu pˇred pozad´ım, které se samo pohybuje, je nutné pouˇz´ıt sloˇzitˇejˇs´ı metody, které jsou ale v´ ypoˇcetnˇe nároˇcné a které nejsou pro vestavná zaˇr´ızen´ı vhodné. Mezi takové metody patˇr´ı napˇr´ıklad neparametrick´ y odhad, kter´ y umoˇzn ˇuje vytvoˇren´ı modelu nestacionárn´ıho pozad´ı. Detekce pohybu v noci Detekce pohybu pomoc´ı senzoru PIR je moˇzná. Senzor detekuje infraˇcervené záˇren´ı vycházej´ıc´ı z objekt˚ u. Pro svoji ˇcinnost nepotˇrebuje extern´ı osvˇetlen´ı. Detekce pohybu v obraze je oproti tomu velice problematická. Pokud nen´ı pouˇzito pˇrisvˇetlen´ı, mus´ı b´ yt nastaven velk´ y zisk zesilovaˇce obrazového senzoru a nebo mus´ı b´ yt zvolen delˇs´ı expoziˇcn´ı ˇcas. Pˇri delˇs´ım ˇcase docház´ı k rozmazán´ı scény a pˇri vysokém zes´ılen´ı docház´ı i k velkému zes´ılen´ı ˇsumu, kter´ y m˚ uˇze zp˚ usobovat faleˇsné detekce. Pˇri osvˇetlen´ı vestavˇen´ ym infraˇcerven´ ym osvˇetlovaˇcem naproti tomu docház´ı k faleˇsn´ ym poplach˚ um vlivem prachov´ ych ˇca´stic. Pokud prachová ˇca´stice prolétne tˇesnˇe pˇred objektivem, odraz´ı velké mnoˇzstv´ı dopadaj´ıc´ıho svˇetla z reflektoru a ve sn´ımaném obraze se jev´ı jako velice záˇriv´ y pohybuj´ıc´ı se objekt.

74

Kapitola 6 Uˇ zivatelsk´ e rozhran´ı a vizualizace detekce pohybu 6.1

Poˇ c´ıtaˇ cov´ y program pro demonstraci detekce pohybu v obraze

$&'

! "#

) (

Obr´ azek 6.1: Navrˇzené uˇzivatelské rozhran´ı pro demonstraci detekce pohybu v obraze.

Pro demonstrace detekce pohybu v obraze jsem vytvoˇril jednoduch´ y program. Tento program ukazuje veˇskeré ˇca´sti detekˇcn´ıho procesu. Skládá se z nˇekolika zobrazovac´ıch ˇca´st´ı. Ve stˇredové ˇcásti je um´ıstˇen prvek, na kter´ y je prom´ıtán ˇziv´ y obraz. Do obrazu jsou vykreslovány detekované objekty, které vyvolávaj´ı poplach. 75

Na krajn´ı ˇcásti okna jsou um´ıstˇeny prvky, na které jsou prom´ıtány informace, z nichˇz se pozice pohybuj´ıc´ıch ˇca´st´ı urˇcuje. Prvn´ı je prahovan´ y rozd´ılov´ y sn´ımek. B´ılá m´ısta znaˇc´ı detekovan´ y objekt na popˇred´ı. Druh´ y je vytvoˇren´ y model pozad´ı. Ten obsahuje objekty, které jsou ve scénˇe dlouho na stejném m´ıstˇe. Tˇret´ı je obrázek modelu smˇerodatné odchylky ukazuj´ıc´ı pamˇet’ pohybuj´ıc´ıch se objekt˚ u.

Obr´ azek 6.2: Pohled na kyvadlo, které je detekováno jako velk´ y pohyb.

Obr´ azek 6.3: Pohled na ruku drˇz´ıc´ı tuˇzku. Ruka byla dlouho na stejném m´ıstˇe, proto se prom´ıtla do nauˇceného pozad´ı. Mal´ y pohyb tuˇzky nevyvolal maxim´ aln´ı v´ ychylku ukazatele.

Program vyuˇz´ıvá metody automatické detekce prahu pomoc´ı modelován´ı smˇerodatné odchylky, takˇze nemá ˇza´dné ovládac´ı prvky. Jako zdroj obrazov´ ych dat byla pouˇzita bˇeˇzná webkamera. V´ ysledná informace o poplachu m˚ uˇze b´ yt 76

brána z ukazatele m´ıry pohybu. Tento ukazatel je pˇr´ımo u ´mˇern´ y velikosti nejvˇetˇs´ı souvislé komponenty a je nepˇr´ımo u ´mˇern´ y jej´ımu obvodu. Dále je ukazatel nepˇr´ımo u ´mˇern´ y celkové zmˇenˇe jasu obrázku. Pˇri velkém poˇctu detekovan´ ych souvisl´ ych komponent se v´ ysledná hodnota ukazatele sniˇzuje.

6.2

Demonstrace detekce pohybu pˇ r´ımo v kameˇ re EYE-02

Stejn´ y program, kter´ y byl pouˇzit pro demonstraci detekce na poˇc´ıtaˇci je pouˇzit i v kameˇre. Pouze pˇri pˇrekladu bylo zakázáno grafické uˇzivatelské rozhran´ı. Program vypisuje detekovan´ y pohyb do konzole. Vzhledem k tomu, ˇze zat´ım nen´ı dostupn´ y ovladaˇc obrazového senzoru, je demonstrace provedena pomoc´ı souboru s nahran´ ym videozáznamem. Tento záznam je uloˇzen ve formátu MJPEG, kter´ y je v kameˇre dekódován pomoc´ı knihovny FFMPEG. Pˇri testech v´ ykonnosti byl program schopn´ y takov´ ym zp˚ usobem zpracovat zhruba jeden sn´ımek za vteˇrinu v rozliˇsen´ı 640×480. Testované video bylo uloˇzeno na s´ıt’ovém disku a bylo sd´ıleno pomoc´ı NFS. Na rychlosti zpracován´ı se tedy projevila i omezená rychlost portu USB. Maximáln´ı namˇeˇrená pˇrenosová rychlost portu USB byla v tˇechto testech 840kB/s.

6.3

Ovl´ ad´ an´ı kamery z osobn´ıho poˇ c´ıtaˇ ce

Nejjednoduˇsˇs´ı zp˚ usob ovládán´ı kamery je pˇres webové rozhran´ı. V bal´ıku busybox je obsaˇzen webov´ y server. Tento server obsahuje i podporu pro vykonáván´ı skript˚ u. Vˇsechny skripty jsou um´ıstˇeny v adresáˇri cgi-bin. V tomto adresáˇri je um´ıstˇen hlavn´ı skript, kter´ y pˇredává parametry pro detektor pohybu. Dále je zde skript vypisuj´ıc´ı proud dat. Proud je typu multipart/x-mixed-replace. Tento zp˚ usob pˇrenosu slouˇz´ı ke kontinuáln´ı aktualizaci pˇredávaného obrázku bez odpojen´ı od serveru. Bohuˇzel je takov´ y zp˚ usob pˇrenosu podporován pouze webov´ ym prohl´ıˇzeˇcem Mozilla Firefox, takˇze pro ostatn´ı prohl´ıˇzeˇce je potˇreba vyuˇz´ıt vloˇzen´ y objekt Flash nebo Java applet. Skript, kter´ y pˇredává proud obrázk˚ u, zamkne soubor videozaˇr´ızen´ı, takˇze je moˇzné pˇristupovat k obrázk˚ um kamery pouze z jednoho otevˇreného webového prohl´ıˇzeˇce. 77

Webov´ y server dostane poˇzadavek od prohl´ıˇzeˇce v podobˇe dotazu GET. 1

GET / c g i −b i n /cam . j p g HTTP/ 1 . 1

Listing 6.1: Dotaz prohl´ıˇzeˇce

Na tento poˇzadavek webov´ y server spust´ı obsluˇzn´ y skript, kter´ y odeˇsle standardn´ı HTTP hlaviˇcku. 1 2 3 4 5

HTTP/ 1 . 0 200 OK S e r v e r : EYE−02 camera Expires : 0 Pragma : no−c a c h e Content−Type : m u l t i p a r t /x−mixed−r e p l a c e ; boundary=O d d e l o v a c i R e t e z e c

Listing 6.2: Hlaviˇcka odpovˇedi HTTP serveru

Po této hlaviˇcce následuje proud JPEG obrázk˚ u, kter´ y se skládá z hlaviˇcky pro kaˇzd´ y obrázek v proudu a vlastn´ıch dat obrázku. 1 2 3

OddelovaciRetezec Content−Type : image / j p e g Content−Length : 6280

4 5 6

. . . . . . JFIF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....................................................

Listing 6.3: D´ılˇc´ı hlaviˇcka jednotliv´ ych obr´ azk˚ u v proudu

Text OddelovaciRetezec slouˇz´ı k oddˇelen´ı jednotliv´ ych obrázk˚ u. Content-Length udává délku následuj´ıc´ıho obrázku. Tato poloˇzka nen´ı povinná, ale zrychluje následné zpracován´ı v prohl´ıˇzeˇci, kter´ y nemus´ı v objemném proudu dat vyhledávat oddˇelovac´ı ˇretˇezec a JPEG hlaviˇcku.

6.4

Ovl´ ad´ an´ı kamery pˇ res mobiln´ı telefon

Po vloˇzen´ı SIM karty a po softwarovém zapnut´ı GSM modulu m˚ uˇze kamera s okol´ım komunikovat pomoc´ı GPRS a SMS. GSM modem je pˇripojen na sériovém rozhran´ı. Na tomto rozhran´ı je spuˇstˇena sluˇzba, která zapne na sériovém portu GSM multiplex. Tato sluˇzba vytvoˇr´ı dva soubory zaˇr´ızen´ı v adresáˇri /dev/pts. Jeden soubor slouˇz´ı pro pˇripojen´ı sluˇzby, která se stará o GSM sluˇzby jako pˇrij´ımán´ı a odes´ılán´ı SMS. Pro takové u ´ˇcely je pouˇzit program gammu. Vytvoˇren´ı s´ıt’ového 78

rozhran´ı pˇres GPRS je dosaˇzeno pomoc´ı programu pppd. Tento program se pˇripoj´ı na GSM modul pomoc´ı druhého souboru vytvoˇreného sluˇzbou multiplexu a inicializuje PPP komunikaci. Takto vytvoˇren´ y komunikaˇcn´ı kanál pˇresmˇeruje na s´ıt’ové rozhran´ı ppp0.

79

Kapitola 7 Z´ avˇ er Prvn´ım u ´kolem celé práce bylo portován´ı operaˇcn´ıho systému Linux na bezpeˇcnostn´ı kameru EYE-02 (viz kapitola 3). Tato ˇcást ˇcinila z poˇcátku znaˇcné problémy, protoˇze v kameˇre nen´ı dostateˇcnˇe velká pamˇet’ FLASH pro uloˇzen´ı jádra Linuxu a souborového systému. V kameˇre je ale microSD karta, která byla pro tyto u ´ˇcely pouˇzita. Pˇr´ıstup k pamˇet’ové kartˇe pˇres rozhran´ı MCI procesor˚ u AT91 ale nepoˇc´ıtá s vyuˇzit´ım pro start systému, takˇze jsem ovladaˇc pro tuto funkci opravil. Bylo nutné zmˇenit poˇrad´ı naˇc´ıtán´ı tohoto modulu a pˇresunout ho mezi moduly, které jsou zavedeny dˇr´ıve neˇz vlastn´ı ovladaˇc souborového systému. Dále byly provedeny základn´ı u ´pravy jádra Linuxu tak, aby správnˇe obsluhovalo pˇripojené periferie (viz sekce 3.3). Napsal jsem vlastn´ı soubor definice hardware, kter´ y z vˇetˇs´ı ˇca´sti vycházel ze souboru pro v´ yvojov´ y kit AT91SAM9260-EK. Pro kompilaci jádra a ostatn´ıch aplikac´ı jsem vytvoˇril binárn´ı podobu nástroj˚ u z projektu GNU C Compiler pomoc´ı skriptu crossdev. Jádro mus´ı b´ yt naˇcteno do pamˇeti. O tento u ´kol se stará bootloader, kter´ y jsem vytvoˇril (viz sekce 3.4.1). Navrhl jsem rozdˇelen´ı pamˇet’ové karty na ˇcást pro obraz jádra a na ˇca´st pro souborov´ y systém. Bootloader nalezne správn´ y odd´ıl, na kterém je uloˇzeno jádro, a zavede jej do pamˇeti. Cel´ y bootloader je uloˇzen v extern´ı pamˇeti FLASH, kterou procesor um´ı obsluhovat sám. Pomoc´ı programu busybox jsem vytvoˇril základn´ı strukturu souborového systému. Vytvoˇril jsem inicializaˇcn´ı skripty pro start sluˇzeb a nakonfiguroval jsem systém tak, aby po zapnut´ı byly pˇr´ısluˇsné sluˇzby puˇstˇeny. Cel´ y souborov´ y systém je u ´myslnˇe pˇripojen pouze pro ˇcten´ı. Z tohoto d˚ uvodu jsou vˇsechny 80

adresáˇre, ve kter´ ych je poˇzadován zápis, pˇresmˇerovány na vytvoˇren´ y ramdisk (viz sekce 3.4.3). Po proveden´ı vˇsech tˇechto krok˚ u byla prvn´ı ˇcást hotova a vznikl plnˇe funkˇcn´ı systém. Dále jsem zprovoznil doplˇ nkové sluˇzby pro komunikaci s GSM modulem a pro inicializaci komunikace pˇres GPRS. Obsluha senzoru PIR je ˇreˇsena pomoc´ı pˇr´ıdavného modulu, kter´ y lze zavést za bˇehu systému (viz sekce 5.4). Tento modul jsem vytvoˇril tak, aby se choval jako jednoduché znakové zaˇr´ızen´ı. Dále jsem vytvoˇril sluˇzbu, která toto zaˇr´ızen´ı vyˇc´ıtá a podle naˇctené hodnoty se rozhoduje o vyvolán´ı poplachu. Poplach je indikován ˇcervenou LED, která je um´ıstˇena na ˇceln´ım panelu kamery. V´ ysledn´ y systém je pouˇziteln´ y a stabiln´ı. Experimentoval jsem s pouˇzit´ım r˚ uzn´ ych konfigurac´ı jádra, abych dosáhl nejlepˇs´ıch v´ ysledk˚ u. Je pouˇzita volba beztikového jádra. V tomto reˇzimu jádro negeneruje pˇreruˇsen´ı pro pˇrep´ınán´ı proces˚ u a vyvoláván´ı systémov´ ych událost´ı pravidelnˇe, ale generuje ho podle aktuáln´ı potˇreby systému. T´ımto zp˚ usobem lze dosáhnout energetické u ´spory, protoˇze procesor m˚ uˇze b´ yt uspán na delˇs´ı ˇcasové okamˇziky a m˚ uˇze se probouzet ménˇe ˇcasto. V druhé ˇca´sti této práce jsem nastudoval moˇznosti detekce pohybu v obraze (viz kapitola 4). U nalezen´ ych technik jsem otestoval jejich v´ ypoˇcetn´ı nároˇcnost pomoc´ı implementace algoritm˚ u v Matlabu. Podle nároˇcnosti jsem se nakonec rozhodl pro techniku extrakce pozad´ı, která vyuˇz´ıvá aproximace mediánu. Zvolenou metodu jsem modifikoval pro u ´ˇcely zabezpeˇcovac´ı kamery a implementoval jsem ji v jazyce C++ pomoc´ı knihovny OpenCV (viz kapitola 5). Tato knihovna umoˇzn ˇuje rychlou práci s obrazov´ ymi daty. Obsahuje optimalizované funkce pro strojové uˇcen´ı, poˇc´ıtaˇcové vidˇen´ı a zpracován´ı obrazu. Vytvoˇril jsem jednoduchou grafickou aplikaci pro operaˇcn´ı systém Linux s vyuˇzit´ım knihovny GTK+ (viz kapitola 6). Tato aplikace vyuˇz´ıvá stejné detekˇcn´ı jádro, které jsem dále pouˇzil pro detekci pohybu v obraze pˇr´ımo v kameˇre. Pouˇzit´ı je moˇzné d´ıky stejnému operaˇcn´ımu systému a abstrakci hardware. V kameˇre jsou vˇsechna zaˇr´ızen´ı reprezentována stejnˇe jako v PC, takˇze jsem mohl provádˇet v´ yvoj na osobn´ım poˇc´ıtaˇci. Zásadn´ı rozd´ıl je pouze u zpracován´ı dat v plovouc´ı ˇra´dové ˇca´rce. Vzhledem k absenci takov´ ych v´ ypoˇct˚ u ve zvoleném procesoru byly vˇsechny funkce napsány tak, aby vyuˇz´ıvaly pouze celoˇc´ıselnou aritmetiku. Metoda detekce zaloˇzená na aproximaci mediánu funguje dobˇre v prostˇred´ı se stál´ ym osvˇetlen´ım. Pro prostˇred´ı ve kter´ ych docház´ı ke svˇeteln´ ym zmˇenám

81

jsem vytvoˇril algoritmus pro detekci tˇechto zmˇen (viz sekce 5.3.3). Pˇri náhlém osvˇetlen´ı scény je tak model pozad´ı aktualizován nˇekolikanásobnˇe rychleji neˇz pˇri bˇeˇzném provozu. Zvolená metoda detekce mˇela velké problémy se zmˇenou jasu, která nebyla rovnomˇerná v celém obraze. Pokud napˇr´ıklad kamera zab´ırá velké prostranstv´ı, na které sv´ıt´ı slunce a pˇres slunce pˇrejde mrak, je vyvolán poplach. Takové chován´ı je moˇzné minimalizovat t´ım, ˇze kamera bude zab´ırat menˇs´ı prostor a nebo ˇze bude implementována technika detekce st´ın˚ u z barevné informace v obrázku, kterou tento algoritmus nevyuˇz´ıvá. Dále jsem vytvoˇril algoritmus pro detekci otˇres˚ u kamery (viz sekce 5.3.2). Pˇri pouˇzit´ı tohoto algoritmu je moˇzné stabilizovat obraz a pˇr´ıpadn´ y otˇres nevyvolá poplach. Tento algoritmus byl velice v´ ypoˇcetnˇe nároˇcn´ y i pro malé pohyby, takˇze ve v´ ysledné aplikaci pro kameru nen´ı pouˇzit. Pˇri pˇredpokladu vˇetˇs´ıch pohyb˚ u kamery je nutné prohledávat vˇetˇs´ı prostor a sloˇzitost algoritmu roste. Implementoval jsem pouze jednoduch´ y systém detekce pohybu, kter´ y detekuje posunut´ı v ose x a v ose y. Pokud je kamera otoˇcena, nen´ı toto otoˇcen´ı detekováno správnˇe. Pro detekci otoˇcen´ı kamerou by bylo nutné implementovat algoritmus, kter´ y vyhledává kl´ıˇcové body ve scénˇe a nalezne pˇr´ısluˇsnou transformaci dvou následuj´ıc´ıch obrázk˚ u. Algoritmus detekce velk´ ych zmˇen polohy v obraze nen´ı vhodn´ y pro zabezpeˇcovac´ı kamery. Algoritmus m˚ uˇze velice snadno udˇelat chybu, pokud se mezi dvˇema sn´ımky zmˇen´ı v´ıce jak polovina plochy obrazu. Pokud napˇr´ıklad pˇrejde osoba pˇr´ımo pˇred kamerou, m˚ uˇze b´ yt detekováno faleˇsné posunut´ı kamery m´ısto pohybu objektu pˇred kamerou. Vˇetˇs´ı pohyb kamery neˇz pouh´ y otˇres je velice komplikované detekovat. V takovém pˇr´ıpadˇe je obraz z kamery vˇetˇsinou rozmazan´ y pohybem a nelze v nˇem vyhledat ˇza´dné korespondence. Na velk´ y pohyb kamery zareaguje pouze detekce zmˇeny jasu celého sn´ımku. Model pozad´ı, vytvoˇren´ y pomoc´ı aproximace mediánu, je pouˇzit pro vlastn´ı detekci pohybu. Je vytvoˇren rozd´ılov´ y sn´ımek, kter´ y je prahován odhadnutou smˇerodatnou odchylkou pro kaˇzd´ y obrazov´ y bod. Ve v´ ysledném naprahovaném sn´ımku jsou nalezeny souvislé komponenty. Tyto komponenty jsou dále spojeny ve vˇetˇs´ı celky, které jsou k sobˇe dostateˇcnˇe bl´ızko. Malé komponenty jsou filtrovány a odstranˇeny. Podle poˇctu, velikosti a podle tvaru komponent je detekován pohyb v obraze (viz sekce 5.3.7).

82

Metodu jsem vyzkouˇsel na scénách se zmˇenou osvˇetlen´ı, s pohybuj´ıc´ım se pozad´ım, s velk´ ym ˇsumem v obraze a s nekontrastn´ım pozad´ım a popˇred´ım (viz sekce 5.3.8). Popsaná metoda detekce funguje správnˇe v dobˇre osvˇetlen´ ych vnitˇrn´ıch prostorách. Dále se hod´ı pro nˇekteré speciáln´ı vnˇejˇs´ı prostory, pokud je v zábˇeru jen omezen´ y prostor. Metoda selhává pˇri prudk´ ych nerovnomˇern´ ych zmˇenách osvˇetlen´ı scény, které nastávaj´ı v pˇr´ıpadech, kdy je v zábˇeru velk´ y prostor (ˇra´dovˇe stovky metr˚ u).

83

Obsah CD DP-Jan-Breuer Adresáˇr DP-Jan-Breuer obsahuje tuto diplomovou práci ve formátu PDF.

motion-detection-matlab Adresáˇr motion-detection-matlab obsahuje zdrojové kódy metod detekce pohybu v Matlabu

motion-detection-opencv Adresáˇr motion-detection-opencv obsahuje zdrojové kódy v´ ysledného programu pro detekci pohybu

linux-build Adresáˇr linux-build obsahuje skripty a nastaven´ı potˇrebná k sestaven´ı jádra a aplikac´ı

linux-pkg Adresáˇr linux-pkg obsahuje pˇripravené binárn´ı bal´ıˇcky jednotliv´ ych aplikac´ı

linux-kernel Adresáˇr linux-kernel obsahuje patch pro jádro a potˇrebná nastaven´ı

84

linux-img Adresáˇr linux-img obsahuje obrazy souborového systému a obraz jádra

linux-bootloader Adresáˇr linux-bootloader obsahuje zdrojové kódy bootloaderu

85

Literatura [1] Adda, O., Cottineau, N., a Kadoura, M. A Tool for Global Motion Estimation and Compensation for Video Processing. Tech. rep., 2003. [2] Adelson, E. H., Anderson, C. H., Bergen, J. R., Burt, P. J., a Ogden, J. M. Pyramid methods in image processing. RCA Engineer 29, 6 (1984), 33–41. [3] Anandan, P. A Computational Framework and an Algorithm for the Measurement of Visual. Tech. rep., Amherst, MA, USA, 1987. [4] Bouguet, J. Y. Pyramidal Implementation of the Lucas Kanade Feature Tracker: Description of the algorithm, 2002. [5] Bradski, G., a Kaehler, A. Learning OpenCV. O’Reilly Media, Inc., 2008. ISBN 978-0-596-51613-0. [6] Brouwer, A. Partition types. partitions/partition_types-1.html.

http://www.win.tue.nl/~aeb/

[7] Cevher, V., Sankaranarayanan, A., Duarte, M. F., Reddy, D., Baraniuk, R. G., a Chellappa, R. Compressive Sensing for Background Subtraction. In ECCV ’08: Proceedings of the 10th European Conference on Computer Vision (Berlin, Heidelberg, 2008), Springer-Verlag, pp. 155–168. [8] Chang, F., Chen, C.-J., a Lu, C.-J. A linear-time component-labeling algorithm using contour tracing technique. Comput. Vis. Image Underst. 93, 2 (2004), 206–220. [9] Cheung, S.-c. S., a Kamath, C. Robust techniques for background subtraction in urban traffic video. In Society of Photo-Optical Instrumentation Engineers (SPIE) Conference Series (Jan. 2004), S. Panchanathan and 86

B. Vasudev, Eds., vol. 5308 of Society of Photo-Optical Instrumentation Engineers (SPIE) Conference Series, pp. 881–892. [10] Cirino, G. A., Barcellos, R., Neto, L. G., Mansano, R. D., Bereczki, A., a Morato, S. P. Fresnel lens array with spatial filtering for passive infrared motion sensor applications, 2006. [11] Corbet, J., Rubini, A., a Kroah-Hartman, G. Linux Device Drivers, Third Edition. O’Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, 2005. ISBN 0-596-00590-3. [12] Devillard, N. Fast median search: an ANSI C implementation. [13] Du-Ming Tsai, a Chien-Ta Lin. Fast normalized cross correlation for defect detection. Pattern Recogn. Lett. 24, 15 (2003), 2625–2631. [14] Elgammal, A. M., Harwood, D., a Davis, L. S. Non-parametric Model for Background Subtraction. In ECCV ’00: Proceedings of the 6th European Conference on Computer Vision-Part II (London, UK, 2000), SpringerVerlag, pp. 751–767. [15] Fresnel Technologies Inc. PIR lens arrays, 2003. fresneltech.com/pdf/XX1.2GI12VX.pdf.

http://www.

[16] Gao, Q., Parslow, A., a Tan, M. Object motion detection based on perceptual edge tracking. Digital and Computational Video, 2001. Proceedings. Second International Workshop on (2001), 78–85. [17] Gilmore, J., Solutions, C., Shebs, S., a Solutions, C. GDB Internals, A guide to the internals of the GNU debugger. 2004. [18] Guerreiro1, R. F., a Aguiar, P. M. Global Motion Estimation: FeatureBased, Featureless, or Both ?! Tech. rep., 2006. [19] Hall, B. Beej’s Guide to Network Programming Using Internet Sockets. 2009. ˇ ć ˇ, V., a Sedla ć ˇek, M. Zpracov´ [20] Hlava an´ı sign´ al˚ u a obraz˚ u. CVUT, Praha, 2005. ISBN 978-80-01-03110-0.

87

ˇ ć ˇ, V., a Sonka, [21] Hlava M. Poˇc´ıtaˇcové vidˇen´ı. Grada, Praha, 1992. ISBN 80-85424-67-3. [22] Huimin, W., Xiaoshi, Z., Yanling, Z., a Na, L. A New Thresholding Method Applied to Motion Detection. Computational Intelligence and Industrial Application, 2008. PACIIA ’08. Pacific-Asia Workshop on 1 (Dec. 2008), 119–122. [23] Hyun-Ho Jeon, A. B., a Driessen, P. F. Camera Motion Detection in Video Sequences Using Motion Cooccurrences, 2005. [24] Intel Corporation. Open Source Computer Vision Library Reference Manual. 2001. [25] JABLOCOM s.r.o. GSM Camera EYE-02, 2009. http://www.jablocom. com/products-eye-02.php. [26] KaewTraKulPong, P., a Bowden, R. An Improved Adaptive Background Mixture Model for Realtime Tracking with Shadow Detection. In In Proc. 2nd European Workshop on Advanced Video Based Surveillance Systems, AVBS01, VIDEO BASED SURVEILLANCE SYSTEMS: Computer Vision and Distributed Processing (September 2001), Kluwer Academic Publishers. [27] Kiewitz, M. AiR-BOOT, 2004. http://en.ecomstation.ru/personal/ kiewitzsoft/air-boot.php. [28] King, R. Linux ARM kernel - Machine Registry, 2009. http://www.arm. linux.org.uk/developer/machines/. [29] Kirillov, A. Motion Detection Algorithms. http://www.codeproject. com/KB/audio-video/Motion_Detection.aspx. [30] Ko, T., Soatto, S., a Estrin, D. Background Subtraction on Distributions. In ECCV ’08: Proceedings of the 10th European Conference on Computer Vision (Berlin, Heidelberg, 2008), Springer-Verlag, pp. 276–289. [31] Lara, A., a Hirata, R. Motion Segmentation using Mathematical Morphology. Computer Graphics and Image Processing, 2006. SIBGRAPI ’06. 19th Brazilian Symposium on (Oct. 2006), 315–322. 88

[32] Lavrsen, K. Motion, a software motion detector. http://www.lavrsen. dk/foswiki/bin/view/Motion/SupportRequests. [33] Li, L., Huang, W., Gu, I. Y. H., a Tian, Q. Foreground object detection from videos containing complex background. In MULTIMEDIA ’03: Proceedings of the eleventh ACM international conference on Multimedia (New York, NY, USA, 2003), ACM, pp. 2–10. [34] Mcivor, A. M. Background Subtraction Techniques. In Proc. of Image and Vision Computing, Auckland, New Zealand, 2000. (2000). http: //citeseer.ist.psu.edu/old/455262.html. [35] Monari, E., a Pasqual, C. Fusion of background estimation approaches for motion detection in non-static backgrounds. Advanced Video and Signal Based Surveillance, 2007. AVSS 2007. IEEE Conference on (Sept. 2007), 347–352. [36] Noack, E. Visual Motion Detection. http://motiontrack.sourceforge. net/. [37] Noriega, P., a Bernier, O. Real Time Illumination Invariant Background Subtraction Using Local Kernel Histograms. Tech. rep., 2006. [38] Quen-Zong Wu, Hsu-Yung Cheng, a Kuo-Chin Fan. Motion detection based on two-piece linear approximation for cumulative histograms of ratio images in intelligent transportation systems. Networking, Sensing and Control, 2004 IEEE International Conference on 1 (March 2004), 309–314 Vol.1. [39] Schimek, M. H., Dirks, B., Verkuil, H., a Rubli, M. Video for Linux Two API Specification. http://www.linuxtv.org/downloads/ video4linux/API/V4L2_API/v4l2spec/v4l2.pdf. [40] Shimada, A., Arita, D., a Taniguchi, R.-i. Dynamic Control of Adaptive Mixture-of-Gaussians Background Model. In AVSS ’06: Proceedings of the IEEE International Conference on Video and Signal Based Surveillance (Washington, DC, USA, 2006), IEEE Computer Society, p. 5.

89

[41] Stallman, R., Pesch, R., a Shebs, S. Debugging with gdb. Free Software Foundation, 2004. ISBN 1-882114-77-9. [42] Su, S.-T., a Chen, Y.-Y. Moving Object Segmentation Using Improved Running Gaussian Average Background Model. Computing: Techniques and Applications, 2008. DICTA ’08.Digital Image (Dec. 2008), 24–31. [43] Takala, V., a Pietikainen, M. Multi-Object Tracking Using Color, Texture and Motion. Computer Vision and Pattern Recognition, 2007. CVPR ’07. IEEE Conference on (June 2007), 1–7. [44] Toyama, K., Krumm, J., Brumitt, B., a Meyers, B. Wallflower: principles and practice of background maintenance. Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on 1 (1999), 255–261 vol.1. [45] Yoon, K. Background Subtraction Enhancement using Segmentation. Software Engineering, Artificial Intelligence, Networking, and Parallel/Distributed Computing, 2008. SNPD ’08. Ninth ACIS International Conference on (Aug. 2008), 535–540.

90

Zpracování signálu z obrazového senzoru

Recommend Documents