Využití principu KLT pro sledování cíle kamerovou hlavicí

ˇ ´ Cesk e ´ vysoke ˇen´ı uc ´ technicke v Praze Fakulta elektrotechnick´ a Katedra kybernetiky

Diplomov´ a pr´ ace

Vyuˇ zit´ı principu KLT pro sledov´ an´ı c´ıle kamerovou hlavic´ı Marek Tejc

Kvˇ eten 2015 Vedouc´ı pr´ ace: Ing. Pavel Krsek, Ph.D.

České vysoké učení technické v Praze Fakulta elektrotechnická Katedra kybernetiky

ZADÁNÍ DIPLOMOVÉ PRÁCE Student:

Bc. Marek T e j c

Studijní program:

Kybernetika a robotika (magisterský)

Obor:

Robotika

Název tématu:

Využití principu KLT pro sledování cíle kamerovou hlavicí

Pokyny pro vypracování: 1. Seznamte se s principem KLT algoritmu pro sledování objektů. 2. Seznamte se se stávající implementací algoritmu sledování použitému pro kamerovou hlavici. 3. Navrhněte nový algoritmu sledování vybraného objektu založený na principu KLT. 4. Implementujte algoritmus v jazyce C, C++ tak, aby ho bylo možné použít s využitím technických prostředků kamerové hlavice. Kód připravte tak, aby ho bylo možné využít jak v operačním systému Windows tak Linux. 5. Seznamte se s dříve navrženými vylepšeními systému sledování objektů a dle možností je implementujte. 6. Programový kód nezapomeňte dostatečně komentovat. 7. Vše pečlivě zdokumentujte. Seznam odborné literatury: [1] Milan Sonka, Vaclav Hlavac, and Roger Boyle. Image Processing, Analysis and Machine Vision. Thomson, 3rd edition, ISBN 978-0-495-08252, 2007. [2] Simon Baker and Iain Matthews. Lucas-Kanade 20 Years On: A Unifying Framework. International Journal of Computer Vision 56(3), 221–255, 2004. [3] Baojie Fan, Yingkui Du, Linlin Zhu, Jing Sun, Yandong Tang. A robust template tracking algorithm with weighted active drift correction. Pattern Recognition Letters 32 (2011) 1317–1327. [4] Iain Matthews, Takahiro Ishikawa, and Simon Baker. The Template Update Problem. In Richard Harvey and Andrew Bangham, editors, Proceedings of the British Machine Conference, pages 65.1-65.10. BMVA Press, September 2003. doi:10.5244/C.17.65. Vedoucí diplomové práce: Ing. Pavel Krsek, Ph.D. Platnost zadání: do konce letního semestru 2015/2016

L.S. doc. Dr. Ing. Jan Kybic vedoucí katedry

prof. Ing. Pavel Ripka, CSc. děkan V Praze dne 23. 1. 2015

Prohl´ aˇsen´ı Prohlaˇsuji, ˇze jsem pˇredloˇzenou práci vypracoval samostatnˇe a ˇze jsem uvedl veˇskeré pouˇzité informaˇcn´ı zdroje v souladu s Metodick´ ym pokynem o dodrˇzován´ı etick´ ych princip˚ u pˇri pˇr´ıpravˇe vysokoˇskolsk´ ych závˇereˇcn´ ych prac´ı.

V Praze dne 11. 5. 2015

i

Podˇ ekov´ an´ı Zde bych chtˇel podˇekovat vˇsem, kteˇr´ı mˇe bˇehem tvorby diplomové práce podporovali a motivovali. Pˇredevˇs´ım dˇekuji panu Ing. Pavlu Krskovi Ph.D. za odborné veden´ı, voln´ y ˇcas ke konzultac´ım, podporu a vstˇr´ıcnost. Dále bych chtˇel podˇekovat rodinˇe za podporu bˇehem dosavadn´ıho studia a pˇra´tel˚ um za voln´ y ˇcas, rady a podnˇetné diskuze, které vyˇreˇsily spoustu problém˚ u. ˇ v Tato práce popisuje v´ ysledky dosaˇzené s finanˇcn´ı podporou TACR rámci projektu MAGYSKA (TA02010887). ii

Abstrakt Tato diplomová práce se zab´ yvá implementac´ı KL sledovac´ıho algoritmu do kamerové hlavice s inerciáln´ı stabilizac´ı a obrazovou zpˇetnou vazbou. KL algoritmus byl zvolen pro nahrazen´ı stávaj´ıc´ıho algoritmu SSD (Sum of Square Differences). Algoritmus KL má menˇs´ı v´ ypoˇcetn´ı a ˇcasovou nároˇcnost neˇz algoritmus SSD, ˇc´ımˇz dosáhneme kratˇs´ıho dopravn´ıho zpoˇzdˇen´ı pro obrazovou zpˇetnou vazbu. Implementaci provedeme s vyuˇzit´ım funkc´ı z knihovny OpenCV do stávaj´ıc´ıho kódu programu systému vizuáln´ıho sledován´ı. Testován´ı provedeme na vybran´ ych sekvenc´ıch a na reálné kameˇre. Stávaj´ıc´ı algoritmus i implementaci navrˇzeného algoritmu KL uprav´ıme tak, aby byla pˇreloˇzitelná na platformách s operaˇcn´ımi systémy Windows i Linux. Kl´ıˇ cov´ a slova: KL algoritmus, Kanade-Lucas algoritmus, pohyblivá kamera, OpenCV knihovna, knihovna Pthread

Abstract This thesis propose implementation KL tracking algorithm to camera head with inertial stabilization and visual feedback. KL algorithm was chosen to replace an existing algorithm SSD (Sum of Square Differences). The algorithm KL has smaller computing and time-consuming requirements than the algorithm SSD, thus achieving shorter time delay for visual feedback. For implementation we will use functions from the library OpenCV in the existing program code of visual tracking. We perform testing on selected sequences and a real camera. Existing algorithms and implementation of the proposed algorithm KL adjust so that was translatable platforms with operating systems Windows and Linux. Keywords: KL algorithm, Kanade-Lucas algorithm, moving camera, OpenCV library, Pthread library

iii

Obsah 1

´ Uvod

1

2

St´ avaj´ıc´ı algoritmus sledov´ an´ı

3

2.1 Hlavice . . . . . . . . . . . . . . . 2.1.1 Systém inerciáln´ı stabilizace 2.1.2 Obrazová zpˇetná vazba . . . 2.1.3 Sbˇernice CAN . . . . . . . . 2.1.4 Konzole operátora . . . . . . 2.2 Algoritmus sledován´ı SSD . . . . . 2.2.1 Princip SSD . . . . . . . . . 2.2.2 Aktualizace modelu . . . . . 2.3 Algoritmus sledován´ı KLT . . . . . 2.3.1 Odvozen´ı KL algoritmu . . . 2.3.2 Varianty KLT . . . . . . . .

3

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

Navrˇ zen´ y algoritmus sledov´ an´ı 3.1 Upraven´ y algoritmus KLT . . . . . . . . . . . . . . . . . . 3.1.1 Popis algoritmu . . . . . . . . . . . . . . . . . . . . 3.1.2 Sledován´ı objektu s pouˇzit´ım pyramidové reprezentace 3.1.3 Iterativn´ı KLT . . . . . . . . . . . . . . . . . . . . . 3.1.4 Sledován´ı objektu pobl´ıˇz okraj˚ u sn´ımku . . . . . . . 3.1.5 Prohláˇsen´ı objektu za ztracen´ y. . . . . . . . . . . .

4

Implementace

3 3 3 3 4 4 5 5 6 7 8

9 9 9 10 11 14 14

15

4.1 Implementace navrˇzeného algoritmu . . . . . . . . . . . . 4.1.1 P˚ uvodn´ı schéma programu . . . . . . . . . . . . . . 4.1.1.1 Vlákno ThrTracking . . . . . . . . . . . . . 4.1.1.2 Vlákno ThrCapture . . . . . . . . . . . . . 4.1.1.3 Vlákna ThrCommTx a ThrCommRx . . . . 4.1.2 Vyuˇzit´ı knihovny OpenCV . . . . . . . . . . . . . . 4.1.3 Upravené schéma programu . . . . . . . . . . . . . 4.1.3.1 Vlákno ThrTracking . . . . . . . . . . . . . 4.1.3.2 Vlákno ThrCapture . . . . . . . . . . . . . 4.1.3.3 Vlákno ThrCommTx a ThrCommRx . . . . 4.1.3.4 Funkce KLDiffImg cv a calcOpticalFlowPyrLK . . . . . . . . . . . . . . . . . . . . . . 4.1.4 Naˇc´ıtán´ı ze souboru . . . . . . . . . . . . . . . . . . 4.2 Dalˇs´ı u ´pravy algoritmu . . . . . . . . . . . . . . . . . . . 4.2.1 Vyhledáván´ı z v´ıce pozic . . . . . . . . . . . . . . . iv

15 15 15 16 17 18 19 19 19 19 20 20 21 21

4.2.2 Pouˇzit´ı pohyblivé desetinné ˇca´rky 4.3 Implementace pro Linux . . . . . . . . . 4.4 Pˇreklad . . . . . . . . . . . . . . . . . . 4.5 V´ ybˇer vhodného objektu ke sledován´ı .

5

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

Experiment´ aln´ı v´ ysledky (testov´ an´ı algoritmu) 5.1 Sekvence . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2 Porovnán´ı algoritm˚ u . . . . . . . . . . . . . . . . . . . . . 5.3 Zhodnocen´ı v´ ysledk˚ u. . . . . . . . . . . . . . . . . . . . .

6

21 21 22 22

24 24 28 31

Z´ avˇ er

33

Literatura

34

Obsah DVD

35

v

Seznam obr´ azk˚ u 1 2 3 4 5 6 7

8

9

10

11

12

13

14

15

Pouˇzitá kamerová hlavice a jej´ı instalace na podvozku letounu MANTA . . . . . . . . . . . . . . . . . . . . . . . . Schéma obrazové zpˇetné vazby . . . . . . . . . . . . . . . . Ukázka sn´ımku It , bl´ızkého okol´ı sledovaného bodu a kriteriáln´ı chybové funkce . . . . . . . . . . . . . . . . . . . . Blokové schéma proces˚ u v programu obrazové zpˇetné vazby Grafické uˇzivatelské rozhran´ı . . . . . . . . . . . . . . . . . Volba sledovaného objektu pomoc´ı funkce goodFeaturesToTrack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Sekvence ˇc´ıslo 1: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇcátku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) . . . . . . . . . . Sekvence ˇc´ıslo 2 a 12: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇca´tku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) . . . . . . . Sekvence ˇc´ıslo 3 a 14: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇca´tku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) . . . . . . . Sekvence ˇc´ıslo 5 a 15: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇca´tku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) . . . . . . . Sekvence ˇc´ıslo 6 a 16: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇca´tku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) . . . . . . . Sekvence ˇc´ıslo 7 a 8: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇcátku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) . . . . . . . . . . Sekvence ˇc´ıslo 10 a 11: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇcátku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) . . . . . Sekvence ˇc´ıslo 9: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇcátku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) . . . . . . . . . . Sekvence ˇc´ıslo 13: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇcátku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) . . . . . . . . . .

vi

1 2 5 16 18 23

25

26

26

27

27

28

29

29

30

Seznam tabulek 1

Porovnán´ı funkˇcnosti algoritm˚ u SSD a KL (start z 1 a 25 bod˚ u). Poˇcet sn´ımk˚ u odpov´ıdá, jak dlouho algoritmus v ˇ v [ms] je pr˚ dané sekvenci sledoval objekt. Cas umˇerná doba bˇehu algoritmu na jeden sn´ımek. . . . . . . . . . . . . . . .

vii

32

Kapitola 1

´ Uvod Pro pozorován´ı objekt˚ u z pohybuj´ıc´ıch se dopravn´ıch ˇci bezpilotn´ıch prostˇredk˚ u se ˇcasto pouˇz´ıvaj´ı stabilizované kamery (kamerové hlavice). Pˇr´ıkladem je kamerová hlavice M120 (obrázek 1)1 . Existuje a pouˇz´ıvá se nˇekolik druh˚ u zavˇeˇsen´ı kamer: • bez stabilizace - otoˇcné zavˇeˇsen´ı bez stabilizace kamery (napˇr. v pr˚ umyslu) • mechanická stabilizace - vyuˇz´ıvá se v pˇr´ıpadech bez nároku na prostor a vlivy prostˇred´ı (letecké sn´ımkován´ı a filmov´ y pr˚ umysl) • elektromechanická stabilizace - pouˇz´ıvá se v kombinaci s ˇr´ıd´ıc´ım systémem hlavnˇe ve vojenstv´ı a u bezpeˇcnostn´ıch sloˇzek Hlavice zajiˇst’uje kameˇre stabilizaci s vyuˇzit´ım u ´daj˚ u z gyroskopick´ ych senzor˚ u. Uˇziteˇcnou a v tomto pˇr´ıpadˇe realizovatelnou souˇca´st´ı vybaven´ı kamerové hlavice je vizuáln´ı systém pro sledován´ı objektu v obraze. Pˇri pohybu objektu v omezeném zorném poli kamery je tˇeˇzké pro operátora objekt sledovat. Systém sledován´ı sn´ıˇz´ı nároˇcnost a umoˇzn´ı operátorovi vˇenovat pozornost vizuáln´ımu sledován´ı pˇredevˇs´ım systémov´ ych u ´daj˚ u. Pro sledován´ı objektu je pak nutné, aby ˇr´ıd´ıc´ı systém kamerové hlavice minimalizoval odchylku polohy sledovaného objektu ve sn´ımku z kamery od polohy operátorem poˇzadované, v praxi nejˇcastˇeji stˇred sn´ımku.

Obrázek 1: Pouˇzitá kamerová hlavice a jej´ı instalace na podvozku letounu MANTA Kamera se pak stává souˇcást´ı zpˇetnovazebn´ı smyˇcky, kterou m˚ uˇzeme vidˇet na obrázku (2)2 . Souˇca´st´ı této smyˇcky je zmiˇ novan´ y sledovac´ı algoritmus (Tracker), kter´ y posky1 2

foto: Ing. Jan Sal´ aˇsek Schéma pouˇzito z projektu MAGYSKA

1/35

´ 1.0 UVOD tuje minimáln´ı hodnotu odchylky . V´ ypoˇcet této odchylky závis´ı na pouˇzitém algoritmu sledován´ı, jeho nároˇcnosti a také na jeho robustnosti. Pro ˇr´ızen´ı je d˚ uleˇzité dopravn´ı zpoˇzdˇen´ı. Toto zpoˇzdˇen´ı je pˇredevˇs´ım dáno rychlost´ı zpracován´ı pˇr´ıchoz´ıch obraz˚ u a snaˇz´ıme se jej proto minimalizovat. V následuj´ıc´ı kapitole si pop´ıˇseme stávaj´ıc´ı SSD algoritmus a pˇredstav´ıme obecn´ y KL algoritmus. V kapitole tˇret´ı uvedeme a pop´ıˇseme navrˇzen´ y algoritmus zaloˇzen´ y na KLT, jeho u ´pravy a doplnˇen´ı. Ve ˇctvrté kapitole si struˇcnˇe projdeme implementaci navrˇzeného algoritmu do kamerové hlavice a v páté kapitole si porovnáme v´ ysledky p˚ uvodn´ıho algoritmu SSD s navrˇzen´ ymi variantami KLT algoritmu sledován´ı.

Obrázek 2: Schéma obrazové zpˇetné vazby. Tracker pˇredstavuje vizuáln´ı sledovac´ı algoritmus a G pak stabilizovanou kamerovou hlavici jako celek. Bloky Cθ , Cψ jsou polohov´ ymi regulátory a bloky CωEL , CωCEL regulátory rychlostn´ımi pro osy azimut a elevace.

2/35

Kapitola 2

St´ avaj´ıc´ı algoritmus sledov´ an´ı 2.1

Hlavice

V souˇcasné dobˇe máme k dispozici kamerovou hlavici z projektu MAGYSKA (ˇc´ıslo projektu TA02010887), v n´ıˇz je nainstalována RGB kamera s moˇznost´ı jej´ı mechanické v´ ymˇeny, napˇr. za termokameru. Samotná hlavice m˚ uˇze b´ yt nainstalována na nosiˇc (napˇr. na autˇe, pod vrtuln´ıkem) a má moˇznost rotaˇcn´ıho pohybu v osách azimut a elevace za pomoci elektromotor˚ u ˇr´ızen´ ych pulznˇe-ˇs´ıˇrkovou modulac´ı. Jako v´ ypoˇcetn´ı a komunikaˇcn´ı jednotka je v hlavici uloˇzen poˇc´ıtaˇcov´ y modul, kter´ y se sv´ ymi periferiemi ˇ ızen´ı zajiˇst’uje ˇr´ıd´ıc´ı systém, kter´ y se skládá ze komunikuje pomoc´ı sbˇernice CAN. R´ dvou ˇcást´ı: inerciáln´ı stabilizace a obrazové zpˇetné vazby.

2.1.1

Syst´ em inerci´ aln´ı stabilizace

C´ılem inerciáln´ı stabilizace optické osy je udrˇzen´ı této osy v klidu, zat´ımco se nosiˇc, k nˇemuˇz je kamera pˇripevnˇena, pohybuje neˇza´douc´ım zp˚ usobem. Systém ˇr´ıd´ı polohu kamery v˚ uˇci tomuto pohybuj´ıc´ımu se nosiˇci. V hlavici je pouˇzita hmotnostn´ı stabilizace3 , rychlost´ı zpˇetná vazba (kompenzuj´ıc´ı ruˇsiv´ y toˇciv´ y moment pˇrenáˇsen´ y do kamery z nosiˇce) a proudová zpˇetná vazba.

2.1.2

Obrazov´ a zpˇ etn´ a vazba

Samotné sledován´ı hlavic´ı je urˇceno k tomu, aby se vybran´ y objekt vˇzdy nacházel uprostˇred zorného pole kamery, a my tak mˇeli pˇrehled o jeho okol´ı. V pˇr´ıpadˇe, ˇze se pohybuje c´ıl, kamera, pˇr´ıpadnˇe c´ıl s kamerou zároveˇ n, je tˇreba m´ıt dostateˇcnˇe velik´ y odstup od okraj˚ u sn´ımk˚ u videa. Pro kompenzaci tˇechto pohyb˚ u zde slouˇz´ı jiˇz zm´ınˇené motory, které natáˇcej´ı kamerovou hlavici ve smˇeru pohybu c´ıle, ˇci ve smˇeru opaˇcném ke zmˇenˇe polohy nosiˇce hlavice.

2.1.3

Sbˇ ernice CAN

Hlavn´ı ˇr´ıdic´ı sbˇernic´ı systému je sbˇernice CAN. V hlavici jsou implementovány dva oddˇelené kanály pr˚ umyslové sbˇernice CAN 2.0A, vnitˇrn´ı a vnˇejˇs´ı. Sbˇernice vnitˇrn´ı je pouˇz´ıvána pro pˇrenos dat t´ ykaj´ıc´ıch se vˇsech mˇeˇren´ı z instalovan´ ych senzor˚ u, akˇcn´ıch zásah˚ u a dalˇs´ı informace o chován´ı ˇr´ıd´ıc´ıch smyˇcek. Po této sbˇernici se pos´ılaj´ı zprávy o 3 Stabilizovan´ y pˇredmˇet se snaˇz´ı setrvat v klidu ve vztahu k inerciáln´ı vztaˇzné soustavˇe, zat´ımco se nosiˇc pohybuje.

3/35

´ Í SSD 2.2 ALGORITMUS SLEDOVAN ovládán´ı kamery, nastaven´ı konstant pouˇzit´ ych PID regulátor˚ u, atd. Rychlost sbˇernice je 1Mb/s. Po vnˇejˇs´ı sbˇernici jsou pos´ılány zprávy z / do operátorské konzole, napˇr. pˇrep´ınán´ı reˇzim˚ u, inicializován´ı a ovládán´ı hlavice. Rychlost sbˇernice je 250kbit/s. Oddˇelen´ı sbˇernic je realizováno z d˚ uvodu separace dat, které nejsou bezprostˇrednˇe nutné pro ovládán´ı hlavice a tak nesniˇzuj´ı datovou propustnost. Pˇrenos zpráv mezi sbˇernicemi je realizován pomoc´ı mikrokontroléru oddˇelovaˇce. Pro správnou velikost natoˇcen´ı motor˚ u v jednotliv´ ych osách, berouc´ı ohled na pohyb 4 objektu ve videu , aktuáln´ı zoom ˇcoˇcky kamery a akˇcn´ı zásah motoru, je zde pouˇzita explicitnˇe stanovená pˇrevodn´ı tabulka s odpov´ıdaj´ıc´ımi veliˇcinami (kalibrace kamery, resp. ohniskové vzdálenosti). Tyto stanovené hodnoty je moˇzné v pˇr´ıpadˇe zmˇeny komponent zaˇr´ızen´ı upravit kalibrac´ı. Jako sledovac´ı algoritmus pouˇz´ıváme SSD tracker (Sum of Square Differences) suma rozd´ıl˚ u ˇctverc˚ u, kter´ y podrobnˇeji pop´ıˇseme a vysvˇetl´ıme v následuj´ıc´ım textu.

2.1.4

Konzole oper´ atora

Aby mohla hlavice slouˇzit pro vizuáln´ı sledován´ı (trackován´ı) vybraného objektu, je potˇreba pˇredat ˇr´ıd´ıc´ımu systému informaci o tom, jak´ y c´ıl sledovat. Tento v´ ybˇer uˇcin´ı operátor pomoc´ı svého terminálu, na nˇemˇz vid´ı napˇr. informace o GPS poloze vrtuln´ıku, jeho rychlosti a zoom kamery zároveˇ n s aktuáln´ım video v´ ystupem z kamery. Operátor m˚ uˇze kontrolovat zda je zvolen´ y objekt sledován správnˇe, pˇr´ıpadnˇe svoji volbu upˇresnit ˇci zmˇenit. Dále m˚ uˇze upravit rychlost elektromotor˚ u nebo zoom ˇcoˇcky kamery, atd..

2.2

Algoritmus sledov´ an´ı SSD

Mˇejme video poˇr´ızené kamerou, která se skládá ze sekvence sn´ımk˚ u. Z této sekvence vyberme dvojici po sobˇe jdouc´ıch sn´ımk˚ u a oznaˇcme je It−1 a It , odpov´ıdaj´ıc´ı poˇrad´ı T sn´ımku v sekvenci. Mˇejme dále polohu sledovaného objektu u = ux uy v souˇradném systému sn´ımku I. Definujme si model M sledovaného objektu jako uspoˇra´danou mnoˇzinu obrazov´ ych bod˚ u, definovan´ ych svoj´ı polohou xi v souˇradném systému modelu v˚ uˇci poloze objektu u a intenzitou5 . Pro pˇrepoˇcet mezi souˇradn´ ym systémem modelu M a sn´ımku I pouˇzijeme vztah M (xi ) = I(u + xi ) Algoritmus SSD sledován´ı pracuje s aktuáln´ım sn´ımkem poˇr´ızen´ ym kamerou, v nˇemˇz vˇzdy prob´ıhá hledán´ı aktuáln´ı polohy sledovaného objektu zájmu pomoc´ı modelu tohoto objektu, kter´ y jsme vytvoˇrili pˇri inicializaci algoritmu. 4

V jednotk´ ach obrazov´ ych bod˚ u (pixel˚ u) Pouˇzité sn´ımky pro sledov´ an´ı, vstupn´ı i patˇr´ıc´ı modelu, jsou uchovávány a zpracovávány jako pole 1 celoˇc´ıseln´ ych intenzit, v rozsahu od 0 do 255 (Pˇr´ıpadnˇe od 0 do 1, v kroc´ıch po 255 ), pˇri zobrazen´ı se jedn´ a o stupnˇe ˇsedi. 5

4/35

´ Í SSD 2.2 ALGORITMUS SLEDOVAN

(b) Model sledovaného objektu 4

x 10

16 10 14

12

Obrazové body

20

10 30 8

6

40

4 50 2

60 10

(a) Sn´ımek It

20

30 Obrazové body

40

50

60

0

(c) Kriteriáln´ı chybová funkce

Obrázek 3: Ukázka sn´ımku It , bl´ızkého okol´ı sledovaného bodu a kriteriáln´ı chybové funkce

2.2.1

Princip SSD

Uvaˇzujte sn´ımek It a jemu odpov´ıdaj´ıc´ı model Mt−1 a polohu sledovaného bodu u. M˚ uˇzeme pak obecnˇe definovat chybovou (kriteriáln´ı) funkci f jako n

f (It , Mt−1 , u) =

1X [It (u + xi ) − Mt−1 (xi )]2 , n i=1

(1)

kde u je poloha zvoleného bodu ve sn´ımku I a n je poˇcet obrazov´ ych bod˚ u modelu. Pokud je objekt ve sn´ımku It−1 na pozici ut−1 , pak ve sn´ımku It jeho souˇradnice ut stanov´ı jako ut = arg min f (It , Mt−1 , u), u∈Ωt

(2)

kde Ωt pˇredstavuje mnoˇzinu vˇsech prohledávan´ ych pozic, napˇr. 2D kruhové ˇci ˇctvercové okol´ı bodu ut−1 . Pˇr´ıklad objektu, modelu a kriteriáln´ı funkce s lokáln´ım minimem je na obrázku (3)

2.2.2

Aktualizace modelu

Objekt se pˇri zmˇenˇe polohy mˇen´ı. SSD algoritmus takové zmˇeny nem˚ uˇze postihnout bez u ´pravy modelu a proto jej upravujeme. Tato zmˇena prob´ıhá pomoc´ı exponenciáln´ıho 5/35

´ Í KLT 2.3 ALGORITMUS SLEDOVAN zapom´ınán´ı: Mt = αIinput (ut ) + (1 − α)Mt−1 ,

(3)

které vˇzdy aktualizuje model Mt pro pouˇzit´ı k dalˇs´ım kroku sledován´ı (t + 1 ) tak, ˇze model Mt−1 uprav´ı váhov´ ym koeficientem α a aktualizuje jej ˇca´st´ı sn´ımku It v m´ıstˇe lokalizovaného objektu. Velikost α pˇredstavuje rychlost zapom´ınán´ı modelu a jeho pˇrizp˚ usobován´ı se aktuáln´ımu sn´ımku. Pro pˇr´ıliˇs vysoké hodnoty to m˚ uˇze pˇredstavovat riziko ztráty sledovaného objektu pˇri ˇspatném urˇcen´ı pozice objektu. Sledován´ı objektu je moˇzné za pˇredpokladu, ˇze je v kameˇre dostateˇcnˇe viditeln´ y, vzhledovˇe ˇci tvarovˇe se mˇen´ı pouze pomalu a je jednoduˇse rozliˇsiteln´ y od zbyl´ ych ˇca´st´ı sn´ımku. Pokud algoritmus sledován´ı nen´ı schopen jednoznaˇcnˇe urˇcit pozici objektu, povaˇzujeme jej za ztracen´ y. V takovém pˇr´ıpadˇe je sledován´ı pˇreruˇseno (stejnˇe tak aktualizován´ı modelu M.

2.3

Algoritmus sledov´ an´ı KLT

Metoda sledován´ı objektu popsané poprvé v ˇclánku [1], naz´ yvané Kanade-Lucas-(Takeo) algoritmus (zkrácenˇe budeme pouˇz´ıvat KL ˇci KLT tracker, algoritmus). Tato metoda se v mnoha ohledech odliˇsuje od SSD algoritmu shrnuté v pˇredchoz´ı ˇcásti (2.2). Stejnˇe jako zmiˇ novan´ y SSD tracker pracuje ve své základn´ı a neupravené podobˇe pouze s obrázky v odst´ınech ˇsedi. KLT pracuje také s pouˇzit´ım modelu sledovaného objektu jako SSD, tedy pˇriˇrazen´ı T modelu M vstupn´ımu sn´ımku I, a u = ux uy odpov´ıdá souˇradnic´ım sledovaného objektu ve sn´ımku I. KLT je definován jako algoritmus pro v´ ypoˇcet optického toku mezi sn´ımky It−1 a It , kde modelem je okol´ı kaˇzdého bodu u, obvykle definované jako ˇctvercové okol´ı 5×5 nebo 10×10 obrazov´ ych bod˚ u. Okol´ı Ω je tvoˇreno obrazov´ ymi body s relativn´ımi souˇradnicemi x1 . . . xn , kde xi ∈ Ω. Pohyb (uvaˇzujeme pouze posunut´ı) m˚ uˇzeme parametricky zapsat jako ux + d1 W(u, d) = , (4) u y + d2 kde d pˇredstavuje posunut´ı (hledan´ y opticky tok) v obou osách tak, aby platilo, ˇze W(u, d) pˇrevezme polohu objektu u v souˇradnic´ıch modelu It−1 a namapuje ji na sub-pixelovou6 pozici ve sn´ımku It . Budeme pˇredpokládat, ˇze model Mt−1 odpov´ıdá pˇri startu celému sn´ımku It−1 a provád´ıme jeho aktualizaci dle vztahu (3). C´ılem KLT algoritmu je minimalizován´ı sumy kvadrát˚ u chyb mezi modelem M a vstupn´ım sn´ımkem I, pˇri pˇrepoˇctu souˇradnic vzhledem k modelu M : f (It , Mt−1 , u, d) =

X

[It (W(u + xi , d)) − Mt−1 (u + xi )]2 .

(5)

xi 6

Sub-pixel pˇredstavuje pozici mezi jednotliv´ ymi obrazov´ ymi body, nejedná se tedy dále pouze o celoˇc´ıselné souˇradnice, ale pro zv´ yˇsen´ı pˇresnosti se vyuˇz´ıvaj´ı hodnoty reálné.

6/35

´ Í KLT 2.3 ALGORITMUS SLEDOVAN Minimalizace rovnice (5) je provádˇena s ohledem na d a suma je poˇc´ıtána pˇres vˇsechny body xi . Samotná minimalizaˇcn´ı u ´loha je nelineárn´ı, i kdyˇz vektor deformace W(u, d) je lineárn´ım v d, ale sn´ımek I(u) je nelineárn´ım v u. Hodnoty jednotliv´ ych obrazov´ ych bod˚ u, z nichˇz se skládá I(u) obecnˇe nemaj´ı vztah k souˇradnic´ım u. Pro optimalizaci v´ yrazu v rovnici (5), KL algoritmus pˇredpokládá, ˇze odhad d je znám a dále je ˇreˇsiteln´ y pomoc´ı inkrementace parametrem ∆d, coˇz m˚ uˇzeme zapsat jako X f (It , Mt−1 , u, d, ∆d) = [It (W(u + xi , d + ∆d)) − Mt−1 (u + xi )]2 . (6) xi

Aktualizaci parametru d zap´ıˇseme d ← d + ∆d.

(7)

Iteraci provád´ıme pˇres kroky (6, 7) tak dlouho, dokud parametr d konverguje. Jako test konvergence je libovolná norma vektoru ∆d, která je menˇs´ı neˇz stanoven´ y práh ε, napˇr.

∆d ≤ ε.

2.3.1

Odvozen´ı KL algoritmu

KL algoritmus je variantou Gauss-Newtonova gradientn´ı klesaj´ıc´ı nelineárn´ı optimalizaˇcn´ı u ´lohy. Nelineárn´ı rovnici (6) linearizujeme Taylorov´ ym polynomem prvn´ıho ˇra´du ˇclenu I (W(u, d + ∆d)) a z´ıskáme 2 X ∂W ∆d − Mt−1 (u + xi ) . (8) It (W(u + xi , d)) + ∇I f (It , Mt−1 , u, d, ∆d) = ∂d xi ∂I ∂I V této rovnici (8) v´ yraz ∇I = ∂x , ∂y pˇredstavuje gradient sn´ımku I spoˇcten´ y v bodˇe W(u, d), tzn. ∇I je spoˇcten v souˇradném systému I a poté dosazen zpátky do souˇradnic je Jakobián tohoto modelu M s pouˇzit´ım aktuáln´ıho odhadu toku W(u, d). V´ yraz ∂W ∂d (Wx (u,d) toku. Pˇredpokládejme W(u, d) = Wy (u,d) , pak pro 2D plat´ı ! ∂Wx ∂Wx ∂W ∂p1 ∂p2 = ∂W (9) ∂Wy y . ∂d ∂p1 ∂p2 Minimalizace rovnice (8) je problém nejmenˇs´ıch ˇctverc˚ u a ˇreˇsen´ı m˚ uˇzeme odvodit následovnˇe. Parciáln´ı derivace rovnice (8) vzhledem k ∆d je X ∂W T ∂f ∂W =2 ∇I It (W(u + xi , d)) + ∇I ∆d − Mt−1 (u + xi ) , (10) ∂∆d ∂d ∂d x i

∇I ∂W ∆d ∂d

kde ˇclen odpov´ıdá smˇeru nejstrmˇejˇs´ıho poklesu mezi sn´ımky. Pokud tento vztah poloˇz´ıme roven nule, spoˇcten´ı nám poskytuje koneˇcné ˇreˇsen´ı pro minimáln´ı hodnotu v´ yrazu v rovnici (8) jako X ∂W T −1 ∆d = H ∇I (Mt−1 (u + xi ) − It (W(u + xi , d))), (11) ∂d x i

7/35

´ Í KLT 2.3 ALGORITMUS SLEDOVAN kde H je pro 2D Hessova matice X ∂W T ∂W H= ∇I ∇I ∂d ∂d x

(12)

i

∂W T

ˇ Clen (Mt−1 (u + xi ) − It (W(u + xi , d))) odpov´ıdá aktualizaci parametru xi ∇I ∂d nejstrmˇejˇs´ıho poklesu. Z rovnice (11) m˚ uˇzeme ˇr´ıci, ˇze parametr ∆d je právˇe aktualizace parametru nejstrmˇejˇs´ıho poklesu vynásobená inverzn´ı Hessovou matic´ı. Samotn´ y KL algoritmus se skládá z iterativn´ıho aplikován´ı rovnic (7) a (11). Z pˇredchoz´ıch rovnic vid´ıme, ˇze gradient ∇I mus´ı b´ yt spoˇcten pro pouˇzit´ı v W(u, d) ∂W ych pˇr´ıpadech (pro optické toky a Jakobián ∂d v d, oboj´ı obecnˇe závis´ı na d. V nˇekter´ sloˇzené pouze z translace ˇci toky afinn´ı) m˚ uˇze b´ yt Jakobián konstantn´ı, nicménˇe pro u ´plnost je tˇreba vˇsechny kroky v´ ypoˇctu algoritmu v kaˇzdém kroku opakovat a toto zjednoduˇsen´ı vylouˇcit. Odhad parametru d se m˚ uˇze liˇsit mezi jednotliv´ ymi iteracemi. Pro optické toky W(u, d) máme pouze poˇzadavek, aby byly diferencovatelné vzhle. Obecnˇe jsou tyto toky dem k parametru d, coˇz potˇrebujeme ke spoˇcten´ı Jakobiánu ∂W ∂d diferencovatelné dle u, ale tato podm´ınka nen´ı nutná. P

2.3.2

Varianty KLT

V praxi se pouˇz´ıvaj´ı nejˇcastˇeji ˇctyˇri varianty algoritmu, které se liˇs´ı v zámˇenˇe rol´ı modelu M a sn´ımku I ve v´ ypoˇctu a také zp˚ usobem aktualizace odhadu pohybu pˇri iteraci. P˚ uvodn´ı algoritmus a dalˇs´ı tˇri odvozené od tohoto obecného algoritmu. Tyto varianty poskytuj´ı jistá zjednoduˇsen´ı pro v´ ypoˇcet optick´ ych tok˚ u t´ım, ˇze upravuj´ı tvar rovnice pro minimalizaci 6 a krok zmˇenu parametru d v kroku iterace. Tyto varianty jsou bl´ıˇze popsané a odvozené v ˇclánku ([2]) a poskytuj´ı empiricky podloˇzené shodné v´ ysledky (bez pˇridaného ˇsumu). Pokud zahrneme do procesu vyˇsˇs´ı hladinu ˇsumu, zvyˇsuje se nutn´ y poˇcet iterac´ı k dosáhnut´ı konvergence a pˇri zvyˇsuj´ıc´ıch se hodnotách m´ıra u ´spˇeˇsnosti konvergence klesá. Jednotlivé algoritmy se liˇs´ı pouze v poˇzadavc´ıch na optické toky a na v´ ypoˇcetn´ı nároˇcnost, 6. Zrychlen´ım a zjednoduˇsen´ım v´ ypoˇctu m˚ uˇze b´ yt aproximace gradientu poklesu hodnoty kriteriáln´ı funkce. Vˇetˇsina nelineárn´ıch optimalizac´ı a algoritm˚ u pro odhad parametr˚ u pracuje s iterac´ı skládaj´ıc´ı se ze dvou krok˚ u. Prvn´ım krokem je pˇribliˇzn´ y lokáln´ı odhad kriteriáln´ı funkce, nejˇcastˇeji pomoc´ı lineárn´ı ˇci kvadratické aproximace v okol´ı aktuáln´ıho odhadu parametr˚ u. Druh´ ym krokem je poté aktualizace odhad˚ u tˇechto parametr˚ u na základˇe odhadu kriteriáln´ı funkce. V základn´ım algoritmu KLT je pouˇzita Gauss-Newtonova metoda minimalizace, ale m˚ uˇzeme napˇr´ıklad pouˇz´ıt GaussNewtonovu minimalizaci s diagonalizac´ı Hessovy matice, Levenberg-Marquardtovu ˇci Newtonovu metodu minimalizace. Mimo tˇechto postup˚ u existuje nespoˇcet dalˇs´ıch, ne vˇsechny jsou vˇsak pro svoj´ı citlivost na ˇsum vhodné pro obecné pˇr´ıpady ˇci jsou v´ yznamnˇe rychlejˇs´ı neˇz Gauss-Newtonova metoda. Algoritmy sledován´ı zaloˇzené na KLT jsou obvykle popsány pro intenzitn´ı sn´ımky. Existuj´ı vˇsak postupy, které pouˇz´ıvaj´ı informaci o barvˇe ˇci barevnosti obrázku (pˇr´ıpadnˇe jeho jednotliv´ ych ˇcást´ı), napˇr. ([3]) nebo vyuˇzit´ı nikoliv jednotliv´ ych barev, ale barevného histogramu, popsaného v ([4]). 8/35

Kapitola 3

Navrˇ zen´ y algoritmus sledov´ an´ı V této kapitole podrobnˇeji pop´ıˇseme konkrétn´ı pouˇzit´ı KLT a jaké jsme provedli jeho dodateˇcné u ´pravy pˇri ˇreˇsen´ı naˇs´ı u ´lohy.

3.1

Upraven´ y algoritmus KLT

Jak jiˇz bylo v pˇredchoz´ı kapitole uvedeno, existuj´ı r˚ uzné varianty KLT algoritmu, které matematicky poskytuj´ı shodné ˇci dostateˇcnˇe bl´ızké v´ ysledky, a které se liˇs´ı pˇreváˇznˇe v rozd´ıln´ ych minimalizac´ıch. Naˇsim potˇrebám nejv´ıce vyhovoval KL algoritmus ve variantˇe dopˇredné sˇc´ıtac´ı( Forward additive“ ) s pouˇzit´ım Gauss-Newtonovy metody ” minimalizace. Tato varianta poskytuje vysokou robustnost pˇri zachován´ı pˇrimˇeˇrené v´ ypoˇcetn´ı nároˇcnosti. Vybrali jsme si implementaci metody popsané v ˇclánku [5].

3.1.1

Popis algoritmu

Mˇejme dvojici 2D sn´ımk˚ u v odst´ınech ˇsedi poˇr´ızen´ ych kamerou, a oznaˇcme je It−1 a It . Jako prvn´ı sn´ımek budeme povaˇzovat sn´ımek It−1 a jako druh´ y It . Intenzitu v libovolném bodˇe takov´ ychto ˇsed´ ych sn´ımk˚ u m˚ uˇzeme lokalizovat jako It−1 (x, y), pˇr´ıpadnˇe It (x, y), kde souˇradnice x pˇredstavuje vodorovnou osu a y osu svislou, s poˇca´tkem v levém horn´ım rohu sn´ımku. T u Máme-li náˇs sledovan´ y objekt na pozici u = ve sn´ımku It−1 , c´ılem algox uy ux + dx ritmu je nalézt jeho pozici v = u + d = ve sn´ımku It , pˇredpokládáme, ˇze u y + dy It−1 (u) a It (v) jsou shodné“. Jelikoˇz v praxi nechceme sledovat pouze objekt o velikosti ” jednoho obrazového bodu, budeme pˇredpokládat, ˇze má urˇcitou velikost, popsanou jako ˇctverec o hranˇe q se stˇredem v bodˇe u, a budeme jej pokládat za model daného objektu, (2.2.2). Pro hledán´ı bodu u, respektive v, pouˇzijeme zmenˇsenou oblast sn´ımku It , jej´ıˇz rozmˇery pop´ıˇseme pro jednotlivé osy jako (2 · ωx + 1) a (2 · ωy + 1), a dále ji budeme naz´ yvat prohledávaná oblast a znaˇcit jako Ω. Rozmˇery ωx a ωy odpov´ıdaj´ı vzdálenosti stˇredového obrazového bodu od hrany této oblasti. C´ılem algoritmu bude minimalizovat chybovou funkci popsanou jako X (d) = (dx , dy ) = [It−1 (u + xi ) − It+1 (u + xi + d)]2 . (13) xi ∈Ω

Obecnˇe pˇredpokládáme, ˇze velikost posunut´ı d bude v jednotliv´ ych osách nejh˚ uˇre shodná jako jsou rozmˇery prohledávané oblasti, tedy dx ≤ ωx a dy ≤ ωy . Pro zajiˇstˇen´ı co nejvˇetˇs´ı robustnosti vzhledem k rychlosti algoritmu, je zde pouˇzita pyramidová implementace KLT. 9/35

´ ALGORITMUS KLT 3.1 UPRAVENY

3.1.2

Sledov´ an´ı objektu s pouˇ zit´ım pyramidov´ e reprezentace

Definujme si pyramidovou reprezentaci sn´ımku I o rozmˇerech nx × ny . Mˇejme I 0 = I, jakoˇzto nultou“ u ´roveˇ n sn´ımku (v p˚ uvodn´ım, maximáln´ım rozliˇsen´ı - n0x = nx a n0y = ” ny ). Pyramidová reprezentace poté spoˇc´ıvá v postupném v´ ypoˇctu I 1 z I 0 , poté I 2 z I 1 , I 3 z I 2 , atd.. Mˇejme L = 1, 2, ..., odpov´ıdaj´ıc´ı u ´rovn´ım pyramidy, pak I L−1 odpov´ıdá L−1 L−1 sn´ımku na u ´rovni L − 1 a nx , ny je pak ˇs´ıˇrka, resp. v´ yˇska sn´ımku I L−1 . Sn´ımek I L−1 poté definujeme jako 1 I L (x, y) = I L−1 + 4 1 L−1 (2x − 1, 2y) + I L−1 (2x + 1, 2y) + I L−1 (2x, 2y − 1) + I L−1 (2x, 2y + 1) + 8 1 L−1 I (2x − 1, 2y − 1) + I L−1 (2x + 1, 2y + 1) + 16 1 L−1 I (2x − 1, 2y + 1) + I L−1 (2x + 1, 2y − 1) (14) 16 Aby byla dodrˇzena podm´ınka pro rozmˇery sn´ımk˚ u mezi u ´rovnˇemi, mus´ı platit nLx

nL−1 + 1 ≤ x 2

nLy

nL−1 +1 y ≤ 2

(15)

C´ılem pyramidové reprezentace je zvládnout vˇetˇs´ı pohyby mezi sn´ımky It−1 a It , i pokud by byly vˇetˇs´ı neˇz je prohledávaná oblast. V praxi nen´ı potˇreba volit vyˇsˇs´ı u ´roveˇ n neˇz L = 4, pˇri nˇemˇz docház´ı k 16 násobnému sn´ıˇzen´ı rozliˇsen´ı sn´ımku. Vzhledem k tomu, ˇze se mˇen´ı rozliˇsen´ı pouˇzit´ ych sn´ımk˚ u na jednotliv´ ych u ´rovn´ıch T L u pyramidy, je tˇreba mˇenit i souˇradnice sledovaného bodu u. Mˇejme u = Lx uLy pro danou u ´roveˇ n pyramidy L, mezi jednotliv´ ymi u ´rovnˇemi m˚ uˇzeme pˇrecházet pomoc´ı u L 0 pˇrepoˇctu u = 2L pro u = u. Samotné sledován´ı objektu pomoc´ı pyramid prob´ıhá tak, ˇze se spoˇcte pohyb (posunut´ı) na nejhlubˇs´ı u ´rovni pyramidy Lm , tedy na sn´ımku s nejniˇzˇs´ım rozliˇsen´ım. Poté se v´ ysledek v´ ypoˇctu propaguje na u ´roveˇ n vyˇsˇs´ı (Lm − 1) jako poˇca´teˇcn´ı odhad posunut´ı d pro u ´roveˇ n (Lm − 1). Tento proces se opakuje aˇz na u ´roveˇ n L = 0, tedy na p˚ uvodn´ı rozliˇsen´ı vstupn´ıho sn´ımku. T y jsme si Mˇejme poˇca´teˇcn´ı odhad optického toku na u ´rovni L, gL = gxL gyL , kter´ spoˇcetli na u ´rovni L + 1. Poté pro spoˇcten´ı optického toku pro u ´roveˇ n L mus´ıme urˇcit vektor zbytkového posunut´ı dL , pro kter´ y je chybová funkce L minimáln´ı L (dL ) = L (dLx , dLy ) =

X

2 L It−1 (xi ) − ItL (xi + gL + dL ) .

(16)

xi ∈Ω

Velikost integraˇcn´ıho okna (2ωx + 1) × (2ωy + 1) se mezi jednotliv´ ymi u ´rovnˇemi nemˇen´ı a poˇcáteˇcn´ı odhad zmˇeny polohy gL je pouˇzit pro pˇredzpracován´ı sn´ımku It . Vektor zbytkového posunut´ı dL je následnˇe mal´ y a je jednoduˇsˇs´ı jej spoˇc´ıst skrze standardn´ı krok KL algoritmu. 10/35

´ ALGORITMUS KLT 3.1 UPRAVENY Optick´ y tok mezi jednotliv´ ymi u ´rovnˇemi lze pˇrepoˇc´ıst pomoc´ı vztahu gL−1 = 2(gL + T dL ), kde jako poˇca´teˇcn´ı podm´ınku pro nejhlubˇs´ı u ´roveˇ n Lm vol´ıme gLm = 0 0 . Pro spoˇcten´ı vektoru dL−1 je nutné znovu provést minimalizaci rovnice L−1 (d)L−1 . PLm(16), V´ ysledn´ y vektor zbytkového posunut´ı d m˚ uˇzeme urˇcit jako d = L=0 2L dL . V´ yznamnou v´ yhodou pyramidové implementace je pˇri v´ ypoˇctu vektoru dL , kter´ y m˚ uˇze b´ yt pro jednotlivé u ´rovnˇe mal´ y, ale v celkovém souˇctu d m˚ uˇze dosahovat vysok´ ych hodnot, pˇri zachován´ı relativnˇe malého integraˇcn´ıho okna.

3.1.3

Iterativn´ı KLT

Na kaˇzdé u ´rovni L je c´ılem nalézt vektor dL minimalizuj´ıc´ı funkci L (16). Z d˚ uvod˚ u opakován´ı shodn´ ych operac´ı na kaˇzdé u ´rovni L nyn´ı provedeme odstranˇen´ı indexu L a uprav´ıme si pouˇzité sn´ımky ∀(x, y) ∈ [px − ωx − 1, px + ωx + 1] × [py − ωy − 1, py + ωy + 1] , . L A(x, y) = It−1 (x, y) ∀(x, y) ∈ [px − ωx , px + ωx ] × [py − ωy , py + ωy ] , . B(x, y) = ItL (x + gxL , y + gyL )

(17) (18)

Pro sn´ımek A(x, y) dojde ke zvˇetˇsen´ı rozsahu integraˇcn´ıho okna na (2ωx +3)×(2ωy +3), coˇz vyuˇzijeme dále v rovnici (19). Abychom zamezili chybám, provedeme zmˇenu znaˇcen´ı T i pro vektor posunut´ı ν¯ = νx νy = dL a pro pozici sledovaného objektu p = T px py = uL . S t´ımto nov´ ym znaˇcen´ım provedeme u ´pravu rovnice (16) na (¯ ν ) = (νx , νy ) =

px +ωx

py +ωy

X

X

(A(x, y) − B(x + νx , y + νy ))2

(19)

x=px −ωx y=py −ωy

V optimu této rovnice plat´ı

∂(¯ ν) ∂(¯ ν)

= 0 0

T

, po dosazen´ı a upraven´ı rovnice (19)

ν¯=¯ νopt

z´ıskáme px +ωx X ∂(¯ ν ) = −2 ∂(¯ ν ) ν¯=¯νopt x=p −ω x

Sn´ımek ν¯ = 0 protoˇze

py +ωy

X x

(A(x, y) − B(x + νx , y + νy )) ·

∂B ∂x

∂B ∂y

(20)

y=py −ωy

B(x + νx , y + νy ) nyn´ı rozvineme v Taylor˚ uv polynom prvn´ıho ˇra´du v bodˇe T 0 , coˇz m˚ uˇzeme provést s vysokou pravdˇepodobnost´ı na správné aproximace, oˇcekáváme pouze mal´ y vektor posunut´ı (kv˚ uli pouˇzit´ı pyramid)

px +ωx y +ωy X pX ∂B ∂B ∂(¯ ν) ∂B ≈ −2 A(x, y) − B(x, y) − ∂B ¯ · ∂x ∂y , (21) ∂x ∂y ν ∂(¯ ν) x=px −ωx y=py −ωy ∂B kde matice ∂B pˇredstavuje vektor gradientu sn´ımku. Vztah (A(x, y) − B(x, y)) ∂x ∂y T m˚ uˇzeme chápat jako derivaci sn´ımku v ˇcase v bodˇe x y

∀(x, y) ∈ (px − ωx , px + ωx ) × (py − ωy , py + ωy ), . δI(x, y) = A(x, y) − B(x, y)

(22) 11/35

´ ALGORITMUS KLT 3.1 UPRAVENY Nyn´ı si oznaˇcme ∂B I . ∂x ∇I = x = ∂B Iy ∂y

(23)

Derivace sn´ımku Ix a Iy m˚ uˇzeme spoˇc´ıst pˇr´ımo ze sn´ımku A(x, y), pˇres okol´ı (2ωx + 1) × (2ωy + 1) bodu p, nezávisle na sn´ımku B(x, y). Pˇrep´ıˇseme rovnici (21) do tvaru px +ωx X 1 ∂(¯ ν) ≈ 2 ∂ ν¯ x=p −ω x

1 2

∂(¯ ν) ∂ ν¯

px +ωx

T

X

≈

py +ωy

X x

(∇I T ν¯ − δI)∇I T ,

y=py −ωy

py +ωy

X I 2 Ix Iy δII x x ν¯ − Ix Iy Iy2 δIIy

(24)


Zavedeme si substituci . G=

px +ωx

X

py +ωy

X I 2 Ix Iy x Ix Iy Iy2


. ¯b =

px +ωx

X

py +ωy

X δIIx δIIy

(25)


Rovnici (24) s pomoc´ı této substituce m˚ uˇzeme pˇrepsat do tvaru 1 2

∂(¯ ν) ∂ ν¯

T

≈ G¯ ν − ¯b.

(26)

Z této rovnice pak m˚ uˇzeme urˇcit optimáln´ı vektor optického toku jako ν¯opt = G−1¯b. Tento vztah plat´ı pouze za pˇredpokladu, ˇze matice G je invertovatelná, coˇz odpov´ıdá tomu, ˇze sn´ımek A(x, y) obsahuje informace o gradientu v obou osách x, y pro okol´ı bodu p. Tento v´ yraz je základn´ı rovnice KL algoritmu pro optick´ y tok, plat´ıc´ı pro malá posunut´ı, kv˚ uli pouˇzit´ı Taylorova rozvoje prvn´ıho ˇrádu. V praxi je pro dosaˇzen´ı v´ ysledku tˇreba iterovat nˇekolikrát (Newton-Raphsonova metoda).

12/35

´ ALGORITMUS KLT 3.1 UPRAVENY Nyn´ı si pop´ıˇseme samotn´ y iterativn´ı algoritmus: 1. Mˇejme index iterace k s poˇca´teˇcn´ı hodnotou 1. Pro k−1 k ≥ 1 pak pˇredpokládejme ν x poˇca´teˇcn´ı odhad vektoru posunut´ı ν¯k−1 = , pro kter´ y mˇejme nov´ y posuνyk−1 nut´ y sn´ımek Bk ∀(x, y) ∈ (px − ωx , px + ωx ) × (py − ωy , py + ωy ), Bk (x, y) = B(x + νxk−1 , y + νyk−1 ).

(27)

k ηx minimalizuj´ıc´ı chybovou 2. C´ılem je urˇcit vektor zbytkového posunut´ı η¯ = ηyk funkci k

k

k

k

(¯ η )=

(ηxk , ηyk )

=

px +ωx

py +ωy

X

X

2 A(x, y) − Bk (x + ηxk , y + ηyk )) .

(28)


ˇ sen´ım této minimalizace je (podobnˇe jako dˇr´ıve uvedeno) vztah η¯k = G−1¯bk , 3. Reˇ kde ¯bk je dvouˇrádkov´ y sloupcov´ y vektor py +ωy

px +ωx

¯bk =

X δIk (x, y)Ix (x, y) , δIk (x, y)Iy (x, y)

X

(29)


kde δIk pˇredstavuje k-t´ y rozd´ılov´ y sn´ımek definovan´ y jako ∀(x, y) ∈ (px − ωx , px + ωx ) × (py − ωy , py + ωy ), δIk (x, y) = A(x, y) − Bk (x, y).

(30)

4. Pˇred zaˇcátkem iterace si m˚ uˇzeme spoˇc´ıst derivace sn´ımk˚ u Ix a Iy (v okol´ı bodu p) a matici G, která také z˚ ustává konstantn´ı napˇr´ıˇc iteracemi. D´ıky tomuto zjednoduˇsen´ı budeme v pr˚ ubˇehu iterován´ı bˇehem kroku k pˇrepoˇc´ıtávat pouze vektory ¯bk a ν¯k−1 . Po spoˇcten´ı zbytkového optického toku η¯k provedeme aktualizaci odhadu vektoru posunut´ı ν¯k pro dalˇs´ı krok iterace k + 1 jako ν¯k = ν¯k−1 + η¯k . Iterován´ı provád´ıme tak dlouho, dokud nen´ı zbytkov´ y vektor posunut´ı menˇs´ı neˇz stanovená mez, pˇr´ıpadnˇe nen´ı dosaˇzeno urˇcitého poˇctu krok˚ u iterace. V prvn´ım kroku T 0 iterace pro k = 1 si stanov´ıme poˇcáteˇcn´ı odhad ν¯ = 0 0 . Pˇredpokládejme, ˇze jsme k dosaˇzen´ı konvergence potˇrebovali celkem K krok˚ u, v´ ysledné ˇreˇsen´ı m˚ uˇzeme zapsat jako L

K

ν¯ = d = ν¯ =

K X

η¯k .

(31)

k=1

13/35

´ ALGORITMUS KLT 3.1 UPRAVENY

3.1.4

Sledov´ an´ı objektu pobl´ıˇ z okraj˚ u sn´ımku

Pro sledovac´ı algoritmus je uˇziteˇcné, aby byl schopn´ y sledovat vybran´ y objekt v celém vstupn´ım sn´ımku, tedy i v jeho okraj´ıch. Pokud máme Lm jakoˇzto nejhlubˇs´ı u ´roveˇ n pyramidy a integraˇcn´ı okno o velikosti (2ωx + 1) × (2ωy + 1), pak zakázaná oblast“ ” ych bod˚ u od okraje minulého sn´ımku. V této zasahuje 2Lm ωx (resp. 2Lm ωy )7 obrazov´ oblasti pokraˇcuje algoritmus upraven´ ym zp˚ usobem, a to tak, ˇze v´ ypoˇcet prob´ıhá pˇres obrazové body sn´ımku, které jsou na pr˚ uniku integraˇcn´ıho okna a platn´ ych obrazov´ ych bod˚ u uvnitˇr sn´ımku (nepˇresáhneme pˇri v´ ypoˇctu sum pˇres okraj). Toto se t´ yká sn´ımk˚ u Ix (x, y), Iy (x, y) a δIk (x, y). Také pˇri kaˇzdé iteraci bude potˇreba provést pˇrepoˇcten´ı matice G a následnˇe vektor ¯bk , protoˇze jiˇz nadále matice G nebude konstantn´ı. T px py opust´ı sn´ımek Pokud ovˇsem sledovan´ y objekt, pˇredstavovan´ y bodem p = px + gxL + νxk−1 L opust´ı sn´ımek ItL , It−1 , pˇr´ıpadnˇe jemu odpov´ıdaj´ıc´ı vyhledávan´ y bod py + gyL + νyk−1 prohlaˇsujeme objekt za ztracen´ y.

3.1.5

Prohl´ aˇ sen´ı objektu za ztracen´ y

Jak bylo zm´ınˇeno v podkapitole v´ yˇse (3.1.4), objekt prohlás´ıme za ztracen´ y, pokud L L uˇzeme prohlásit objekt za ztracen´ y, pokud chyopust´ı jeden ze sn´ımk˚ u It−1 , It . Dále m˚ bová funkce (d) v rovnici (13) je vyˇsˇs´ı, neˇz je definovaná mez. Tuto mez je obt´ıˇzné pevnˇe stanovit, proto vol´ıme dynamicky stanovenou dle postupu, kter´ y je uveden´ y v bakaláˇrské práci [6]. Ta vycház´ı z posledn´ıch 10 hodnot chybové funkce z nichˇz si vypoˇc´ıtáme pr˚ umˇer e¯ a maximáln´ı hodnotu z 10 chyb max10 (e). Tuto dvojici hodnot dosad´ıme do vzorce: gmez =

max(e) + e¯ , m

(32)

kde gmez je stanovená mez a m pak empiricky urˇcená hodnota, dle bakaláˇrské práce m = 2, 5. S touto mez´ı pak m˚ uˇzeme pro kaˇzdou sekvenci lépe stanovit, kdy je objekt ztracen´ y a kdy nikoliv.

7

Pro kaˇzdou u ´roveˇ n pyramidy se jedná o ωx , resp. ωy obrazov´ ych bod˚ u.

14/35

Kapitola 4

Implementace Zvolen´ y algoritmus, popsan´ y v kapitole 3 (2.3.2), jsme implementovali do stávaj´ıc´ıho kódu SSD algoritmu tak, aby oba algoritmy byly od sebe oddˇelené. Tato implementace je realizována s pouˇzit´ım knihovny OpenCV pro jazyk C++, v nˇemˇz je napsan´ y v´ ysledn´ y algoritmus. Z knihovny jsme vyuˇzili ˇcásti funkc´ı, které se t´ ykaj´ı KL algoritmu. Implementaci jsme provedli tak, aby v´ ysledn´ y program byl pˇreloˇziteln´ y pro dvˇe poˇzadované platformy, Windows a Linux. V kódu jsme provedli dodateˇcné zmˇeny, napˇr. sledován´ı vybraného objektu na u ´rovni sub-pixel˚ u, spuˇstˇen´ı algoritmu z v´ıce bod˚ u a naˇc´ıtán´ı sekvenc´ı ze souboru.

4.1 4.1.1

Implementace navrˇ zen´ eho algoritmu P˚ uvodn´ı sch´ ema programu

Strukturu programu na obrázku (4) m˚ uˇzeme rozdˇelit na vnˇejˇs´ı a vnitˇrn´ı ˇca´st. Ve vnˇejˇs´ı ˇcásti je pˇrevodn´ık USB/CAN slouˇz´ıc´ı pro komunikaci ˇr´ıd´ıc´ım systémem kamerové hlavice a digitizér analogového signálu pro pˇrevod vstupn´ıho videosignálu kamery do digitáln´ıho signálu zpracovávaného poˇc´ıtaˇcem. Ve vnitˇrn´ı ˇcásti jsou funkce ˇctveˇrice hlavn´ıch vláken (oznaˇcené textem Thread“) a dvojice rozhran´ı ( interface“) ” ” zastˇreˇsuj´ıc´ı sledovac´ı algoritmus, resp. dva r˚ uzné druhy pouˇz´ıvan´ ych USB/CAN pˇrevodn´ık˚ u. V následuj´ıc´ıch odstavc´ıch si pop´ıˇseme ˇctveˇrici hlavn´ıch vláken programu a pouˇz´ıvané struktury v p˚ uvodn´ım programu s SSD sledovac´ım algoritmem. 4.1.1.1

Vl´ akno ThrTracking

Souˇcást´ı tohoto vlákna je funkce ProcThreadTrack uvedená ve schématu (4), která za svého pr˚ ubˇehu volá funkci processTrack. Tato funkce jako vstupn´ı promˇenné pˇrij´ımá rozmˇery sn´ımku image act, v nˇemˇz hledáme sledovan´ y objekt. ProcessTrack je stavov´ y automat bez návratové hodnoty, kter´ y rozliˇsuje ˇsestici stav˚ u: 1. Zaˇca´tek sledován´ı ´ eˇsné nalezen´ı sledovaného objektu ve sn´ımku z kamery 2. Uspˇ ˇ asteˇcná ztráta sledovaného objektu (napˇr. krátkodob´ 3. C´ y zákryt) ´ a ztráta sledovaného objektu (objekt nebyl nalezen v pr˚ 4. Upln´ ubˇehu 5 sn´ımk˚ u, zat´ımco byl ve stavu 3) 5. Chyba, jej´ımˇz d˚ usledkem je sledovan´ y objekt povaˇzován za ztracen´ y

15/35

ˇ EHO ´ 4.1 IMPLEMENTACE NAVRZEN ALGORITMU

Obrázek 4: Blokové schéma proces˚ u v programu obrazové zpˇetné vazby, pˇrevzato z dokumentace projektu MAGYSKA. 6. Zastaven´ı sledován´ı Za bˇehu stavového automatu docház´ı k volán´ı funkce objectTrack, jej´ımˇz vstupem je odkaz do operaˇcn´ı pamˇeti poˇc´ıtaˇce s uloˇzen´ ym aktuáln´ım sn´ımkem z kamery (v nˇemˇz budeme hledat sledovan´ y objekt) a rozmˇery tohoto sn´ımku. V této funkci pouˇz´ıváme lineárn´ıho prediktoru budouc´ı polohy sledovaného objektu z jeho pˇredchoz´ıho pohybu. Pokud je stav automatu 2 nebo 3, prob´ıhá hlavn´ı funkce sledovac´ıho algoritmu SSD locateGrayModel. Pˇri stavu automatu 2 prob´ıhá aktualizován´ı modelu sledovaného objektu pomoc´ı vztahu (3). Pokud doˇslo v pr˚ ubˇehu sledován´ı ke zmˇenˇe zoomu kamery, dojde k pˇrepoˇcten´ı poloh intenzit v modelu s vyuˇzit´ım referenˇcn´ı tabulky pro pˇrepoˇcet. LocateGrayModel jako vstupn´ı parametry pˇrij´ımá aktuáln´ı sn´ımek, model sledovaného objektu a polohu sledovaného objektu z pˇredchoz´ıho kroku. V této funkci implementujeme rovnici vyjádˇrenou matematicky v (1), jej´ı návratová hodnota je nalezená pozice sledovaného objektu v aktuáln´ım sn´ımku a j´ı odpov´ıdaj´ıc´ı hodnota kriteriáln´ı chybové funkce. Pokud hodnota chybové funkce je vyˇsˇs´ı neˇz stanovená v konfiguraˇcn´ım souboru, ˇci nedoˇslo k nalezen´ı sledovaného objektu, pˇrepneme stav stavového automatu z 2 na 3 za pˇredpokladu, ˇze ve stavu 3 jiˇz nen´ı. Za bˇehu tohoto vlákna docház´ı ke pˇrepisován´ı parametr˚ u struktur track cmd a track stat, které v sobˇe maj´ı uloˇzenou konfiguraci sledovac´ıho algoritmu, polohu sledovaného objektu, atd. 4.1.1.2

Vl´ akno ThrCapture

Toto vlákno má na starost zpracován´ı pˇr´ıchoz´ıch dat z digitizéru analogového signálu, do nˇejˇz vstupuj´ı analogová video data poˇrizovaná kamerou. Základn´ı funkce ProcThreadCapture kontroluje aktuáln´ı stav komunikace s digitizérem a konzistenci vˇcetnˇe platnosti 16/35

ˇ EHO ´ 4.1 IMPLEMENTACE NAVRZEN ALGORITMU pˇrij´ıman´ ych dat. Pˇrij´ımaná data jsou ukládána do zásobn´ıku dat, z nˇejˇz se pˇri ovˇeˇren´ı kompletnosti a správn´ ych rozmˇer˚ u uloˇz´ı do datového pole act image. Poˇr´ızená data jsou uloˇzená jako tˇr´ırozmˇerná matice o rozmˇerech ˇs´ıˇrka×v´ yˇska×3, kde kaˇzdá ze tˇr´ı vrstev obsahuje intenzity v obrazov´ ych bodech pro základn´ı barvy RGB8 . Tuto tˇr´ıvrstvou matici pˇrevedeme do matice jednovrstvé obsahuj´ıc´ı pouze odst´ıny ˇsedi. Pˇrepoˇcet provedeme pomoc´ı vzorce Hˇsedá = 0, 2989 · R + 0, 5870 · G + 0, 1140 · B,

(33)

kde hodnota ˇsedého obrazového bodu Hˇsedá odpov´ıdá postupnému seˇcten´ı jednotliv´ ych hodnot obrazového bodu z jeho tˇr´ı hodnot vyjadˇruj´ıc´ıch barvu. T´ımto v´ ypoˇctem dostaneme matici obsahuj´ıc´ı intenzity obrazov´ ych bod˚ u z naˇcteného sn´ımku v rozsahu 0 aˇz 255, které uloˇz´ıme do promˇenné pImgDir. Pˇri pouˇzit´ı programu pod operaˇcn´ım systémem Windows je zde k dispozici grafické uˇzivatelské rozhran´ı, v nˇemˇz je zobrazeno video poˇrizované kamerou (aktuáln´ı sn´ımek act image). Pˇres toto video (5) je zobrazena souˇcasná poloha sledovaného objektu (ˇctverec odpov´ıdaj´ıc´ı velikosti sledovaného objektu) a stav stavového automatu (vyjádˇreno barvou ˇctverce). V grafickém rozhran´ı jsou dále kontroln´ı tlaˇc´ıtka pro ovládán´ı sledovac´ıho algoritmu: • Volba velikosti sledovaného objektu (velikost okol´ı) • Zapnut´ı / vypnut´ı sledovac´ıho algoritmu • Inicializován´ı kalibraˇcn´ıho pohybu kamerové hlavice

4.1.1.3

Vl´ akna ThrCommTx a ThrCommRx

Tato dvojice vláken zajiˇst’uje komunikaci sleduj´ıc´ıho algoritmu pomoc´ı rozhran´ı TrackerInterface s rozhran´ım CANInterface. Ve schématu (4) jim odpov´ıdaj´ı hlavn´ı funkce ProcThreadTx a ProcThreadRx. Rozhran´ı CANInterface obsahuje funkce pro obousmˇernou komunikaci sledovac´ıho algoritmu s ˇr´ıd´ıc´ım systémem kamerové hlavice pomoc´ı specifick´ ych zpráv pro ˇcten´ı a zápis hodnot z CAN sbˇernice. Toto ˇcten´ı a zápis prob´ıhá pomoc´ı funkc´ı v souborech CANCanlab.cpp a CANKvaser.cpp pro pouˇzité pˇrevodn´ıky USB/CAN. Funkce v tˇechto souborech obsahuj´ı upravené zprávy pro pouˇzit´ı ovladaˇc˚ u tˇret´ıch stran pro kaˇzd´ y pouˇzit´ y pˇrevodn´ık. Konkrétn´ı pˇrevodn´ık USB/CAN a jeho parametry nastavujeme v konfiguraˇcn´ım souboru pomoc´ı promˇenn´ ych: • CAN device - pˇrevodn´ık Kvaser nebo Canlab • CAN port - pˇrednastavené ˇc´ıslo komunikaˇcn´ıho portu • CAN speed - nastaven´ı komunikaˇcn´ı rychlosti pouˇzité CAN sbˇernice v KB/s 8

R - ˇcerven´ a (red), G - zelen´ a (green) a B - modrá (blue)

17/35


Obrázek 5: Grafické uˇzivatelské rozhran´ı se zobrazen´ım sledovaného objektu. Zelená barva ˇctverce odpov´ıdá stavu automatu 1 a 2, ˇzlutá by odpov´ıdala stavu 6, fialová 3 a ˇcervená stav˚ um 4 a 5.

4.1.2

Vyuˇ zit´ı knihovny OpenCV

Novˇe jsme pro práci s obrazem pouˇzili knihovnu OpenCV. Knihovnu OpenCV jsme zvolili z d˚ uvodu velkého mnoˇzstv´ı implementovan´ ych funkc´ı pro práci se sn´ımky a kv˚ uli pˇrenositelnosti kódu mezi platformami (v naˇsem pˇr´ıpadˇe mezi platformou vyuˇz´ıvaj´ıc´ı operaˇcn´ı systém Windows a Linux). Naˇs´ım poˇzadavkem byla moˇznost volby pˇrenáˇset tento v´ ysledn´ y soubor mezi zaˇr´ızen´ımi bez nutnosti instalovat OpenCV knihovnu, pouˇz´ıváme nikoliv dynamick´ ych, ale statick´ ych knihoven. Nutnost instalace OpenCV do poˇc´ıtaˇce v kamerové hlavici by byla omezuj´ıc´ı, protoˇze se jedná o nepˇr´ıliˇs v´ ykonné zaˇr´ızen´ı s malou u ´loˇznou kapacitou. Statické knihovny se pˇri pˇrekladu kódu zahrnuj´ı do programu jiˇz pˇri kompilován´ı do spustitelného souboru, nikoliv jako knihovny dynamické, které jsou volány spuˇstˇen´ ym souborem aˇz pˇri jejich prvn´ım pouˇzit´ı. Statické knihovny zvˇetˇs´ı velikost v´ ysledného souboru, ale zajist´ı, ˇze pro spouˇstˇen´ı programu se sledovac´ım algoritmem nebude tˇreba dodateˇcn´ ych soubor˚ u. Pro tuto aplikaci jsme pouˇzili v´ıcevláknovou realizaci, které spolu sd´ıl´ı nˇekolik promˇenn´ ych. Tyto promˇenné pouˇz´ıváme pro definován´ı stavu algoritmu, komunikace s ˇr´ıd´ıc´ım systémem a operátorem. Abychom zamezili vzájemnému pˇrepisován´ı tˇechto hodnot a problém˚ um, pouˇz´ıváme zamykán´ı vybran´ ych u ´sek˚ u kódu pro to vlákno, které bude pˇristupovat ke sd´ılen´ ym promˇenn´ ym a ˇc´ıst ˇci mˇenit jejich hodnoty. Pro naˇse ˇreˇsen´ı je pouˇzita verze OpenCV ve verzi 2.4.10 z ˇr´ıjna roku 2014. 18/35


4.1.3

Upraven´ e sch´ ema programu

Vycház´ıme z p˚ uvodn´ı implementace SSD algoritmu a programu, do které zakomponováváme naˇs´ı implementaci KL algoritmu. Z p˚ uvodn´ıho kódu SSD algoritmu pouˇz´ıváme pouze funkce pracuj´ıc´ı s modelem M (natáˇcen´ı, aktualizace pˇri zmˇenˇe zoomu). Veˇskeré promˇenné a datové typy jsme pˇrepsali do takov´ ych, se kter´ ymi pracuj´ı funkce OpenCV. Do vnitˇrn´ıch funkc´ı této knihovny jsme nezasahovali, pouze jsme lokálnˇe upravili funkce sledován´ı objektu tak, aby splˇ novali naˇse poˇzadavky. V následuj´ıc´ıch odstavc´ıch si porovnáme, jak se liˇs´ı implementace p˚ uvodn´ıho SSD a KLT algoritm˚ u sledován´ı. P˚ uvodn´ı schéma programu (4 z˚ ustává nezmˇenˇené. Vstupn´ı promˇenné upraven´ ych funkc´ı z˚ ustávaj´ı shodné s p˚ uvodn´ı implementac´ı, liˇs´ı se pouze v pouˇzit´ ych datov´ ych typech. 4.1.3.1

Vl´ akno ThrTracking

Implementace KLT algoritmu se v tomto vláknˇe a vnoˇren´ ych funkc´ıch liˇs´ı v pouˇzit´ ych datov´ ych strukturách pro uloˇzen´ı a práci se sn´ımky, nepouˇz´ıváme tedy dynamicky alokovaná pole 8 bitov´ ych hodnot, ale struktury Mat z knihovny OpenCV. Pˇr´ınosem této struktury jsou pˇridané obsluˇzné funkce, slouˇz´ıc´ı mimo jiné k jednoduchému pˇr´ıstupu k rozmˇeru uloˇzeného sn´ımku, kop´ırován´ı dat tohoto sn´ımku ˇci jednoduch´ y v´ ybˇer podoblasti sn´ımku. Funkce objectTrack z˚ ustala prakticky nezmˇenˇená, liˇs´ı se pouze t´ım, jak jsme pouˇzili model pro KL algoritmus. Pˇredpokládali jsme, ˇze pro sledován´ı pouˇz´ıváme z dvojice sn´ımk˚ u jeden jako model a druh´ y pro vyhledán´ı nové polohy sledovaného objektu. Pˇri implementaci neprovád´ıme aktualizaci modelu pˇres celou jeho velikost, ale pouze pˇres okol´ı polohy sledovaného objektu v pˇredchoz´ım sn´ımku. T´ımto si uˇsetˇr´ıme v´ ypoˇcetn´ı kapacitu a zamez´ıme pˇrepisován´ı celé matice intenzit modelu. Funkci LocateGrayModel jsme nahradili funkc´ı KLDiffImg cv, která obsahuje námi upravenou implementac´ı KLT algoritmu (funkce calcOpticalFlowPyrLK), která je souˇcást´ı knihovny OpenCV (4.1.3.4). 4.1.3.2

Vl´ akno ThrCapture

V tomto vláknˇe pouˇz´ıváme stejnˇe jako v ostatn´ıch ˇcástech kódu strukturu Mat pro ukládán´ı a práci se sn´ımky. Vstupn´ı sn´ımek act image je tˇr´ırozmˇerná matice Mat, kterou pomoc´ı funkce ImportRGB24 cv napln´ıme. Tuto matici pak pomoc´ı funkce cvtColor z knihovny OpenCV pˇrevedeme do matice intenzit se stejnou ˇs´ıˇrkou a délkou. Pˇri pouˇzit´ı na poˇc´ıtaˇci s operaˇcn´ım systémem Windows zobrazujeme pˇri zachován´ı p˚ uvodn´ı funkcionality také aktuáln´ı model sledovaného objektu v levém horn´ım rohu grafického uˇzivatelského rozhran´ı, obrázek (4). 4.1.3.3

Vl´ akno ThrCommTx a ThrCommRx

Komunikaˇcn´ı vlákna z˚ ustala shodná s p˚ uvodn´ı implementac´ı, pouze byla doplnˇena a pˇrepsána tak, aby pouˇz´ıvala na platformˇe nezávislou knihovnu Pthread pro správu vláken a jejich komunikaci. 19/35

ˇ EHO ´ 4.1 IMPLEMENTACE NAVRZEN ALGORITMU 4.1.3.4

Funkce KLDiffImg cv a calcOpticalFlowPyrLK

ybˇeru typu sledovac´ıho algoritmu Implementace funkce KLDiffImg cv nab´ız´ı moˇznost v´ KL dle poˇctu startovn´ıch pozic (4.2.1), které jsme zvolili v hlaviˇckovém souboru ConfigDef.h(4.4). Spuˇstˇen´ı algoritmu z v´ıce startovn´ıch poloh (4.2.1) je implementováno pro hodnoty 1,9,25,36,49 a 81, ze kter´ ych pouˇz´ıváme nejjednoduˇsˇs´ı start z jedné polohy (shodné s p˚ uvodn´ı implementac´ı calcOpticalFlowPyrLK) a z 25 bod˚ u. Tyto body jsou vyb´ırány tak, aby byly rovnomˇernˇe rozm´ıstˇeny po celé prohledávané oblasti. Prohledávaná oblast je obdéln´ık v konfiguraˇcn´ım souboru nastavitelná hodnotami promˇenyˇsku a search width pro ˇs´ıˇrku oblasti. Pˇri spuˇstˇen´ı algoritmu z n´ ych search height pro v´ jedné startovn´ı polohy vrát´ıme souˇradnici sledovaného objektu s minimáln´ı hodnotou chybové funkce (6). Pokud jsme vybrali start z v´ıce neˇz jedné pozice, provád´ıme v´ ybˇer takové nalezené souˇradnice sledovaného objektu z uloˇzen´ ych poloh, pro nˇeˇz hodnota kriteriáln´ı funkce (6) minimáln´ı ze vˇsech uloˇzen´ ych hodnot pro jednotlivé souˇradnice bod˚ u. Jako návratovou hodnotu funkce KLDiffImg cv pak nastavujeme polohu, pro n´ıˇz byla chybová funkce minimáln´ı. Upravená funkce calcOpticalFlowPyrKL umoˇzn ˇuje upraven´ı zvláˇst’ velikosti okol´ı sledovaného objektu a prohledávané oblasti pro nalezen´ı souˇradnic objektu. V pr˚ ubˇehu funkce dojde k vypoˇc´ıtán´ı pyramidové konstrukce pro oba vstupn´ı sn´ımky, po které dojde ke spuˇstˇen´ı gradientn´ıho algoritmu. Algoritmus je spouˇstˇen ze zadaného poˇctu bod˚ u rozm´ıstˇen´ ych v prohledávané oblasti. Pro kaˇzd´ y bod probˇehne minimalizaˇcn´ı gradientn´ı algoritmus, kter´ y vrát´ı souˇradnici objektu s minimáln´ı hodnotou chybové funkce (6) po skonˇcen´ı iterován´ı. Pro vˇsechny body si uloˇz´ıme hodnotu chybové funkce a nalezené souˇradnice.

4.1.4

Naˇ c´ıt´ an´ı ze souboru

Pro potˇreby testován´ı algoritmu KLT i SSD jsme pˇridali moˇznost naˇc´ıtán´ı sekvenc´ı sn´ımk˚ u ze sloˇzky s lokálnˇe uloˇzen´ ymi daty. Pˇri inicializaci programu je potˇreba zvolit pouze c´ılovou sloˇzku v poˇc´ıtaˇci, poˇca´teˇcn´ı sn´ımek sekvence a polohu sledovaného objektu v souˇradnic´ıch vzhledem k levému horn´ımu rohu sn´ımku. Tyto parametry nastav´ıme v konfiguraˇcn´ım souboru Ini parameter.par pomoc´ı promˇenn´ ych data path, tracking col a tracking row. Promˇenné data path pˇredáme cestu k prvn´ımu sn´ımku naˇc´ıtané sekvence v absolutn´ı podobˇe ( data path = C:\Data\Sekvence\01-00%003d.png) ˇci v relativn´ı ( data path = ..\.\Sekvence\01-00%003d.png). Zadán´ı prvn´ıho sn´ımku sekvence prob´ıhá pomoc´ı konstrukce 01-00%003d.png, která se skládá ze zaˇcátku názvu (01-00, kter´ y se u kaˇzdého sn´ımku opakuje), z poˇradového ˇc´ısla sn´ımku sekvence (%003d)9 a dále datového typu sn´ımku (.png). U sekvenc´ı pˇredpokládáme, ˇze jsou sn´ımky ˇc´ıslované od ˇc´ısla 1 a v ˇc´ıselné sekvenci jejich poˇrad´ı nejsou mezery. Zadán´ı poˇca´teˇcn´ı polohy sledovaného objektu provád´ıme vzhledem k prvn´ımu sn´ımku sekvence. Promˇenná tracking row (resp. tracking col) obsahuje ˇra´dkovou (resp. sloupcovou) souˇradnici sledovaného objektu v cel´ ych ˇc´ıslech. Oba algoritmy poté od prvn´ıho sn´ımku sleduj´ı vybran´ y 9

Zad´ an´ım této konstrukce ˇr´ık´ ame, ˇze chceme, aby program dále naˇc´ıtal sn´ımky s ˇc´ıslem od 1(resp. 0) do 999. Tato konstrukce lze dle potˇreby upravit, tvoˇr´ı se podobnˇe jako formátovan´ y v´ ystup v programovac´ım jazyce C++.

20/35

4.3 IMPLEMENTACE PRO LINUX objekt napˇr´ıˇc celou zvolenou sekvenc´ı, dokud sekvence neskonˇc´ı ˇci nedojde ke ztrátˇe sledovaného objektu. Naˇc´ıtán´ı sn´ımk˚ u prob´ıhá pomoc´ı funkce (sequence) z knihovny OpenCV, která naˇcte celou sekvenci sn´ımk˚ u a z n´ıˇz postupnˇe vyˇc´ıtáme sn´ımky do struktury Mat patˇr´ıc´ı knihovnˇe OpenCV.

4.2

Dalˇs´ı u ´pravy algoritmu

4.2.1

Vyhled´ av´ an´ı z v´ıce pozic

Pˇri rychlém pohybu kamery i sledovaného objektu m˚ uˇze objekt mezi sn´ımky vykonat velk´ y pohyb (posun) a KL algoritmus sledován´ı by mohl objekt prohlásit za ztracen´ y. Dále ke ztrátˇe m˚ uˇze doj´ıt, pokud se sledovan´ y objekt pˇrekr´ yvá s aktuáln´ım modelem z menˇs´ı ˇca´sti jak 50 procent délky modelu, pokud je v dostateˇcné bl´ızkosti aktuáln´ı polohy dostateˇcnˇe podobn´ y objekt námi sledovanému. Abychom takto zp˚ usobenou ztrátou sledovaného objektu zabránili, rozˇs´ıˇrili jsme KLT algoritmus tak, aby predikci poˇca´teˇcn´ı polohy ve sn´ımku nebral pouze polohu sledovaného objektu ve sn´ımku pˇredchoz´ım. Rozˇs´ıˇren´ı spoˇc´ıvá v tom, ˇze jako predikovanou polohu vol´ıme postupnˇe z v´ıce bod˚ u rovnomˇernˇe rozm´ıstˇen´ ych po celé prohledávané oblasti v pˇredchoz´ım sn´ımku. Kaˇzdá tato startovn´ı predikovaná poloha po dokonˇcen´ı iterován´ı (3.1.3) jako v´ ysledek vrát´ı polohu s minimáln´ı hodnotou kriteriáln´ı chybové funkce (13). Z tˇechto vˇsech vrácen´ ych minim, která ve vˇetˇsinˇe pˇr´ıpad˚ u odpov´ıdaj´ı stejné poloze, vybereme to s nejniˇzˇs´ı hodnotou. D´ıky zvˇetˇsen´ı poˇctu startovn´ıch poloh pro predikci m˚ uˇzeme pˇredpokládat, ˇze sledovac´ı algoritmus neskonˇc´ı v lokáln´ım minimu, ale v minimu globáln´ım.

4.2.2

Pouˇ zit´ı pohybliv´ e desetinn´ eˇ c´ arky

Oproti implementaci SSD pouˇz´ıváme pˇri sledován´ı a práci se sn´ımky souˇradnic s pohyblivou desetinnou ˇcárkou, nam´ısto p˚ uvodn´ıch celoˇc´ıseln´ ych souˇradnic. Toto zv´ yˇsen´ı pˇresnosti zlepˇsilo chován´ı sledovac´ıho algoritmu pˇri velmi mal´ ych posunech mezi sn´ımky, coˇz zp˚ usobovalo opakované zmˇeny polohy v rozsahu jednoho obrazového bodu. Takovéto ˇcasté a malé zmˇeny vyvolávaly zbyteˇcné odchylky pro ˇr´ıd´ıc´ı systém.

4.3

Implementace pro Linux

V rámci práce bylo také c´ılem upravit algoritmus i samotn´ y program tak, aby byl spustiteln´ y na ˇr´ıd´ıc´ı jednotce kamerové hlavice, která funguje s operaˇcn´ım systémem Linux. Doˇslo tedy k oddˇelen´ı p˚ uvodn´ıch vláken aplikace a vytvoˇren´ı vláken nov´ ych, s vyuˇzit´ım knihovny Pthread [7], poskytuj´ıc´ı Linuxovou správu vláken do operaˇcn´ıho systému Windows. Dále doˇslo k u ´pravˇe nˇekter´ ych datov´ ych typ˚ u a funkc´ı, které jsou vázané na operaˇcn´ı systém Windows tak, aby v´ ysledn´ y kód mohl b´ yt pˇreloˇziteln´ y na zaˇr´ızen´ı s OS Linux. Pro následné spuˇstˇen´ı algoritmu pˇr´ımo na kamerové hlavici je tˇreba vˇzdy kód upravit tak, aby odpov´ıdal potˇrebám pouˇzitého HW vybaven´ı (komunikace programu a HW, atd.).

21/35

´ ER ˇ VHODNEHO ´ ´ Í 4.5 VYB OBJEKTU KE SLEDOVAN Verze pˇrekládaná pod operaˇcn´ım systémem nemá, na rozd´ıl od verze pro OS Windows, grafické uˇzivatelské rozhran´ı a program bˇeˇz´ı pouze v pˇr´ıkazové ˇra´dce (terminálové okno pro OS Linux). Toto sniˇzuje v´ ypoˇcetn´ı a grafické nároky na HW vybaven´ı v kamerové hlavici, která pak m˚ uˇze komunikovat pouze pomoc´ı textového v´ ypisu. Veˇskeré nastavován´ı prob´ıhá ˇcten´ım dat z konfiguraˇcn´ıho souboru nebo konfiguraˇcn´ımi zprávami z terminálu operátora.

4.4

Pˇreklad

Implementaci navrˇzeného algoritmu a zmˇen jsme provedli tak, aby byla od p˚ uvodn´ıho kódu kompletnˇe oddˇelena a my jsme si mohli pˇri kompilován´ı zvolit, kter´ y algoritmus a jaké jeho varianty si pˇrejeme pouˇz´ıt. Tato moˇznost v´ ybˇeru je umoˇznˇena d´ıky hlaviˇckovému souboru ConfigDef.h. Tento v´ ybˇer m˚ uˇzeme uˇcinit vybrán´ım promˇenné kl´ıˇcov´ ym slovem #define: ych sekvenc´ı z uloˇzen´ ych dat na • OFFLINE TRACK - slouˇz´ı k naˇc´ıtán´ı pˇripraven´ disku poˇc´ıtaˇce specifikovan´ ych v souboru Ini parameters.par (4.1.4) uvodn´ıho SSD • KL TRACKER - pouˇzit´ı navrˇzeného KL algoritmu nam´ısto p˚ • TIME MEASURE - mˇeˇren´ı doby pr˚ ubˇehu algoritmu sledován´ı a uloˇzen´ı namˇeˇren´ ych hodnot do souboru timemeasure.txt • ALLOWED ROTATE MODEL - povolen´ı dodateˇcného natáˇcen´ı modelu po nalezen´ı polohy sledovaného objektu pro pˇresnˇejˇs´ı aktualizován´ı modelu objektu (pouˇzitelné pro algoritmus SSD) • KL TRACKER i - zvolen´ı poˇctu startovac´ıch pozic algoritmu pro nalezen´ı souˇradnic objektu ve sn´ımku (4.2.1). Implementováno pro hodnoty i = 1, 9, 25, 36, 49, 81, pouˇz´ıváme pro hodnoty 1 a 25. • OPEN CV TRACKER - pro pouˇzit´ı knihovny OpenCV, pro KL algoritmus je nutné pouˇz´ıt. Slouˇz´ı k pˇrep´ınán´ı p˚ uvodn´ı implementace SSD algoritmu v jazyce C/C++ a implementace s pouˇzit´ım knihovny OpenCV. Vyuˇzit´ım direktiv preprocesoru v jazyce C++ (#define, #ifdef, atd.) pro tvorbu podm´ınˇen´ ych pˇreklad˚ u (v závislosti na volbˇe parametru z v´ yˇse uvedeného seznamu) sn´ıˇz´ıme velikost v´ ysledného programu po kompilace zdrojov´ ych kódu s v´ıce algoritmy.

4.5

V´ ybˇ er vhodn´ eho objektu ke sledov´ an´ı

Jako sledovan´ y objekt nejˇcastˇeji chceme zvolit takov´ y, kter´ y se dostateˇcnˇe odliˇsuje od svého okol´ı a d´ıky ˇcemuˇz bude dobˇre sledovateln´ y. Pˇri soubˇeˇzném pohybu kamerové hlavice i objektu pro operátora u terminálu nen´ı jednoduché pˇresnˇe zvolit objekt, co chce sledovat10 . Aby algoritmus sledoval opravdu objekt, kter´ y chtˇel operátor a ne 10

Objekt ke sledov´ an´ı oper´ ator vyb´ır´ a postupn´ ym natáˇcen´ım kamery tak, aby byl objekt uprostˇred zorného pole kamery, nebo pˇr´ımou volbou objektu na dotykovém displeji terminálu.

22/35

´ ER ˇ VHODNEHO ´ ´ Í 4.5 VYB OBJEKTU KE SLEDOVAN ˇ anek vycház´ı pouze jeho ˇca´st s okol´ım, pouˇzijeme metodu popsanou v ˇclánku [8]. Cl´ z toho, ˇze pouˇzit´ı pouze hranového detektoru pro nalezen´ı nejlépe sledovatelného objektu nen´ı dostateˇcné, protoˇze napˇr. objekt s pouze svisl´ ymi hranami nemus´ı b´ yt dobˇre sledovateln´ y. V ˇclánku je tato metoda rozˇs´ıˇrená o v´ ypoˇcet rozd´ılnosti“ bod˚ u zájmu ” mezi dvojic´ı sn´ımk˚ u, zkouˇs´ı tedy sledovat detekované rohy z prvn´ıho sn´ımku do sn´ımku druhého. Tato metoda vybere nejlépe sledovatelnou oblast ve sn´ımku, tedy takovou, kterou bychom chtˇeli pravdˇepodobnˇe sledovat. Taková oblast nemus´ı b´ yt pouze jedna, ale ve sn´ımku jich m˚ uˇze b´ yt nˇekolik. Pro náˇs kód jsme zvolili implementaci v knihovnˇe OpenCV, kterou jsme upravili tak, aby nám vyhovovala. Tato upravená metoda pˇri zadán´ı poˇca´teˇcn´ı polohy sledovaného objektu prohledá jeho nejbliˇzˇs´ı okol´ı (10 × 10 obrazov´ ych bod˚ u od startovn´ı polohy) a vybere takovou oblast, která bude nejlépe sledovatelná v algoritmu. Poloha této oblasti s vysokou pravdˇepodobnost´ı bude pˇredstavovat náˇs zvolen´ y objekt ke sledován´ı. Na obrázku (6) porovnáváme volbu sledovaného objektu operátorem (ˇcerven´ y ˇctverec) a nejlépe sledovatelnou oblast zvolenou algoritmem (zelen´ y ˇctverec).

Obrázek 6: Volba sledovaného objektu pomoc´ı funkce goodFeaturesToTrack, ˇcerven´ y ˇctverec pˇredstavuje volbu operátora a zelen´ y ˇctverec upravené souˇradnice objektu.

23/35

Kapitola 5

Experiment´ aln´ı v´ ysledky (testov´ an´ı algoritmu) Implementovan´ y algoritmus jsme testovali na 16 sekvenc´ıch sn´ımk˚ u poˇr´ızen´ ych z videozáznam˚ u, které byly poˇr´ızeny pˇri testovac´ıch letech kamerové hlavice pˇri zavˇeˇsen´ı na spodn´ı ˇca´sti vrtuln´ıku. V tˇechto sekvenc´ıch je vˇzdy sledován objekt zájmu, u nˇejˇz pˇredpokládáme dostateˇcnou odliˇsitelnost od pozad´ı a kter´ y se pohybuje pobl´ıˇz stˇredu sn´ımku. Pouˇzité sn´ımky jsou uloˇzeny ve formátu PNG pro zachován´ı vyˇsˇs´ı kvality sn´ımk˚ u. Rozliˇsen´ı sn´ımk˚ u je dáno pouˇzitou kamerou 704 × 576 obrazov´ ych bod˚ u. Sekvence jsou uloˇzené v oddˇelené sloˇzce na poˇc´ıtaˇci Data\Sekvence a jsou ˇc´ıslovány ve tvaru ˇc´ıslo sekvence-poˇrad´ı sn´ımku. Pro kaˇzdou sekvenci je d˚ uleˇzité dodrˇzen´ı inkrementace poˇrad´ı sn´ımku o 1 a ˇc´ısla (názvu) sekvence. Algoritmus pro porovnán´ı algoritm˚ u SSD a KLT naˇc´ıtá sekvence po jednom sn´ımku. Z kaˇzdé sekvence je na obrázku (napˇr. 7) zobrazen sledovan´ y objekt (resp. jeho model), kter´ y jsme inicializovali na poˇca´tku sekvence. Sledovali jsme napˇr. jedouc´ı automobil, ˇca´st tepelné elektrárny, d˚ um na samotˇe, hrad a osoby. Kromˇe sekvenc´ı s jedouc´ımi automobily jsou vˇsechny objekty stacionárn´ı a k pohybu docház´ı pouze vlivem pohybuj´ıc´ı se kamery. U sekvenc´ı s jedouc´ımi automobily docház´ı k pohybu sledovaného objektu i kamery. Velikost sledovaného objektu pouˇz´ıváme ˇctverec 40 × 40 obrazov´ ych bod˚ u, model sledovaného objektu (okol´ı polohy objektu, které aktualizujeme) pouˇz´ıváme 60 × 60 obrazov´ ych bod˚ u a velikost prohledávané oblasti, v n´ıˇz hledáme sledovan´ y objekt je ˇctverec o rozmˇerech 50×50 obrazov´ ych bod˚ u. S rostouc´ı velikost´ı modelu a prohledávané oblasti kvadraticky stoupá nároˇcnost algoritmu a t´ım i doba bˇehu algoritmu. Pˇri zvolen´ı menˇs´ı velikosti sledovaného objektu, dosáhneme v´ yrazné ˇcasové i v´ ypoˇcetn´ı u ´spory, ale jsme schopni pomoc´ı algoritmu sledovat pouze objekty srovnatelnˇe veliké jako je nastavená velikost okol´ı polohy objektu. Pro aktualizován´ı modelu sledovaného objektu dle rovnice (3) pouˇz´ıváme hodnotu konstanty α = 0, 01. Tato hodnota odpov´ıdá velmi pomalému zapom´ınán´ı p˚ uvodn´ıho modelu (mˇen´ı se pouze 1% modelu). Pro pˇr´ıpady námi sledovan´ ych objekt˚ u pˇredpokládáme, ˇze jejich velikost, struktura a tvar se nebudou v ˇcase rychle mˇenit.

5.1

Sekvence

V sekvenc´ıch sn´ımk˚ u je sledován r˚ uzn´ y druh zvolen´ ych objekt˚ u pro ovˇeˇren´ı kvality algoritmu. Pro testován´ı algoritmu bylo pouˇzit 7 videozáznam˚ u ze zkuˇsebn´ıch let˚ u vrtuln´ıku s kamerovou hlavic´ı. Záznamy jsme rozdˇelili do sekvenc´ı sn´ımk˚ u, které obsahuj´ı vˇsechny 24/35

5.1 SEKVENCE

(b)

(a)

(c)

Obrázek 7: Sekvence ˇc´ıslo 1: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇcátku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) sn´ımky. Z tˇechto sekvenc´ı jsme poté pouˇzili kratˇs´ı u ´seky (porovnávané sekvence s ˇc´ısly 1 aˇz 10) a delˇs´ı u ´seky (sekvence s ˇc´ısly 11 aˇz 16). Sekvence s ˇc´ısly 1,2 a 12 jsou vybrány jako u ´seky shodného videozáznamu. V tˇechto sekvenc´ıch sledujeme automobil (pro sekvence 2 a 12 shodn´ y) jedouc´ı po rychlostn´ı komunikaci. V pr˚ ubˇehu sekvenc´ı kamera sleduje smˇer jedouc´ıho automobilu, vzdálenost se ale kv˚ uli vyˇsˇs´ı rychlosti pohybu kamery v˚ uˇci automobilu postupnˇe zvˇetˇsuje. V sekvenci (obrázek 7) sledujeme b´ıl´ y nákladn´ı automobil, v sekvenc´ıch 2 a 12 sledujeme vozidlo dálkové pˇrepravy (obrázek 8). V sekvenc´ıch 3,4 a 14 je pouˇzit videozáznam pr˚ uletu vrtuln´ıku okolo tepelné elektrárny (obrázek 9). Jako sledovan´ y objekt jsme zvolili patu chlad´ıc´ıch kom´ın˚ u u okraje budovy. Sekvence 3 a 4 obsahuj´ı ˇca´st pr˚ uletu okolo elektrárny, v sekvenci 14 je opakovan´ y pr˚ ulet se zmˇenou zoomu. Sekvence 5 a 15 sleduj´ı d˚ um obklopen´ y loukami (obrázek 10), kter´ y je velmi dobˇre odliˇsiteln´ y od pozad´ı sn´ımku. Sekvence 5 je kratˇs´ı ˇca´st sekvence 15, v n´ıˇz docház´ı k postupnému oddalován´ı sledovaného objektu. V sekvenc´ıch 6 a 16 kamera prolétá okolo hradu na kopci (obrázek 11), kter´ y nesledujeme cel´ y kv˚ uli jeho velikosti, ale pouze levou stˇenu. V sekvenci 16 docház´ı ke zmˇenˇe pouˇzitého zoomu a t´ım ke zmˇenˇe sledovaného velikosti objektu. Sekvence 7,8,10 a 11 sleduj´ı osoby, které jsou velmi dobˇre odliˇsitelné od okoln´ıho prostˇred´ı. Sekvence 7 a 8 jsou u ´seky shodného videozáznamu (obrázek 12), v nˇemˇz doˇslo k v´ yznamné zmˇenˇe intenzity osvˇetlen´ı scény. Tato zmˇena se vyskytuje právˇe mezi tˇemito sekvencemi a pˇres tuto skokovou zmˇenu neˇslo provádˇet sledován´ı vybraného objektu. 25/35

5.1 SEKVENCE

(b)

(a)

(c)

Obrázek 8: Sekvence ˇc´ıslo 2 a 12: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇcátku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇcást obrazu)

(b)

(a)

(c)

Obrázek 9: Sekvence ˇc´ıslo 3 a 14: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇcátku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇcást obrazu) 26/35

5.1 SEKVENCE

(b)

(a)

(c)

Obrázek 10: Sekvence ˇc´ıslo 5 a 15: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇca´tku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇcást obrazu)

(b)

(a)

(c)

Obrázek 11: Sekvence ˇc´ıslo 6 a 16: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇca´tku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇcást obrazu) 27/35

´ Í ALGORITMU ˚ 5.2 POROVNAN

(b)

(a)

(c)

Obrázek 12: Sekvence ˇc´ıslo 7 a 8: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇcátku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇcást obrazu) Sekvence 10 (obrázek 13) je vybrána jako stabiln´ı ˇca´st sekvence 11, v n´ıˇz docház´ı ke zmˇenˇe zoomu kamery. V sekvenci 9 (obrázek 14) sledujeme budovu v prostorách letiˇstˇe, pˇres n´ıˇz je provádˇen pˇrelet vrtuln´ıku s kamerou. D´ıky pr˚ uletu docház´ı ke zmˇenˇe velikosti sledovaného objektu a kv˚ uli rychlosti letu i k chvˇen´ı poˇr´ızeného videozáznamu. Sekvence s ˇc´ıslem 13 (obrázek 15) je odliˇsná od vˇsech ostatn´ıch, sledujeme v n´ı vysokou chlad´ıc´ı vˇeˇz elektrárny, která je obklopena dalˇs´ımi vˇeˇzemi. V pr˚ ubˇehu sekvence docház´ı k opakované zmˇenˇe zoomu kamery a pohybu sledovaného objektu. Jako sledovan´ y objekt vol´ıme hranu vrcholu chlad´ıc´ı vˇeˇze v jej´ımˇz okol´ı se nacházej´ı vizuálnˇe podobné objekty.

5.2

Porovn´ an´ı algoritm˚ u

Porovnán´ı funkˇcnosti algoritmu SSD a KL je vidˇet v tabulce (1). KL algoritmus sledován´ı je porovnáván pˇri spouˇstˇen´ı z jedné startovn´ı pozice a z 25 pozic. Tˇechto 25 pozic je rovnomˇernˇe rozm´ıstˇeno v prohledávané oblasti. Tato prohledávaná oblast pro KL je shodná s prohledávanou oblast´ı KL algoritmu. U KL algoritmu v sekvenci 1 na obrázku (7) doˇslo ke ztrátˇe sledovaného c´ıle t´ım, ˇze v jeho tˇesné bl´ızkosti projel automobil s velmi podobnou strukturou jako sledovan´ y objekt. V sekvenci ˇc´ıslo 7 doˇslo ke ztrátˇe sledovaného objektu v d˚ usledku v´ yrazné

28/35


(b)

(a)

(c)

Obrázek 13: Sekvence ˇc´ıslo 10 a 11: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇca´tku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇcást obrazu)

(b)

(a)

(c)

Obrázek 14: Sekvence ˇc´ıslo 9: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇcátku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) 29/35


(b)

(a)

(c)

Obrázek 15: Sekvence ˇc´ıslo 13: (a) u ´vodn´ı sn´ımek, (b) sledovan´ y objekt na zaˇcátku sekvence, (c) sledovan´ y objekt na konci sekvence (zelenˇe oznaˇcena sledovaná ˇca´st obrazu) skokové zmˇeny scény ve sn´ımku mezi sn´ımky. Pro sekvence 10 − 16 poskytuje KL algoritmus s 25 startovn´ımi polohami lepˇs´ı v´ ysledky neˇz SSD algoritmus, docház´ı zde ke kmitav´ ym (opakuj´ıc´ım se tam a zpˇet) zmˇenám polohy objektu a zkreslen´ı celého sn´ımku, oproti ˇcemuˇz je KLT algoritmus robustnˇejˇs´ı. Pro sekvenci 14 je algoritmus KL s 25 startovn´ımi polohami lepˇs´ı a s jednou startovn´ı polohou horˇs´ı neˇz algoritmus SSD. Tento rozd´ıl je zp˚ usoben zmˇenou zoomu kamery a t´ım i velikosti sledovaného objektu. Zvolené testovac´ı sekvence maj´ı odliˇsné délky (poˇcty sn´ımk˚ u), sekvence s ˇc´ısly 1-10 jsou kratˇs´ı ˇca´sti vybrané z vide´ı, sekvence s ˇc´ısly 11-16 obsahuj´ı delˇs´ı u ´seky vybrané z vide´ı poˇr´ızen´ ych kamerou. V tabulce (1) porovnáváme ˇc´ıslo sn´ımku, v nˇemˇz algoritmus sledovan´ y objekt ztratil a ˇcas, kter´ y v pr˚ umˇeru potˇreboval na jeden pr˚ ubˇeh sledovac´ıho algoritmu. Jako jeden pr˚ ubˇeh uvaˇzujeme naˇcten´ı dvojice po sobˇe jdouc´ıch sn´ımk˚ u, inicializace algoritmu ze startovn´ı polohy, v´ ypoˇcet polohy ve sn´ımku z minimáln´ı hodnoty (minimáln´ıch hodnot) kriteriáln´ı chybové funkce (6). Pokud algoritmus skonˇcil dˇr´ıve, neˇz je délka sekvence, pr˚ umˇerná doba bˇehu je poˇc´ıtána z ˇcas˚ u do doby ztracen´ı objektu. Objekt povaˇzujeme za ztracen´ y, pokud pˇri jeho sledován´ı doˇslo ke vzdálen´ı se predikované polohy od sledovaného objektu o v´ıce neˇz 20 obrazov´ ych bod˚ u bez návratu na správnou souˇradnici ve sn´ımku v pr˚ ubˇehu následuj´ıc´ıch 3 sn´ımk˚ u. Pokud algoritmus oznám´ı ztrátu sledovaného objektu, docház´ı k pozastaven´ı aktualizace modelu objektu a po 5 sekundách bez opˇetovného nalezen´ı objektu se algoritmus pˇrepne do stavu 5. Ovˇeˇren´ı, ˇze je v testovan´ ych sekvenc´ıch stále sledován vybran´ y objekt na správn´ ych souˇradnic´ıch, provád´ı ˇclovˇek. 30/35

´ ˚ 5.3 ZHODNOCENÍ VYSLEDK U Podstatn´ ym parametrem pro porovnán´ı algoritm˚ u je rychlost algoritmu pˇri v´ ypoˇctu polohy sledovaného objektu v novém sn´ımku. Mˇeˇren´ı doby pr˚ ubˇehu algoritmu jsme provádˇeli pomoc´ı funkc´ı QueryPerformanceCounter a QueryPerformanceFrequency. Funkce QueryPerformanceCounter jako návratovou hodnotu vrac´ı obsah ˇc´ıtaˇce v´ ykonu, kterou si poprvé uloˇz´ıme pˇri startu algoritmu a podruhé pˇri navrácen´ı predikované polohy sledovaného objektu. Pokud rozd´ıl tˇechto dvou hodnot vydˇel´ıme frekvenc´ı procesoru, na nˇemˇz prob´ıhal v´ ypoˇcet11 (kterou vrac´ı funkce QueryPerformanceFrequency), z´ıskáme dobu bˇehu algoritmu v mikrosekundách. Pˇresnost funkce QueryPerformanceCounter je v dokumentaci uvádˇena pod 1µs, d´ıky ˇcemuˇz m˚ uˇzeme povaˇzovat namˇeˇrené hodnoty za dostateˇcnˇe pˇresné. Dvojice pouˇzit´ ych funkc´ı je pouˇzitelná pouze pˇri bˇehu programu na operaˇcn´ım systému Windows (vyuˇz´ıvaj´ı soubor windows.h). Pro operaˇcn´ı systém nepˇredpokládáme v´ yrazn´ y rozd´ıl mˇeˇren´ ych ˇcas˚ u, pouˇz´ıváme minimum funkc´ı závisl´ ych na konkrétn´ım operaˇcn´ım systému a v´ ysledky v tabulce (1) povaˇzujeme za platné pro Windows i Linux. V´ ypoˇcet namˇeˇren´ ych hodnot jsme provádˇeli tak, ˇze jsme mˇeˇrili pro kaˇzd´ y sn´ımek dobu pr˚ ubˇehu algoritmu zvláˇst’ a ze vˇsech hodnot pro sn´ımky, v nichˇz byl objekt u ´spˇeˇsnˇe sledován, jsme vypoˇc´ıtali pr˚ umˇer. Oˇcekáváme, ˇze pˇri zakomponováván´ı KL algoritmu do p˚ uvodn´ıho programu se doba bˇehu zbyl´ ych ˇca´st´ı programu v´ yraznˇe nemˇenila a tud´ıˇz pro porovnáván´ı nemˇela vypov´ıdaj´ıc´ı hodnotu.

5.3

Zhodnocen´ı v´ ysledk˚ u

Porovnáme-li dobu jednoho pr˚ ubˇehu SSD a KLT algoritmu s jedn´ım startovn´ım bodem, pak je KLT algoritmus v´ yraznˇe rychlejˇs´ı. V´ yrazná rozd´ılnost je zp˚ usobena t´ım, ˇze SSD algoritmus je kompletn´ı a KL je algoritmem gradientn´ım. Pˇri startu z 25 bod˚ u je doba bˇehu algoritmu KL srovnatelná s SSD algoritmem. SSD algoritmus pouˇz´ıvá pˇri v´ ypoˇctu minimáln´ı hodnoty chybové funkce poloviˇcn´ı rozliˇsen´ı sn´ımku i modelu. Tohoto sn´ıˇzen´ı velikosti sn´ımku a modelu na ˇctvrtinu origináln´ı velikosti je pouˇzito pro zv´ yˇsen´ı rychlosti algoritmu s t´ım, ˇze poˇc´ıtáme se sn´ıˇzen´ım pˇresnosti algoritmu pro urˇcen´ı nové polohy objektu na polovinu. Pokud bychom pouˇz´ıvali pro SSD algoritmus sn´ımky v plném rozliˇsen´ı, doˇslo by ke znatelnému zpomalen´ı a sn´ıˇzen´ı poˇctu sn´ımk˚ u, v nichˇz jsme za vteˇrinu schopni nalézt sledovan´ y objekt. Pro algoritmus KLT pouˇz´ıváme sn´ımky v plném rozliˇsen´ı (704 × 576). Pr˚ umˇerné doby bˇehu jednoho kroku uvedené v tabulce jsou uvedeny pro SSD se zmenˇsen´ ymi sn´ımky a pro KLT s origináln´ı velikost´ı sn´ımk˚ u. Pˇri porovnán´ı KL algoritmu s 1 a 25 startovn´ımi polohami se ˇcas pr˚ ubˇehu nav´ yˇsil pouze dvakrát. Nejvyˇsˇs´ı v´ ypoˇcetn´ı nároˇcnost pˇredstavuje pˇredbˇeˇzné vypoˇc´ıtán´ı pyramidové konstrukce pro dvojici sn´ımk˚ u. Následné vyhledán´ı minimáln´ı hodnoty kriteriáln´ı chybové funkce pro jednotliv´ y startovn´ı bod trvá pˇribliˇznˇe 2ms. Z tabulky (1) m˚ uˇzeme vidˇet, ˇze délka u ´spˇeˇsného sledován´ı objektu pomoc´ı algoritmu KLT je srovnatelná s SSD algoritmem. V 6 sekvenc´ıch z 15 je KL algoritmus (1 a 25 startovn´ıch pozic) stejnˇe u ´spˇeˇsn´ y pˇri sledován´ı vybraného objektu jako algoritmus SSD. 11

Pro v´ıce j´ adrové procesory funkce vrac´ı shodné hodnoty. Pˇri testován´ı jsme pouˇz´ıvali procesor Intel Core i3 s taktovac´ı frekvenc´ı 2,13GHz.

31/35

´ ˚ 5.3 ZHODNOCENÍ VYSLEDK U Pro 2 sekvence z 15 je KL algoritmus horˇs´ı neˇz SSD algoritmus sledován´ı. KL algoritmus v 7 sekvenc´ıch sleduje objekt déle neˇz SSD algoritmus, z nichˇz ve 3 sekvenc´ıch je rozd´ıl v délce u ´spˇeˇsnosti sledován´ı jednoznaˇcn´ y (sekvence 11, 13 a 16). Testován´ı prob´ıhalo nejenom na datech uloˇzen´ ych v poˇc´ıtaˇci, ale ovˇeˇrili jsme funkˇcnost i na extern´ı kameˇre. Pouˇzitá kamera je Mintron OS-45D, jej´ıˇz analogov´ y obraz procház´ı do poˇc´ıtaˇce skrze digitizér videosignálu Sensoray 2255S v rozliˇsen´ım 704 × 576 obrazov´ ych bod˚ u. Ovˇeˇrován´ı prob´ıhalo sledován´ım shodn´ ych objekt˚ u v reálném prostˇred´ı, v nˇemˇz v´ ysledky byly srovnatelné pro trojici porovnávan´ ych algoritm˚ u. Doby pr˚ ubˇeh˚ u algoritm˚ u zachovávaj´ı shodné pomˇery jako v tabulce (1). ˇc´ıslo sekvence 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

délka sekvence 142 191 151 191 151 81 128 130 112 171 108 276 679 659 321 329

SSD sn´ımk˚ u [ms] 142 69,71 191 69,62 135 71,11 191 73,58 151 69,84 81 69,23 116 70,07 130 71,19 102 72,53 70 73,80 40 70,96 85 69,85 289 70,86 560 69,17 321 69,93 15 72,47

KL(1) sn´ımk˚ u [ms] 133 31,74 191 31,63 151 32,06 191 32,20 151 31,45 81 32,38 117 31,44 130 31,63 112 32,23 171 31,99 75 31,64 276 31,87 355 31,84 480 32,03 321 31,93 90 32,48

KL(25) sn´ımk˚ u [ms] 94 77.74 191 67,56 151 65,27 191 63,19 151 63,28 81 65,12 76 62,76 130 64,77 112 69,70 171 66,25 108 66,05 276 70,25 679 69,55 640 70,47 321 65,39 329 73,10

Tabulka 1: Porovnán´ı funkˇcnosti algoritm˚ u SSD a KL (start z 1 a 25 bod˚ u). Poˇcet ˇ sn´ımk˚ u odpov´ıdá, jak dlouho algoritmus v dané sekvenci sledoval objekt. Cas v [ms] je pr˚ umˇerná doba bˇehu algoritmu na jeden sn´ımek.

32/35

Kapitola 6

Z´ avˇ er V pr˚ ubˇehu práce jsme navrhli algoritmus zaloˇzen´ y na metodˇe popsané [1], kter´ y vybrali kv˚ uli niˇzˇs´ım v´ ypoˇcetn´ım nárok˚ um oproti stávaj´ıc´ımu a pouˇz´ıvanému algoritmu zaloˇzeném na metodˇe SSD. Pˇri návrhu jsme vycházeli z dalˇs´ıch ˇclánk˚ u ([2], [9], [10], [11] a [8]), návrh jsme upravili tak, aby vyhovoval poˇzadavk˚ um pro pouˇzit´ı na kamerové hlavici M120 projektu MAGYSKA. Implementaci navrˇzeného algoritmu jsme provedli v programovac´ım jazyce C++ s vyuˇzit´ım knihovny OpenCV a jej´ıch datov´ ych typ˚ u a struktur, z nichˇz jsme vyuˇzili ˇca´sti nˇekter´ ych funkc´ı, které jsme si upravili. Mezi tyto u ´pravy patˇr´ı napˇr´ıklad upraven´ı souˇradnic sledovaného objektu po zadán´ı operátora (dle metody [8]), zpˇresnˇen´ı v´ ysledk˚ u algoritmu pouˇzit´ım reáln´ ych ˇc´ısel (nam´ısto cel´ ych) v souˇradném systému sn´ımku a moˇznost naˇc´ıtat sn´ımky z pˇripraven´ ych sekvenc´ı. P˚ uvodn´ı algoritmus SSD jsme pˇrepsali tak, aby vyuˇz´ıval knihovny OpenCV. Implementaci navrˇzeného i p˚ uvodn´ıho algoritmu jsme pˇredˇelali tak, aby programov´ y kód byl pˇreloˇziteln´ y na platformách operaˇcn´ıch systém˚ u Windows a Linux. Operaˇcn´ı systém Windows byl pouˇzit pro testován´ı algoritmu na stoln´ım poˇc´ıtaˇci s pouˇzit´ım pˇripraven´ ych sekvenc´ı sn´ımk˚ u. Upraven´ y kód a v´ ysledn´ y program pro operaˇcn´ı systém Linux bude pouˇzit pro instalaci na v´ ypoˇcetn´ı jednotku kamerové hlavice. Pro tuto u ´pravu jsme pouˇzili knihovnu Pthread [7] pro správu vláken a mezivláknovou komunikaci. Testován´ı algoritmu jsme provádˇeli na pˇripraven´ ych sekvenc´ıch sn´ımk˚ u z videozáznam˚ u a extern´ı kameˇre pˇripojené k poˇc´ıtaˇci. Pˇri porovnán´ı algoritm˚ u SSD a KL jsme ovˇeˇrili, ˇze KL algoritmus je stejnˇe rychl´ y jako SSD (pˇr´ıpadnˇe rychlejˇs´ı v závislosti na poˇctu startovn´ıch poloh). Délka sledován´ı objektu v testovac´ıch sekvenc´ıch byla pro algoritmus KL shodná ˇci delˇs´ı ve vˇetˇsinˇe pˇr´ıpad˚ u v porovnán´ı s SSD. Dodrˇzen´ım poˇzadavk˚ u na zv´ yˇsen´ı rychlosti sledovac´ıho algoritmu a zachován´ı shodné (ˇci delˇs´ı) doby sledován´ı jako pˇri pouˇzit´ı algoritmu SSD bylo dle naˇseho názoru splnˇeno zadán´ı této práce. Ovˇeˇren´ı funkˇcnosti a pouˇzitelnosti navrˇzeného algoritmu probˇehne v bl´ızké dobˇe na kamerové hlavici M120 po dodateˇcné u ´pravˇe kódu pro konkrétn´ı pouˇzité technické vybaven´ı hlavice.

33/35

Literatura [1] Bruce D. Lucas and Takeo Kanade. An iterative image registration technique with an application to stereo vision. In Proceedings of the 7th International Joint Conference on Artificial Intelligence - Volume 2, IJCAI’81, pages 674–679, San Francisco, CA, USA, 1981. Morgan Kaufmann Publishers Inc. [2] Simon Baker and Iain Matthews. Lucas-kanade 20 years on: A unifying framework. International Journal of Computer Vision, 56(3):221–255, 2004. [3] P. Montesinos, V. Gouet, and R. Deriche. Differential invariants for color images. In Pattern Recognition, 1998. Proceedings. Fourteenth International Conference on, volume 1, pages 838–840 vol.1, Aug 1998. [4] T.S.Subashini S.Bhuvaneswari. Tracking manually selected object in videos using color histogram matching. Journal of Theoretical and Applied Information Technology, 67(3), 30 September 2014. [5] Jean-Yves Bouguet. Pyramidal implementation of the lucas kanade feature tracker description of the algorithm. OpenCV Document, Intel Microprocessor Research Labs, 1999. Technical report. [6] Petr Vávra. Detekce zákrytu pˇri vizuáln´ım sledován´ı algoritmem SSD, 2012, Praha. ˇ Bakaláˇrská práce, CVUT v Praze, Fakulta elektrotechnická, Katedra kybernetiky. [7] J. Bossom, A. Terekhov, L. Thomas, T. Pfaff, and R. Johnson. Open Source POSIX Threads for Win32, 5 2012. https://sourceware.org/pthreads-win32/. [8] Jianbo Shi and Carlo Tomasi. Good features to track. In 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’94), pages 593 – 600, 1994. [9] Baojie Fan, Yingkui Du, Linlin Zhu, Jing Sun, and Yandong Tang. A robust template tracking algorithm with weighted active drift correction. Pattern Recognition Letters, 32(9):1317 – 1327, 2011. [10] I. Matthews, T. Ishikawa, and S. Baker. The template update problem. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 26(6):810–815, June 2004. [11] Vaclav Hlavac Milan Sonka and Roger Boyle. Image Processing, Analysis and Machine Vision. Thomson, 3rd edition, 2007. ISBN 978-0-495-08252.

34/35

Obsah DVD K této diplomové práci je pˇriloˇzeno DVD, na kterém je elektronická verze odevzdané práce ve formátu PDF, zdrojové kódy programu v jazyce C++, sekvence sn´ımk˚ u, videozáznamy z nichˇz byly vytvoˇreny sekvence sn´ımk˚ u a spustiteln´ y program pro prostˇred´ı Windows s konfiguraˇcn´ım souborem. Sloˇzky na pˇriloˇzeném médiu s obsahem: • PDF - diplomová práce ve formátu PDF • Program - 2 spustitelné soubory SPTtracker online.exe a SPTracker offline.exe zkompilované pro start s 25 body pro spuˇstˇen´ı s pˇripojenou kamerou, resp. s uloˇzen´ ymi sekvencemi. Konfiguraˇcn´ı soubor Ini parameters.par je pˇriloˇzen. • Sekvence - sekvence sn´ımk˚ u ve formátu PNG pouˇzité pro testován´ı • Videa - videozáznamy poˇr´ızené kamerou, z nichˇz byly sekvence sn´ımk˚ u vytvoˇreny • Zdrojové kódy - *.cpp a *.h zdrojové kódy programu a projektové soubory pro v´ yvojové prostˇred´ı Visual Studio 2013

35/35

Využití principu KLT pro sledování cíle kamerovou hlavicí

Recommend Documents