Fakulta elektrotechnická. Orientace v prostoru

ˇ ´ vysoke ´ uc ˇen´ı technicke ´ v Praze Cesk e ´ Fakulta elektrotechnicka ˇ´ıdic´ı techniky Katedra r

´ PRACE ´ DIPLOMOVA Orientace v prostoru

Praha, 2008

Autor: Bc. Ondˇ rej Ton

Prohl´ aˇ sen´ı Prohlaˇsuji, ˇze jsem svou diplomovou práci vypracoval samostatnˇe a pouˇzil jsem pouze podklady (literaturu, projekty, SW atd.) uvedené v pˇriloˇzeném seznamu.

V Praze dne podpis

i

Podˇ ekov´ an´ı T´ımto bych chtˇel podˇekovat svému vedouc´ımu diplomové práce Doc. Ing. Jiˇr´ımu Bayerovi, CSc. za vstˇr´ıcnost a cenné rady, které mi v této práci pomohly. Dále bych rád podˇekoval vˇsem ostatn´ım, kteˇr´ı mi byli ochotni poradit a pomoci pˇri tvorbˇe této diplomové práce. V neposledn´ı ˇradˇe bych chtˇel podˇekovat také celé své rodinˇe a pˇrátel˚ um, kteˇr´ı mi jsou oporou po celou dobu mého studia.

ii

Abstrakt C´ılem této diplomové práce bylo navrhnout systém detekce pˇrekáˇzek pro orientaci ˇ v prostoru, urˇcen´ y pro modely mobiln´ıch zaˇr´ızen´ı na Katedˇre ˇr´ıdic´ı techniky CVUT. Jsou zde shrnuty základn´ı metody pro mˇeˇren´ı hloubkové mapy scény, z nichˇz je vybrána metoda stereovidˇen´ı. Tato metoda je dále rozebrána a aplikována na zvolen´ y signálov´ y DSP procesor Blackfin ADSP-BF61 na vybrané HW platformˇe v´ yvojového kitu s rozˇsiˇruj´ıc´ım modulem doplnˇen´ ym dvˇema CMOS kamerami. Algoritmizace jednoduchého a rychlého algoritmu stereovidˇen´ı je provedena nejdˇr´ıve v prostˇred´ı Matlab a pozdˇeji aplikována na samotn´ y signálov´ y procesor. Abychom mohli efektivnˇe vyhledávat korespondence mezi stereoskopick´ ymi sn´ımky okoln´ıho svˇeta, poˇr´ızen´ ymi z CMOS kamer, je realizována rektifikace a kalibrace stereoskopického páru sn´ımk˚ u. V závˇeru práce jsou shrnuty v´ ysledky realizované metody a návrh moˇzn´ ych vylepˇsen´ı.

iii

Abstract The aim of this diploma thesis was to design an obstacle detection system for space navigation focused on the mobile devices models developed at the Department of Control Engineering CTU. It summarized the basic methods of measuring the depth map of the scene, of which chosen method is stereovision. This method has been analysed and applied to the selected signal DSP processor Blackfin ADSP-BF61 using a specified hardware platform of development kit complemented by an expansion module with two CMOS cameras. Firstly, the algorithmization of a simple and fast stereovision algorithm was implemented in Matlab. Later on, it was applied to the chosen signal processor. An effective correspondence search between stereoscopic images of outside world acquired by 2 CMOS cameras is being carried out via rectification and calibration of a stereoscopic image pair. In conclusion, the work summarizes the results of implemented methods and possible improvements to the proposal.

iv

v

vi

Obsah Seznam obr´ azk˚ u

ix

Seznam tabulek

xii

´ 1 Uvod

1

2 Mˇ eˇ ren´ı polohy bod˚ u v prostoru

3

2.1

Stereovidˇen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ´ 2.1.1 Uvod do reprezentace obrazu a 3D vidˇen´ı . . . . . . . . . . . . . .

5

2.1.2

Kalibrace kamery . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

2.1.3

Epipolárn´ı geometrie 2 kamer . . . . . . . . . . . . . . . . . . . .

10

2.1.4

V´ ypoˇcet vzdálenosti bodu v prostoru - kanonická konfigurace . . .

12

2.1.5

Geometrie dvou kamer - fundamentáln´ı matice . . . . . . . . . . .

14

2.1.6

Problém okluze . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

2.2

Triangulaˇcn´ı metoda vyuˇz´ıvaj´ıc´ı ˇcárov´ y laser a kameru . . . . . . . . . .

17

2.3

Z´ıskán´ı hloubkové mapy ze sn´ımk˚ u se známou ohniskovou vdálenost´ı . . .

19

2.4

PMD technologie a PMD kamery . . . . . . . . . . . . . . . . . . . . . .

20

2.4.1

PMD technologie . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

2.4.2

PMD kamery . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

2.4.2.1

R 1k-S, 3k-S a 19k . . . . . . . . . . . . . . PMD[vision]

23

2.4.2.2

SwissRangerTM SR3000 a SR4000 . . . . . . . . . . . . .

24

2.4.2.3

Canesta . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

3 V´ ybˇ er HW a SW pro zpracov´ an´ı dan´ ych u ´ loh

6

28

3.1

V´ ybˇer vhodného prostˇredku pro zpracován´ı obrazov´ ych dat . . . . . . . .

28

3.2

Pˇrehled DSP procesor˚ u a v´ yvojov´ ych kit˚ u . . . . . . . . . . . . . . . . .

30

3.3

Informace o Blackfin procesoru ADSP-BF561 . . . . . . . . . . . . . . . .

32

3.4

Struktura signálového procesoru ADSP-BF561 . . . . . . . . . . . . . . .

33

vii

3.4.1

Popis jádra procesoru ADSP-BF561 . . . . . . . . . . . . . . . . .

33

3.4.2

Architektura pamˇeti procesoru ADSP-BF561 . . . . . . . . . . . .

34

4 V´ yvojov´ y kit pro ADSP-BF561

37

4.1

V´ yvojová deska DEV-BF5xxDA-Lite s integrovan´ ym Debug Agentem . .

38

4.2

Modul procesorové jednotky CM-BF561 . . . . . . . . . . . . . . . . . .

40

4.3

Rozˇsiˇruj´ıc´ı modul EXT-BF5xx-CAM . . . . . . . . . . . . . . . . . . . .

43

4.4

CMOS kamery OV2640FSL . . . . . . . . . . . . . . . . . . . . . . . . .

44

4.5

V´ yvojové prostˇred´ı Visual DSP++ 5.0 . . . . . . . . . . . . . . . . . . .

45

4.6

Nastaven´ı a instalace v´ yvojového kitu . . . . . . . . . . . . . . . . . . . .

46

4.6.1

Nastaven´ı v´ yvojového desky DEV-BF5xxDA-Lite . . . . . . . . .

46

4.6.2

Nastaven´ı rozˇsiˇruj´ıc´ıho modulu EXT-BF5xx-CAM . . . . . . . . .

46

4.6.3

Ovˇeˇren´ı funkˇcnosti celého kitu a komunikace pˇres UART . . . . .

47

4.6.4

Instalace ovladaˇc˚ u USB Debug Agenta . . . . . . . . . . . . . . .

48

5 Algoritmizace metody stereovidˇ en´ı

50

5.1

Nastaven´ı projektu ve Visual DSP++ 5.0 . . . . . . . . . . . . . . . . . .

51

5.2

Nastaven´ı procesoru

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

52

5.3

Nastaven´ı rozhran´ı UART, kamer a paraleln´ıch sbˇernic PPI . . . . . . . .

53

5.4

Kalibrace a rektifikace kamer - MATLAB Camera Calibration Toolbox .

55

5.4.1

Kalibrace kamer . . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

5.4.2

Rektifikace sn´ımk˚ u . . . . . . . . . . . . . . . . . . . . . . . . . .

57

Algoritmizace stereovidˇen´ı . . . . . . . . . . . . . . . . . . . . . . . . . .

59

5.5.1

Zpracován´ı sn´ımk˚ u z kamer . . . . . . . . . . . . . . . . . . . . .

59

5.5.2

Z´ıskán´ı disparitn´ı mapy . . . . . . . . . . . . . . . . . . . . . . .

61

5.6

V´ ypoˇcet hloubkové mapy . . . . . . . . . . . . . . . . . . . . . . . . . . .

65

5.7

Optimalizace algoritmu stereovidˇen´ı a v´ ysledky . . . . . . . . . . . . . .

67

5.5

6 Z´ avˇ er

71

Literatura

72

A Pˇ r´ılohy

I

B Obsah pˇ riloˇ zen´ eho CD

XII

viii

Seznam obr´ azk˚ u 1.1

V´ yvojov´ y kit pouˇzit´ y pro aplikaci stereovidˇen´ı. . . . . . . . . . . . . . . .

2

2.1

Intenzitn´ı obraz a hloubková/disparitn´ı mapa . . . . . . . . . . . . . . .

4

2.2

Lidk´ y zrak - znázornˇen´ı stereovidˇen´ı. . . . . . . . . . . . . . . . . . . . .

5

2.3

Geometrie perspektivn´ıho zobrazen´ı bodu ve 3D scénˇe. . . . . . . . . . .

6

2.4

Geometrie lineárn´ı perspektivn´ı kamery. . . . . . . . . . . . . . . . . . .

7

2.5

V´ ypoˇcet souˇradnic bodu vzniklého projekc´ı. . . . . . . . . . . . . . . . .

9

2.6

Pˇr´ıklady zkreslen´ı obrazu . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

2.7

Epipolárn´ı geometrie prostorového vidˇen´ı. . . . . . . . . . . . . . . . . .

11

2.8

Kanonická stereo konfigurace dvou kamer. . . . . . . . . . . . . . . . . .

12

2.9

Základn´ı geometrie stereovidˇen´ı v kanonické formˇe. . . . . . . . . . . . .

13

2.10 Obecná geometrie dvou kamer.

. . . . . . . . . . . . . . . . . . . . . . .

14

2.11 Problém okluze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

2.12 Znázornˇen´ı triangulaˇcn´ı metody vyuˇz´ıvaj´ıc´ı ˇcárov´ y laser a kameru. . . . .

17

2.13 V´ ypoˇcet vzdálenosti z podobn´ ych troj´ uheln´ık˚ u. . . . . . . . . . . . . . .

18

2.14 Obrázky s r˚ uznou ostˇr´ıc´ı vzdálenost´ı a v´ ysledná hloubková mapa . . . . .

19

2.15 Princip metody mˇeˇren´ı TOF vyuˇz´ıvaj´ıc´ı fotodiodu na stranˇe pˇrij´ımaˇce. .

20

2.16 Struktura PMD pixelu. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

2.17 Pouˇzit´ı PMD prvku m´ısto fotodiody na stranˇe pˇrij´ımaˇce. . . . . . . . . .

22

2.18 PMD kamery z nab´ıdky PMDTechnologies GmbH. . . . . . . . . . . . . .

23

2.19 Ukázka v´ ystupu kamery PMDTechnologies GmbH . . . . . . . . . . . . .

24

2.20 PMD kamery z nab´ıdky Mesa Imaging AG . . . . . . . . . . . . . . . . .

25

TM

2.21 Ukázka z dodávaného GUI kamery SwissRanger

SR3000 . . . . . . . .

26

2.22 Development kit DP300 a DP200 od firmy Canesta, Inc. . . . . . . . . .

26

3.1

Funkˇcn´ı blokov´ y diagram souˇcást´ı ADSP-BF561. . . . . . . . . . . . . . .

31

3.2

Struktura jádra signálového procesoru ADSP-BF561. . . . . . . . . . . .

34

3.3

Architektura pamˇeti ADSP-BF561. . . . . . . . . . . . . . . . . . . . . .

35

ix

4.1

V´ yvojová deska DEV-BF5xxDA-Lite. . . . . . . . . . . . . . . . . . . . .

38

4.2

Pˇrehled souˇcást´ı v´ yvojové desky DEV-BF5xxDA-Lite. . . . . . . . . . . .

39

4.3

Procesorová jednotka CM-BF561. . . . . . . . . . . . . . . . . . . . . . .

40

4.4

Blokov´ y diagram procesorové jednotky CM-BF561. . . . . . . . . . . . .

41

4.5

Popis v´ yvod˚ u procesorové jednotky CM-BF561. . . . . . . . . . . . . . .

42

4.6

Rozˇsiˇruj´ıc´ı kamerová deska EXT-BF5xx-CAM. . . . . . . . . . . . . . . .

43

4.7

CMOS kamery OV2640FSL . . . . . . . . . . . . . . . . . . . . . . . . .

44

4.8

Uˇzivatelské prostˇred´ı Visual DSP++ 5.0 . . . . . . . . . . . . . . . . . .

45

4.9

Obrazovka utility DEV-BF5xxDA-Lite Installer. . . . . . . . . . . . . . .

48

4.10 Visual DSP++ konfigurátor - nastaven´ı platformy. . . . . . . . . . . . . .

49

4.11 Visual DSP++ konfigurátor - v´ ybˇer platformy. . . . . . . . . . . . . . . .

49

5.1

Blokové schéma pouˇzité fronty zpráv pro komunikaci jader. . . . . . . . .

53

5.2

Ukázka hyperterminálové obrazovky komunikuj´ıc´ı s ADSP-BF561 . . . .

54

5.3

Nasn´ıman´ y kalibraˇcn´ı vzor. . . . . . . . . . . . . . . . . . . . . . . . . . .

56

5.4

Vnˇejˇs´ı parametry kamer . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

5.5

Blokov´ y diagram algorotmizace stereovidˇen´ı . . . . . . . . . . . . . . . .

60

5.6

Grafické zobrazen´ı krok˚ u v´ ypoˇctu disparitn´ı mapy . . . . . . . . . . . . .

63

5.7

64

5.8

Disparitn´ı mapa pro znám´ y dataset tsukuba“. . . . . . . . . . . . . . . ” Konvoluˇcn´ıho jádro pr˚ umˇerovac´ıho filtru . . . . . . . . . . . . . . . . . .

64

5.9

Disparitn´ı a hloubková mapa . . . . . . . . . . . . . . . . . . . . . . . . .

65

5.10 Hloubková mapa vykreslená ve 3D prostoru . . . . . . . . . . . . . . . .

66

5.11 Závislost vzdálenosti bodu v prostoru na disparitˇe . . . . . . . . . . . . .

67

5.12 Princip zrychleného v´ ypoˇctu hodnot pr˚ umˇerovac´ıho filtru. . . . . . . . .

68

5.13 Struktura formátu dat typu fract16. . . . . . . . . . . . . . . . . . . . . .

70

A.1 Disparitn´ı mapa pro dataset Midd1“. . . . . . . . . . . . . . . . . . . . ” A.2 Disparitn´ı mapa scény ˇc. 1 . . . . . . . . . . . . . . . . . . . . . . . . . .

I I

A.3 Disparitn´ı mapa scény ˇc. 2 . . . . . . . . . . . . . . . . . . . . . . . . . .

II


II


II

A.6 Disparitn´ı mapa pro dataset Wood1“. . . . . . . . ” A.7 Disparitn´ı mapa pro dataset Plastic“. . . . . . . . ” A.8 Disparitn´ı mapa pro scénu b´ılé“ zdi. . . . . . . . . ” A.9 Disparitn´ı mapa pro umˇele vytvoˇrené ˇcerné obrázky

. . . . . . . . . . . .

II

. . . . . . . . . . . .

III

. . . . . . . . . . . .

III

. . . . . . . . . . . .

III

A.10 Rozm´ıstˇen´ı a oˇc´ıslován´ı konektor˚ u DEV-BF5xxDA-Lite . . . . . . . . . .

IV

x

A.11 Rozm´ıstˇen´ı a oˇc´ıslován´ı konektor˚ u EXT-BF5xx-CAM . . . . . . . . . . .

IV

A.12 BDTImark2000TM - pomˇer cena/v´ ykon . . . . . . . . . . . . . . . . . . .

X

A.13 Kalibraˇcn´ı a rektifikaˇcn´ı parametry kamer . . . . . . . . . . . . . . . . .

XI

xi

Seznam tabulek 2.1

Specifikace PMD kamer z nab´ıdky PMDTechnologies GmbH. . . . . . . .

24

2.2

Specifikace PMD kamer z nab´ıdky Mesa Imaging AG. . . . . . . . . . . .

25

2.3

Specifikace PMD kamer z nab´ıdky Canesta, Inc. . . . . . . . . . . . . . .

27

3.1

Srovnávac´ı tabulka DSP procesor˚ u . . . . . . . . . . . . . . . . . . . . .

30

4.1

Typická spotˇreba procesorové jednotky CM-BF561. . . . . . . . . . . . .

41

5.1

Pˇrehled rychlost´ı funkc´ı pro pr˚ umˇerovac´ı filtr . . . . . . . . . . . . . . . .

69

5.2

Pˇrehled rychlost´ı dalˇs´ıch pouˇzit´ ych funkc´ı . . . . . . . . . . . . . . . . . .

70

A.1 V´ yvody konektoru X1 procesorové jednotky CM-BF561. . . . . . . . . .

V


VI


VII

A.4 V´ yvody konektoru X2 procesorové jednotky CM-BF561. . . . . . . . . . VIII A.5 Tabulka pˇripojen´ı kamery ˇc. 1 a ˇc. 2 . . . . . . . . . . . . . . . . . . . . .

IX

A.6 Funkce jednotliv´ ych LED diod na v´ yvojové desce DEV-BF5xxDA-Lite. .

X

xii

Kapitola 1 ´ Uvod Stejnˇe tak jako ˇclovˇek, tak i stroje se potˇrebuj´ı orientovat v okoln´ım prostoru, vyhnout se pˇrekáˇzce, urˇcit vzdálenost, naplánovat smˇer pohybu, reagovat na vnˇejˇs´ı podm´ınky. ˇ ek disponuje sv´ Clovˇ ymi smysly, pˇredevˇs´ım zrakem, které mu v této orientaci napomáhaj´ı. Tato diplomová práce se zab´ yvá návrhem systému z´ıskán´ı hloubkové mapy (anglicky depth map) pro detekci pˇrekáˇzek. Takto navrˇzen´ y systém by mˇel b´ yt dále vyuˇziteln´ y pro ˇ orientaci v prostoru se zamˇeˇren´ım na modely um´ıstˇené na Katedˇre ˇr´ıdic´ı techniky CVUT, napˇr. model vzducholodi nebo model vznáˇsedla, a to s ohledem na jejich vlastnosti a parametry [4]. V kapitole 2 je struˇcn´ y v´ yˇcet metod, které lze pouˇz´ıt k z´ıskán´ı hloubkové mapy. Z tˇechto metod je vybrána metoda streovidˇen´ı vyuˇz´ıvaj´ıc´ı vlastnost´ı dvou stereoskopick´ ych sn´ımk˚ u a principu triangulace. Tato metoda je podrobnˇeji rozebrána v kapitole 2.1 a aplikována pro navrˇzen´ y systém. Pro poˇzadavky zpracován´ı u ´lohy stereovidˇen´ı bylo nutné vybrat vhodn´ y v´ ypoˇcetn´ı prostˇredek zpracován´ı obrazov´ ych dat. Byl vybrán dvoujádrov´ y signálov´ y procesor od firmy Analog Devices ADSP-BF561, popsan´ y v kapitole 3.1. Pro v´ yvoj a implementaci navrˇzen´ ych algoritm˚ u na tomto signálovém procesoru byla zvolena univerzáln´ı v´ yvojová deska DEV-BF5xxDA-Lite s integrovan´ ym Debug Agentem“ od firmy Bluetechnix. Tato ” v´ yvojová deska je osazená procesorovou jednotkou CM-BF561, která obsahuje zmiˇ novan´ y dvoujádrov´ y signálov´ y procesor ADSP-BF561. Aby bylo moˇzné zpracovat obrazy z okoln´ı scény, je cel´ y modulov´ y v´ yvojov´ y kit na obrázku obr. 1.1 doplnˇen o rozˇsiˇruj´ıc´ı kamerovou desku EXT-BF5xx-CAM se dvˇema barevn´ ymi CMOS kamerami. Vlastnosti a parametry jednotliv´ ych ˇcást´ı v´ yvojového kitu jsou rozebrány v kapitole 4. Jednoduch´ y algoritmus stereovidˇen´ı pro v´ ypoˇcet hloubkové mapy byl nejdˇr´ıve navrˇzen v programovac´ım prostˇred´ı Matlab verze 7.1 spoleˇcnosti MathWorks a pozdˇeji implementován ve vybraném v´ yvojovém prostˇred´ı pro dan´ y signálov´ y procesor. 1

´ KAPITOLA 1. UVOD

2

Obrázek 1.1: V´ yvojov´ y kit pouˇzit´ y pro aplikaci stereovidˇen´ı.

V závˇeru práce jsou shrnuty a zhodnoceny vlastnosti, parametry a v´ ysledky otestovaného algoritmu stereovidˇen´ı pouˇzitého na HW platformˇe firmy Bluetechnix s dvoujádrov´ ym signálov´ ym procesorem ADSP-BF561.

Kapitola 2 Mˇ eˇ ren´ı polohy bod˚ u v prostoru V této kapitole jsou popsány základn´ı bezkontaktn´ı metody mˇeˇren´ı vzdálenosti a z´ıskán´ı hloubkové mapy (podrobnˇejˇs´ı popis je uveden v literatˇre [3]). Jsou zde shrnuty v´ yhody a nev´ yhody pouˇzitelnosti konkrétn´ıch metod pro vlastnosti mobiln´ıho zaˇr´ızen´ı. Mˇeˇren´ı vzdálenost´ı m˚ uˇzeme provádˇet kontaktnˇe nebo bezkontaktnˇe. U bezkontaktn´ıch metod se mˇeˇr´ıc´ı aparatura nedostane do pˇr´ımého styku s mˇeˇren´ ym objektem. Mezi obecnˇe známé bezkontaktn´ı metody patˇr´ı napˇr. sonary vyuˇz´ıvaj´ıc´ı ultrazvuku a radary vyuˇz´ıvaj´ıc´ı mikrovln´ ych pásem. Ty pracuj´ı na principu mˇeˇren´ı zpoˇzdˇen´ı vyslaného vlnˇen´ı, tj. dobu nutnou k pˇrekonán´ı vzdálenosti od vys´ılaˇce k pˇrekáˇzce a zpˇet k pˇrij´ımaˇci. Z nekontaktn´ıch metod jsou pro tuto diplomovou práci d˚ uleˇzité pˇredevˇs´ım metody operuj´ıc´ı ve spektru viditelného svˇetla (a/nebo bl´ızko viditelného spektra), které lze zpracovat pomoc´ı kamer. Metody operuj´ıc´ı ve spektru viditelného svˇetla (a/nebo bl´ızko viditelného spektra) lze dále rozdˇelit na aktivn´ı a pasivn´ı. Mezi aktivn´ı metody patˇr´ı napˇr. prom´ıtán´ı jistého vzoru (bodu, ˇcáry nebo sloˇzitˇejˇs´ıho vzoru) do scény. Ze znalosti um´ıstˇen´ı zdroje prom´ıtaného svˇetelného vzoru v prostoru, um´ıstˇen´ı sn´ımac´ıho prvku v prostoru (v naˇsem pˇr´ıpadˇe je sn´ımac´ım prvkem kamera) a jejich vzájemného natoˇcen´ı, lze triangulac´ı vypoˇc´ıtat vzdálenosti tˇech bod˚ u ve scénˇe, jenˇz jsou svˇeteln´ ym vzorem pokryty. Takováto aktivn´ı metoda, vyuˇz´ıvaj´ıc´ı ˇcárov´ y laser a kameru, je popsána v kapitole 2.2. Odliˇsnou aktivn´ı metodou, jenˇz pimárnˇe nezpracovává obrazovou informaci, je metoda vyuˇz´ıvaj´ıc´ı PMD technologii (kapitola 2.4). Ta nahrazuje mˇeˇren´ı doby letu svˇetelného paprsku mˇeˇren´ım fázového posuvu mezi vyslan´ ym a pˇrijat´ ym modulovan´ ym svˇeteln´ ym signálem. Pasivn´ı metodou je napˇr. stereovidˇen´ı, kdy vyuˇz´ıváme pouze okoln´ıho svˇetla. Zde hledáme korespondence obrazov´ ych bod˚ u nebo jejich okol´ı mezi dvˇema sn´ımky, poˇr´ızen´ ymi z kamer se znám´ ym um´ıstˇen´ı v prostoru (podrobn´ y popis této metody je uveden v kapi3

ˇ REN ˇ Í POLOHY BODU ˚ V PROSTORU KAPITOLA 2. ME

4

tole 2.1). Dalˇs´ı pasivn´ı metodou je z´ıskán´ı hloubkové mapy hledán´ım kontrastn´ıch oblast´ı ve sn´ımku se známou ohniskovou vzdálenost´ı (kapitola 2.3). Pro pˇrehled bych zde rád uvedl pojmy pixel, voxel, hloubková mapa, disparitn´ı mapa a 2D intenzitn´ı obraz. Pixel (picture element) je jednotkov´ y a dále jiˇz nedˇeliteln´ y prvek intenzitn´ıho obrazu, jeˇz vyjadˇruje mnoˇzstv´ı svˇetelné energie pˇrijaté ze scény kamerov´ ym senzorem. Voxel (volume pixel ) je odvozen od pixelu a znaˇc´ı jednotkov´ y prvek, kter´ ym nam´ısto mnoˇzstv´ı svˇetelné energie u pixelu vyjádˇr´ıme vzdálenost v prostoru. Poloha skupiny vˇsech bod˚ u v 3D prostoru scény je vyjádˇrená hloubkovou mapou, tj. matic´ı vzdálenost´ı (voxel˚ u), která souˇradnicovˇe odpov´ıdá 2D intenzitn´ımu obrázku sn´ımané scény. Stejn´ y v´ yznam jako hloubková mapa má i pojem disparitn´ı mapa s t´ım rozd´ılem, ˇze disparitn´ı mapa nevyjadˇruje pˇr´ımo vzdálenosti skupiny bod˚ u v prostoru, ale vzdálenost odpov´ıdaj´ıc´ıch si pixel˚ u mezi dvˇema stereskopick´ ymi sn´ımky. Vzdálenost je uvedena v pixelech a skuteˇcná vzdálenost se pak pˇrepoˇc´ıtá pomoc´ı vzorce (5.6). 2D intenzitn´ı obraz je vyjádˇren matic´ı svˇeteln´ ych intenzit (pixel˚ u). Disparitni mapa − sedotonova

Intenzitni obrazek 20 40 60 80 100 120

50

100

150

20 40 60 80 100 120

Disparitni mapa − jet 10

5

50

100

150

0

20 40 60 80 100 120

10

5

50

100

150

0

Obrázek 2.1: Intenzitn´ı obraz je vlevo, vpravo je vyjádˇren´ı disparitn´ı mapy (ˇsedotónová a jet“ paleta). ”

Pˇr´ıklad intenzitn´ıho vyjádˇren´ı obrazu je vidˇet vlevo na obrázku obr. 2.1 a vyjádˇren´ı ˇ a barva disparitn´ı mapy ve dvou variantách vpravo (ˇsedotónová a jet“ paleta). Cern´ ” v ˇsedotónovém vyjádˇren´ı disparitn´ı mapy odpov´ıdá nulové vzdálenosti koresponduj´ıc´ıch si bod˚ u a b´ılá jejich maximáln´ı vzdálenosti. Podobnˇe je tomu i u hloubkové mapy typu jet“, pouze se zmˇenila barevná paleta odpov´ıdaj´ıc´ıch hodnot. ” Podobné zobrazen´ı je moˇzné provést i pro hloubkovou mapu. Jednotkou bude m´ısto disparity vzdálenost bodu v prostoru. Hodnoty v ˇsedotónovém vyjádˇren´ı hloubkové mapy odpov´ıdaj´ı odst´ın˚ um ˇsedi - b´ılá je nejbl´ıˇze pozorovateli, ˇcerná naopak nejdále. Samozˇrejmˇe je moˇzné disparitn´ı/hloubkovou mapu vyádˇrit i v jin´ ych barevn´ ych paletách.


2.1

5

Stereovidˇ en´ı

Metoda stereovidˇen´ı je jednou z metod, jenˇz lze vyuˇz´ıt k z´ıskán´ı vzdálenost´ı bod˚ u ve scénˇe nebo k vytvoˇren´ı kompletn´ı hloubkové mapy. Princip stereoskopic´ ych sn´ımk˚ u mimo jiné vyuˇz´ıvá také lidsk´ y smysl - zrak. Sloˇzitost zpracován´ı mozkem je vˇsak mnohem sloˇzitˇejˇs´ı a stereovidˇen´ı v lidském mozku je jen ˇcást komplexn´ıho zpracován´ı, které je jeˇstˇe v mnohém neprozkoumané. Analogicky m˚ uˇzeme lidské oˇci pˇripodobnit ke dvˇema kamerám a mozek k procesoru, kter´ y tyto dva stereoskopické sn´ımky, dvojrozmˇerné (2D) intenzitn´ı obrazy zpracovává a triangulac´ı vypoˇc´ıtá vzdálenost jednotliv´ ych bod˚ u. Obdobn´ ym zp˚ usobem k této u ´loze pˇristupuje i poˇc´ıtaˇcové vidˇen´ı.

Obrázek 2.2: Lidk´ y zrak - zn´ azornˇen´ı stereovidˇen´ı.

V kapitole 2.1.1 je popsán princip geometrické perspektivn´ı projekce bod˚ u z prostoru, jehoˇz v´ ysledkem je dvojrozmˇern´ y obraz z´ıskan´ y nelineárn´ımi vztahy (2.1) a (2.2). Opˇetovná geometrická rekonstrukce vzdálenosti prom´ıtnutého bodu z jednoho z´ıskaného intenzitn´ıho obrazu je nedostateˇcnˇe podm´ınˇená. Nab´ızej´ıc´ım se ˇreˇsen´ım je z´ıskat dva ˇci v´ıce sn´ımk˚ u z r˚ uzn´ ych m´ıst, kde známe vzájemné rozm´ıstˇen´ı a natoˇcen´ı kamer v prostoru. Zp˚ usob takového ˇreˇsen´ı z´ıskán´ı hloubkové mapy scény komplikuj´ı jednostranná nebo oboustranná okluze (kapitola 2.1.6), pˇr´ıtomnost ˇsumu v z´ıskán´ ych sn´ımc´ıch, r˚ uzné radiometrické1 vlastnoti scény v jednotliv´ ych sn´ımc´ıch, problém hledán´ı vzájemn´ ych korespondenc´ı a v neposledn´ı ˇradˇe ˇcasová/v´ ypoˇcetn´ı nároˇcnost hledán´ı tˇechto korespondenc´ı mezi sn´ımky. 1

Radiometrie je ˇcást optiky, která se zab´ yvá mˇeˇren´ım elektromagnetického záˇren´ı, vˇcetnˇe svˇetla. Ra-

diometrie se zab´ yvá absolutn´ımi veliˇcinami, zat´ımco fotometrie studuje obdobné veliˇciny, avˇsak z hlediska jejich p˚ usoben´ı na lidské oko.


6

Princip z´ıskán´ı hloubkové mapy metodou stereovidˇen´ı lze v základn´ım podán´ı popsat pomoc´ı tˇechto tˇr´ı krok˚ u: 1. Kalibrace obou kamer pouˇzit´ ych pro stereovidˇen´ı 2. Nalezen´ı korespondenc´ı bod˚ u mezi lev´ ym a prav´ ym sn´ımkem 3. V´ ypoˇcet tˇret´ıho rozmˇeru bodu v prostoru v závislosti na vzdálenosti odpov´ıdaj´ıc´ıch si nalezen´ ych korespondenc´ı v levém a pravém sn´ımku V následuj´ıc´ım textu je uvedena teorie potˇrebná pro navrˇzen´ı algoritm˚ u uveden´ ych v kapitole 5.

2.1.1

´ Uvod do reprezentace obrazu a 3D vidˇ en´ı

Reáln´ y svˇet, kter´ y vˇsichni dobˇre známe, jenˇz nás obklopuje a my jako lidé se v tomto svˇetˇe pohybujeme a ˇzijeme, je trojrozmˇern´ y (3D). Pojem trojrozmˇern´ y (tj. trojdimenzionáln´ı) znamená, ˇze body okoln´ıho prostˇred´ı interpretujeme pomoc´ı tˇr´ı promˇenn´ ych x, y, z a tyto promˇenné jsou souˇradnice reprezentuj´ıc´ı um´ıstˇen´ı bodu v prostoru. Pokud pouˇzijeme kartézskou soustavu souˇradnic (tzn. soustavu souˇradnic, u které jsou souˇradné osy vzájemnˇe kolmé, prot´ınaj´ı se v poˇcátku soustavy souˇradnic a souˇradnice polohy bodu je moˇzno z´ıskat jako kolmé pr˚ umˇety polohy k jednotliv´ ym osám), m˚ uˇzeme graficky znázornit um´ıstˇen´ı bodu v prostoru tak, jak je to vyobrazeno na obrázku obr. 2.3.

Obrázek 2.3: Geometrie perspektivn´ıho zobrazen´ı bodu ve 3D scénˇe.


7

Obrázek obr. 2.3 zároveˇ n ukazuje princip geometrického perspektivn´ıho prom´ıtán´ı. V´ ysledkem perspektivn´ıho zobrazen´ı, tj. stˇredového prom´ıtán´ı, je dvojrozmˇern´ y (2D) obraz z´ıskan´ y nelineárn´ımi vztahy (2.1) a (2.2). x′ =

xf z

(2.1)

yf (2.2) z V modelu d´ırkové komory2 se vˇsechny body leˇz´ıc´ı ve 3D prostoru na jedné spoleˇcné y′ =

polopˇr´ımce, vycházej´ıc´ı od stˇredu prom´ıtán´ı a pokraˇcuj´ıc´ı do prostoru scény, zobrazuj´ı do jediného bodu a t´ım docház´ı ke ztrátˇe informace o hodnotˇe na ose z, ˇcili o vzdálenosti sejmutého bodu. Perspektivn´ı zobrazen´ı je neinvertovatelné a geometrická u ´loha rekonstrukce 3D bodu v prostoru z jediného 2D obrazu je nedostateˇcnˇe podm´ınˇená.

Obrázek 2.4: Geometrie line´ arn´ı perspektivn´ı kamery. 2

D´ırkov´ a komora je zaloˇzena na principu, kdy svˇetlo procházej´ıc´ı mal´ ym otvorem do tmavého prostˇred´ı

vytv´ aˇr´ı v nˇem obraz venkovn´ıho svˇeta.


8

Kameru s tenkou ˇcoˇckou lze dobˇre aproximovat modelem d´ırkové komory. Na obrázku obr. 2.4 je vidˇet geometrie takovéto kamery, kde se bod X ze scény reálného svˇeta prom´ıtá pˇres optick´ y stˇred kamery na obrazovou rovinu do bodu U. Vzdálenost f optického stˇredu C od obrazové roviny je známá jako ohnisková vzdálenost. Kamera provád´ı lineárn´ı transformaci 3D projektivn´ıho prostoru P 3 do 2D projektivn´ıho prostoru P 2 . Bod X um´ıstˇen´ y ve scénˇe vyjádˇr´ıme v souˇradnicovém systému kamery (Xc ) pomoc´ı vztahu (2.3) s pouˇzit´ım translace t a rotace R. 

xc



   = R(XW − t) Xc =  y c   zc

(2.3)

V´ ypoˇcet bodu Uc vzniklého projekc´ı bodu X do obrazové roviny je dán vztahem (2.4), definovan´ ym podobn´ ymi troj´ uhlen´ıky v obrázku obr. 2.5. T Uc = −fzcxc , −fzcyc , −f 







a b −u0 U         u =  V  =  0 c −v0   W 0 0 1

−f xc zc −f yc zc

1





  =  

(2.4)

−f a −f b −u0 0

fc

0

0



−xc zc −yc zc



   (2.5)  −v0    1 1

Bod prom´ıtnut´ y do obrazové roviny m˚ uˇzeme vyjádˇrit v homogenn´ıch3 souˇradn´ıc´ıch jako e = (U, V, W )T nebo ve 2D euklidovsk´ u ych souˇradnic´ıch u = (u, v)T = (U/W, V /W )T . Pˇri

pouˇzit´ı homogenn´ıch souˇradnic m˚ uˇzeme rovnici (2.5) násobit nenulovou konstantou (zc ) a z´ıskáme 

 e = zc  zc u 

−f a −f b −u0 0

fc

0

0 

 = 

3

v´ıce v literatuˇre [2]



−xc zc −yc zc





   =  −v0     1 1

−f a −f b −u0 0

fc

0

0

−f a −f b −u0 0

fc

0

0



−xc



   −yc  = (2.6) −v0    1 1



 −v0   R(XW − t) = KR(XW − t) 1

(2.7)


9

Obrázek 2.5: V´ ypoˇcet souˇradnic bodu vzniklého projekc´ı.

Tˇemito operacemi jsme se dostali ke kalibraˇcn´ı matici K. Tato matice je horn´ı troju ´heln´ıková a jej´ı koeficienty se naz´ yvaj´ı vnitˇrn´ı parametry (anglicky intrisic parametres) a jsou nezbytné pro udán´ı vztahu mezi souˇradnicemi v obrazové rovinˇe a souˇradn´ ym systémem kamery. Vnˇejˇs´ı parametry kamery (anglicky extrinsic parametres) definuj´ı polohu a orientaci souˇradného systému kamery vzhledem ke známému obecnému souˇradnému systému. Podrobnˇejˇs´ı popis projektivn´ı geometrie pro 3D vidˇen´ı je uveden v literatuˇre [2].

2.1.2

Kalibrace kamery

Obraz z kamery je obykle deformován zkreslen´ım, které lidsk´ ym okem nemus´ıme v˚ ubec odhalit, ale pro pouˇzit´ı v poˇc´ıtaˇcovém zpracován´ı obrazu je toto zkreslen´ı nezanedbatelné, b´ yvá zpravidla nˇekolik pixel˚ u. Kalibrace kamery je postup, kde v´ ystupem je kalibraˇcn´ı matice. Pro aplikaci stereovidˇen´ı je z hlediska rychlosti zpracován´ı stereoskopick´ ych sn´ımk˚ u tuto korekci nutné provést. Rovnice korekc´ı souˇradnic (2.8) a (2.9) m˚ uˇzeme zapsat ve tvaru, kde u, v jsou korigované souˇradnice, u e, ve jsou souˇradnice v p˚ uvodn´ım obraze a δu, δv jsou

korekce.

u=u e + δu

(2.8)

v = ve + δv

(2.9)


10

Typické b´ yvá radiáln´ı zkreslen´ı a zkreslen´ı, kdy je hlavn´ı bod um´ıstˇen mimo optickou osu. Informaci o bˇeˇzn´ ych zkreslen´ıch v´ yrobci v katalogu neuvádˇej´ı, a tak parametry zkreslen´ı z´ıskáme kalibrac´ı kamery. Radiáln´ı zkreslen´ı je popsané rovnicemi druhého ˇrádu (2.10) a (2.10) a dáno optickou soustavou. Typick´ ym pˇredstavitelem je soudkovit´ y (anglicky barrel ) nebo poduˇskovit´ y (anglicky pincushion) tvar zkreslen´ı (obr. 2.6). Zkreslen´ı m˚ uˇze b´ yt samozˇrejmˇe sloˇzitˇejˇs´ıho charakteru. u=u e [1 ± κ1 (e u2 + ve2 )]

(2.10)

v = ve [1 ± κ1 (e u2 + ve2 )]

(2.11)

Obrázek 2.6: Pˇr´ıklady zkreslen´ı obrazu - obraz bez zkreslen´ı (vlevo), soudkovité (uprostˇred), poduˇskovité (vpravo).

Aby hledán´ı korespondenc´ı mezi stereoskopick´ ymi sn´ımky bylo co nejjednoduˇsˇs´ı a nejrychlejˇs´ı, je potˇreba pˇrevést epipolárn´ı geometrii sn´ımk˚ u do kanonického tvaru, kde jsou epipolárn´ı linie paraleln´ı a t´ım pádem je moˇzné pˇrevést u ´lohu 2D hledán´ı korespondenc´ı na u ´lohu 1D prohledáván´ı - hledán´ı korespondenc´ı v jednom ˇrádku (viz. kapitola 2.1.3). T´ım si uˇsetˇr´ıme sloˇzitost algoritmizace a zrychl´ıme cel´ y proces z´ıskán´ı hloubkové mapy. Kalibrace dvojice kamer pro stereovidˇen´ı je popsána v kapitole 5.4

2.1.3

Epipol´ arn´ı geometrie 2 kamer

V pˇr´ıpadˇe, ˇze známe souˇradn´ y systém zkalibrované kamery, m˚ uˇzeme jednoznaˇcnˇe urˇcit projektivn´ı paprsek spojuj´ıc´ı sn´ıman´ y bod s jeho prom´ıtnut´ım v obraze (senzoru kamery).


11

Stejnou u ´vahu provedeme i pro druhou kameru. Pokud tyto dvˇe kamery sn´ımaj´ı stejn´ y bod P ve scénˇe, pak z pr˚ useˇc´ıku projektivn´ıch paprsk˚ u obou kamer urˇc´ıme prostorové souˇradnice pozorovaného bodu P. Geometrie takového systému je zobrazena na obrázku obr. 2.7 a naz´ yvá se epipolárn´ı geometrie.

Obrázek 2.7: Epipolárn´ı geometrie prostorového vidˇen´ı.

Spojnice mezi body optick´ ych stˇred˚ u C a C′ se naz´ yvá základna (anglicky baseline). Základna, spojnice mezi optick´ ym stˇredem C a bodem P a spojnice mezi optick´ ym stˇredem C′ a bodem P vymezuj´ı epipolárn´ı rovinu. Pr˚ useˇcnice epipolárn´ı roviny s levou, resp. pravou obrazovou rovninou se naz´ yvá epipolárn´ı linie l, resp. l′ . V pˇr´ıpadˇe, ˇze se bod v prostoru pohybuje, pak vˇsechny epipolárn´ı linie l, resp. l′ vˇzdy procházej´ı bodem e, resp. e′ . Body e a e′ se naz´ yvaj´ı epipóly. Jsou tvoˇreny pr˚ useˇc´ıkem základny s levou a pravou obrazovou rovinou. Bod u je projekc´ı bodu P do levé obrazové roviny a bod u′ je projekc´ı bodu P do pravé obrazové roviny. V pˇr´ıpadˇe, ˇze bod bude v prostoru mˇenit pouze vzdálenost (zvˇetˇsuje se nebo zmˇenˇsuje z -tová souˇradnice), pak se spojnice optického stˇredu C a bodu P, reprezentuj´ıc´ı veˇskeré moˇzné vzdálenosti bodu P ve scénˇe, zároveˇ n prom´ıtá na epipolárn´ı linii l′ pravé obrazové roviny. Z toho plyne, ˇze korespondence bodu u′ z levé obrazové roviny bude vˇzdy leˇzet na epipolárn´ı linii l′ náleˇz´ıc´ı pravé obrazové rovinˇe. Tento poznatek je pro návrh algoritm˚ u velice d˚ uleˇzit´ y. Poskytuje omezen´ı hledán´ı korespondence projekce u bodu P pouze na epipolárn´ı linii l′ . Jak jiˇz bylo ˇreˇceno, zjednoduˇsuje problém vyhledáván´ı korespondence z 2D na 1D prohledáván´ı. Tuto u ´vahu lze pˇrenést i na hledán´ı korespondence bodu u′ z pravé obrazové roviny na epipolárn´ı linii l leˇz´ıc´ı v levé obrazové rovinˇe.


12

Dalˇs´ım d˚ uleˇzit´ ym zjednoduˇsen´ım a moˇznost´ı zrychlit základn´ı algoritmus stereovidˇen´ı je uspoˇrádán´ı kamer do tzv. kanonické konfigurace (obrázek obr. 2.8). Princip spoˇc´ıvá v um´ıstˇen´ı kamer tak, aby si obrazové ˇrádky senzor˚ u kamer odpov´ıdaly - byly zarovnány horizontálnˇe. Optické osy kamer jsou t´ımto uzp˚ usoben´ım kamer paraleln´ı, epipóly se pˇresunou do nekoneˇcna a epipolárn´ı linie v obrazov´ ych rovinách se stanou také paraleln´ı. Zarovnán´ı kamer m˚ uˇze b´ yt také horizontáln´ı, ale pro jednoduchost zpracován´ı a principu sn´ımán´ı obrazu kamerou po ˇrádc´ıch, je lepˇs´ı hledat korespondence v ˇrádku.

Obrázek 2.8: Kanonická stereo konfigurace dvou kamer.

Aˇckoliv obˇe kamery um´ıst´ıme a mechanicky nastav´ıme tak, abychom dosáhli co nejpˇresnˇejˇs´ıho moˇzného horizontáln´ıho zarovnán´ı, je nutné provést geometrickou transformaci zvanou rektifikace (anglicky rectification). Bliˇzˇs´ı informace o rektifikaci je moˇzné naj´ıt v literatuˇre [2] nebo [10].

2.1.4

V´ ypoˇ cet vzd´ alenosti bodu v prostoru pro kanonickou konfigurace kamer

V tomto textu je popsán princip v´ ypoˇctu vzdálenosti bodu um´ıstˇeného v prostoru z kanonického uspoˇrádán´ı kamer. Na obrázku obr. 2.9 je zobrazen pohled shora na dvˇe kamery s optick´ ymi stˇredy ve vzdálenosti b = 2h. Na obrázku si dále m˚ uˇzeme vˇsimnout bodu P, um´ıstˇeného v prostoru na souˇradnic´ıch x, y, z. Bod P je projektivn´ı transformac´ı prom´ıtnut do levé obrazové roviny do bodu Pl a zároveˇ n do bodu Pr v pravé


13

obrazové rovinˇe. Osa z pˇredstavuje vzdálenost bodu P od kamer. Kamery jsou um´ıstˇeny ve vzdálenosti z = 0, v poˇcátku. Osa x vyjadˇruje horizontáln´ı vzdálenost ze stˇredu um´ıstˇen´ı mezi kamerami a nav´ıc má kaˇzdá ze dvou kamer sv˚ uj souˇradn´ y systém xl a xr se stˇredy v xl = 0 a xr = 0. Rozd´ıl mezi hodnotami xl a xr , resp. |Pl − Pr | > 0 je naz´ yván disparitou (anglicky disparity). Spojnice bod˚ u Pl , Cl a P , Cl jsou pˇrepony podobn´ ych pravo´ uhl´ ych troj´ uhlen´ık˚ u. Pomoc´ı základn´ı geometrie dokáˇzeme odvodit vztah (2.15) pro v´ ypoˇcet vzdálenosti bodu P od kamer.

Obrázek 2.9: Základn´ı geometrie stereovidˇen´ı v kanonické formˇe.

Pouˇzit´ım známého nelineárn´ıho vztahu (2.1) pro souˇradnice na ose x, do nˇehoˇz dosad´ıme pro levou obrazovou rovinu x′ = h + x, z´ıskáme (2.12). (h + x)f (2.12) z Opˇetovn´ ym pouˇzit´ım vztahu (2.1) dosad´ıme pro pravou obrazovou rovinu x′ = h − x a −Pl =

z´ıskáme (2.13). (h − x)f (2.13) z Ze vztah˚ u (2.12) a (2.13) dostaneme eliminac´ı promˇenné x vztah (2.14) a u ´prav´ıme do Pr =

tvaru (2.15). z(Pr − Pl ) = 2hf z=

2hf Pr − Pl

(2.14) (2.15)


14

Rozd´ıl Pr − Pl je v´ ysledná hodnota disparty pozorovaného bodu P a pokud je Pr − Pl = 0, pak znaˇc´ı, ˇze vzdálenost bodu je teoreticky v nekoneˇcnu. Prakticky nulová disparita znaˇc´ı mez rozliˇsen´ı nejvˇetˇs´ı moˇzné mˇeˇrené vzdálenosti.

2.1.5

Geometrie dvou kamer - fundament´ aln´ı matice

Algoritmy v kapitole 5 jsou v navrˇzeny pro kanonickou konfiguraci kamer a rektifikované sn´ımky. Zde je struˇcnˇe uveden matematick´ y popis obecného modelu dvou kamer, které nejsou v kanonické konfiguraci. V´ıce informac´ı lze opˇet naj´ıt v literatuˇre [2]. Souˇradn´ y systém levé obrazové roviny m˚ uˇze b´ yt transformován do pravé obrazové roviny z bodu C optického stˇredu levé kamery do optického stˇredu pravé kamery C′ pomoc´ı translace t a matice rotace R. Souˇradn´ y systém levé kamery pouˇzijeme jako vztaˇzn´ y. Projekce bodu v prostoru do levé obrazové roviny je popsána rovnic´ı (2.16), kde K je kalibraˇcn´ı matice levé kamery. u∼ = KX

(2.16)

Symbol ∼ = znaˇc´ı, ˇze nen´ı známo mˇeˇr´ıtko. Transformace souˇradného systému pravé obrazové roviny do souˇradného systému levé obrazové roviny je provedena v rovnici (2.17) v´ yrazem (RX − Rt), kde K ′ je kalibraˇcn´ı matice pravé kamery. u′ ∼ = K ′ (RX − Rt) = K ′ X′

Obrázek 2.10: Obecn´ a geometrie dvou kamer.

(2.17)


15

Vektory X, X′ a t jsou koplanárn´ı4 . Vektor X′ v˚ uˇci pravé kameˇre oznaˇc´ıme jako X′R a v˚ uˇci levé kameˇre jako X′L . Rotace souˇradn´ ych systému vyjádˇr´ıme vztahy (2.18) a (2.19). Rovnici vyjadˇruj´ıc´ı koplanaritu zap´ıˇseme jako (2.20). X′R = RX′L

(2.18)

X′L = R−1 X′R

(2.19)

′ XT L (t × XL ) = 0

(2.20)

Rovnici (2.16) vyjádˇr´ıme ve tvaru XL = K −1 u, rovnici (2.17) jako X′R = (K ′ )−1 u′ , do rovnice (2.19) dosad´ıme X′R a z´ıskáme vztah (2.21). X′L = R−1 (K ′ )−1 u′

(2.21)

Dosazen´ım (2.21) do (2.20) z´ıskáme (K −1 u)T (t × R−1 (K ′ )−1 u′ ) = 0

(2.22)

Tato rovnice je vzhledem k t homogenn´ı, tud´ıˇz nen´ı urˇceno mˇeˇr´ıtko a absolutn´ı mˇeˇr´ıtko nez´ıskáme, pokud nebudeme vˇedˇet alespoˇ n jednu vzdálenost dvou bod˚ u ve scénˇe. Pro zjednoduˇsen´ı nahrad´ıme vektorov´ y souˇcin násoben´ım matic (2.23). Z vektoru translace t = (tx , ty , tz )T , za podm´ımky t 6= 0, vytvoˇr´ıme antisymetrickou matici S(t).   0 −tz ty    S(t) =  t 0 −t z x   −ty tx 0 t × A = S(t)A

(2.23)

Rovnici (2.22) pˇrep´ıˇseme do tvaru (2.26) a stˇredn´ı ˇcást (2.25) je tzv. fundamentáln´ı matice F nesouc´ı informaci o geometrii kamer a jejich vzájemné poloze.

4

Leˇz´ı v dané rovinˇe.

uT (K −1 )T S(t)R−1 (K ′ )−1 u′ ) = 0

(2.24)

F = (K −1 )T S(t)R−1 (K ′ )−1

(2.25)


16

Pro kaˇzdé dva koresponduj´ıc´ı body u = (u, v, 1)T a u′ = (u′ , v ′ , 1)T zapsané v homogenn´ıch souˇradnic´ıch plat´ı podm´ınka uT F u′ = 0.

(2.26)

Fundamentáln´ı matice F v sobˇe obsahuje veˇskeré informace, které mohou b´ yt odvozeny z dvojice sn´ımk˚ u, pokud vyˇreˇs´ıme problém korespondence.

2.1.6

Probl´ em okluze

Pˇri hledán´ı korespondenc´ı mezi dvˇema sn´ımky lze narazit na problém jednostranné ˇci oboustranné okluze (anglicky occlusion). Pokud nenastane ˇzádná okluze je bod sn´ıman´ y ve scénˇe na neuzavˇreném povrchu vidˇet obˇema kamerami. V pˇr´ıpadˇe jednostranné okluze je konkrétn´ı bod na neuzavˇreném povrchu vidˇet pouze jednou kamerou a druhá kamera vid´ı bod na uzavˇreném povrchu. Jednostranná okluze je naznaˇcena na obrázku obr. 2.11 vlevo. V pˇr´ıpadˇe oboustranné okluze jsou body viditelné obˇema kamerami um´ıstˇené na uzavˇreném povrchu. Oboustrannou okluzi ukazuje obrázek obr. 2.11 vpravo. V reáln´ ych scénách nen´ı okluze pˇr´ıliˇs ˇcast´ ym jevem, kter´ y by zásadnˇe ovlivnil v´ yslednou disparitn´ı mapu. U algoritm˚ u uveden´ ych v kapitole 5 je pouˇzito filtrován´ı korespondenc´ı, které chybnˇe nalezené korespondence z disparitn´ı mapy vyˇrad´ı.

Obrázek 2.11: Jednostranná okluze vlevo, oboustrann´ a okluze vpravo.


2.2

17

Triangulaˇ cn´ı metoda vyuˇ z´ıvaj´ıc´ı ˇ c´ arov´ y laser a kameru

V této kapitole je struˇcnˇe popsána triangulaˇcn´ı metoda vyuˇz´ıvaj´ıc´ı ˇcárov´ y laser jako aktivn´ı zdroj svˇetla a kameru jako senzor. Vdálenost a vzájemné natoˇcen´ı kamery a ˇcárového laseru je opˇet známé, stejnˇe jako v pˇr´ıpadˇe stereovidˇen´ı. Pokud pouˇzijeme bodové strukturované svˇetlo, pak triangulac´ı m˚ uˇzeme vypoˇc´ıtat vzdálenost jediného bodu v prostoru. Strukturované svˇetlo ˇcárového laseru (´ useˇcka - dále v textu obecnˇe uvádˇena jako ˇcára) umoˇzn ˇuje tzv. 2D triangulaci, tj. z´ıskán´ı vzdálenost´ı bod˚ u v prostoru v dané rovinˇe prom´ıtaného vzoru (ˇcáry). Pokud budeme do scény prom´ıtat ploˇsné strukturované svˇetlo (v jednom okamˇziku je osv´ıcena celá plocha scény5 ), pak lze mluvit i o pˇr´ıpadu stereovidˇen´ı doplnˇeném extern´ı texturou. Jakmile budeme laserov´ y paprsek tvaru bodu rozm´ıtat v ose x a y, lze postupnou 1D triangulac´ı z´ıskat kompletn´ı hloubkovou mapu. Kompletn´ı hloubkouvou mapu z´ıskáme rovnˇeˇz rozm´ıtán´ım laserového paprsku tvaru ˇcára, tentokrát v jedné ose a 2D triangulac´ı.

Obrázek 2.12: Znázornˇen´ı triangulaˇcn´ı metody vyuˇz´ıvaj´ıc´ı ˇcárov´ y laser a kameru.

Na obrázku obr. 2.12 je vidˇet pˇr´ıpad pouˇzit´ı ˇcárového laseru a kamery. Kamera sn´ımá okoln´ı scénu, kam dopadá laserov´ y paprsek ve tvaru ˇcáry. Laserov´ y paprsek vyváˇr´ı ve scénˇe tvar, kter´ y se prom´ıtne na obrazovou rovinu. Hledán´ım maximáln´ı intenzity v ˇrádku obrazu z´ıskame souˇradnici px . Soustava kamery, zdroje aktivn´ıho svˇetla a osvˇetleného 5

V tomto pˇr´ıpadˇe nemus´ı b´ yt osv´ıcen´ y kaˇzd´ y bod ve scénˇe, ale prom´ıtan´ y vzor mus´ı vytv´ aˇred ve scénˇe

vhodnou texturu.


18

bodu ve scénˇe na zkoumaném objektu tvoˇr´ı triangulaˇcn´ı troj´ uheln´ık (obr. 2.13). Vzdálenost svˇetelného zdroje a kamery se naz´ yvá triangulaˇcn´ı báz´ı b. Na stranˇe zdroje je u ´hel sv´ıran´ y s triangulaˇcn´ı báz´ı nemˇenn´ y. Naopak na stranˇe sn´ımaˇce je u ´hel urˇcen promˇennou pozic´ı 3D bodu v prostoru. Ze znám´ ych informac´ı o troj´ uhlen´ıku (´ uhly nebo velikosti stran) a souˇradnic´ıch prom´ıtnutého bodu na senzor kamery lze urˇcit vzdálenost bodu v prostoru.

Obrázek 2.13: V´ ypoˇcet vzd´ alenosti z podobn´ ych troj´ uheln´ık˚ u.

V nejjednoduˇsˇs´ı konfiguraci kamery a laseru na obrázku obr. 2.13, lze vzdálenost pˇrekáˇzky z urˇcit pomoc´ı vztahu (2.28) z rovnosti pomˇeru odvˇesen (2.27), kde b je vzdálenost kamery a laseru, f ohnisková vzdálenost a px je vzdálenost nalezeného pixelu od optické osy. z f = b px

(2.27)

f px

(2.28)

z=b


2.3

19

Z´ısk´ an´ı hloubkov´ e mapy ze sn´ımk˚ u se zn´ amou ohniskovou vd´ alenost´ı

Základn´ım principem pro zmˇeˇren´ı hloubkové mapy prostˇred´ı, pˇri znalosti znám´ ych ostˇr´ıc´ıch vzdálenost´ı, je z´ıskán´ı setu nˇekolika sn´ımk˚ u, kdy je kaˇzd´ y sn´ımek poˇr´ızen v jiné (avˇsak známé) ostˇr´ıc´ı vzdálenosti. Pro nalezen´ı kontrastn´ı oblasti hledáme ve sn´ımku vysoké frekvence (hrany). Vysoké frekvence detekujeme frekvenˇcnˇe citliv´ ymi, smˇerovˇe nezávisl´ ymi operátory. T´ımto operátorem je napˇr. Laplace˚ uv operátor. Tento operátor je naz´ yván Laplacián ▽2 f (x, y) a tvoˇr´ı ho suma druh´ ych parciáln´ıch derivac´ı. Poˇzadavkem pro u ´spˇeˇsné zpracován´ı jsou dobré svˇetelné podm´ınky a sn´ımek mus´ı obsahovat dostatek detail˚ u pro urˇcen´ı kontrastu. Obdobnˇe je tomu tak i v pˇr´ıpadˇe stereovidˇen´ı. Máme tedy soubor sn´ımk˚ u z r˚ uzn´ ych znám´ ych ostˇr´ıc´ıch vzdálenost´ı, kde kaˇzd´ y sn´ımek obsahuje ostré a rozostˇrené oblasti (viz. sn´ımky 1-5 na obr. 2.14). Zaostˇrené oblasti odpov´ıdaj´ı pˇr´ısluˇsn´ ym ostˇr´ıc´ım vzdálenostem. Z celého souboru sn´ımk˚ u tak lze poskládat hloubkovou mapu a zobrazit ji v pˇr´ısluˇsné paletˇe barev (obrázek obr. 2.14 vpravo dole).

Obrázek 2.14: Obrázky s r˚ uznou ostˇr´ıc´ı vzd´ alenost´ı a v´ ysledná hloubková mapa


2.4

20

PMD technologie a PMD kamery

Dalˇs´ı moˇznost´ı, jak zmˇeˇrit vzdálenost ve scénˇe, je zmˇeˇren´ım doby letu svˇetelného paprsku (Time Of Flight - TOF metody). Mˇeˇr´ı se doba pr˚ uchodu paprsku od vys´ılaˇce k pˇrij´ımaˇci, resp. doba za kterou se z vys´ılaˇce dostane paprsek odrazem k pˇrij´ımaˇci. Rychlost svˇetla je konstantn´ı, známá a doba pr˚ uchodu paprsku je tedy u ´mˇerná vzdálenosti. Zmˇeˇrené ˇcasy jsou pˇr´ıliˇs malé na to, aby se daly bˇeˇznˇe mˇeˇrit a z tohoto d˚ uvodu se mˇeˇren´ı doby letu nahrazuje mˇeˇren´ım fázového posuvu mezi vyslan´ ym a pˇrijat´ ym svˇeteln´ ym signálem. Na tomto principu je zaloˇzena PMD (Photonic Mixed Device) technologie, resp. PMD kamery.

2.4.1

PMD technologie

Pokud chceme mˇeˇrit zmˇenu fáze vyslaného a pˇrijatého signálu, mus´ıme nejdˇr´ıve vys´ılan´ y signál namodulovat urˇcit´ ym referenˇcn´ım signálem. M˚ uˇzeme pouˇz´ıt témˇeˇr libovoln´ y zdroj svˇetla (LED, laser) s libovolnou vlnovou délkou. Vyslán´ım a zpˇetn´ ym pˇrijet´ım signálu z´ıskáme posuv fáze u ´mˇern´ y dobˇe zpoˇzdˇen´ı td , kterou hledáme. Porovnán´ı fáz´ı se provád´ı ve smˇeˇsovaˇci, tzv. 2D-EOM (Electro-Optical Mixer). Realizaci 2D-EOM lze provést pouˇzit´ım fotodiody nebo pˇr´ımo PMD prvkem.

Obrázek 2.15: Princip metody mˇeˇren´ı TOF vyuˇz´ıvaj´ıc´ı fotodiodu na stranˇe pˇrij´ımaˇce.


21

Realizace pomoc´ı fotodiody pouˇz´ıvá fotodiodu jako pˇrevodn´ık svˇetla na elektrick´ y signál a je vidˇet na obrázku obr. 2.15. Takto pˇrijat´ y signál se dále frekvenˇcnˇe omezuje pásmov´ ym filtrem BP, kv˚ uli omezen´ı okoln´ıho ruˇsen´ı. Po odfiltrován´ı neˇzádouc´ıch sloˇzek se zjiˇst’uje posuv fáze ve zm´ınˇeném smˇeˇsovaˇci (Electrical Mixer). PMD (prvek) senzor provád´ı funkci smˇeˇsovaˇce jiˇz na u ´rovni dopadaj´ıc´ıho svˇetla. Pˇrevád´ı svˇetlo na elektrick´ y signál, ale i zároveˇ n vyhodnocuje zmˇenu fáze. Princip lze popsat následuj´ıc´ım zp˚ usobem. Na fotocitlivé elektrody se pˇrivád´ı referenˇcn´ı modulaˇcn´ı napˇet’ov´ y signál. T´ımto signálem byl modulovan´ y i vyslan´ y svˇeteln´ y paprsek, pˇriˇcemˇz na jednu elektrodu se pˇrivád´ı signál fázovˇe posunut´ y o 180◦ proti vedlejˇs´ı elektrodˇe. Poté se postupnou stˇr´ıdavou zmˇenou potenciálu na obou elektrodách se odvád´ı nahromadˇen´ y náboj z dopadaj´ıc´ıho svˇetla bud’to na levou nebo na pravou sbˇerac´ı elektrodu. Tam je náboj sn´ımán ˇctec´ı elektronikou. Pokud je dopadaj´ıc´ı svˇetln´ y paprsek ve fázi s referenˇcn´ım signálem na elektrodách, tj. má stejn´ y pr˚ ubˇeh, je náboj odvádˇen pravou sbˇernou elektrodu. Pokud je svˇetlo fázovˇe posunuto o 180◦ je náboj odvádˇen na levou sbˇernou elektrodu. V pˇr´ıpadˇe, ˇze by byl fázovˇe posunut o 90◦ proti referenˇcn´ımu signálu, je náboj stejnomˇernˇe odvádˇen na levou i pravou sbˇerac´ı elektrodou. Ze vznikl´ ych proud˚ u i1 a i2 z obou elektrod z´ıskáme jejich souˇctem i1 + i2 intenzitu dopadaj´ıc´ıho záˇren´ı a rozd´ılem i1 − i2 z´ıskáme fázov´ y posuv mezi vyslan´ ym a pˇrijat´ ym signálem. Struktura PMD prvku (PMD pixelu) je znázornˇen na obrázku obr. 2.16. T´ımto zp˚ usobem na v´ ystupu PMD senzoru dostaneme elektrick´ y signál s informac´ı o zmˇenˇe fáze a intenzitˇe dopadaj´ıc´ıho záˇren´ı.

Obrázek 2.16: Struktura PMD pixelu.

PMD senzor je zaloˇzen na technologii CMOS a v´ yraznˇe zjednoduˇsuje konstrukci zaˇr´ızen´ı pro mˇeˇren´ı vzdálenost´ı ve 3D prostoru scény. Pouˇzit´ım PMD senzoru odpadaj´ı vˇsechny diskrétn´ı ˇcásti a prvky od pˇr´ıjmu svˇetla aˇz po obvody zpracován´ı (Signal Processing). Realiazce s PMD prvkem je na obrázku obr. 2.17.


22

Obrázek 2.17: Pouˇzit´ı PMD prvku m´ısto fotodiody na stranˇe pˇrij´ımaˇce.

2.4.2

PMD kamery

PMD kamery jsou v této dobˇe velice diskutovan´ ym tématem a v rámci napˇr. automobilové bezpeˇcnosti, se jimi intenzivnˇe zab´ yvaj´ı mnohé firmy. Souˇcasnˇe je vyuˇzit´ıch tˇechto kamer vhodné komplexn´ı ˇreˇsen´ı i pro robotické u ´ˇcely a tud´ıˇz také pro modely mobiln´ıch zaˇr´ızen´ı (vzducholodˇe, vznáˇsedla, ...). Obecnˇe tyto kamery dokáˇz´ı zpracovat scénu v reálném ˇcase (framerate6 je 30 fps7 a v´ıce) nebo jemu bl´ızkém a to pro rozliˇsen´ı v rozsahu od 64 x 16 aˇz 176 x 144 pixel˚ u. V nˇeker´ ych pˇr´ıpadech um´ı kamery velice dobˇre potlaˇcit vlivy okoln´ıho svˇetla. Dokáˇz´ı si poradit i se sloˇzit´ ymi podm´ınkami a vlastnostmi okoln´ı scény, ale samozˇrejmˇe jsou závislé pˇredevˇs´ım na odrazivosti materiálu scény, ˇclenitosti a dalˇs´ıch vlastnostech. Parametry, které dále ovlivˇ nuj´ı kvalitu a vlastnosti 3D obrazu, jsou modulaˇcn´ı frekvence (v´ yrobcem b´ yvá standartnˇe nastavena na hodnotu, pro n´ıˇz je kamera zkalibrována) a dále také doba integrace. Doba integrace je ˇcasová perioda, po kterou se akumuluj´ı pˇrijaté fotony na jednom pixelu pro jeden mˇeˇr´ıc´ı cyklus, ve kterém se urˇc´ı posuv fáze, resp. vzdálenost. Pokud je tedy integraˇcni doba pˇr´ıliˇs malá, pak amplituda pˇrijatého signálu bude n´ızká pro správné urˇcen´ı vzdálenosti. Napoak pˇri vysoké dobˇe integrace dojde k saturaci a mˇeˇren´ı je také nesprávné. Omezuj´ıc´ım parametrem PMD 6 7

Framerate vyjadˇruje poˇcet zpracovan´ ych sn´ımk˚ u za vteˇrinu. Jednotkou je fps. frame per second“ - poˇcet sn´ımk˚ u za vteˇrinu ”


23

kamer je rozsah mˇeˇren´ ych vzdálenost´ı, jehoˇz horn´ı hranic´ı je tzv. opakovac´ı vzdálenost8 . Opakovac´ı vzdálenost se odv´ıj´ı od modulaˇcn´ı frekvence. Z hlediska aplikace pro orientaci v prostˇred´ı pro mobiln´ı zaˇr´ızen´ı je nev´ yhodou tˇechto kamer jejich vysoká cena a spotˇreba elektrické energie, aˇckoliv v´ yvoj 3D kamer je velmi intenzivn´ı a jak cena, tak spotˇreba se znatelnˇe sniˇzuj´ı a parametry se zlepˇsuj´ı. Dále uvád´ım základn´ı pˇrehled nˇekolika profesionálnˇe vyrábˇen´ ych PMD kamer firem PMDTechnologies GmbH, Mesa Imaging AG a Canesta, Inc. Informace o produktech tˇechto firem lze naj´ıt v literatuˇre [5]. 2.4.2.1

R 1k-S, 3k-S a 19k PMD[vision]

Jednou z firem zab´ yvaj´ıc´ı se v´ yvojem PMD technologie a v´ yrobou 3D PMD kamer je nˇemecká PMDTechnologies GmbH. PMD kamery se dodávaj´ı jako kompletn´ı set kamery i se svˇeteln´ y zdrojem. R 1k–S, V nab´ıdce se v souˇcasné dobˇe objevuj´ı tyto modely PMD kamer: PMD[vision] R 3k–S, PMD[vision] R 19k, a novˇ R A-sample receiver s dosaPMD[vision] e PMD[vision]

hem aˇz 40m. Vˇsechny kamery obsahuj´ı Suppression of Background Illumination (SBI), ˇcili potlaˇcen´ı vlivu okoln´ıho osvˇetlen´ı jiˇz na bázi samotn´ ych pixel˚ u a zpracován´ı zajiˇst’uje 32-bitov´ y procesor AMD Elan SC520 s operaˇcn´ım systémem eLinOS. Pro svoji funkˇcnost vyuˇz´ıvaj´ı vlnovou déklu bl´ızkou infraˇcervenému svˇetlu (NIR9 ). Na v´ ystupu pak pro kaˇzd´ y pixel z´ıkáme informaci o vzdálenosti a intenzitn´ı obraz.

Obrázek 2.18: PMD kamery z nab´ıdky PMDTechnologies GmbH. 8

Vzd´ alenost, která je dan´ a modulaˇcn´ı frekvenc´ı. Pokud je tato vzdálenost pˇrekroˇcena a pˇredmˇet je

um´ıstˇen za maximáln´ı mˇeˇritelnou vzdálenost´ı, pak jiˇz nelze jednoznaˇcnˇe urˇcit, v jaké vzdálenosti se pˇredmˇet nacház´ı. Tj. puls, kter´ y byl vysl´ an v kroku n doraz´ı k pˇrij´ımaˇci aˇz po vysl´ an´ı n + 1 pulsu a nelze mezi nimi rozliˇsit. 9 near-infra-red“ ”

ˇ REN ˇ Í POLOHY BODU ˚ V PROSTORU KAPITOLA 2. ME R Typ kamery (PMD[vision] )

Rozliˇ sen´ı

1k-S

24

3k-S

19k

64 x 16 pixel˚ u 64 x 48 pixel˚ u 160 x 120 pixel˚ u

Pomˇ er stran

3:1

4:3

Modulaˇ cn´ı frekvence

standartnˇe 20 MHz

Opakovac´ı vzd´ alenost

7,5m

Rozliˇ sen´ı vzd´ alenosti

6mm

Framerate

aˇz 50 fps

Vlnov´ a d´ elka

aˇz 25 fps

4:3

aˇz 15 fps

870nm

Optick´ y v´ ykon

3W

ADC rozliˇ sen´ı

12 bit˚ u

V´ ystup

IEEE 1394a a Ethernet

V´ aha

1,4kg

Cena

na dotaz Tabulka 2.1: Specifikace PMD kamer z nab´ıdky PMDTechnologies GmbH.

Obrázek 2.19: Ukázka v´ ystupu - intenzitn´ı obr´ azek (vlevo) a hloubková mapa (vpravo).

2.4.2.2

SwissRangerTM SR3000 a SR4000

Dalˇs´ı z firem zab´ yvaj´ıc´ı se v´ yvojem PMD technologi´ı a prodejem PMD kamer je ˇsv´ ycarská firma Mesa Imaging AG. V souˇcasné dobˇe jsou k dispozici dva modely. Jsou to SwissRangerTM SR3000 a SR4000. Kamery v sobˇe maj´ı zabudovan´ y svˇeteln´ y zdroj a v reálném ˇcase poskytuj´ı data hloubkové mapy ve stejné rozliˇsen´ı, tj. 176 x 144 pixel˚ u. Pro svoji funkˇcnost vyuˇz´ıvaj´ı opˇet vlnovou déklu bl´ızkou infraˇcervenému svˇetlu a na v´ ystupu pro kaˇzd´ y pixel z´ıkáme také informaci o vzdálenosti a intenzitn´ı obraz. Starˇs´ı model SwissRangerTM SR3000 oproti jeho nástupci nebsahuje embedded DSP procesor a se sv´ ym svˇeteln´ ym zdrojem s 55 LED diodami má pˇribliˇznˇe dvojnásobnou spotˇrebu.


25

Obrázek 2.20: PMD kamery z nab´ıdky Mesa Imaging AG SwissRangerTM SR3000 (vlevo) a SR4000 (vpravo).

Ve srovnán´ı s produkty firmy PMDTechnologies GmbH je ˇrada SwissRangerTM urˇcená sp´ıˇse pro indoor aplikace (u SwissRangerTM SR4000 se pracuje na lepˇs´ım potlaˇcen´ı vlivu okoln´ıho svˇetla) a obecnˇe maj´ı niˇzˇs´ı optick´ y v´ ykon a t´ım pádem i menˇs´ı dosah (≈5m). Kamery pouˇz´ıvaj´ı kódovou modulaci, která dovoluje provoz nˇekolika kamer ve stejném prostoru. Kamery jsou dodávány se SW bal´ıkem, kter´ y mimo jiné obsahuje také user interface pro Matlab a drivery pro r˚ uzné OS. Typ kamery (SwissRangerTM )

SR3000

Rozliˇ sen´ı

SR4000

176 x 144 pixel˚ u (QCIF)

Pomˇ er stran

4:3

Modulaˇ cn´ı frekvence

standartnˇe 20 MHz

standartnˇe 30 Mhz

Opakovac´ı vzd´ alenost

7,5m

5m (standartn´ı nastaven´ı)

Rozliˇ sen´ı vzd´ alenosti

1% z rozsahu

5mm

aˇz 25 fps

aˇz 54 fps

Framerate Vlnov´ a d´ elka Optick´ y v´ ykon

850nm 1W

0,5W

USB2.0

USB2.0, Ethernet

typicky 12W

typicky 7W

V´ aha

-

0,47kg

Cena

nab´ıdka na 5750 Euro

na dotaz

V´ ystup Spotˇ reba

Tabulka 2.2: Specifikace PMD kamer z nab´ıdky Mesa Imaging AG.


26

Obrázek 2.21: Ukázka z dodávaného GUI kamery SwissRangerTM SR3000

2.4.2.3

Canesta

Posledn´ı zde uvedenou firmou zab´ yvaj´ıc´ı se PMD technologiemi a v´ yrobou 3D PMD kamer je americká firma Canesta, Inc. Tato firma nab´ız´ı v´ yvojové kity PMD kamer DP2xx a nástupce DP3xx (obrázek obr. 2.22), vˇcetnˇe SW. Svoje firemn´ı zájmy vˇsak nyn´ı soustˇred’uje pˇredevˇs´ım na pr˚ umyslové aplikace a k dispozici jiˇz nejsou volnˇe ke staˇzen´ı informace o jejich produktech. Proto je dále uvedena pouze specifikace starˇs´ı ˇrady v´ yvojov´ ych kit˚ u PMD kamer - DP2xx.

Obrázek 2.22: Development kit DP300 a DP200 od firmy Canesta, Inc.

ˇ REN ˇ Í POLOHY BODU ˚ V PROSTORU KAPITOLA 2. ME Typ kamery FOV

DP203

DP205

DP208

30◦

55◦

80◦

Rozliˇ sen´ı

64 x 64 pixel˚ u

Pomˇ er stran

1:1

Modulaˇ cn´ı frekvence Opakovac´ı vzd´ alenost Rozliˇ sen´ı vzd´ alenosti Framerate Vlnov´ a d´ elka

13 - 104 MHz 20 m

12 m aˇz 30 fps 785nm 0.1 - 1W

V´ ystup

USB 1.1

Cena

6m

30 cm

Optick´ y v´ ykon Spotˇ reba

27

10W na dotaz

Tabulka 2.3: Specifikace PMD kamer z nab´ıdky Canesta, Inc.

Kapitola 3 V´ ybˇ er HW a SW pro zpracov´ an´ı dan´ ych u ´ loh V této kapitole jsou shrnuty informace o vybraném HW a programovém vybaven´ı, pouˇzitém pro zpracován´ı obrazov´ ych dat v u ´lohách z´ıskán´ı disparitn´ı a hloubkové mapy.

3.1

V´ ybˇ er vhodn´ eho prostˇ redku pro zpracov´ an´ı obrazov´ ych dat z digit´ aln´ıch kamer

Pro tuto diplomovou práci bylo v prvn´ı ˇradˇe nutné zvolit vhodn´ y prostˇredek pro zpracován´ı obrazov´ ych informac´ı z dvou digitáln´ıch kamer, ze kter´ ych je moˇzné vhodnou metodou extrahovat informace o vzdálenostech obrazov´ ych bod˚ u ve scénˇe nebo pˇr´ımo celou hloubkovou mapu scény. T´ımto prostˇredkem by mohl b´ yt napˇr´ıklad osobn´ı poˇc´ıtaˇc nebo jeho mobiln´ı modifikace, ale jeho architektura a rozmˇery, váha ˇci spotˇreba nevyhovuj´ı poˇzadavk˚ um pro modely mobiln´ıch zaˇr´ızen´ı, zm´ınˇen´ ych v u ´vodn´ı kapitole (1). Dalˇs´ımi vhodn´ ymi prostˇredky mohou b´ yt obvody typu: • FPGA (Field-programmable gate array) • ASIC/ASIP (Application-specific integrated circuit/instruction-set processor ) • CPLD (Complex programmable logic device) • VHDL (Very High Speed Integrated Circuit Hardware Description Language) • DSP (Digitall signal processor ) a dalˇs´ı ... 28

´ ER ˇ HW A SW PRO ZPRACOVAN ´ Í DANYCH ´ ´ KAPITOLA 3. VYB ULOH

29

Bohuˇzel, vˇetˇsina tˇechto obvod˚ u (FPGA, ASIC, ...) má malou flexibilitu a vyˇzaduje specifick´ y, dosti ˇcasovˇe nároˇcn´ y a sloˇzit´ y návrh. Zároveˇ n jsou pro v´ yvoj cenovˇe nakladné. Pro bliˇzˇs´ı seznámen´ı s tˇemito obvody je vhodné pˇreˇc´ıst si ˇclánek [7] nebo pˇr´ısluˇsnou odbornou literaturu vˇenuj´ıc´ı se tomuto tématu. Jako vhodn´ y prostˇredek pro rychl´ y, energeticky nenároˇcn´ y, cenovˇe pˇr´ızniv´ y a flexibiln´ı v´ yvoj systému pro stereovidˇen´ı (resp. ˇreˇsen´ı praktick´ ych u ´loh zpracován´ı obraz˚ u pro orientaci v prostˇred´ı a detekci pˇrekáˇzek) byl vybrán obvod typu signálov´ y procesor (DSP). Pro takovéto procesory jsou od v´ yrobc˚ u vˇetˇsinou k dispozici v´ yvojová prostˇred´ı a pˇrekladaˇce, jenˇz umoˇzn ˇuj´ı v´ yvoj SW jak v jazyku assembler, tak i v jazyc´ıch vyˇsˇs´ıch - napˇr. jazyku C. Programován´ı ve vyˇsˇs´ım programovac´ım jazyku dovoluje rychlejˇs´ı a flexibilnˇejˇs´ı návrh algoritm˚ u ˇreˇsen´ı, naopak jazyk assembler umoˇzn ˇuje lepˇs´ı a efektivnˇejˇs´ı vyuˇzit´ı moˇznost´ı DSP. Zároveˇ n je od v´ yrobce k dispozici optimalizovaná knihovna func´ı a ukázkov´ ych pˇr´ıklad˚ u, jenˇz usnadˇ nuj´ı programátorovi práci a dovoluj´ı efektivnˇe vyuˇz´ıt tyto SW prostˇredky. DSP signálové procesory lze dále pˇribliˇznˇe dˇelit do následuj´ıc´ıch tˇr´ı skupin: 1. low-cost fixed-point DSPs 2. high-performance fixed-point DSPs 3. floating-point DSPs Low-cost fixed-point DSP signálové procesory jsou zaloˇzeny na tradiˇcn´ı DSP architektuˇre z dˇr´ıvˇejˇs´ıch let, pracuj´ı s pevnou ˇrádovou ˇcárkou, typicky na frekvec´ıch niˇzˇs´ıch neˇz 350 MHz, obvykle maj´ı jednu MAC1 jednotku a jejich cena je n´ızká. Zcela jinou kategori´ı jsou floating-point DSP signálové procesory pracuj´ıc´ı s pohyblivou ˇrádovou ˇcárkou a maj´ıc´ı komplexn´ı obvodovou základnu, velmi vysok´ y v´ ykon i vysokou pˇresnost pˇri ˇsirokém dynamickém rozsahu. Jejich nev´ yhoda spoˇc´ıvá ve vˇetˇs´ı energetické nároˇcnosti a vyˇsˇs´ı cenˇe. Posledn´ı jmenovanou skupinou signálov´ ych procesor˚ u jsou nové high-performance fixed-point DSP procesory. Vˇetˇsinou podporuj´ı nˇekolikanásobné vykonán´ı instrukce bˇehem jednoho programovém cyklu pouˇzit´ım techniky VLIW (very long instruction words) a také obsahuj´ı v´ıce MAC jednotek. Tyto procesory jsou kompromisem mezi dvˇema v´ yˇse zm´ınˇen´ ymi skupinami. Zaruˇcuj´ı vlastnosti flexibiln´ıho, rychlého a v´ ykonného DSP s pevnou ˇrádovou ˇcárkou, kter´ y má zároveˇ n n´ızké nároky na spotˇrebu, pˇri zachován´ı jednoduchosti programován´ı a práce s n´ım. Nezanedbatelnou v´ yhodou jsou i n´ızké náklady. 1

jednotka multiply-accumulate


30

Dˇelen´ı DSP procesor˚ u do tˇechto tˇr´ı skupin se ˇcasto pˇrekr´ yvá a proto nˇekteré DSP procesory maj´ı vlastnosti, které jsou typické pro r˚ uzné skupiny.

3.2

Pˇ rehled DSP procesor˚ u a v´ yvojov´ ych kit˚ u

Pˇri v´ ybˇeru DSP procesoru a následnˇe i v´ yvojového kitu jsem se zamˇeˇril na skupinu high-performance fixed-point DSP procesor˚ u a pokusil naj´ıt vhodného kandidáta, kter´ y sv´ ymi vlastnostmi nejlépe vyhovuje potˇrebám mobiln´ıch zaˇr´ızen´ı pro aplikace s rychl´ ym zpracován´ım (multimediáln´ıch) dat. Kromˇe v´ ykonu, spotˇreby, rozmˇer˚ u a váhy samotného DSP procesoru byly brány v potaz také dostupnost vhodného v´ yvojového kitu, v´ yvojového programového vybaven´ı (vˇcetnˇe knihoven a pˇr´ıklad˚ u) a moˇznost pˇripojen´ı CMOS kamer na vhodné periferie. Mezi vedouc´ı firmy nejenom na poli DSP procesor˚ u lze jistˇe ˇradit: • Texas Intsrument (TI) • Analog Devices (ADI) • Freescale Semiconductor R ADSP-BF561 BlackFin

TMS320DM642-600TM

Analog Devices (ADI)

Texas Intsrument (TI)

600MHz (1 jádro)

600MHz

MMACs

max. 2400

max. 4800

L1 a L2

328 kB

288 kB

Pˇ rip. kamery

2 PPI (ITU-656 comp.)

3 videoporty (ITU-656 comp.)

Typ. spotˇ reba

1100 mW

1700mW

Cena (>10ks)

20 - 30 USD

40 - 60 USD

297 ball PBGA

FCBGA 548-Pin

DSP procesor V´ yrobce Clock

Package

R ADSP-BF561 Tabulka 3.1: Srovnávac´ı tabulka DSP procesor˚ u BlackFin

[21] a TMS320DM642-600TM [20].

Z nab´ıdky tˇechto firem (rok 2007/2008) byl vˇzdy vybrán jeden kandidát vhodného high-performance fixed-point DSP procesoru. Z produkt˚ u firmy Freescale byl vybrán DSP procesor i.MX21 (MC9328MX21), kter´ y vˇsak nemˇel moˇznost pˇripojen´ı obou kamer pro R ADSP-BF561 pˇr´ıpad stereovidˇen´ı. Mezi zbylé kandidáty patˇr´ı DSP procesor BlackFin


31

od Analog Devices a TMS320DM642-600TM od Texas Instrument. Podle v´ yˇse uveden´ ych R ADSP-BF561. kritéri´ı byl zvolen dvoujádrov´ y DSP procesor BlackFin

Na závˇer je tˇreba ˇr´ıci, ˇze vˇsechny zde uvedené DSP procesory maj´ı své pro i proti a R ADSP-BF561 zohledˇ velice si konkuruj´ı. V´ ybˇer DSP procesoru BlackFin nuje pˇredevˇs´ım

dostupnost vhodného kompaktn´ıho v´ yvojového kitu (popsaného v kapitole 4) s rozˇsiˇruj´ıc´ı kartou pro pˇripojen´ı kamer, velikost on-chip pamˇeti a spotˇreba procesoru. V souˇcasné dobˇe v´ yvoj signálov´ ych procesor˚ u pokraˇcuje m´ılov´ ymi kroky vpˇred a napˇr. v nab´ıdce firmy Texas Instrument je moˇzné naj´ıt napˇr´ıklad DSP procesor TMS320C647xTM se tˇremi C64x+TM jádry, kaˇzdé bˇeˇz´ıc´ı na frekvenci 1 GHz a s aˇz 24000 MMAC2 . Nab´ıdka nov´ ych procesor˚ u umoˇzn ˇuje pˇri pouˇzit´ı stejn´ ych algoritm˚ u vyˇsˇs´ı rychlost zpracován´ı a niˇzˇsˇs´ı spotˇrebu.

Obrázek 3.1: Funkˇcn´ı blokov´ y diagram souˇcást´ı ADSP-BF561. 2

Million Multiply ACcumulates per Second


3.3

32

Informace o Blackfin procesoru ADSP-BF561

Signálov´ y procesor s oznaˇcen´ım ADSP-BF561 (nebo struˇcnˇeji BF561) je z rodiny procesor˚ u Blackfin, které jsou zamˇeˇreny pˇredevˇs´ım na multimediáln´ı aplikace. Procesor nab´ız´ı dvˇe nezávislá jádra zaloˇzená na architektuˇre Blackfin procesor˚ u. Procesory této ˇrady nab´ızej´ı vysok´ y v´ ykon, velice n´ızkou spotˇrebu a jednoduchost pouˇzit´ı a kódován´ı. Právˇe tyto vlastnoti jsou kl´ıˇcové pro aplikace v´ ypoˇcetnˇe nároˇcn´ ych obrazov´ ych operac´ı pro mobiln´ı zaˇr´ızen´ı, které je závislé na bateriovém napájen´ım a tud´ıˇz na n´ızké spotˇrebˇe elektrické energie. Architektura signálového procesoru BF561 kombinuje duáln´ı MAC jednotku, ortogonáln´ı3 RISC4 instrukˇcn´ı set s flexibiln´ı single-instruction multiple-data (SIMD) moˇznostmi a také single-instruction-set architekturu nˇekter´ ych multimediáln´ıch funkc´ı. Signálové procesory ˇrady Blackfin dále nab´ızej´ı moˇznost zmˇeny jak napˇet´ı jádra, tak nastaven´ı frekvence jádra a t´ım optimalizaci spotˇreby elektrické energie a moˇznost pˇrizp˚ usobit aplikaci dan´ ym potˇrebám i v tomto ohledu. ADSP-BF561 obsahuje následuj´ıc´ı periferie: • Rychlé paraleln´ı sbˇernice - Parallel Peripheral Interfaces (PPI) • Sériové porty - Serial Ports (SPORT) • Rozhran´ı SPI - Serial Peripheral Interface ˇ • Casovaˇ ce - General-Purpose Timers, Watchdog Timers • Rozhran´ı UART - Universal Asynchronous Receiver Transmitter • Obecné vstupy/v´ ystupy - General Purpose I/O (Programmable Flags) Vˇsechny v´ yˇse uvedené periferie mimo general-purpose I/O a ˇcasovaˇc˚ u jsou podporovány flexibln´ı strukturou DMA5 ˇradiˇc˚ u (DMA1 a DMA2) a také ˇradiˇci vnitˇrn´ı pamˇeti (IMDMA). Kaˇzd´ y z DMA1 a DMA2 má 12 programovateln´ ych kanál˚ u a dva oddˇelené DMA streamy urˇcené pro pˇrenos dat mezi pamˇetmi DSP a také extern´ı SDRAM a asynchronn´ı pamˇet´ı. Sbˇernice jsou zároveˇ n dostateˇcnˇe dimenzované svoj´ı propustnost´ı, aby dokázaly obslouˇzit veˇsker´ y provoz jak periféri´ı, tak on-chip pamˇet´ı. 3

Architektura procesoru schopná rozdˇelit pˇri zpracov´ an´ı instrukci na v´ıce u ´kon˚ u a ty (d´ıky vhodnému

návrhu jeho ALU nebo jin´ ych integrovan´ ych obvod˚ u) provést v jednom strojovém cyklu. 4 Reduced Instruction Set Computer - Poˇc´ıtaˇc s redukovanou instrukˇcn´ı sadou. 5 Direct Memory Access - umoˇzn ˇuje hardwarovému subsystému pˇr´ım´ y pˇr´ıstup do operaˇcn´ı pamˇeti bez u ´ˇcasti procesoru.


3.4

33

Struktura sign´ alov´ eho procesoru ADSP-BF561

Tato kapitola popisuje vnitˇrn´ı strukturu signálového procesoru ADSP-BF561. Jsou zde popsány jádra procesoru a uspoˇrádán´ı pamˇet’ového systému.

3.4.1

Popis j´ adra procesoru ADSP-BF561

ADSP-BF561 má dvˇe identická Blackfin jádra. Kaˇzdé z tˇechto jader obsahuje dvˇe 16-bitové násobiˇcky, dvˇe 40-bitové sˇc´ıtaˇcky, dvˇe 40-bitové aritmeticko-logické jednotky (ALU), ˇctyˇri 8-bitové video aritmeticko-logické jednotky a 40-bitov´ y shifter (vykonávaj´ıc´ı posun, rotaci, normalizaci, vyjmut´ı). Káˇzdá MAC jednotka vykonává v jednom cyklu 16 x 16-bitové násoben´ı s akumulac´ı jako 40-bitov´ y v´ ysledek. V´ ypoˇcetn´ı jednotka pracuje s 8-bitov´ ymi, 16-bitov´ ymi a také 32-bitov´ ymi daty. Jádro procesoru obsahuje 8-vstupov´ y 32-bitov´ y registr pro v´ ypoˇcetn´ı jendotky. ALU jednotky obsahuj´ı bˇeˇzn´ y set aritmetick´ ych a logick´ ych operac´ı, které pracuj´ı s 16-bitov´ ymi a 32-bitov´ ymi daty. Pro nˇekteré u ´lohy procesor obsahuje speciáln´ı instrukce. Jedná se napˇr. videointrukce bytového zarovnán´ı, 8-bitové oprace sˇc´ıtán´ı absolutn´ıch odchylek - SAA (subtract-absolute value-accumulate), 8-bitové oprace pr˚ umˇerován´ı nebo 16-bitové a 8-bitové sˇc´ıtán´ı. Pro nˇekteré instrukce mohou b´ yt dvˇe 16-bitové ALU operace vykonány souˇcasnˇe na dvojici registr˚ u. V pˇr´ıpadˇe, ˇze pouˇzijeme obˇe ALU pak je moˇzné provést ˇctyˇri 16-bitové operace - quad 16-bitová operace. ˇ c podProgramov´ y sequencer ˇr´ıd´ı tok instrukc´ı, jejich zarovnán´ı a dekódován´ı. Radiˇ poruje PC-relative a nepˇr´ımé podm´ınˇené skoky (se statickou podm´ınkovou predikc´ı) a volán´ı subrutin. Arichitektura procesoru je navrˇzena proti vzniku uváznut´ı pˇri pipeline zpracován´ı6 . Adresová aritmetická jednotka umoˇzn ˇuje adresován´ı pro duáln´ı pˇr´ıstup k dat˚ um. Instrukce ˇrady Blackfin jsou optimalizovány pro 16-bitové operaˇcn´ı kódy, reprezentuj´ıc´ı nejv´ıce pouˇz´ıvané instrukce. Komplexn´ı DSP instrukce jsou kódovány do 32-bitov´ ych operaˇcn´ıch kód˚ u jako multifunkˇcn´ı instrukce. To dovoluje programátorovi vhodné vyuˇzit´ı zdroj˚ u v jednom instrukˇcn´ım cyklu. Architektura procesoru je optimalizovaná pro pouˇzit´ı s pˇrekladaˇcem jazyka C. 6

Pipelining neboli zˇretˇezené zpracov´ an´ı, ˇci pˇrekr´ yván´ı instrukc´ı. Z´ akladn´ı myˇslenkou je rozdˇelen´ı

zpracov´ an´ı jedné instrukce mezi r˚ uzné ˇcásti procesoru a t´ım i dosaˇzen´ı moˇznosti zpracov´ avat v´ıce instrukc´ı najednou.


34

Obrázek 3.2: Struktura jádra signálového procesoru ADSP-BF561.

3.4.2

Architektura pamˇ eti procesoru ADSP-BF561

Hiearchicky uspoˇrádaná struktura pamˇet’ového systému je pojata jako spoleˇcn´ y 4GB adresn´ı prostor vyuˇz´ıvaj´ıc´ı 32-bitové adresován´ı. Vˇsechny pamˇet’ové zdroje (intern´ı pamˇet’, extern´ı pamˇet’, vstupnˇe/v´ ystupn´ı registry) pouˇz´ıvaj´ı oddˇelené sekce spoleˇcného adresovac´ıho prostoru, kter´ y je uspoˇrádán ve struktuˇre spojuj´ıc´ı vlastnosti a v´ ykon on-chip pamˇet´ı s pomalejˇs´ımi extern´ımi pamˇet’mi. Procesory ˇrady Blackfin podporuj´ı modifikovanou Harvardskou strukturu. Level 1 (L1) pamˇet’ pracuje pˇribliˇznˇe na stejné rychlosti jako samotné jádro procesoru s mal´ ym nebo


35

témˇeˇr nulov´ ym zpoˇzdˇen´ım. L1 pamˇet obsahuje oddˇelené ˇcásti pro instrukce, data a na tzv. scratchpad ˇcásti pamˇeti jsou uloˇzeny informace o lokáln´ıch promˇenn´ ych. K dispozici je nˇekolik L1 pamˇet’ov´ ych blok˚ u, konfigurovateln´ ych jako SRAM nebo cache. Memory Management Unit (MMU) poskytuje ochranu pamˇeti pro individuáln´ı u ´lohy a chrán´ı systémové registry proti ne´ umysln´ ym pˇr´ıstup˚ um.

Obrázek 3.3: Architektura pamˇeti ADSP-BF561.

Obˇe jádra procesoru ADSP-BF561 sd´ılej´ı tzv. on-chip“ L2 pamˇet’, dovoluj´ıc´ı rychl´ y ”


36

pˇr´ıstup k pamˇeti typu SRAM, avˇsak o nˇeco pomalejˇs´ı neˇz je tomu v pˇr´ıpadˇe L1 pamˇeti. Pamˇet’ typu L2 podporuje Von Neumannovskou strukturu. L2 je tedy spoleˇcná jak pro instrukce, tak pro data a pracuje pˇribliˇznˇe na poloviˇcn´ı frekvenci samotného jádra. Jej´ı velikost je 128 kB. Rychl´ y ˇsirokopásmov´ y blokov´ y pˇrenos dat nebo kódu mezi rychlou intern´ı (L1, L2) pamˇet´ı a pomalou extern´ı (L3) pamˇet’´ı umoˇzn ˇuje DMA ˇradiˇc. Extern´ı (tzv. off-chip“) ” pamˇet’ je pˇr´ıtupná pˇres External Bus Interface Unit (EBIU), coˇz je 32-bitov´ y interface poskytuj´ıc´ı pˇripojen´ı aˇz 4 bank sychronn´ı (SDRAM) pamˇeti a aˇz 4 bank asynchronn´ı ˇ c SDRAM (vyhovuj´ıc´ı standartu pamˇeti (flash pamˇet’, EPROM, ROM, SRAM). Radiˇ PC133) m˚ uˇze pˇristupovat aˇz k 512 MB SDRAM pamˇeti.

Kapitola 4 V´ yvojov´ y kit pro ADSP-BF561 Pˇri v´ ybˇeru vhodného HW ˇreˇsen´ı u ´loh zpracován´ı obrazu a z´ıskán´ı hloubkové mapy byl kladen d˚ uraz také na dostupnost vhodného v´ yvojového kitu pro vybran´ y DSP procesor, kter´ y by byl zároveˇ n univerzálnˇe vyuˇziteln´ y pro pˇr´ıpadné testován´ı na reáln´ ych modelech. R ADSP-BF561 od Analog DePro oba vybrané kandidáty DSP procesor˚ u BlackFin

vices a TMS320DM642-600TM od Texas Instrument nab´ızej´ı v´ yrobci origináln´ı v´ yvojové R 1 pro ADSP-BF561 a DM648 Digital Video kity (napˇr. ADSP-BF561 EZ-KIT Lite

Development Platform2 pro TMS320DM642-600TM ). Tyto kity jsou sv´ ymi periferiemi uzp˚ usobeny nejen pro v´ yvoj video aplikac´ı, ale i audio a jin´ ych aplikac´ı. Sv´ ymi rozmˇery, hmotnost´ı a nadbyteˇcn´ ymi periferiemi nevyhovuj´ı univerzáln´ı vyuˇzitelnosti. Mimo vlastnost´ı a moˇznost´ı ADSP-BF561, které byly shrnuty v pˇredchoz´ı kapitole, byl ADSP-BF561 vybrán pro realizaci ˇreˇsen´ı také d´ıky dostupnosti vhodného v´ yvojového kitu R Z´ od firmy Bluetechnix [19], specializuj´ıc´ı se na DSP procesory ˇrady BlackFin . akladem

v´ yvojov´ ych kit˚ u firmy Bluetechnix je v´ yvojová deska s vybranou procesorovou jednotkou (Core Module). V´ yvojová deska dále disponuje 60-pinov´ ymi rozˇsiˇruj´ıc´ımi konektory, na které se stavebnicovˇe pˇripojuj´ı rozˇsiˇruj´ıc´ı moduly podle potˇreby. V´ yvojov´ y kit vybran´ y pro stereovidˇen´ı se skládá z následuj´ıc´ıh modul˚ u: • modul procesorové jednotky CM-BF561 • modul v´ yvojové desky DEV-BF5xxDA-Lite s integrovan´ ym USB Debug Agentem • modul rozˇsiˇruj´ıc´ı kamerové desky EXT-BF5xx-CAM (se dvˇema 2 MPix CMOS kamerami OV2640) 1 2

viz. webové str´ anky www.analog.com [21] viz. webové str´ anky www.ti.com [20]

37

´ ´ KIT PRO ADSP-BF561 KAPITOLA 4. VYVOJOV Y

38

Váha v´ yvojové desky DEV-BF5xxDA-Lite je 60 g, procesorové jednotky CM-BF561 5 g, modulu rozˇsiˇruj´ıc´ı kamerové desky EXT-BF5xx-CAM i se dvˇema kamerami 40 g. Cel´ y kit tedy váˇz´ı 105 g. Rozmˇery v´ yvojové desky i rozˇsiˇruj´ıc´ıho kamerového modulu jsou 75 x 75 mm. Odbˇer celého v´ yvojového kitu, mˇeˇren´ y na svorce JP1, byl 220 mA pˇri reˇzimu neˇcinnosti“, 250 mA pˇri bˇehu programu a 270 mA pˇri sn´ımán´ı obraz˚ u z kamer ” (napájec´ı napˇet´ı 5V).

4.1

V´ yvojov´ a deska DEV-BF5xxDA-Lite s integrovan´ ym Debug Agentem

V´ yvojová deska DEV-BF5xxDA-Lite s integrovan´ ym USB Debug Agentem (ve verzi 5.1) je urˇcena pro programován´ı a ladˇen´ı aplikac´ı pro procesory ˇrady Blackfin. V tomto konkrétn´ım pˇr´ıpadˇe pro procesor ADSP-BF561, kter´ y je srdcem procesorové jednotky CM-BF561 (kapitola 4.3). USB Debug Agent, um´ıstˇen´ y na spodn´ı stranˇe v´ yvojové desky, je kompatibiln´ı s v´ yvojov´ ym prostˇred´ım Visual DSP++ 5.0 od Analog Devices, které bylo pˇri v´ yvoji aplikac´ı pouˇzito.

Obrázek 4.1: V´ yvojová deska DEV-BF5xxDA-Lite.

V´ yvojová deska DEV-BF5xxDA-Lite umoˇzn ˇuje pˇripojit procesorovou jednotku a dále disponuje dvˇema rozˇsiˇruj´ıc´ımi 60-pinov´ ymi konektory (X7 a X8), JTAG konektorem (X3)


39

dovoluj´ıc´ı pˇremostˇen´ı JTAG USB Debug Agenta (X4), slotem pro SD karty, nˇekolika obecnˇe pouˇziteln´ ymi LED diodami, univerzáln´ım tlaˇc´ıtkem, tlaˇc´ıtkem RESET a napájec´ım konektorem. Dále v´ yvojová deska disponuje konektory pro periférie závislé na pouˇzitém DSP procesoru: USB konektorem (X6) pro v´ ystup USB-UART pˇrevod´ıku (samotn´ y v´ ystup UART je k dispozici na konektoru X5), Ethernet konektorem (X1), konektorem (X9) pro OTG USB 2.0 rozhran´ı, CAN konektor (X10). Pro procesor ADSP-BF561 je k dispozici pouze USB-UART pˇrevod´ık. Jako zdroj napˇet´ı slouˇz´ı dodávan´ y zdroj 12 V/2 A, kter´ y se pˇripojuje do konektoru X11 a dále jsou na v´ yvojové desce pouˇzity napˇet’ové regulátory pro napˇet´ı 5 V/2 A a 3,3 V/1,5 A. Rozm´ıstˇen´ı a oˇc´ıslován´ı konektor˚ u na desce ploˇsn´ ych spoj˚ u je vidˇet na obrázku obr. A.10. Rozˇsiˇruj´ıc´ı 60-pinové konektory v sobˇe pro procesorovou CM-BF561 mimo jiné sdruˇzuj´ı pˇripojen´ı ke dvˇema paraleln´ım PPI sbˇernic´ım.

Obrázek 4.2: Pˇrehled souˇcást´ı v´ yvojové desky DEV-BF5xxDA-Lite.

Rozˇsiˇruj´ıc´ı 60-pinov´ y konektor ˇc.1 pˇrenáˇs´ı signály pro • sériov´ y port SPORT0 • JTAG • sériovou sbˇernici SPI • asynchronn´ı sériovou sbˇernici UART • paraleln´ı sbˇernici PPI1 • vstupy/v´ ystupy pro obecné pouˇzit´ı


40

Rozˇsiˇruj´ıc´ı 60-pinov´ y konektor ˇc.2 pˇrenáˇs´ı signály pro • datovou sbˇernici • adresovou sbˇernici • ˇr´ıd´ıc´ı signály pro pamˇet • paraleln´ı sbˇernici PPI2 • napájec´ı napˇet´ı

4.2

Modul procesorov´ e jednotky CM-BF561

Vybraná procesorová jednotka CM-BF561 ve verzi 2.0, zaloˇzená na dvoujádrovém procesoru ADSP-BF561 (ADSP-BF561SKBCZ600), poskytuje vysok´ y v´ ykon fixed-point DSP procesoru a zaruˇcuje n´ızkou spotˇrebu d´ıky moˇznosti dynamicky zmˇenit napˇet´ı jádra a jeho frekvenci. Pˇri sv´ ych rozmˇerech 31 x 36 mm a váze pouh´ ych 5 gram˚ u jde o ideáln´ı variantu pro mobiln´ı aplikace.

Obrázek 4.3: Procesorová jednotka CM-BF561.

Procesorová jednotka CM-BF561 dále obsahuje 25 MHz krystal jako zdroj frekvence, napˇet’ov´ y regulátor pro jádra procesoru (0,8V - 1,2V), 64 MB 32-bitové SDRAM pamˇeti (2x MT48LC16M16A2BG-75IT) s moˇznost´ı pracovat na frekvenci aˇz 133 MHz a 8 MB Flash pamˇeti (Intel P30 8MB). Pˇripojen´ı k v´ yvojové desce DEV-BF5xxDA-Lite tvoˇr´ı opˇet dva 60-pinové konktory, na které jsou pˇripojeny rozhran´ı UART, SPI, SPORT a paraleln´ı sbˇernice PPI1, PPI2. Pˇres tyto konektory je procesorová jednotka napájena napájec´ım


41

napˇet´ım 3,3V. Blokov´ y diagram procesorové jednotky CM-BF561 je na obrázku obr. 4.4.

Obrázek 4.4: Blokov´ y diagram procesorové jednotky CM-BF561.

8 MB Flash pamˇet’ je adresována od 0 x 20000000 do 0 x 207FFFFF. Adresovac´ı prostor pamˇeti SDRAM je 0 x 00000000 aˇz 0 x 03FFFFFF. Maximáln´ı dodávan´ y proud pro procesorovou jednotku m˚ uˇze b´ yt 550 mA pˇri napájec´ım napˇet´ı 3,3 V a napˇet´ı jádra 1,2 V. Následuj´ıc´ı tabulka tabulka 4.1 udává typickou spotˇrebu procesorové jednotky CM-BF561 pro dané podm´ınky (t = 25◦ C). Frekvence j´ adra Napˇ et´ı j´ adra

2 x 600 MHz 2 x 600 MHz 1 x 600 MHz 1,21 V

Vyt´ıˇ zen´ı SDRAM pamˇ eti Spotˇ reba

0,8 V

1,16 V

20% 470 mA

160 mA

330 mA

Tabulka 4.1: Typická spotˇreba procesorové jednotky CM-BF561.

Znaˇcen´ı uvedené na schématické znaˇcce CM-BF561 (obr. 4.5) odpov´ıdá znaˇcen´ı z katalogového listu Analog Devices pro ADSP-BF561 [12], [13]. V pˇr´ıloze jsou k dispozici tabulky tabulka A.1, tabulka A.2 a tabulka A.3, tabulka A.4 se seznamem jednotliv´ ych


42

v´ yvod˚ u pro oba konektory procesorové jednotky CM-BF561. Voliteln´ y konektor X3 pro rozˇs´ıˇren´ı poˇctu obecnˇe pouˇziteln´ ych vstup˚ u/v´ ystup˚ u nebyl v tomto pˇr´ıpadˇe pouˇzit.

Obrázek 4.5: Popis v´ yvod˚ u procesorové jednotky CM-BF561.


4.3

43

Rozˇ siˇ ruj´ıc´ı modul EXT-BF5xx-CAM

Samotná v´ yvojová deska neumoˇzn ˇuje pˇripojen´ı dvojice kamer. Z tohoto d˚ uvodu byl pˇridán rozˇsiˇruj´ıc´ı stavebnicov´ y modul EXT-BF5xx-CAM, kter´ y je na obrázku obr. 4.6. Tento kamerov´ y modul se k v´ yvojové desce pˇripojojuje pomoc´ı 60-pinov´ ych rozˇsiˇruj´ıc´ıch konektor˚ u X7 a X8, které umoˇzn ˇuj´ı jeho napájen´ı a veˇskerou komunikace s v´ yvojovou deskou, resp. s procesorem ADSP-BF561, vˇcetnˇe z´ıskán´ı obrazov´ ych dat. Tyto konektory jsou na kamerovém modulu EXT-BF5xx-CAM pr˚ uchoz´ı“ a na vrchn´ı stranˇe je moˇzné ” pˇripojit dalˇs´ı stavebnicov´ y rozˇsiˇruj´ıc´ı modul podle poˇzadavk˚ u aplikace. Pro tuto diplomovou práci byl pouˇzit pouze jeden rozˇsiˇruj´ıc´ı modul.

Obrázek 4.6: Rozˇsiˇruj´ıc´ı kamerová deska EXT-BF5xx-CAM.

Rozˇsiˇruj´ıc´ı modul EXT-BF5xx-CAM podporuje pˇripojen´ı dvojice kamer3 s obrazov´ ym senzorem Omnivision OV7760, OV2630 a OV2640. Pokud je pˇripojená pouze kamera ˇc. 2 (nebo ˇzádná), je moˇzné pˇripojit ke kamerovému modulu také jeden z Hitachi displej˚ u (TX09D50VM1CCA, TX09D70VM1CDA) nebo nˇejak´ y z kompatibiln´ıch displej˚ u. Nastaven´ı modulu pro 2 kamery OV2640 je popsáno v kapitole 4.6.2. 3

Dvojici kamer nebo kameru spoleˇcnˇe displejem je moˇzné pˇripojit pouze pˇri pouˇzit´ı procesorové

jednotky CM-BF561, resp. procesoru ADSP-BF561.


4.4

44

CMOS kamery OV2640FSL

Jak jiˇz bylo ˇreˇceno, rozˇsiˇruj´ıc´ı modul EXT-BF5xx-CAM byl pro metodu stereovidˇen´ı dodán spoleˇcnˇe se dvˇema barevn´ ymi kamerami OV2640FSL (obrázek obr. 4.7). Tyto kamery jsou zaloˇzeny na CMOS technologii a maj´ı maximáln´ı rozliˇsen´ı 1600 x 1200 pixel˚ u, tj. 2 MPix (UXGA4 ). Podporuj´ı YUV422(420)/YCbCr422 a RGB565/555 8-bitov´ y formát v´ ystupu, 8/10-bitov´ y RAW RGB v´ ystup5 a také komprimovan´ y obraz. Maximáln´ı poˇcet sn´ımk˚ u za vteˇrinu, kter´ y je kamera schopna poˇr´ıdit, je 15 pro rozliˇsen´ı UXGA, 30 pro SVGA a aˇz 60 pro CIF a niˇzˇs´ı. Optická soustatva má plastovou ˇcoˇcku. Diagonáln´ı zorn´ y u ´hlel je 60◦ a ohnisková vzdálenost f = 3, 78 mm. Kamera má pevnˇe dan´ y ostˇr´ıc´ı rozsah 60 cm → ∞. Citlivost pouˇzitého senzoru OV2640 je 0,6 V/Lux-sec a velikost jednoho pixelu 2,2 x 2,2 µm. Kamera vyˇzaduje stejnosmˇerné napájen´ı jádra o velikosti 1,3 V a napájen´ı pro analogové obvody v rozsahu 2,5 - 3 V. Spotˇreba je 125 mW6 .

Obrázek 4.7: CMOS kamery OV2640FSL (pohled zepˇredu, zezadu a popis pin˚ u konektoru kamery).

Rozmˇery pouzdra jsou 8 x 8 x 6 mm. Pouˇzit´ y konektor pro napájen´ı a data je typu flex cable“. ” 4

Velikosti rozliˇsen´ı: QVGA 320 x 240, (CIF 400 x 292), VGA 640 x 480, SVGA 800 x 600 ... UXGA

1600 x 1200 pixel˚ u. 5 RAW (soubor obsahuj´ıc´ı minimálnˇe zpracovaná data ze sn´ımaˇce), YUV (barevn´ y model, kde Y je jasov´ a sloˇzka a U a V jsou barevné sloˇzky), RGB (aditivn´ı zp˚ usob m´ıchán´ı barev ˇcervené, zelené a modré) 6 rozliˇsen´ı UXGA, YUV mód, 15 fps


4.5

45

V´ yvojov´ e prostˇ red´ı Visual DSP++ 5.0

Jako v´ yvojové prostˇred´ı pro programován´ı procesoru ADSP-BF561 byl pouˇzit SW od firmy Analog Devices Visual DSP++ 5.0. Toto prostˇred´ı podporuje USB Debug Agent dodávan´ y s v´ yvojovou deskou DEV-BF5xxDA-Lite. Vyvtoˇren´ı a nastaven´ı tzv. Session“ ” je popsáno kapitole 4.6.4. Ta slouˇz´ı k nastaven´ı rozhran´ı mezi Visual DSP++ 5.0 a konkrétn´ım HW.

Obrázek 4.8: Uˇzivatelské prostˇred´ı Visual DSP++ 5.0

V´ yvojové prostˇred´ı Visual DSP++ 5.0 poskytuje plnˇe integrované uˇzivatelské prostˇred´ı s moˇznost´ı správy projekt˚ u (podporuj´ıc´ı i projekty pro v´ıcejádrové procesory), ladˇen´ı programu, simulátor r˚ uzn´ ych procesor˚ u vˇcetnˇe ADSP-BF561, podporuje jazyky C/C++ a assembler, umoˇzn ˇuje správu pamˇeti na v´ yvojovém kitu pomoc´ı programu expert linker, anal´ yzu bˇehu programu a ˇcasové nároˇcnosti jednotliv´ ych funkc´ı, grafické znázornˇen´ı dat procesoru a nástroje pro optimalizaci.


4.6

46

Nastaven´ı a instalace v´ yvojov´ eho kitu DEV-BF5xxDA-Lite pro CM-BF561

V této kapitole jsou shrnuty základn´ı kroky pro zapojen´ı a nastaven´ı v´ yvojové desky DEV-BF5xxDA-Lite a rozˇsiˇruj´ıc´ıho kamerového modulu EXT-BF5xx-CAM. Nastaven´ı je provedeno pro dvojici CMOS kamer OV2640FSL a procesor ADSP-BF561. Dále je popsána instalace driver˚ u pro OS Microsoft WinXP a nastaven´ı v´ yvojového prostˇred´ı Visual DSP++ 5.0 pro práci s HW Bluetechnix.

4.6.1

Nastaven´ı v´ yvojov´ eho desky DEV-BF5xxDA-Lite

Nastaven´ı v´ yvojového desky DEV-BF5xxDA-Lite provedeme pomoc´ı DIP pˇrep´ınaˇc˚ uS a jumper˚ u JP. DIP pˇrep´ınaˇc S1 slouˇz´ı k pˇripojen´ı konektoru Ethernetu k jádru. Pro procesor ADSP-BF561 nelze Ethernet pouˇz´ıt, a tak jsou vˇsechny pˇrep´ınaˇce na S1 v poloze Off“. DIP pˇrep´ınaˇcem S2 vol´ıme pouˇzitou procesorovou jednotku a bootovac´ı nastaven´ı. ” CM-BF561 má omezen´ y poˇcet voln´ ych pin˚ u a z tohto d˚ uvodu nelze nastavit bootovac´ı mód - pˇrep´ınaˇce 1 - 4 jsou v poloze Off. Nastaven´ı pˇrep´ınaˇc˚ u 5 - 8 procesorové jednotky CM-BF561 je 5 - Off, 6 - On, 7 - Off, 8 - Off. DIP pˇrep´ınaˇcem S4 pˇrep´ınáme mezi v´ ystupem portu UART na konektor X5 (pˇrep´ınaˇc v poloze 1) nebo na USB-UART pˇrevodn´ık, pˇripojen´ y na USB konektor X6 (pˇrep´ınaˇc v poloze 0). Jumper JP1 pˇripojuje napájec´ı napˇet´ı na v´ yvojové desce a lze také pouˇz´ıt k mˇeˇren´ı odbˇeru proudu. JP2 pˇripojuje Vdd RTC na napˇet´ı 3,3 V procesorové jednotky. Alternativnˇe lze jumper vyjmout a Vdd RTC7 napájet z bateriového zdroje. Jumpery JP3 a JP6 jsou pˇri pouˇzit´ı CM-BF561 rozpojené. V´ yvojová deska dále obsahuje dvˇe tlaˇc´ıtka a nˇekolik informaˇcn´ıch LED diod. Tlaˇc´ıtko S3 je resetovac´ı a tlaˇc´ıtko S6 slouˇz´ı k obecnému pouˇzit´ı a na CM-BF561 je pˇripojené na v´ yvod PF46. V tabulce tabulka A.6 je seznam LED diod s popisem funkce. LED diody V5 - V8 indikuj´ı stav USB Debug Agenta a diody V9 a V10 slouˇz´ı k obecnému pouˇzit´ı.

4.6.2

Nastaven´ı rozˇ siˇ ruj´ıc´ıho modulu EXT-BF5xx-CAM

Na obrázku obr. A.11 v pˇr´ıloze je vidˇet rozm´ıstˇen´ı konektor˚ u a pˇrep´ınaˇc˚ u rozˇsiˇruj´ıc´ı kamerové desky EXT-BF5xx-CAM. Konektory Cam1 a Cam2 slouˇz´ı k pˇripojen´ı CMOS kamer. EX1 a EX2 je v tomto pˇr´ıpadˇe oznaˇcen´ı pr˚ uchoz´ıch“ 60-pinov´ ych rozˇsiˇruj´ıc´ıch ” 7

Real-Time Clock


47

konektor˚ u pro pˇripojen´ı dalˇs´ıho modulu. Na desce EXT-BF5xx-CAM jsou um´ıstˇeny také tˇri pˇrep´ınaˇce S1, S2 a S3. DIP ˇrep´ınaˇc S1 umoˇzn ˇuje vybrat pˇripojen´ y HW (diplej, kamery). Pro 2 kamery nastav´ıme jednotlivé pˇrep´ınaˇce S1 do pozic (1, 2, 8, 9 - Off a 3, 4, 5, 6 - On). Pro typ kamer OV26x0 nastav´ıme pˇrep´ınaˇc S2 do pozice 0. Pˇrep´ınaˇcem S3 vybereme typ procesorové jednotky - pozice 0 pro CM-BF561. Kamery s obrazov´ ym senzorem Omnivision OV7760, OV2630 a OV2640 vyˇzaduj´ı r˚ uzné analogové napájec´ı napˇet´ı V ccA a r˚ uzné napˇet´ı pro své jádro V ccC . Konkretn´ı pouˇzitá kamera OV2640FSL vyˇzaduje V ccA = 1, 3 V a V ccC = 2, 7 V. Napˇet´ı V ccA se nastav´ı rezistory R11 = 10 kΩ a R12 = 120 kΩ. Napˇet´ı V ccA rezistory R14 = 14 kΩ a R15 = 10 kΩ. Jumper JP1 na kamerové desce EXT-BF5xx-CAM pˇripojuje napájec´ı napˇet´ı a je moˇzné ho opˇet pouˇz´ıt pro mˇeˇren´ı odbˇeru proudu. Konektor P1 slouˇz´ı k pˇripojen´ı displeje a je nevyuˇzit´ y.

4.6.3

Ovˇ eˇ ren´ı funkˇ cnosti cel´ eho kitu a komunikace pˇ res UART

Abychom mohli s v´ yvojovou deskou DEV-BF5xxDA-Lite komunikovat pˇres rozhran´ı UART, je nutné nejdˇr´ıve nainstalovat ovladaˇce pro pˇrevodn´ık USB-UART. Do konektor˚ u desky DEV-BF5xxDA-Lite zapoj´ıme procesorovou desku CM-BF561 a do konektoru X11 pˇripoj´ıme napájec´ı napˇet´ı z dodávaného 12 V adaptéru. Propojovac´ı USB kabel zapoj´ıme konektorem typu B do konektoru X6 a konektor typu A do PC. OS Windows XP by nyn´ı mˇel sám rozeznat zaˇr´ızen´ı a dotázat se na instalaci ovladaˇc˚ u. Zvol´ıme v´ ybˇer pro specifikaci um´ıstˇen´ı ovladaˇce. Na CD Bluetechnix se nacházej´ı potˇrebné soubory ovladaˇc˚ u, pˇr´ıpadnˇe je moˇzné ovladaˇc stáhnout z webov´ ych stránek [19]. Tuto proceduru je nutné zopakovat dvakrát. Jednou pro samotné USB a podruhé pro UART bridge. Soubory ovladaˇce jsou pokaˇzdé stejné. Ve správci zaˇr´ızen´ı OS poté zkontrolujeme, zda-li se objevilo nové zaˇr´ızen´ı - nov´ y COM port CP2101 USB to UART bridge controller“ (nejsp´ıˇse ” COM4 nebo podobnˇe). Pokud ano, pak komunikaci vyzkouˇs´ıme pˇres terminálov´ y program (napˇr. Hyperterminál obsaˇzen´ y v OS Windows XP). Otevˇreme terminál a nastav´ıme tyto parametry: • rychlost 115200 Baud • poˇcet datov´ ych bit˚ u8 • parita ˇzádná • poˇcet stop-bit˚ u 1, ˇr´ızen´ı toku ˇzádné


48

Pokud vˇse probˇehlo korektnˇe, pak se stiskem tlaˇc´ıtka S3 (RESET) objev´ı v oknˇe Hyperterminálu bootovac´ı obrazovka systému BLACKSheep, kter´ y je firmou Bluetechnix defaultnˇe nahrán v procesoru.

4.6.4

Instalace ovladaˇ c˚ u USB Debug Agenta a v´ yvojov´ eho prostˇ red´ı Visual DSP++ 5.0

Nejdˇr´ıve provedeme instalaci a registraci v´ yvojového prostˇred´ı Visual DSP++ 5.0. Instalace a registrace je popsaná v pˇriloˇzeném manuálu a je intuitivn´ı. Instalaci je vhodné doplnit o posledn´ı dostupn´ y update [21]. Pro nahrán´ı a ladˇen´ı program˚ u procesoru ADSP-BF561 je jeˇstˇe potˇreba nastavit tzv. Session, která zprostˇredkovává komunikaci s USB Debug Agentem um´ıstˇen´ ym na v´ yvojové desce DEV-BF5xxDA-Lite. Jakmile dokonˇc´ıme instalaci Visual DSP++ 5.0 spust´ıme utilitu DEV-BF5xxDA-Lite Installer (obr. 4.9), která nakonfiguruje v´ yvojové prostˇred´ı pro podporu Bluetechnix v´ yvojové desky. Z nab´ıdky vybereme procesorovou desku CM-BF561 a nainstalujeme.

Obrázek 4.9: Obrazovka utility DEV-BF5xxDA-Lite Installer.

Pˇripoj´ıme dalˇs´ı USB kabel, obdobnˇe jako pro USB-UART pˇrevod´ık (viz. v´ yˇse), tentokrát do konektoru X4. Ovladaˇce nainstalujeme pomoc´ı automatické instalace. Spust´ıme Visual DSP++ Configurator, kter´ y se nám nainstaloval spolu s v´ yvojov´ ym prostˇred´ım. Zadáme název a vybereme správn´ y typ platformy Bluetechnix CM-BF561 EZ-Kit, jak je tomu naznaˇceno na obrázc´ıch obr. 4.10 a obr. 4.11. Zavˇreme Visual DSP++ Configurator a ve v´ yvojovém prostˇred´ı VisualDSP++ 5.0 vybereme z menu poloˇzku Session->New Session, vybereme procesor ADSP-BF561, stiskneme tlaˇc´ıtko Next, vybereme EZ-Kit Lite connection type a ukonˇc´ıme stiskem tlaˇc´ıtka


49

Finish. Tˇemito kroky jsme nastavili komunikaci v´ yvojového prostˇred´ı Visual DSP++ 5.0 s USB Debug Agentem.

Obrázek 4.10: Visual DSP++ konfigur´ ator - nastaven´ı platformy.

Obrázek 4.11: Visual DSP++ konfigur´ ator - v´ ybˇer platformy.

Kapitola 5 Algoritmizace metody stereovidˇ en´ı na procesoru ADSP-BF561 ´ Uloha stereovidˇen´ı a problémy s n´ı spojené jsou v souˇcasné dobˇe intenzivnˇe ˇreˇsen´ ym problémem poˇc´ıtaˇcového vidˇen´ı. K dispozici je nˇekolik pˇr´ıstup˚ u a metod ˇreˇsen´ı problému stereovidˇen´ı, resp. hledán´ı korespondenc´ı. V zásadˇe je m˚ uˇzeme shrnout do tˇechto dvou zbˇeˇzn´ ych kategori´ı: tzv. area-based pˇr´ıstup (vyuˇz´ıváme urˇcitého v´ yˇrezu jasov´ ych u ´rovn´ı typu okno z jednoho obrazu k porovnán´ı/korelaci s pohybuj´ıc´ım se oknem stejné velikosti v dalˇs´ım obrazu) nebo tzv. feature-based pˇr´ıstup (korelaci provád´ıme mezi jist´ ymi objekty nalezen´ ymi v obraze - m˚ uˇze j´ıt o hrany, ˇcáry, sloˇzitˇejˇs´ı objetky, ap.). Tyto kategorie se prol´ınaj´ı a lze nalézt také hybridn´ı pˇr´ıstupy, spojuj´ıc´ı jejich vlastnosti. Hlavn´ım problémem hledán´ı korespondenc´ı je obecnˇe velké mnoˇzstv´ı obrazov´ ych dat, které je nutné prohledávat a ˇcastá nejednoznaˇcnost nalezen´ ych korespondenc´ı, pˇredevˇs´ım v area-based pˇr´ıstupu pˇri nepˇr´ıliˇs strukturované scénˇe s n´ızk´ ym kontrastem, bez dostateˇcné ˇ textury. Reˇsen´ı sloˇzitˇejˇs´ıch pˇr´ıstup˚ u k stereovidˇen´ı pˇresahuje rámec této diplomové práce. Mobiln´ı zaˇr´ızen´ı, které se chce pohybovat a orientovat v prostoru, detekovat pˇrekáˇzky, vyˇzaduje dostateˇcnˇe rychlé zpracován´ı disparitn´ı/hloubkové mapy, aby na tyto vnˇejˇs´ı podnˇety staˇcilo reagovat. Pokud chceme stereovidˇen´ı pouˇz´ıt k základn´ı detekci pˇrekáˇzek, je nutné vybrat takov´ y pˇr´ıstup zpracován´ı obrazov´ ych dat, kter´ y bude vybran´ y HW schopen zpracovat v pˇrimˇeˇrené rychlosti. Z tˇechto d˚ uvodu bylo zvoleno n´ızké rozliˇsen´ı zpracovan´ ych obrazov´ ych sn´ımk˚ u z kamer, které je moˇzné uloˇzit do rychl´ ych vnitˇrn´ıch pamˇet´ı samotného procesoru. Vybran´ y postup hledán´ı korespondenc´ı, jejich filtrace a z´ıskán´ı disparitn´ı mapy vycház´ı z ˇclánku [11]. Tento algoritmus byl nejdˇr´ıve otestován ve v´ yvojovém prostˇred´ı Matlab verze 7.1. Pro zpracován´ı na samotném DSP procesoru byl algoritmus upraven a je popsán v kapitole 5.5. Kódován a odladˇen je ve v´ yvojové prostˇred´ı 50

ˇ Í KAPITOLA 5. ALGORITMIZACE METODY STEREOVIDEN

51

Visual DSP++ 5.0. Prostˇred´ı Matlab bylo taktéˇz pouˇzito pro tvorbu a ˇcten´ı datov´ ych soubor˚ u pˇrenáˇsen´ ych z DSP procesoru do PC a naopak. Pˇred samotn´ ym hledán´ım korespondenc´ı, je nezbytné provést zarovnán´ı z´ıskan´ ych stereoskopick´ ych sn´ımk˚ u procedurou nazvanou rektifikace, zahrnuj´ıc´ı i odstranˇen´ı zkreslen´ı kamer (popsanou v kapitole 5.4.1 o kalibraci kamer). Rektifikaˇcn´ı a kalibraˇcn´ı parametry steroskopického uspoˇrádán´ı kamer byly vypoˇcteny pouˇzit´ım Matlab Camera Calibration Toolboxu. Vybran´ y DSP procesor ADSP-BF561 je pˇred samotn´ ym zpracován´ım algoritmu nutné uvést do poˇzadovaného pracovn´ıho stavu, nastavit periferie pro z´ıskán´ı obrazov´ ych informac´ı a komunikaci s PC. Této ˇcásti se vˇenuje kapitola 5.1 aˇz 5.3. V´ yvojové prostˇred´ı a zp˚ usob algoritmizace dovoluj´ı optimalizaci v´ ykonu v´ ysledného programu stereovidˇen´ı, ˇc´ımˇz se zab´ yvá závˇereˇcná kapitola 5.7.

5.1

Nastaven´ı projektu ve Visual DSP++ 5.0

V´ yvojové prostˇred´ı Visual DSP++ 5.0 nab´ız´ı vytvoˇren´ı hned nˇekolika odliˇsn´ ych typ˚ u projekt˚ u obsahuj´ıc´ı zdrojové kódy pro dvoujádrov´ y procesor ADSP-BF561. Jsou to tyto tˇri základn´ı pˇr´ıstupy: • aplikace bˇeˇz´ıc´ı pouze na jendom jádˇre (druhé jádro je uvedeno do neˇcinného stavu Idle) - tzv. Single-Core Application • jádra se chovaj´ı jako nezávislé procesory, aplikace jsou zkompilovány zvláˇst’ a kaˇzdá bˇeˇz´ı na svém jádˇre (sd´ılené prostˇredky jsou obsluhovány v´ yvojáˇrem) - tzv. One Application Per Core • jedna aplikace je zkompilována pro obˇe jádra a sd´ılené prostˇredky jsou obsluhovány linkerem - tzv. Single Application/Dual Core Pˇri algoritmizaci metody stereovidˇen´ı byl pouˇzit nejdˇr´ıve prvn´ı pˇr´ıstup aplikace bˇeˇz´ıc´ı pouze na jednom jádˇre a pozdˇeji tˇret´ı pˇr´ıstup, kdy byla aplikace rozdˇelena na dvˇe ˇcásti bˇeˇz´ıc´ı paralelnˇe na obou jádrech. V pˇr´ıpadˇe prvn´ıho pˇr´ıstupu obsahuje tzv. Project group 1 dva projekty. Projekt s aplikac´ı pro prvn´ı jádro a defaultn´ı neˇcinn´ y“ projekt pro jádro ” druhé. Projekty jsou rozdˇeleny na sloˇzky zdrojov´ ych kód˚ u, hlaviˇckov´ ych a linkovac´ıch soubor˚ u, soubor˚ u vygenerovan´ ych v´ yvojov´ ym prostˇred´ım a závislostmi mezi projekty. Tˇret´ı pˇr´ıstup k programován´ı dvoujádrového procesoru se skládá ze speciáln´ı struktury 1

Pracovn´ı skupina, ve které jsou v definované struktuˇre uloˇzeny jednotlivé projekty.


52

5 projekt˚ u (projekt pro jádro A, projekt pro jádro B, sd´ılen´ y kód a data pamˇeti L2, sd´ılen´ y kód a data pamˇeti L3 a hlavn´ı projekt). Hlavn´ı projekt obsahuje závislosti na ostatn´ı projekty a linkovac´ı LDF2 soubor. Aplikace projektu pro jádro A nebo B m˚ uˇze vyuˇz´ıt kód ze své L1 pamˇeti nebo sd´ılené pamˇeti L2, L3. Pˇreloˇzen´ım této pˇetice projekt˚ u z´ıskáme dva spustitelné soubory, jeden pro kaˇzdé jádro.

5.2

Nastaven´ı procesoru

Pˇred samotn´ ym zpracován´ım dat se pro procesor ADSP-BF561 mus´ı spustit bˇeh druhého jádra pomoc´ı funkce adi core b enable(). V této funkci se nepˇredává ˇzádn´ y parametr. Pomoc´ı systémov´ ych power management funkc´ı s prefixem ADI PWR “ lze ” nastavit napˇet´ı jádra a/nebo jeho frekvenci. V pˇr´ıpadˇe, ˇze nastav´ıme pouze frekvenci, napˇet´ı jádra se nastav´ı na nejmenˇs´ı moˇznou hodnotu, kv˚ uli spotˇrebˇe. Pokud nastav´ıme pouze napˇet´ı jádra, nastav´ı se max. moˇzná pracovn´ı frekvence jádra. Také m˚ uˇzeme oba parametry kombinovat nebo nastavit vlastnosti jádra pˇr´ımo pomoc´ı systémov´ ych registr˚ u. Dále je nutné nastavit frekvenci sbˇernice extern´ı pamˇeti. Jako typické pracovn´ı nastaven´ı ADSP-BF561 byla pouˇzita frekvece jádra 500 MHz a frekvence sbˇernice extern´ı SDRAM pamˇeti 125 MHz. Podrobné informace o power managementu procesoru ADSP-BF561 lze naj´ıt v literatuˇre [14], pˇr´ıpadnˇe o dynamickém power managementu v literatuˇre [13]. Po nastaven´ı parametr˚ u jader inicializujeme systém pˇreruˇsen´ı - ADI interrupt manager a definujeme pamˇet’ové buffery pro zpracován´ı obrazov´ ych dat. Abychom mohli ˇcinnost aplikace rozdˇelit na dvˇe jádra procesoru, mus´ıme zabezpeˇcit vhodnou komunikaci. Komplexn´ı komunikaci a sd´ılen´ı prostˇredk˚ u m˚ uˇze zajiˇst’ovat VDK3 v´ yvojového prostˇred´ı Visual DSP++ 5.0, ale pro potˇreby navrˇzené aplikce byla zbyteˇcnˇe komplikovaná. Z tohoto d˚ uvodu byla naprogramována jednoduchá fronta zpráv. Vyuˇz´ıvá systémové funkce zamykán´ı claim lock() a odemykán´ı release lock() promˇenn´ ych, um´ıstˇen´ ych v L2 (L3) pamˇeti, která vzájemnˇe pˇredává stavy proces˚ u jader a potˇrebná data. Blokové schéma této fronty zpráv s jednotliv´ ymi stavy procesor˚ u je na obrázku obr. 5.1. 2 3

Linker Description File - um´ıstˇen´ı k´ odu, dat v pamˇeti VisualDSP++ Kernel


53

Obrázek 5.1: Blokové schéma pouˇzité fronty zpr´ av pro komunikaci jader.

5.3

Nastaven´ı rozhran´ı UART, kamer a paraleln´ıch sbˇ ernic PPI

V následuj´ıc´ım kroku programu jsou inicializovány a nastaveny obecné vstupy a v´ ystupy v´ yvojové desky DEV-BF5xxDA-Lite, komunikaˇcn´ı rohran´ı UART, obˇe paraleln´ı PPI sbˇernice, komunikace s kamerami prostˇrednictv´ım protokolu SCCB4 a registry kamer. Pr˚ ubˇeh inicializace a stav aplikace je pr˚ ubˇeˇznˇe zobrazen na obrazovce hyperterminálového programu prostˇrednictv´ım komunikace pˇres rozhran´ı UART. Nastaven´ı komunikace rozhran´ı UART se provede pomoc´ı 2 funkc´ı uart open(...) a uart setMode(...). T_UART_HANDLE hUART = uart_open(0, sclk, 1024, 1024, 0); uart_setMode(hUART, UART_BAUD_RATE, UART_NONE, 8, 1);

Funkc´ı uart open(...) z´ıskáme UART handler hUART. Parametry funkce jsou ˇc´ıslo UART portu, hodnota systémov´ ych hodin, velikost vstupn´ıho a v´ ystupn´ıho bufferu. Posledn´ım parametrem je callback funkce. Funkce uart setMode(...) pro handler hUART nastav´ı stejné parametry jako v kapitole 4.6.3 (rychlost, ˇzádné ˇr´ızen´ı toku, 8 datov´ ych bit˚ u a 1 stop-bit). V´ ypis textu na obrazovku obstarává funkce uart writeString(...). Pro nahrán´ı datov´ ych soubor˚ u z PC do procesoru a naopak jsou vyuˇzity funkce XM ReceiveFile a XM TransmitFile pouˇz´ıvaj´ıc´ı protokol X-Modem. uart_writeString (hUART, sMessage); XM_ReceiveFile (hUART, datFile); XM_TransmitFile (hUART, datFile, size); 4

Serial Control Camera Bus


54

Nastaven´ı registr˚ u kamer (parametr pCfgParam) je provedeno funkc´ı cam setup(...). phCamera je ukazatel na handler kamery. tSIOCf je hodinov´ y signál, tSIODf datov´ y signál pro SCCB komunikaci s kamerou a tPwdn signál sn´ıˇzen´ı spotˇreby kamery. Adresa v parametru CAM ADDRESS je 0x60 pro kamery OV2640. Parametr cclk pˇredává informaci o frekvenci jádra. T_ERROR_CODE erResult = cam_setup(&phCamera, tSIOCf, tSIODf,tPwdn, CAM_ADDRESS, pCfgParam, cclk, 0);

Obrázek 5.2: Ukázka hyperterminálové obrazovky komunikuj´ıc´ı s procesorem ADSP-BF561, na kterém bˇeˇz´ı program stereovidˇen´ı.

Jakmile je veˇskerá inicializace hotova, hyperterminálová obrazovka vyzve k nahrán´ı setu kalibraˇcn´ıch a rektifikaˇcn´ıch dat. M˚ uˇzeme se také rozhodnout, zda chceme pracovat se sn´ımky z kamer nebo se sn´ımky nahran´ ymi pˇres rozhran´ı UART (tato moˇznost volby se mˇen´ı pˇr´ımo ve zdrojovém kódu). Abychom z´ıskali sn´ımky z kamer, nakonfigurujeme sbˇernici PPI pro DMA pˇrenos, vybran´ y mód obrazu YUV a rozliˇsen´ı nXsize x nYsize funkc´ı ppi setup gp(...), kde cPPI5 je ˇc´ıslo PPI sbˇernice, YUVbuffer je buffer pro uloˇzen´ı sn´ımku. Ostatn´ı parametry funkce nastavuj´ı registry PPI sbˇernice a vlastnosti DMA pˇrenosu dat pro poˇzadovan´ y formát 5

PPI1 = 0, PPI2 = 1


55

obrazov´ ych dat (bl´ıˇze jsou popsány v hlaviˇckovém souboru funkce). Posledn´ım parametrem je callabck funkce pro dokonˇcen´ı DMA pˇrenosu. ppi_setup_gp(cPPI, YUVbuffer, 0x002c, nYsize, (nXsize * 2) - 1, 0, 0x00b2, nXsize * 2, 1, nYsize, 1, 0, (T_PPI_CALLBACK)PPIHandler);

Sn´ımky z kamer z´ıskame DMA pˇrenosem, aktivovan´ ym funkc´ı ppi enable(cPPI). Pokud bˇehem daného ˇcasového intervalu nez´ıskáme poˇzadovan´ y sn´ımek, objev´ı se na hyperterminálové obrazovce chybová hláˇska. Pokud je pˇrenos obrazov´ ych dat z kamer do pamˇeti u ´spˇeˇsn´ y pokraˇcuje program ve vykonáván´ı programu dále popsaného v kapitole 5.5. Veˇskeré zde popisované kroky jsou také vidˇet na blokovém schématu na obrázku obr. 5.5.

5.4

Kalibrace a rektifikace kamer - MATLAB Camera Calibration Toolbox

Jak bylo ˇreˇceno v kapitole 2.1.2, sn´ımky z kamer jsou zat´ıˇzeny zkreslen´ım a kamerové ˇrádky nejsou obecnˇe zcela horizontálnˇe zarovnány. Proto pˇred samotn´ ym zpracován´ım dvojice streoskopick´ ych sn´ımk˚ u pro disparitn´ı mapu odstran´ıme zkreslen´ı a provedeme rektifikaci. T´ım zjednoduˇsˇs´ıme problém 2D prohledáván´ı na prohledáván´ı korespondenc´ı v jednom kamerovém ˇrádku. Pro kalibraci kamer a rektifikaci stereoskopick´ ych sn´ımk˚ u byl pouˇzit Camera Calibration Toolbox v prostˇred´ı MATLAB 7.1. Tento Matlab toolbox je intuitivn´ı a v´ ybornˇe popsan´ y v literatuˇre [10], vˇcetnˇe praktick´ ych ukázek pouˇzit´ı. V´ ypoˇcet kalibraˇcn´ıch matic a parametr˚ u rektifikace se provede pouze jednou ( offline“). ” Tato vlastnost je velice d˚ uleˇzitá, protoˇze pro aplikaci na DSP procesoru staˇc´ı vypoˇctené parametry pouze“ aplikovat na sejmuté sn´ımky. ”

5.4.1

Kalibrace kamer

Abychom mohli kameru (kamery) zkalibrovat pomoc´ı Camera Calibration Toolboxu, potˇrebujeme ve scénˇe nasn´ımat kalibraˇcn´ı vzor. V tomto pˇr´ıpadˇe ˇsachovnice“ se znám´ ymi ” parametry. Kalibraˇcn´ı vzor ˇsachovnice“ byl vytiˇstˇen na pap´ır formátu A4 a obsahoval ” 7 x 9 pol´ı o velikosti 27,5 x 27,5 mm. Vzor byl um´ıstˇen na pevn´ y podklad a nasn´ımán v dostateˇcném poˇctu (cca 10) sn´ımk˚ u v r˚ uzn´ ych vzdálenostech a pod r˚ uzn´ ym u ´hlem


56

obˇema kamerami. Sn´ımán´ı sn´ımk˚ u pravou i levou kamerou zároveˇ n je d˚ uleˇzité pro rektifikaci. Nyn´ı v Camera Calibration Toolboxu spust´ıme pˇr´ıkazem calib gui nab´ıdku funkc´ı, které toolbox nab´ız´ı pro kalibraci kamer. Vybereme sn´ımky kalibrované kamery, které chceme pouˇz´ıt a naˇceteme je do pamˇeti. Calibration images

Obrázek 5.3: Nasn´ıman´ y kalibraˇcn´ı vzor.

Jakmile jsou vˇsechny sn´ımky k dispozici, provedeme ruˇcn´ı zadán´ı referenˇcn´ıch bod˚ u, v pˇr´ıpadˇe ˇsachovnice“ zadán´ı souˇradnic 4 obvodov´ ych roh˚ u pro vˇsechny naˇctené sn´ımky. ” Po zadán´ı 4 obvodov´ ych roh˚ u extrahuje Camera Calibration Toolbox v kaˇzdém sn´ımku vˇsechny rohy pol´ı ve sn´ımku unvitˇr obdéln´ıku vymezeného obvodov´ ymi rohy. Z tˇechto dat Camera Calibration Toolbox provede kalibraci kamer - vypoˇctˇe vnitˇrn´ı a vnˇejˇs´ı parametry uˇzit´ım ˇreˇsen´ı uzavˇreného tvaru (anglicky closed-form solution), vypoˇcte koeficienty radiáln´ı distorze ˇreˇsen´ım lineárn´ı regrese a veˇskeré parametry zpˇresn´ı minimalizac´ı. Poté si m˚ uˇzeme zobrazit vnˇejˇs´ı parametry kamery a pˇrehledné vykreslen´ı jednotliv´ ych pozic kalibraˇcn´ıho vzoru v prostoru. K dispozici je také graf s chybami. Podle tohoto grafu se m˚ uˇzeme rozhodnout, jestli vyˇrad´ıme nˇejak´ y sn´ımek, kter´ y zp˚ usobuje velkou chybu nebo jestli chceme znovu definovat obvodové rohy. T´ım m˚ uˇzeme chybu kalibrace sn´ıˇzit. Po dokonˇcen´ı kalibrace m˚ uˇzeme ze sn´ımk˚ u odstranit zkreslen´ı pˇr´ımo v toolboxu. V´ ysledky kalibrace pro levou a pravou kameru uloˇz´ıme do *.mat soubor˚ u, které pozdˇeji pouˇzijeme pro v´ ypoˇcet rektifikaˇcn´ıch parametr˚ u. Parametry kamer jsou k dispozici v pˇr´ıloze na obrázku obr. A.13.


5.4.2

57

Rektifikace sn´ımk˚ u

Data z´ıskané kalibrac´ı dvojice kamer pouˇzijeme pro kalibraci a rektifikaci stereoskopick´ ych sn´ımk˚ u. V Camera Calibration Toolboxu zadáme pˇr´ıkaz streo gui. Otevˇre se nám opˇet intuitvn´ı menu, tentokrát pro stereo kalibraci a rektifikaci. Vybereme vypoˇctené kalibraˇcn´ı soubory pro obˇe kamery a spust´ıme stereo kalibraci. Poté si m˚ uˇzeme zobrazit vnitˇrn´ı parametry kamer, zobrazit ve 3D prostoru vnˇejˇs´ı parametry obou kamer a pozice nasn´ıman´ ych kalibraˇcn´ıch vzor˚ u (viz. obr. 5.4) a uloˇzit vypoˇctené parametry do souboru. Data vygenerované toolboxem jsou nyn´ı uloˇzeny v tˇechto datov´ ych pol´ıch obsahuj´ıc´ıch: • indexy pixelu v novém sn´ımku (ind new left a ind new right) • indexy pixel˚ u p˚ uvodn´ıho sn´ımku pro lineárn´ı interpolaci (ind 1 left - ind 4 left a ind 1 right - ind 4 right) • interpolaˇcn´ı koeficienty pro jednotlivé indexy starého sn´ımku (a 1 left - a 4 left a a 1 right - a 4 right)

Extrinsic parameters

5 8 79

63 1 4

2

80 60 40 20 Left Camera 0 −20 Z

−40 −60

X

−80

600

Z 500

X Right Camera

Y

400 300

Y

−100

200

−50 0

100 50 0

Obrázek 5.4: Zobrazen´ı vnˇejˇs´ıch parametr˚ u kamer v 3D prostoru a nasn´ıman´ ych kalibraˇcn´ıch vzor˚ u.


58

Tyto data je nutné nahrát do pamˇeti ADSP-BF561, abychom mohli sn´ımky rektifikovat. Soubory s indexy jsou datového typu unsigned short (16 bit˚ u). V závislosti na poˇctu pouˇzit´ ych index˚ u je velikost souboru s indexy pixel˚ u v novém sn´ımku jedné kamery pˇribliˇznˇe 37 kB6 , souboru s indexy pixel˚ u p˚ uvodn´ıho sn´ımku jedné kamery pˇribliˇznˇe 148 kB7 . Interpolaˇcn´ı koeficienty index˚ u p˚ uvodn´ıho sn´ımku jsou uloˇzeny jako desetinná ˇc´ısla. Z d˚ uvodu u ´spory jak pamˇet’ového m´ısta, tak zrychlen´ı algoritmu sn´ıˇzen´ım pˇr´ıstup˚ u do pamˇeti, byly provedeny následuj´ıc´ı kroky. Interpolaˇcn´ı koeficienty8 byly z desetinn´ ych ˇc´ısel pˇrevedeny na kladnou celoˇc´ıselnou reprezentaci bez znaménkového bitu vlastn´ıho datového typu fract8 (8 bit˚ u) pomoc´ı v´ yrazu (5.1). Jak jiˇz bylo ˇreˇceno, pro v´ ypoˇcet hodnoty intenzity nového pixelu potˇrebujeme 4 interpolaˇcn´ı koeficienty k1x , k2x , k3x a k4x . Ty jsou uloˇzeny v této posloupnosti: k11 , k21 , k31 , k41 , k12 , k22 , k32 , k42 , ... , k1n , k2n , k3n , k4n . Velikost souboru s interpolaˇcn´ımi koeficienty pro jednu kameru je tedy pˇriblˇznˇe 74 kB9 . N = round(256 ∗ x)

(5.1)

Datová struktura pol´ı index˚ u p˚ uvodn´ıho sn´ımku v Camera Calibration Toolboxu je uloˇzena tak, ˇze kaˇzdému interpolaˇcn´ımu koeficientu je pˇriˇrazen jeden index. Tato struktura je vˇsak redundantn´ı, jelikoˇz nov´ y pixel se interpoluje vˇzdy ze 4 nejbliˇzˇs´ıch soused˚ u. Pokud si tedy ych uloˇz´ıme pouze soubor ind 1 left pro levou kameru, ostatan´ı indexy uloˇzené v datov´ pol´ıch ind 2 left - ind 4 left lze spoˇc´ıtat podle rovnic (5.2), kde yWidth je v´ yˇska sn´ımku. ind 2 lef t = ind 1 lef t + yW idth ind 3 lef t = ind 1 lef t + 1

(5.2)

ind 4 lef t = ind 1 lef t + yW idth + 1 T´ımto zjednoduˇsen´ım jsme p˚ uvodn´ı velikosti souboru sn´ıˇzili ze 148 kB na 37 kB. Celkov´ y pamˇet’ov´ y prostor potˇrebn´ y pro rektifikaˇcn´ı soubory je pˇribliˇznˇe 148 kB pro kaˇzdou kameru, 296 kB celkem. Pˇri spuˇstˇen´ı systému stereovidˇen´ı nejdˇr´ıve nahrajeme do systému vˇsechny soubory potˇrebné pro rektifikaci obou kamer (prostˇrednictv´ım Hyperterminálu komunikuj´ıc´ıho pˇres USB port PC s pˇrevodn´ıkem USB-UART na v´ yvojové desce). Poˇrad´ı v jakém se soubory maj´ı nahrát vypisuje obrazovka Hyperterminálu. 6

V´ ypoˇcet pro 18706 index˚ u, uloˇzen´ ych jako data typu unsigned short. V´ ypoˇcet pro 4*18706 index˚ u, uloˇzen´ ych jako data typu unsigned short. 8 Koeficienty nab´ yvaj´ı hodnot h0, 1i a souˇcet tˇechto 4 koeficient˚ u je roven 1. 9 V´ ypoˇcet pro 4*18706 index˚ u, uloˇzen´ ych jako data typu fract8, resp. unsigned char.

7


5.5

59

Algoritmizace stereovidˇ en´ı

Z teoretického u ´vodu v kapitole 2.1 jsme se dozvˇedˇeli o základn´ı geometrii dvou kamer, jak je pˇrevést do kanonického uspoˇrádán´ı a vypoˇc´ıtat vzdálenost koresponduj´ıc´ıch si bod˚ u od kamerové základny. V této kapitole je popsána algoritmizace jednotliv´ ych u ´loh pro z´ıskán´ı v´ ysledné disparitn´ı mapy z dvou stereoskopick´ ych sn´ımk˚ u.

5.5.1

Zpracov´ an´ı sn´ımk˚ u z kamer

Sn´ımky z kamer z´ıskame postupem popsan´ ym v kapitole 5.3. Pokud bˇehem daného ˇcasového intervalu nez´ıskáme poˇzadovan´ y sn´ımek, objev´ı se chybová hláˇska na hyperterminálové obrazovce. Pokud je pˇrenos obrazov´ ych dat z kamer do pamˇeti u ´spˇeˇsn´ y následuje pˇrevod barevného YUV formátu na intenzitn´ı ˇcernob´ıl´ y“ obraz funkc´ı ” imageConvertYUV2GS (YUVbuffer, imBuffer, nXsize, nYsize);

a sn´ıˇzen´ı rozliˇsen´ı na poˇzadovan´ ych 160 x 120 pixel˚ u funkc´ı imageScalingDownBy2(imBuffer, imBufferSmall, nXsize, nYsize);

Parametry tˇechto funkc´ı jsou YUVbuffer, kter´ y se pˇrevede na intenzitn´ı obraz uloˇzen´ y v imBuffer a ten se poté zmenˇs´ı na potˇrebné rozliˇsen´ı do imBufferSmall. nXsize a nYsize jsou rozmˇery p˚ uvodn´ıho sn´ımku. YUV (správné oznaˇcen´ı pro uˇzit´ı v digitáln´ıch systémech je YCbCr) formát dat byl zvolen z d˚ uvodu jeho jednoduché konverze na intenzitn´ı obraz. YCbCr je barevn´ y prostor reprezentovan´ y sloˇzkou jasu (luminescence) Y a komponentami Cb a Cr, jeˇz jsou modrou a ˇcervenou chromatickou komponentou. Pro z´ıskán´ı intenzitn´ıho obrazu tedy staˇc´ı z pˇrijat´ ych dat uloˇzit pouze jasovou sloˇzku Y. Popis tohoto barevného prostoru, grafické znázornˇen´ı sloˇzek a pˇrevod do barevného prostoru RGB je uveden v literatuˇre [23]. Pokud je to potˇreba, sn´ımek je dále rektifikován pomoc´ı funkce imageRectification(original_image, rectified_image, new_index, old_index, coeficients, nIndexes);

Vstupem funkce je p˚ uvodn´ı sn´ımek original image a v´ ystupem rektifikovan´ y sn´ımek rectified image. Ostatn´ı parametry (viz. kapitola 5.4.2) jsou koeficienty lineárn´ı transformace, indexy p˚ uvodn´ıho a rektifikovaného obrázku a jejich poˇcet. Z tˇechto upraven´ ych sn´ımk˚ u je moˇzné vypoˇc´ıtat disparitn´ı mapu.


Obrázek 5.5: Blokov´ y diagram algorotmizace stereovidˇen´ı.

60


5.5.2

61

Z´ısk´ an´ı disparitn´ı mapy

Sn´ımky jsou rektifikované a zmenˇsené na poˇzadovanou velikost. Samotn´ y v´ ypoˇcet disparitn´ı mapy sestává z cyklicky provádˇen´ ych krok˚ u: • posun levého/pravého sn´ımku o jeden krok (pixel) vlevo/vpravo • vytvoˇren´ı differenˇcn´ı mapy odeˇcten´ım pravého posunutého sn´ımku od levého/levého posunutého sn´ımku od pravého • filtrace diferenˇcn´ı mapy pr˚ umˇerovac´ım filtrem • aktualizace disparitn´ı mapy v závislosti na novˇe vypoˇcten´ ych hodnotách filtrované diferenˇcn´ı mapy Tyto kroky se provádˇej´ı dvakrát - jednou se posuvá prav´ y sn´ımek vpravo a odeˇc´ıtá se s lev´ ym a podruhé posouvá lev´ y sn´ımek vlevo a odeˇc´ıtá s prav´ ym. Tento zdvojen´ y v´ ypoˇcet (tzv. L-R a R-L10 disparitn´ı mapy) slouˇz´ı k vyˇrazen´ı tˇech hodnot disparit mezi L-R a R-L mapami, jejichˇz rozd´ıl je vˇetˇs´ı neˇz povolená tolerance a bereme je jako ˇspatné. Prvn´ım krokem cyklu v´ ypoˇctu disparitn´ı mapy sejmuté scény je posun sn´ımku. Tato operace je provedna bud’to funkc´ı imageShiftLeft(...) nebo funkce imageShiftRight(...), kde vstupem je lev´ y/prav´ y sn´ımek left image/right image. Rozmˇery daného sn´ımku jsou inImgXSize x inImgYSize a v´ ystupem je obrázek shifted image posunut´ y o poˇcet pixel˚ u hodnoty promˇenné uloˇzené v shift. imageShiftRight(right_image,shifted_image,inImgXSize,inImgYSize,shift); imageShiftLeft(left_image,shifted_image,inImgXSize,inImgYSize,shift);

Diferenˇcn´ı mapa diff map je z´ıskána funkc´ı imageDiff(...), jej´ıˇz prvn´ımi dvˇema parametry jsou lev´ y (prav´ y) posunut´ y obrázek a prav´ y (lev´ y) p˚ uvodn´ı rektifikovan´ y sn´ımek. imageDiff(shifted_image,image,diff_map,inImgXSize,inImgYSize);

Diferenˇcn´ı mapa je poté filtrována funkc´ı imageSmoothing(...) pr˚ umˇerovac´ıho filtru daného jádrem o velikosti n = 2∗AV G F ILT ER SIZE+1. Filtrace je cyklicky provádˇena jako 2D konvoluce (5.3), kde h je konvoluˇcn´ı jádro (5.4) rozmˇeru n x n a f jsou vstupn´ı data. Jinak ˇreˇceno, pr˚ umˇerovac´ı filtr provede souˇcet vstupn´ıch hodnot a poté je vydˇel´ı jejich poˇctem (n2 ). g(x, y) =

n−1 n−1 X X k=0

10

Left to Right, Right to Left

l=0

((h(x − k, y − l)f (k, l)

(5.3)




1 ... 1  .. . . h= 2  . .  n 1 ...

 1 ..  .   1

62

(5.4)

imageSmoothing(diff_map_filtered,diff_map,AVG_FILTER_SIZE,inImgXSize,inImgYSize);

Aktualizaci L-R nebo R-L disparitn´ı mapy provedeme porovnán´ım hodnot aktuálnˇe vypoˇc´ıtané diferenˇcn´ı mapy a diferenˇcn´ı mapy z pˇredchoz´ıho kroku. K tomu slouˇz´ı funkce updateDisparityMap(). diff map filtered je aktuáln´ı a diff map tmp pˇredchoz´ı diferenˇcn´ı mapa. updateDisparityMap(diff_map_tmp,diff_map_filtered,disparity,inImgXSize,inImgYSize,shift);

Pro ty hodnoty, které budou menˇs´ı nebo rovny neˇz hodnoty diferenˇcn´ı mapy z pˇredchoz´ıho kroku, aktualizujeme souˇradnicovˇe odpov´ıdaj´ıc´ı hodnotu disparitn´ı mapy na hodnotu aktuáln´ıho posunu shift. Nejvyˇsˇs´ı moˇzná hodnota disparity ve zpracované disparitn´ı mapˇe je daná konstantou MAX DISP, kterou si zvol´ıme podle poˇzadovaného rozsahu mˇeˇren´ ych vzdálenost´ı (napˇr. pro M AX DISP = 15 je interval mˇeˇren´ ych vzdálenost´ı h34, 4; ∞) cm, pro parametry uvedené v kapitole 5.6. Zde uveden´ y programov´ y cyklus provád´ı v´ ypoˇcet L-R disparitn´ı mapy (R-L v´ ypoˇcet je analogick´ y). Oproti zdrojovému kódu obsahuje jenom funkce d˚ uleˇzité pro pochopen´ı principu. Procedura rektifikace pravého, levého sn´ımku a v´ ypoˇcet L-R, R-L disparitn´ı mapy je jednoduˇse dekomponovateln´ y na dvˇe ˇcásti, z nichˇz kaˇzdá m˚ uˇze bˇeˇzet na jednom jádˇre. // L-R disparity map for (p = 0; p<MAX_DISP; p++) { imageShiftRight(right_image,shifted_image,inImgXSize,inImgYSize,shift); imageDiff(shifted_image,image,diff_map,inImgXSize,inImgYSize); imageSmoothing(diff_map_filtered,diff_map,AVG_FILTER_SIZE,inImgXSize,inImgYSize); updateDisparityMap(diff_map_tmp,diff_map_filtered,disparity,inImgXSize,inImgYSize,shift); }

Na obrázku obr. 5.6 jsou v horn´ı ˇcasti je vyobrazeny v´ ysledky funkce imageDiff(...) pro posun shif t = [0, 3, 6, 9, 14] pixel˚ u, uprostˇred v´ ysledky pr˚ umˇerovac´ıho filtru a ve spodn´ı ˇcásti aktualizovaná disparitn´ı mapa pro jednotlivé posuny. Horn´ı dva ˇrádky obrázk˚ u


63

odpov´ıdaj´ı rozsahu 0 - tmavˇe modrá aˇz 255 - tmavˇe ˇcervená. Aktualizace disparitn´ıch map je v rozsahu 0 - tmavˇe modrá aˇz 15 - tmavˇe ˇcervená. Shift = 0

Shift = 3

Shift = 6

Shift = 9

Shift = 14

Obrázek 5.6: Grafické zobrazen´ı krok˚ u v´ ypoˇctu disparitn´ı mapy.

Jakmile z´ıskáme L-R i R-L disparitn´ı mapu, pouˇzijeme funkci findBestCandidates(...), která mezi tˇemito mapami vyhledá kandidáty správné“ diparity. Správn´ı kandidáti vy” hovuj´ı podm´ınce (5.5). Abychom jeˇstˇe v´ıce potlaˇcili chyby zp˚ usobené nesprávnˇe nalezen´ ymi korespondencemi, filtrujeme mapu správn´ ych“ kandidát˚ u mediánov´ ym filtrem. ” Parametr diparity map, pouˇzit´ y ve funkci median(...), obsahuje data v´ ysledné disparitn´ı mapy. |dispmapL−R − dispmapL−R | < T OLERAN CE

(5.5)

Vliv rozmˇeru konvoluˇcn´ıho jádra (n x n) pr˚ umˇerovac´ıho filtru na v´ yslednou disparitn´ı ˇ ım je jeho rozmˇer vˇetˇs´ı, t´ım v´ıce se mapu (obr. 5.7) je vidˇet na obrázku obr. 5.8. C´ stávaj´ı plochy disparitn´ı mapy spojité. Nev´ yhoda spoˇc´ıvá v rozmazáván´ı zpracovan´ ych dat ( hranic objekt˚ u“) a nemoˇznosti rozliˇsit malé pˇredmˇety. Pro u ´lohu detekce pˇrekáˇzek ” to vˇsak nemá zásadn´ı v´ yznam. V ostatn´ıch dispartin´ıch mapách bylo pouˇzito konvoluˇcn´ı jádro 5 x 5.


64 6

20

20

20

40

40

40

60

60

60

80

80

80

100

100

100

120

120

50

100

150

50

100

150

120

4 2 0 50

100

150

Obrázek 5.7: Disparitn´ı mapa pro zn´ am´ y dataset tsukuba“. ”

8 20

20

20

40

40

40

60

60

60

80

80

80

100

100

100

120

50

100

150

120

50

100

150

120

6 4 2 50

100

150

0

Obrázek 5.8: Vliv konvoluˇcn´ıho jádra pr˚ umˇerovac´ıho filtru na v´ yslednou disparitn´ı mapu. Vlevo je disparitn´ı mapa pro rozmˇer konvoluˇcn´ıho jádra 3 x 3, uprostˇred 5 x 5 a vpravo 7 x 7.

findBestCandidates(disparityL_R,disparityR_L,disparity,inImgXSize,inImgYSize,TOLERANCE); _median(disparity,inImgXSize,inImgYSize,disparity_map);

V pˇr´ıloze A jsou uvedeny v´ ysledky vypoˇcten´ ych disparitn´ıch map r˚ uzn´ ych scén zde popsan´ ym algoritmem. U obrázku obr. A.8 nebo obr. A.1 je dobˇre vidˇet problém vzniku faleˇsn´ ych korespondenc´ı. Ty mohou vznikat napˇr. v d˚ usledku r˚ uzn´ ych radiometrick´ ych vlastnost´ı dvou sn´ımk˚ u. Na obrázku obr. A.9 jsou dva umˇele vytvoˇrené ˇcerné sn´ımky. Z tˇechto sn´ımk˚ u je patrné, ˇze nem˚ uˇze b´ yt nalezena ˇza´dná korespondence, ale d´ıky filtraci nevznikaj´ı ani faleˇsné korespondence. Málo texturovan´ y je také obrázek obr. A.7. Aˇckoliv lidsk´ ym okem rozeznáme objekty a jejich pˇribliˇznou vzdálenost, pouˇzit´ y algoritmus má s tˇemito sn´ımky problémy. Na obrázku obr. A.6 m˚ uˇzeme dobˇre pozorovat vliv problému okluze, kdy dˇrevˇená pˇrepáˇzka uprostˇred sn´ımku tvoˇr´ı“ uzavˇren´ y povrch pro pravou ” kameru a neuzavˇren´ y povrch pro kameru levou. Lev´ y pruh nulov´ ych disparitn´ıch hodnot smˇerem od dˇrevˇené pˇrepáˇzky je tvoˇren právˇe okluz´ı.


5.6

65

V´ ypoˇ cet hloubkov´ e mapy

V kapitole 2 byly popsány pojmy disparitn´ı mapa a hloubková mapa. Disparitn´ı mapu, vyjadˇruj´ıc´ı pixelovou vzdálenost dvou koresponduj´ıc´ıch si bod˚ u v levém a pravém sn´ımku, kterou jsme z´ıskali algoritmy popsan´ ymi v pˇredchoz´ım textu, chceme pˇrepoˇc´ıtat na mapu hloubkovou. Hloubkovou mapu, vyjadˇruj´ıc´ı vzdálenosti, vypoˇcteme podle vztahu (5.6). D=

bf ddisparity psize

,

(5.6)

kde D je vzdálenost bodu v prostoru, b základna (vzdálenost optick´ ych stˇred˚ u kamer), f ohnisková vzdálenost, psize ˇs´ıˇrka jednoho pixelu kamerového senzoru a ddisparity je jedna hodnota z disparitn´ı mapy. Na obrázku je zobrazena disparitn´ı mapa (vpravo nahoˇre) a z n´ı vypoˇc´ıtaná hloubková mapa v odliˇsné barevné paletˇe (vpravo dole). Jednotky hloubkové mapy jsou uvedeny v cm.

Rektifikovany levy obrazek

Disparitni mapa

20

20

40

40

60

60

80

80

100

100

120

50

100

150

120

Rektifikovany pravy obrazek

10 5

50

100

150

0

Hloubkova mapa 500

20

20

40

40

60

60

300

80

80

200

100

100

100

120

50

100

150

120

400

50

100

150

Obrázek 5.9: V levé ˇcásti jsou rektifikované stereoskopické sn´ımky a vpravo je v´ ysledná disparitn´ı a hloubková mapa (hodnoty jsou uvedeny v cm).


66

Rozmˇery v´ yvojového kitu jsou jsou relativnˇe malé a tud´ıˇz i vzdálenost optick´ ych stˇred˚ u kamer (základna b) je tomu usp˚ usobena a ˇcin´ı 3 cm. Na obrázku obr. 5.11 vid´ıme graf znázorˇ nuj´ıc´ı závislost vzdálenosti bodu v prostoru na hodnotˇe disparity a velikosti základny b. Z tohoto grafu je zˇrejmé, ˇze pro velikost základny 3cm a parametry kamer uvedené v kapitole 4.4 odpov´ıdá disparitˇe ddisparity = 1 vzdálenost bodu v prostoru 5 m. Závislost vzdálenosti na disparitˇe je hyperbolická a vzdálenost 5 m (pro b = 3cm) je mezn´ı hodnotou. Zároveˇ n disparita ddisparity = 1 je hodnota, která zp˚ usobuje velkou chybu. Modely (vzducholod’, vznáˇsedlo, ...) potˇrebuj´ı pro svoji orientaci v prostoru sp´ıˇse vˇetˇs´ı rozsah vzdálenost´ı (do 10 m) a proto by lépe vyhovovala základna b o velikost pˇribliˇznˇe 10 aˇz 20 cm. Tato velikost základny by, pˇri hodnotˇe disparity ddisparity = 1, dovolovala mˇeˇrit vzdálenosti aˇz do 17,2 m (pro b = 10cm) nebo 34,4 m (pro b = 20cm). Pˇredevˇs´ım by se vˇsak zjemnil krok mˇeˇren´ ych vzdálenost´ı v rozsahu do 10 m. Bohuˇzel, v´ yvojov´ y kit nemá moˇznost mˇenit ˇs´ıˇrku základny b.

0

20

40

60

80

100

120

140

160 0

20

40

60

80

100

120 0

100

200

300

Obrázek 5.10: Hloubková

mapa

odpov´ıdaj´ıc´ı pˇredchoz´ımu

vykreslen´ a ve 3D prostoru.

obr´ azku,


67

35 b = 20 cm b = 10 cm b = 5 cm b = 3 cm

Vzdalenost v prostoru [m]

30

25

20

15

10

5

0

1

2

3

4

5

6

7 8 9 Disparita [pixel]

10

11

12

13

14

15

Obrázek 5.11: Závislost vzd´ alenosti bodu v prostoru na disparitˇe pro r˚ uzné hodnoty základny b.

5.7

Optimalizace algoritmu stereovidˇ en´ı a v´ ysledky

Z hlediska rychlosti zpracován´ı jsou v tomto algoritmu kl´ıˇcové funkce, jenˇz prob´ıhaj´ı v cyklu aktualizace disparitn´ı mapy: • posun sn´ımku (imageShiftLeft() nebo imageShiftRight()) • rozd´ıl sn´ımk˚ u (imageDiff()) • filtrace diferenˇcn´ı mapy pr˚ umˇerovac´ım filtrem (imageSmoothing()) • aktualizace disparitn´ı mapy (updateDisparityMap()) U filtrace diferenˇcn´ı mapy je moˇzné provést zrychlen´ı s vyuˇzit´ım vypoˇc´ıtan´ ych dat v pˇredeˇsl´ ych kroc´ıch. Nejprve vypoˇcteme sumu n ˇrádkov´ ych hodnot p(y, x) pˇr´ısluˇsného sloupce. Hodnoty odpov´ıdaj´ıc´ı jednotliv´ ym sloupc˚ um v´ yˇsky n si uloˇz´ıme do pomocného 1D pole o stejné velikosti jako ˇs´ıˇrka datového pole. Z pomocného pole seˇcteme n prvn´ıch hodnot a vydˇel´ıme poˇctem prvk˚ u pr˚ umˇerovac´ıho filtru n2 . Z´ıskáme prvn´ı hodnotu nValue


68

filtrovan´ ych dat (viz. ˇcerven´ y rámeˇcek na obrázku obr. 5.12). Aˇz do tohoto kroku je v´ ypoˇcet stejn´ y jako pˇri pouˇzit´ı p˚ uvodn´ıho algoritmu pr˚ umˇerovac´ıho filtru (resp. toto plat´ı pro vˇsechny hodnoty prvn´ıho sloupce vypoˇc´ıtané pr˚ umˇerovac´ım filtrem). Ostatn´ı hodnoty v prvn´ım ˇrádku z´ıskáme t´ımto cyklem: for (j = 0; j<xWidth - n; j++) { nValue += (row[j + n] - row[j]); *memIndexSmooth++ = (unsigned char)((nValue / avgCoef) & 0xff); }

Od pˇredchoz´ıho celkového souˇctu (nV alue) je odeˇctena hodnota jeho prvn´ıho sloupce a zároveˇ n se pˇriˇcte hodnota sloupce následuj´ıc´ıho (napˇr. nV alue - s11 + s16 pro n = 5, viz. zelen´ y rámeˇcek na obrázku obr. 5.12). Vydˇelen´ım v´ ysledku poˇctem pr˚ umˇerovan´ ych hodnot avgCoef = n2 z´ıskáme ostatn´ı ˇrádkové hodnoty pr˚ umˇerovac´ıho filtru. Podobná u ´vaha byla provedena i pro aktualizaci sloupc˚ u pomocného pole. Aktualizace se provede v tomto cyklu: for (k = 0; k<xWidth; k++) { row[k] += *(memIndexOrig + (i + n)*xWidth + k) - *(memIndexOrig + i*xWidth + k); }

Promˇenná i vyjadˇruje aktuáln´ı ˇrádek. Od pˇredchoz´ı hodnoty sloupce se odeˇcte hodnota prvn´ıho sloupcového prvku a pˇriˇcte se hodnota následuj´ıc´ıho sloupcového prvku (napˇr. s21 = s11 − p11 + p61 pro n = 5, viz. obr. 5.12). Opakován´ım uveden´ ych cykl˚ u z´ıskáme kompletn´ı filtrované datové pole pr˚ umˇerovac´ım filtrem.

Obrázek 5.12: Princip zrychleného v´ ypoˇctu hodnot pr˚ umˇerovac´ıho filtru.


69

Funkce posunu sn´ımk˚ u, v´ ypoˇctu diferenˇcn´ı mapy, aktualizace disparitn´ı mapy, rektifikace sn´ımk˚ u, ap. byly optimalizovány pˇredevˇs´ım s vyuˇzit´ım rychl´ ych vnitˇrn´ıch pamˇet´ı procesoru a vlastnost´ı pˇrekladaˇce. V´ yrazného urychlen´ı zpracován´ı stereoskopick´ ych sn´ımk˚ u dosáhneme vyuˇzit´ım rychlé vnitˇrn´ı pamˇeti L1. Tato pamˇet’ pracuje na stejné frekvenci jako jádra procesoru. Rozliˇsen´ı sn´ımk˚ u scény bylo zvoleno na 160 x 120 pixel˚ u (pro 8-bitové obrazové data v tomto rozliˇsen´ı potˇrebujeme 19,2 kB pamˇeti). L1 pamˇet’ jednoho jádra nám svoj´ı velikost´ı 64 kB rozdˇelenou do 2 bank (A a B) dovoluje vytvoˇrit dva obrazové“ buffery. Pro paraleln´ı ” zpracován´ı disparitn´ı mapy má druhé jádro stejnˇe velkou a stejnˇe koncipovanou L1 pamˇet’, takˇze zpracován´ı prob´ıhá stejnou rychlost´ı a nezávisle. V tabulce tabulka 5.1 a tabulka 5.2 je uveden pˇrehled nˇekter´ ych testovan´ ych funkc´ı, pro které byly pouˇzitá data uloˇzeny v pamˇeti L1, L2 nebo L311 . Algoritmus stereovidˇen´ı byl nejdˇr´ıve testován na jednom jádru bez optimalizace kódu pˇrekladaˇcem, s neoptimalizovan´ ymi funkcemi v´ ypoˇctu disparitn´ı mapy a vyuˇz´ıval pamˇet’ typu L3. Doba zpracován´ı byla pˇribliˇznˇe 1,25 s pro jednu kompletn´ı disparitn´ı mapu. Optimalizovan´ y algoritmus dosahuje na obou jádrech rychlosti zpracován´ı necel´ ych 10 sn´ımk˚ u za vteˇrinu. Doba zpracován´ı jedné kompletn´ı disparitn´ı mapy je 109,3 ms. Optimalizac´ı bylo dosaˇzeno v´ıce neˇz 10-ti násobného zrychlen´ı. Pamˇ et’

vylepˇsená imageSmoothing()

imageSmoothing()

conv2d5x5 gen()

Bez optimalizace kódu pomoc´ı pˇrekladaˇce L1

4,255 ms

12,86 ms

0,954 ms

L2

7,259 ms

19,125 ms

7,856 ms

Optimalizace kódu pomoc´ı pˇrekladaˇce L1

0,513 ms

1,627 ms

0,954 ms

L2

1,037 ms

7,859 ms

0,954 ms

Tabulka 5.1: Pˇrehled rychlost´ı funkc´ı pro pr˚ umˇerovac´ı filtr (data 160 x 120 pixel˚ u). 11

Nastaven´ı DSP procesoru: frekvence CPU 500 MHz, frekvence extern´ı pamˇet’i 125 MHz. Pr˚ umˇerovac´ı

filtr: n = 5. M AX DISP = 15.

ˇ Í KAPITOLA 5. ALGORITMIZACE METODY STEREOVIDEN Pamˇ et’i

imageShiftLeft()

imageDiff()

70

updateDisparityMap()

Bez optimalizace kódu pomoc´ı pˇrekladaˇce L1 a L2

0,935 ms

2,124 ms

2,69 ms

Optimalizace kódu pomoc´ı pˇrekladaˇce L1 a L2

0,020 ms

1,686 ms

0,694 ms

L1 a L3

0,036 ms

1,786 ms

1,619 ms

Tabulka 5.2: Pˇrehled rychlost´ı dalˇs´ıch pouˇzit´ ych funkc´ı v cyklu z´ısk´ an´ı disparitn´ı mapy (data 160 x 120 pixel˚ u).

Funkce 2D konvoluce conv2d() nebo speciáln´ı pˇr´ıpad konvoluce s jádrem velikosti 5 x 5 conv2d5x5 gen() je k dispozici v knihovnˇe Visual DSP++ 5.0. Tyto funkce jsou optimalizovány pro dan´ y procesor v jazyku assembler, ale vstupn´ı a v´ ystupn´ı data jsou ve formátu fract16 (pˇr´ıpadnˇe fract32 ). Formát fract16 je znázorˇ nen na obrázku obr. 5.13. Nev´ yhoda tohoto formátu dat je pro navrˇzen´ y algoritmus stereovidˇen´ı v tom, ˇze jsou 16-bitová a koncipovaná jako desetinné ˇc´ıslo v intervalu h−1; 1), ve tvaru 1.15“ (MSB je znaménkov´ y ” bit a ostatn´ı bity jsou váhové). Obrázek se tedy mus´ı nejdˇr´ıve do toho formátu konvertovat a vyˇzaduje 2-krát v´ıce pamˇeti (pro rozliˇsen´ı 160 x 120 jiˇz nelze vytvoˇrit takto velké buffery v L1 pamˇeti). Funkce conv2d5x5 gen(), optimalizována pro obecnou 2D konvoluci, je v koneˇcném d˚ usledku pomalejˇs´ı, neˇz vylepˇsená imageSmoothing(). Z tˇechto d˚ uvod˚ u nen´ı v ˇreˇsen´ı pouˇzita.

Obrázek 5.13: Struktura form´ atu dat typu fract16.

Jeˇstˇe vyˇsˇs´ı optimalizace kódu C je moˇzné dosáhnout moˇznostmi pˇrekladaˇce. Ten ve vlastnostech pˇrekládaného projektu umoˇzn ˇuje mˇenit pomˇer mezi velikost´ı zkompilovaného souboru a optimalizac´ı rychlosti. Pro algoritmus stereovidˇen´ı byla zvolena optimalizace rychlosti.

Kapitola 6 Z´ avˇ er Vu ´vodu této diplomové práce byly popsány vybrané metody mˇeˇren´ı hloubkové mapy pro orientaci v prostoru, resp. detekci pˇrekáˇzek, se zamˇeˇren´ım na metodu stereovidˇen´ı a PMD kamery. Jako vhodná byla pro modely mobiln´ıch zaˇr´ızen´ı zvolena metoda stereovidˇen´ı. Princip spoˇc´ıvá v z´ıskán´ı dvou stereoskopick´ ych sn´ımk˚ u se znám´ ymi parametry, z nichˇz lze vhodn´ ym postupem z´ıskat disparitn´ı a hloubkovou mapu. Modely mobiln´ıch zaˇr´ızen´ı jsou závislé na spotˇrebˇe elektrické energie a hmotnosti palubn´ı elektroniky, kterou nesou. Zároveˇ n je nutné brát ohled na dostateˇcnou rychlost zpracován´ı dané metody, aby modely mˇely moˇznost vˇcas reagovat na podm´ınky v okoln´ım prostoru. Tyto poˇzadavky byly brány v u ´vahu pˇri v´ ybˇeru HW ˇcásti. Pro ˇreˇsen´ı u ´lohy stereovidˇen´ı a jej´ı algoritmizaci byl vybrán signálov´ y dvoujádrov´ y procesor s pevnou ˇrádovou ˇcárkou a n´ızkou spotˇrebou ADSP-BF561 od firmy Analog Devices. ADSP-BF561 obsahuje dvˇe identická jádra, kaˇzdé pracuje aˇz na frekvenci 600 MHz a disponuje 100 kB vnitˇrn´ı L1 pamˇeti pro rychlé zpracován´ı dat. Dále obsahuje 128 kB L2 pamˇeti sd´ılené obˇema jádry a periferie dovoluj´ıc´ı komunikovat s okoln´ım svˇetem (rozhran´ı UART, SPI) a CMOS kamerami (dvˇe paraleln´ı sbˇernice PPI a GPIO). K tomuto signálovému procesoru byl dále vybrán vhodn´ y v´ yvojov´ y kit od firmy Bluetechnix, skládaj´ıc´ı se z v´ yvojové desky DEV-BF5xxDA-Lite, procesorové jednotky CM-BF561 s procesorem ADSP-BF561 a rozˇsiˇruj´ıc´ıho kamerového modulu EXT-BF5xx-CAM. Tento modul byl nav´ıc doplnˇen 2 kamerami OV2640FSL. Prvotn´ı ˇreˇsen´ı jednoduch´ ych algoritm˚ u zaloˇzen´ ych na rozd´ılu stereoskopick´ ych sn´ımk˚ u, filtraci takto vzniklé diferenˇcn´ı mapy a kontroly konzistence L-R a R-L disparitn´ıch map bylo u ´spˇeˇsnˇe provedeno a ovˇeˇreno v prostˇred´ı Matlab 7.1. Stejnˇe tak v´ ypoˇcet kalibraˇcn´ıch koeficient˚ u jednotliv´ ych kamer a rektifikaˇcn´ıch koeficient˚ u stereoskopick´ ych sn´ımk˚ u byl proveden v prostˇred´ı Matalab pomoc´ı Camera Calibration Toolboxu. V´ ysledné ˇreˇsen´ı 71

´ ER ˇ KAPITOLA 6. ZAV

72

stereovidˇen´ı bylo pro ADSP-BF561 kódováno ve v´ yvojovém prostˇred´ı Visual DSP++ 5.0. Byly zvládnuty kroky z´ıskán´ı obraz˚ u z obou pouˇzit´ ych kamer, jejich pˇrevod z YUV formátu na intenzitn´ı obraz, rektifikace pro následné optimalizované hledán´ı korespondenc´ı mezi sn´ımky a v´ ypoˇcet disparitn´ı mapy. Optimalizac´ı pouˇzit´ ych funkc´ı, vyuˇzit´ım rychl´ ych L1 (L2) pamˇet´ı procesoru ADSP-BF561 a optimalizaˇcn´ıch metod nab´ızen´ ych pˇrekladaˇcem v´ yvojového prostˇred´ı Visual DSP++ 5.0, bylo dosaˇzeno rychlosti 6 sn´ımk˚ u za vteˇrinu (6 fps) pro jednojádrovou aplikaci a necel´ ych 10 fps pro dvoujádrovou aplikaci v rozliˇseni 160 x 120 pixel˚ u a pro maximáln´ı hodnotu prohledávané disparity 15 pixel˚ u. V´ ysledky v´ ypoˇct˚ u disparitn´ıch map pouˇzitého algoritmu jsou závislé na mnoˇzstv´ı textury ve scénˇe a v tomto ohledu nejsou pˇr´ıliˇs robustn´ı, pˇri malém mnoˇzstv´ı textury nemusej´ı odpov´ıdat realitˇe (viz. obrázky v pˇr´ıloze A). Vylepˇsen´ı robustnosti by mohlo b´ yt provedeno vyuˇzit´ım varianˇcn´ı mapy intenzitn´ıho obrázku a variaˇcn´ı mapy v´ ysledné disparitn´ı mapy pro odstranˇen´ı ˇspatn´ ych hodnot disparit málo kontrastn´ıch ploch. Dalˇs´ım ˇreˇsen´ım by jistˇe bylo i uˇzit´ı sofistikovanˇejˇs´ıch algoritm˚ u stereovidˇen´ı, které by vˇsak potˇrebovaly v´ıce v´ ypoˇcetn´ıho v´ ykonu/ˇcasu. Moˇznost´ı je také prom´ıtán´ı aktivn´ı ” textury“ do scény, z ˇcehoˇz vˇsak vypl´ yvá vyˇsˇs´ı spotˇreba.

Literatura ć ˇ, V.,Sedla ć ˇek, M. (2003). Zpracov´ [1] Hlava an´ı sign´ al˚ u a obraz˚ u (2. pˇrepracované ˇ vydán´ı). Vydavatelstv´ı CVUT 2003 ć ˇ, V.,Boyle, R. (1999). Image Processing, Analysis, and Ma[2] Sonka, M.,Hlava chine Vision, 2nd edition. Thomson Learning, Toronto, April 2007, 821 p, ISBN 049508252X (2nd edition Brooks/Cole, Pacific Grove, CA, 1999, 1st edition Chapman & Hall, London 1993, ). ˇ [3] Ton, O. (2006). Orientace v prostˇred´ı. Bakaláˇrská práce, Praha: CVUT, Katedra ˇrid´ıc´ı techniky. ˇ ´ stra ´ nky katedry r ˇ´ıdic´ı techniky CVUT-FEL [4] Webove Praha (2008). Prezentace projekt˚ u a témat DP, BP, PMI hhttp://dce.felk.cvut.cz/prezentace/i ´ stra ´ nky vy ´ robc˚ [5] Webove u PMD kamer -

hhttp://www.pmdtec.comi,

hhttp://www.swissranger.chi, hhttp://www.canesta.comi [6] Hw.cz (2007). PMD senzor a 3D mˇeˇren´ı vzdálenosti - 1. a 2. ˇcást. hhttp://www.hw.cz/externi/1642/i [7] Wikipedia.org (2008). Programmable logic device. Category: Gate arrays hhttp://en.wikipedia.org/wiki/Programmable logic devicei [8] BTDI - www.dspdesignline.com (2007). A Survey of Mainstream DSP Processors hhttp://www.dspdesignline.com/howto/198800216i ´ stra ´ nky BDTI (2007). BDTI DSP Kernel BenchmarksTM Results [9] Webove hhttp://www.bdti.com/bdtimark/BDTImark2000.htmi [10] Jean-Yves

Bouguet

(2008).

Camera

Calibration

hhttp://www.vision.caltech.edu/bouguetj/calib doc/i 73

Toolbox

for

Matlab.

74

LITERATURA [11] Shawn

Lankton

(2008).

3D

Stereo

Disparity.

hhttp://www.mathworks.de/matlabcentral/fileexchange/19406i [12] Analog Device (2007). Blackfin Embedded Symmetric Multiprocessor ADSPBF561 - Rev. C hhttp://www.analog.comi R Processor Hardware Reference [13] Analog Device (2007). ADSP-BF561 Blackfin

Revision 1.1 hhttp://www.anlog.comi [14] Analog Device (2008). VisualDSP++ 5.0 Device Drivers and System Services Manual for Blackfin Processors - Revision 3.2 hhttp://www.analog.comi [15] Analog Device (2008). VisualDSP++ 5.0 C/C++ Compiler and Library Manual for Blackfin Processors - Revision 5.1 hhttp://www.analog.comi [16] Analog Device (2008). Blackfin Processor Programming Reference - Revision 1.3 hhttp://www.analog.comi [17] Analog Device (2007). VisualDSP++ 5.0 Users Guide - Revision 3.0 hhttp://www.analog.comi [18] Analog Device (2008). VisualDSP++ 5.0 Linker and Utilities Manual - Revision 3.1 hhttp://www.analog.comi ´ [19] Webove

´ nky stra

firmy

Bluetechnix

(2008).

Blackfin family tools

hhttp://www.bluetechnix.comi ´ stra ´ nky Texas Intsrument, Inc. (2007/2008). DSP Design Support [20] Webove hhttp://www.ti.comi ´ stra ´ nky Analog Devices, Inc. (2008). Embedded processing and DSP [21] Webove hhttp://www.analog.com/embedded-processing-dsp/processors/en/index.htmli ¨ ller and D. Scharstein. (2007). Evaluation of cost func[22] H. Hirschmu tions for stereo matching.. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2007), Minneapolis, MN, June 2007. hhttp://vision.middlebury.edu/stereo/data/i [23] Wikipedia.org

(2008).

YCbCr .

hhttp://cs.wikipedia.org/wiki/YCbCri

Kategorie:

Barevné

prostory

Pˇ r´ıloha A Pˇ r´ılohy Na zaˇcátku této pˇr´ılohy jsou zobrazeny v´ ysledky disparitn´ıch map pouˇzitého algoritmu stereovidˇen´ı. Barevné sn´ımky jsou pouˇzity z knihovny rektifikovan´ ych obrázk˚ u [22]. ˇ Cernob´ ılé“ sn´ımky jsou reálné scény poˇr´ızené kamerami v´ yvojového kitu. ” 20

20

20

40

40

40

60

60

60

80

80

80

100

100

100

120

50

100

150

120

50

100

150

120

10 5

50

100

150

0

Obrázek A.1: Disparitn´ı mapa pro dataset Midd1“. ”

20

20

20

40

40

40

60

60

60

80

80

80

100

100

100

120

120

50

100

150

50

100

150

120

10 5

50

100

Obrázek A.2: Disparitn´ı mapa scény ˇc. 1 poˇr´ızené z kamer.

I

150

0

ˇ ÍLOHA A. PR ˇ ÍLOHY PR

II

20

20

20

40

40

40

60

60

60

80

80

80

100

100

100

120

120

50

100

150

50

100

150

120

10 5

50

100

150

0


20

20

20

40

40

40

60

60

60

80

80

80

100

100

100

120

120

50

100

150

50

100

150

120

10 5

50

100

150

0


20

20

20

40

40

40

60

60

60

80

80

80

100

100

100

120

120

50

100

150

50

100

150

120

10 5

50

100

150

0

Obrázek A.5: Disparitn´ı mapa scény pracovn´ıho stolu s notebookem.

20

20

20

40

40

40

60

60

60

80

80

80

100

100

100

120

120

50

100

150

50

100

150

120

20 10

50

Obrázek A.6: Disparitn´ı mapa pro dataset Wood1“. ”

100

150

0


III

20 20

20

20

40

40

40

15

60

60

60

10

80

80

80

100

100

100

120

50

100

150

120

50

100

150

120

5 0 50

100

150

Obrázek A.7: Disparitn´ı mapa pro dataset Plastic“. ”

20

20

20

40

40

40

60

60

60

80

80

80

100

100

100

120

120

50

100

150

50

100

150

120

10 5

50

100

150

0

Obrázek A.8: Disparitn´ı mapa pro scénu b´ılé“ zdi. ”

1 20

20

20

40

40

40

60

60

60

80

80

80

100

100

100

120

50

100

150

120

50

100

150

120

0.5 0 −0.5 50

100

Obrázek A.9: Disparitn´ı mapa pro umˇele vytvoˇrené ˇcerné obr´ azky.

150

−1


Obrázek A.10: Rozm´ıstˇen´ı a oˇc´ıslován´ı konektor˚ u na desce ploˇsn´ ych spoj˚ u DEV-BF5xxDA-Lite.

Obrázek A.11: Rozm´ıstˇen´ı a oˇc´ıslován´ı konektor˚ u na rozˇsiˇruj´ıc´ı desce EXT-BF5xx-CAM.

IV

ˇ ÍLOHA A. PR ˇ ÍLOHY PR ˇ ıslo pinu C´

V

N´ azev sign´ alu

Vstup(I)/V´ ystup(O)/nap´ ajen´ı

1

RSCLK0 / PF28

I/O

2

DR0PRI

I

3

TSCLK0 / PF29

I/O

4

DT0PRI / PF18

I/O

5

PF11(Clk out) *

I/O

6

PF9

I/O

7

PF7 / SPISEL7 / TMR7

I/O

8


I/O

9

Vin 3V3

napájen´ı

10

Vin 3V3

napájen´ı

11

PPI1D0

I/O

12

PPI1D2

I/O

13

PPI1D4

I/O

14

PPI1D6

I/O

15

PPI1D8 / PF40

I/O

16

PPI1D10 / PF42

I/O

17

PPI1D12 / PF44

I/O

18

PPI1D14 / PF46

I/O

19

PPI1SYNC3

I/O

20

PPI1SYNC1 / TMR8

I/O

21

PF3 / SSEL3 / TM3

I/O

22


I/O

23

RX / PF27

I/O

24

MOSI

I/O

25

SCK

I/O

26

nABE2 / SDQM2

O

27

ARDY

I

28

TCK

I

29

TDI

I

30

TRST

I

Tabulka A.1: V´ yvody konektoru X1 procesorové jednotky CM-BF561.


VI

N´ azev sign´ alu


31

EMU

O

32

TMS

I

33

TDO

O

34

AMS3

O

35

ABE1/SDQM1

O

36

ABE0/SDQM0

O

37

MISO

I/O

38

TX / PF26

I/O

39

PF0/SPISS/TMR0

I/O

40

PF2/SSEL2/TMR2

I/O

41

PPI1CLK

I

42

PPI1SYNC2 / TMR9

I/O

43

PPI1D15 / PF47

I/O

44

PPI1D13 / PF45

I/O

45

PPI1D11 / PF43

I/O

46

PPI1D9 / PF41

I/O

47

PPI1D7

I/O

48

PPI1D5

I/O

49

PPI1D3

I/O

50

PPI1D1

I/O

51

GND

napájen´ı

52

GND

napájen´ı

53

PF4/SPISEL4/TMR4

I/O

54

PF6/SPISEL6/TMR6

I/O

55

PF8

I/O

56

PF10

I/O

57

DT0SEC / PF17

O

58

TFS0 / PF16

I/O

59

DR0SEC / PF20

I

60

RFS0 / PF19

I/O



VII

N´ azev sign´ alu


61

ABE3/SDQM3

O

62

A3

O

63

A5

O

64

A7

O

65

A9

O

66

A11

O

67

A13

O

68

A15

O

69

PPI2SYNC1

I/O

70

PPI2SYNC2

I/O

71

PPI2D1

I/O

72

PPI2D3

I/O

73

PPI2D5

I/O

74

PPI2D7

I/O

75

PPI2D9 / PF33

I/O

76

PPI2D11 / PF35

I/O

77

PPI2D13 / PF37

I/O

78

PPI2D15 / PF39

I/O

79

GND

napájen´ı

80

AMS1

O

81

AWE

O

82

NMI 0

I

83

D0

I/O

84

D2

I/O

85

D4

I/O

86

D6

I/O

87

D8

I/O

88

D10

I/O

89

D12

I/O

90

D14

I/O



VIII

N´ azev sign´ alu


91

D15

I/O

92

D13

I/O

93

D11

I/O

94

D9

I/O

95

D7

I/O

96

D5

I/O

97

D3

I/O

98

D1

I/O

99

RESET

I

100

AOE

O

101

ARE

O

102

AMS2

O

103

N.C

-

104

PPI2D14 / PF38

I/O

105

PPI2D12 / PF36

I/O

106

PPI2D10 / PF34

I/O

107

PPI2D8 / PF32

I/O

108

PPI2D6

I/O

109

PPI2D4

I/O

110

PPI2D2

I/O

111

PPI2D0

I/O

112

PPI2SYNC3

I/O

113

PPI2CLK

I

114

A14

O

115

A12

O

116

A10

O

117

A8

O

118

A6

O

119

A4

O

120

A2

O


ˇ ÍLOHA A. PR ˇ ÍLOHY PR ˇ pinu C.

IX

Sign´ al kamery

Kamera ˇ c. 1

Kamera ˇ c. 2

1

not connected

not connected

not connected

2

AGND

not connected

not connected

3

SIO D

PPI1D12

PPI2D11

4

AVDD

not connected

not connected

5

SIO C

PPI1D15

PPI2D10

6

RESET

not connected

not connected

7

VSYNC

PPI1Sy2

PPI2Sy2

8

PWDN

not connected

not connected

9

HREF

PPI1Sy1

PPI2Sy1

10

DVDD

not connected

not connected

11

DOVDD

not connected

not connected

12

D7

PPI1D7

PPI2D7

13

CamClk

not connected

not connected

14

D6

PPI1D6

PPI2D6

15

DGND

not connected

not connected

16

D5

PPI1D5

PPI2D5

17

PCLK

PPI1Clk

PPI2Clk

18

D4

PPI1D4

PPI2D4

19

D0

PPI1D0

PPI2D0

20

D3

PPI1D3

PPI2D3

21

D1

PPI1D1

PPI2D1

22

D2

PPI1D2

PPI2D2

23

D8

PPI1D8

PPI2D8

24

D9

PPI1D9

PPI2D9

Tabulka A.5: Tabulka pˇripojen´ı kamery ˇc. 1 a ˇc. 2 ke sbˇernic´ım PPI1 a PPI2 CM-BF561.

ˇ ÍLOHA A. PR ˇ ÍLOHY PR Oznaˇ cen´ı

X Barva

Funkce

V1

ˇ Cerven´ a

Full Duplex (Ethernet)

V2

Zelená

Activity (Ethernet)

V3

Zelená

100MB Speed LED (Ethernet)

V5

Zelená

Flag0 (Debug Agent)

V6

Flag1 (Debug Agent)

V7

Zelená ˇ Cerven´ a

Monitor (Debug Agent)

V8

Zelená

Pr. done (Debug Agent)

V9

GPIO (PF43)

V10

Zelená ˇ Cerven´ a

V14

ˇ a Zlut´

napájen´ı

GPIO (PF42)

Tabulka A.6: Funkce jednotliv´ ych LED diod na v´ yvojové desce DEV-BF5xxDA-Lite.

Obrázek A.12: V´ ysledky fixed-point DSP procesor˚ u z dané ˇrady v testu BDTImark2000TM [9] v závislosti na pomˇeru cena/v´ ykon (cost-effective). Vyˇsˇs´ı v´ ysledek je lepˇs´ı.


Obrázek A.13: Kalibraˇcn´ı a rektifikaˇcn´ı parametry kamer.

XI

Pˇ r´ıloha B Obsah pˇ riloˇ zen´ eho CD K této práci je pˇriloˇzeno CD, na kterém jsou uloˇzeny zdrojové kódy, katalogové listy, manuály, doplˇ nkov´ y SW a tato diplomová práce ve formátu PDF.

Seznam hlavn´ıch adresáˇr˚ u: • BF561 code: zdrojov´ y kód pro DSP procesor ADSP-BF561 • BF561 documents: manuály a katalogové listy k DSP procesoru ADSP-BF561 • Bluetechnix : manuály, katalogové listy, v´ ykresy k v´ yvojovému kitu a kamerám • Diploma thesis: text této DP v PDF formátu • DSP processors: informace o DSP procesorech • Matlab: zdrojové kódy a data pro prostˇred´ı Matlab, Camera Calibration Toolbox • VisualDSP : manuály a update k v´ yvojovému prostˇred´ı Visual DSP++ 5.0

XII

Fakulta elektrotechnická. Orientace v prostoru

Recommend Documents