Fakulta elektrotechnick

ˇ ´ VYSOKE ´ UCEN ˇ Í TECHNICKE ´ V PRAZE CESK E Fakulta elektrotechnická

´ RSK ˇ ´ PRACE ´ BAKALA A Optická ˇcteˇcka

Praha, 2012

Autor: Tom´ aˇ s Reichl

i

Podˇ ekov´ an´ı Dˇekuji pˇredevˇs´ım vedouc´ımu bakaláˇrské práce prof. Ing. Pavlu Zahradn´ıkovi, CSc. za cenné pˇripom´ınky a rady pˇri ˇreˇsen´ı bakaláˇrské práce. Dále bych chtˇel podˇekovat své rodinˇe za podporu bˇehem dosavadn´ıho studia.

ii

Abstrakt Tato práce se zab´ yvá návrhem algoritm˚ u a následnˇe vytvoˇren´ım softwaru v programovac´ım jazyce C, kter´ y by byl schopen v daném hardwaru a za pomoci kamery, rozpoznat sedmisegmentové znaky na mˇeˇric´ıch pˇr´ıstroj´ıch. V této práci jsou dále popsány základn´ı pojmy a metody pro poˇc´ıtaˇcové vidˇen´ı a strojové rozpoznáván´ı. Pro návrh a ladˇen´ı algoritmu je pouˇzito v´ yvojové prostˇred´ı Matlab. V posledn´ı ˇca´sti je probrána implementace algoritmu do signálového procesoru TMS320DM6437 firmy Texas Instruments a dosaˇzené v´ ysledky pˇri rozpoznáván´ı.

iii

Abstract This work deals with design algorithms and create software in programming language C, which would be capable of camera-based recognizing the seven-segment characters on measuring instruments. This paper also describes the basic concepts and methods for computer vision and machine recognition. For the design and debugging algorithm is used the Matlab environment. The last section discussed the implementation of the algorithm to the signal processor Texas Instruments TMS320DM6437 and the results achieved in the recognition.

iv

v

Obsah Seznam obr´ azk˚ u

ix

Seznam tabulek

x

´ 1 Uvod 1.1 Poˇc´ıtaˇcové vidˇen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 C´ıle práce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1 1 1

2 Z´ akladn´ı pojmy poˇ c´ıtaˇ cov´ eho vidˇ en´ı 2.1 Reprezentace obrazu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Základn´ı postup pˇri rozpoznáván´ı . . . . . . . . . . . . . . . . . . . . . . .

3 3 6

3 N´ avrh algoritmu 3.1 Sn´ımán´ı obrazu . . . . . . . . . . . . . . . . 3.2 Pˇredzpracován´ı . . . . . . . . . . . . . . . . 3.3 Segmentace obrazu . . . . . . . . . . . . . . 3.3.1 Prahován´ı . . . . . . . . . . . . . . . 3.3.2 Adaptivn´ı prahován´ı . . . . . . . . . 3.3.3 Segmentace zaloˇzená na detekci hran 3.3.4 Filtrace binárn´ıho ˇsumu . . . . . . . 3.3.5 Identifikace objekt˚ u. . . . . . . . . . 3.4 Lokalizace sedmisegmentov´ ych znak˚ u . . . . 3.4.1 Odstranˇen´ı nevhodn´ ych objekt˚ u . . . 3.4.2 Sjednocen´ı objekt˚ u . . . . . . . . . . 3.4.3 Nalezen´ı znak˚ u . . . . . . . . . . . . 3.4.4 Detekce desetinné teˇcky . . . . . . . 3.5 Klasifikace objekt˚ u . . . . . . . . . . . . . . vi

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

8 8 9 11 11 13 13 15 15 17 17 18 20 21 22

3.6

V´ ysledky návrhu v Matlabu . . . . . . . . . . . . . . . . . . . . . . . . . .

23

4 Implementace 4.1 Seznámen´ı s procesorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Pˇrepis kódu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ˇ 4.3 Casov´ a optimalizace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26 26 27 29

5 Experiment´ aln´ı v´ ysledky

32

6 Z´ avˇ er

35

Literatura

36

A Seznam pouˇ zit´ eho software

I

vii

Seznam obr´ azk˚ u 1.1

Vzor sedmisegmentového znaku . . . . . . . . . . . . . . . . . . . . . . . .

2

2.1 2.2 2.3 2.4 2.5

ˇ Ctvercov´ a (vlevo) a hexagonáln´ı (vpravo) mˇr´ıˇzka . . . . . . . . . . . . . . . Histogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-sousedstv´ı (vlevo) a 8-sousedstv´ı (vpravo) . . . . . . . . . . . . . . . . . Pˇr´ıklad oblasti v 4-sousedstv´ı (vlevo) a 8-sousedstv´ı (vpravo) . . . . . . . . Transformace jasové stupnice - transformace pro zv´ yˇsen´ı kontrastu (ˇcervenˇe), prahován´ı (ˇcernˇe) a negativ (modˇre) . . . . . . . . . . . . . . . . . . . . .

4 4 5 5

Pˇr´ıklad sejmutého obrazu . . . . . . . . . . . . . . . . . . . . . . . . . . . V´ ychoz´ı obraz s n´ızk´ ym kontrastem (vlevo) a obraz s ekvalizovan´ ym histogramem (vpravo) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 Histogram obrazu s n´ızk´ ym kontrastem (vlevo) a ekvalizovan´ y histogram (vpravo) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4 V´ ysledek prahován´ı s n´ızk´ ym prahem (vlevo), se správnˇe nastaven´ ym prahem (uprostˇred) a s vysok´ ym prahem (vpravo) . . . . . . . . . . . . . . . . 3.5 Urˇcen´ı hodnoty prahu z histogramu . . . . . . . . . . . . . . . . . . . . . . 3.6 V´ ysledek prahován´ı Niblackovou metodou pro lokáln´ı okol´ı 11×11 (vlevo) a 21×21 (vpravo) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.7 Cannyho hranov´ y detektor . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.8 Filtraˇcn´ı maska (vlevo), pˇr´ıklad stavu splˇ nuj´ıc´ı (uprostˇred) a nesplˇ nuj´ıc´ı (vpravo) podm´ınku 3.5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.9 V´ ysledek filtrován´ı ˇsumu - vlevo originál, vpravo v´ ystupn´ı obraz . . . . . . 3.10 Maska pro barven´ı ve 4-sousednosti (vlevo) a 8-sousednosti (vpravo) . . . . 3.11 Algoritmus barven´ı pro 4-sousedstv´ı - v´ ychoz´ı obraz (vlevo), obraz po prvn´ım pr˚ uchodu (uprostˇred), obraz po druhém pr˚ uchodu (vpravo) . . . . . . . . . 3.12 Odstranˇen´ı nevhodn´ ych objekt˚ u - vlevo originál, vpravo v´ ystupn´ı obraz . .

9

3.1 3.2

viii

6

10 11 12 12 14 15 16 16 17 17 19

3.13 3.14 3.15 3.16 3.17 3.18 3.19 3.20 3.21

Procházen´ı hranice objekt˚ u (ˇcervenˇe) . . . . . . . . . . . . . . . . . . . . . Sjednocen´ı objekt˚ u - vlevo originál, vpravo v´ ystupn´ı obraz . . . . . . . . . Nalezen´ı pozice znak˚ u (ˇcervenˇe) . . . . . . . . . . . . . . . . . . . . . . . . Pˇredpokládané oblasti desetinné teˇcky (zelenˇe) . . . . . . . . . . . . . . . . Klasifikaˇcn´ı tˇr´ıdy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Detekce segment˚ u ve znaku . . . . . . . . . . . . . . . . . . . . . . . . . . Pˇr´ıklad správnˇe rozpoznaného sn´ımku - rozpoznaná hodnota 155.7 . . . . . Pˇr´ıklad správnˇe rozpoznaného sn´ımku - rozpoznaná hodnota 608.0 . . . . . Pˇr´ıklad ˇspatnˇe rozpoznaného sn´ımku - nenalezen druh´ y znak vlivem odrazu pˇredmˇetu v displeji, rozpoznaná hodnota 11.4 . . . . . . . . . . . . . . . . 3.22 Pˇr´ıklad ˇspatnˇe rozpoznaného sn´ımku - nesprávnˇe detekovaná desetinná teˇcka, rozpoznaná hodnota 1.401 . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.23 Pˇr´ıklad ˇspatnˇe rozpoznaného sn´ımku - chybná klasifikace tˇret´ıho znaku vlivem n´ızkého kontrastu, rozpoznaná hodnota 17X.0 . . . . . . . . . . . . .

19 20 21 21 22 22 24 24 25 25 25

4.1 4.2

V´ yvojov´ y modul TMS320DM6437 EVM . . . . . . . . . . . . . . . . . . . 26 Blokové schéma v´ yvojového modulu TMS320DM6437 EVM (pˇrevzato z [11]) 27

5.1

V´ ysledek rozpoznáván´ı zobrazen´ y na v´ ychoz´ım obrazu (vlevo) a na obrazu po segmentaci (vpravo) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . V´ ysledek rozpoznáván´ı zobrazen´ y na v´ ychoz´ım obrazu (vlevo) a na obrazu po segmentaci (vpravo) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.2

ix

34 34

Seznam tabulek 3.1 3.2

Nastaven´ı parametr˚ u objekt˚ u . . . . . . . . . . . . . . . . . . . . . . . . . V´ ysledky rozpoznáván´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18 23

4.1 4.2 4.3

V´ ypoˇcetn´ı doba algoritmu pˇred optimalizac´ı . . . . . . . . . . . . . . . . . V´ ypoˇcetn´ı doba algoritmu po optimalizaci . . . . . . . . . . . . . . . . . . Srovnán´ı v´ ypoˇcetn´ı doby algoritmu pˇred a po optimalizaci . . . . . . . . .

30 30 30

5.1 5.2 5.3

V´ ysledky rozpoznáván´ı pro mˇeˇric´ı pˇr´ıstroj Voltcraft VC220 . . . . . . . . . V´ ysledky rozpoznáván´ı pro mˇeˇric´ı pˇr´ıstroj Solid RE830D . . . . . . . . . . Shrnut´ı v´ ysledk˚ u rozpoznáván´ı . . . . . . . . . . . . . . . . . . . . . . . . .

33 33 33

x

Kapitola 1 ´ Uvod 1.1

Poˇ c´ıtaˇ cov´ e vidˇ en´ı

S rozvojem v´ ypoˇcetn´ı techniky se zrodil nov´ y perspektivn´ı obor - poˇc´ıtaˇcové vidˇen´ı, kter´ y si klade za c´ıl vytváˇret a zpracovávat informace ze zachyceného digitalizovaného obrazu. Metody poˇc´ıtaˇcového vidˇen´ı maj´ı uplatnˇen´ı v mnoha oborech jako robotika, doprava nebo medic´ına. Jednou z u ´loh poˇc´ıtaˇcového vidˇen´ı je nalezen´ı a urˇcen´ı alfanumerick´ ych znak˚ u z naskenovaného nebo nasn´ımaného obrazu naz´ yvané optické rozpoznáván´ı znak˚ u (Optical Character Recognition). Optické rozpoznáván´ı znak˚ u je zaloˇzené na detekci a klasifikaci objekt˚ u, které sv´ ym charakterem nejv´ıce odpov´ıdaj´ı hledan´ ym znak˚ um. Je tˇreba podotknout, ˇze samotn´ y problém zpracován´ı obrazu je velice sloˇzit´ y, protoˇze kaˇzd´ y obraz je zat´ıˇzen ˇsumem a chybou vzniklou digitalizac´ı obrazu. Proces optického rozpoznáván´ı znak˚ u nen´ı nikdy naprosto bezchybn´ y, ale je jen v´ıce ˇci ménˇe pˇresn´ y.

1.2

C´ıle pr´ ace

C´ılem této práce je navrhnout algoritmy a realizovat zaˇr´ızen´ı pro rozpoznáván´ı sedmisegmentov´ ych ˇc´ıseln´ ych u ´daj˚ u na mˇeˇr´ıc´ıch pˇr´ıstroj´ıch. Zamˇeˇr´ıme se na mˇeˇric´ı pˇr´ıstroje s LCD displejem, na kterém jsou u ´daje prezentovány tmavou barvou na svˇetlém pozad´ı. Ke sn´ımán´ı obrazu pouˇzijeme polovodiˇcov´ y obrazov´ y sn´ımaˇc. Návrh, ladˇen´ı a testován´ı algoritmu provedeme v prostˇred´ı Matlab, které poskytuje potˇrebnou podporu obrazového zpracován´ı. Následnˇe pˇrevedeme zdrojov´ y kód do jazyka C a implementujeme do vhodného mikroprocesoru. V´ ysledné zaˇr´ızen´ı se bude skládat z obrazového sn´ımaˇce, mikroprocesoru 1

´ KAPITOLA 1. UVOD a v´ ystupu pro pˇripojen´ı k dalˇs´ımu zaˇr´ızen´ı. Toto zaˇr´ızen´ı by mohlo naj´ıt uplatnˇen´ı napˇr. pro zapisován´ı mˇeˇrené veliˇciny z pˇr´ıstroje, kter´ y nedisponuje digitáln´ım v´ ystupem nebo pro kalibraci mˇeˇr´ıc´ıch pˇr´ıstroj˚ u. Zadaná u ´loha je podobná u ´loze optického rozpoznáván´ı znak˚ u, ale je tˇreba upozornit na nˇekteré odliˇsnosti. 1. Hledané sedmisegmentové znaky nejsou spojitˇe spojeny, ale skládaj´ı se z jednotliv´ ych segment˚ u, které mohou b´ yt po segmentaci obrazu rozdˇeleny do v´ıce objekt˚ u. Vzor sedmisegmentového znaku je vidˇet na obrázku 1.1. Pˇri hledán´ı objekt˚ u, které odpov´ıdaj´ı sedmisegmentov´ ym znak˚ um je proto tˇreba s t´ımto omezen´ım poˇc´ıtat. Tento problém je popsán v kapitole 3.4. 2. Pˇri sn´ımán´ı mˇeˇr´ıc´ıch pˇr´ıstroj˚ u docház´ı velmi ˇcasto ke sn´ıˇzen´ı kontrastu ˇc´ıseln´ ych u ´daj˚ u, vlivem nedostateˇcného osvˇetlen´ı LCD displeje. Je proto nutné navrhnout robustn´ı segmentaˇcn´ı metody, pˇr´ıpadnˇe pouˇz´ıt vhodnou jasovou transformaci. T´ımto problémem se zab´ yvá kapitola 3.3.

Obrázek 1.1: Vzor sedmisegmentového znaku

2

Kapitola 2 Z´ akladn´ı pojmy poˇ c´ıtaˇ cov´ eho vidˇ en´ı V této kapitole vysvˇetl´ıme základn´ı pojmy a metody poˇc´ıtaˇcového vidˇen´ı, které budeme v této práci pouˇz´ıvat. V´ıce informac´ı o poˇc´ıtaˇcovém vidˇen´ı je moˇzno naj´ıt napˇr. v [1].

2.1

Reprezentace obrazu

Abychom mohli s obrazem pracovat, mus´ıme nejdˇr´ıve spojit´ y signál pˇrevést do digitáln´ı podoby. Digitalizace obrazu je dosaˇzeno vzorkován´ım obrazu do koneˇcného mnoˇzstv´ı obrazov´ ych bod˚ u, které oznaˇcujeme jako obrazové elementy a kvantován´ım jasu do nˇekolika diskrétn´ıch hladin. Velmi d˚ uleˇzitá je volba mnoˇzstv´ı obrazov´ ych element˚ u a velikosti vzorˇ kovac´ıho intervalu. C´ım vˇetˇs´ı bude poˇcet obrazov´ ych element˚ u a menˇs´ı vzorkovac´ı interval, t´ım vˇerohodnˇeji bude obraz reprezentovat origináln´ı obraz. Digitalizace obrazu je nejˇcastˇeji souˇcást´ı samotného sn´ımac´ıho zaˇr´ızen´ı, a proto se touto problematikou nebudeme bl´ıˇze zab´ yvat. U barevn´ ych digitáln´ıch obraz˚ u mus´ı kaˇzd´ y obrazov´ y element nav´ıc obsahovat informaci o barevné sloˇzce. To, jak´ ym zp˚ usobem je informace o jasu a barvˇe v obrazovém elementu uloˇzena, urˇcuje tzv. barevn´ y model. V této práci budeme pracovat s dvˇema barevn´ ymi modely – RGB a YCbCr. RGB model je aditivn´ı model zaloˇzen´ y na zastoupen´ı ˇcervené, zelené a modré sloˇzky. M´ıchán´ım tˇechto sloˇzek vzniká v´ ysledná barva a intenzita barevn´ ych sloˇzek urˇcuje jas. U YCbCr modelu pˇredstavuje sloˇzka Y jas a kombinace sloˇzek Cb, Cr udávaj´ı barvu. D˚ uleˇzit´ ym pojmem reprezentace obrazu je vzorkovac´ı mˇr´ıˇzka. Vzorkovac´ı mˇr´ıˇzka definuje uspoˇrádán´ı jednotliv´ ych obrazov´ ych element˚ u. Nejˇcastˇeji pouˇz´ıváme mˇr´ıˇzky ˇctvercové ˇ a mˇr´ıˇzky hexagonáln´ı. Ctvercov´ a mˇr´ıˇzka je velmi snadno realizovatelná a vycház´ı z kon3

´ Í POJMY POC ˇ ÍTACOV ˇ ´ ˇ Í KAPITOLA 2. ZAKLADN EHO VIDEN

strukce sn´ımac´ıch zaˇr´ızen´ı. V´ yhodou hexagonáln´ı mˇr´ıˇzky je symetriˇcnost vzhledem k okoln´ım obrazov´ ym element˚ um. Tvar obou vzorkovac´ıch mˇr´ıˇzek je znázornˇen na obrázku 2.1. V naˇsem pˇr´ıpadˇe budeme pouˇz´ıvat mˇr´ıˇzku ˇctvercovou.

ˇ Obrázek 2.1: Ctvercov´ a (vlevo) a hexagonáln´ı (vpravo) mˇr´ıˇzka

Histogram Grafické znázornˇen´ı zastoupen´ı jednotliv´ ych jasov´ ych hladin v obrazu vyjadˇruje histogram. Histogram je graf, kter´ y na vodorovné ose vyznaˇcuje jasové hladiny a na svislé ose ˇcetnosti jednotliv´ ych jasov´ ych hladin v celém obrazu. Histogram je d˚ uleˇzit´ ym prostˇredkem pro jasové transformace a korekce v obrazu. Pˇr´ıklad histogramu m˚ uˇzeme vidˇet na obrázku 2.2.

Obrázek 2.2: Histogram

Oblasti Pro obrazov´ y element definujeme jeho souseda jako element, kter´ y patˇr´ı do jeho sousedstv´ı. Pro ˇctvercové vzorkovac´ı mˇr´ıˇzky uvaˇzujeme nejˇcastˇeji 4-sousedstv´ı a 8-sousedstv´ı 4


(obr 2.3). Mnoˇzinu obrazov´ ych element˚ u v binárn´ım obraze, které jsou vzájemnˇe sousedy v daném sousedstv´ı a maj´ı spoleˇcnou hodnotu, budeme oznaˇcovat jako oblast. Na obrázku 2.4 jsou znázornˇeny pˇr´ıklady oblast´ı ve 4-sousedstv´ı a v 8-sousedstv´ı. Oblasti v obraze, které odpov´ıdaj´ı pˇredmˇet˚ um v reálném prostˇred´ı interpretujeme jako objekty. Tyto pojmy budeme ˇcasto pouˇz´ıvat pro segmentaˇcn´ı techniky.

Obrázek 2.3: 4-sousedstv´ı (vlevo) a 8-sousedstv´ı (vpravo)

Obrázek 2.4: Pˇr´ıklad oblasti v 4-sousedstv´ı (vlevo) a 8-sousedstv´ı (vpravo)

Transformace jasov´ e stupnice C´ılem transformace jasové stupnice je pˇriˇradit vˇsem jasov´ ym hodnotám novou hodnotu jasu. Je stejná pro vˇsechny obrazové elementy v obraze. Transformace stupnice jasu q na novou stupnici p je dána vztahem (vztah pˇrevzat z [1]) q = T (p)

(2.1)

Transformace rozdˇelujeme na lineárn´ı a nelineárn´ı. Lineárn´ı transformace umoˇzn ˇuje zpˇetné pˇreveden´ı na v´ ychoz´ı stupnici. Mezi základn´ı transformace jasové stupnice ˇrad´ıme trans-

5


formaci pro zv´ yˇsen´ı kontrastu, prahován´ı a negativ (obrázek 2.5). Speciáln´ım typem transformace je ekvalizace histogramu.

Obrázek 2.5: Transformace jasové stupnice - transformace pro zv´ yˇsen´ı kontrastu (ˇcervenˇe), prahován´ı (ˇcernˇe) a negativ (modˇre)

2.2

Z´ akladn´ı postup pˇ ri rozpozn´ av´ an´ı

Základn´ı postup pˇri rozpoznáván´ı obrazu m˚ uˇzeme rozdˇelit do následuj´ıc´ıch krok˚ u • Sn´ımán´ı a digitalizace obrazu • Pˇredzpracován´ı • Segmentace obrazu • Popis objekt˚ u • Klasifikace Poznamenejme, ˇze pouˇzité rozdˇelen´ı nen´ı jednoznaˇcné, protoˇze v r˚ uzn´ ych literaturách se m˚ uˇzeme setkat s jin´ ym dˇelen´ım. Volba jednotliv´ ych krok˚ u je závislá na konkrétn´ı u ´loze a potˇrebách autora.

Sn´ım´ an´ı a digitalizace obrazu Nejd˚ uleˇzitˇejˇs´ım krokem je vlastn´ı z´ıskán´ı obrazu. Sn´ımán´ım obrazu rozum´ıme pˇrevod vstupn´ı optické veliˇciny na elektrick´ y signál. Abychom mohli obraz uloˇzit a následnˇe ho 6


zpracovat, mus´ıme jeho spojit´ y vstupn´ı signál digitalizovat. Digitalizac´ı jsme se zab´ yvali v kapitole 2.1. K zachycen´ı obrazu nejˇcastˇeji pouˇz´ıváme kameru, scanner nebo jiné sn´ımac´ı zaˇr´ızen´ı.

Pˇ redzpracov´ an´ı Z´ıskan´ y obraz m˚ uˇze b´ yt zkreslen a zat´ıˇzen ˇsumem vlivem zp˚ usobu sn´ımán´ı a digitalizace nebo ˇspatn´ ych optick´ ych podm´ınek. C´ılem pˇredzpracován´ı je toto zkreslen´ı odstranit nebo alespoˇ n ˇca´steˇcnˇe potlaˇcit. Dalˇs´ım u ´kolem pˇredzpracován´ı m˚ uˇze b´ yt zv´ yraznˇen´ı urˇcit´ ych rys˚ u v obraze nebo jiná u ´prava obrazu pro snadnˇejˇs´ı zpracován´ı. Tento krok b´ yvá ˇcasto vynechán a záleˇz´ı na kvalitˇe sejmutého obrazu a naˇsich potˇrebách.

Segmentace Nejtˇeˇzˇs´ım krokem v procesu rozpoznáván´ı je segmentace obrazu na jednotlivé objekty. Segmentace se snaˇz´ı oddˇelit objekty od pozad´ı. Za objekty zde budeme povaˇzovat ty ˇca´sti obrazu, které odpov´ıdaj´ı pˇredmˇet˚ um v reálném prostˇred´ı. Jen ve velmi ojedinˇel´ ych pˇr´ıpadech je moˇzné dosáhnout kompletn´ı segmentace, a proto se vˇetˇsinou snaˇz´ıme o co nejlepˇs´ı ˇca´steˇcnou segmentaci, která nalezne alespoˇ n nejv´ yraznˇejˇs´ı objekty. V´ ystupem segmentace ˇcasto b´ yvá binárn´ı obraz, kde oblasti s hodnotou jedna odpov´ıdaj´ı objekt˚ um a oblasti s nulovou hodnotou pˇredstavuj´ı pozad´ı.

Popis objekt˚ u Abychom mohli v segmentovaném obraze naj´ıt objekty, které nás zaj´ımaj´ı, mus´ıme je vhodn´ ym zp˚ usobem popsat. Zp˚ usob popisu by mˇel b´ yt zvolen tak, aby co nejlépe charakterizoval tvar objektu. Nejˇcastˇeji objekty popisujeme pomoc´ı souboru ˇc´ıseln´ ych charakteristik. Tyto ˇc´ıselné u ´daje oznaˇcujeme jako pˇr´ıznaky. Pˇr´ıkladem velmi jednoduchého popisu objektu m˚ uˇze b´ yt velikost jeho v´ yˇsky, ˇs´ıˇrky nebo plochy.

Klasifikace Fináln´ım krokem je klasifikace nalezen´ ych objekt˚ u. Pˇri klasifikaci se snaˇz´ıme nalezené pˇredmˇety zaˇradit do pˇredem definovan´ ych tˇr´ıd. Testovan´ y objekt zaˇrad´ıme do takové tˇr´ıdy, která sv´ ym popisem nejlépe odpov´ıdá popisu testovaného objektu. Existuje celá ˇrada metod pro klasifikaci objekt˚ u a jsou popsány napˇr. v [7]. 7

Kapitola 3 N´ avrh algoritmu V této kapitole pop´ıˇseme navrhnut´ y postup rozpoznáván´ı v Matlabu a vysvˇetl´ıme pouˇzité metody. Cel´ y proces rozpoznáván´ı je rozdˇelen do nˇekolika krok˚ u, které popisuj´ı jednotlivé podkapitoly.

3.1

Sn´ım´ an´ı obrazu

Ke sn´ımán´ı obrazu pouˇzijeme barevnou webovou kameru Trust WB-1400T s USB v´ ystupem, rozliˇsen´ım 352 × 288 a barevnou hloubkou 24 bit˚ u. Rozliˇsen´ı kamery je pro u ´ˇcely naˇseho rozpoznáván´ı dostateˇcné a nav´ıc zaruˇc´ı menˇs´ı v´ ypoˇcetn´ı nároˇcnost neˇz u kamer s vysok´ ym rozliˇsen´ım. Kamera disponuje manuáln´ım ostˇren´ım. Pro sejmut´ı a uloˇzen´ı obrazu v Matlabu pouˇz´ıváme následuj´ıc´ı pˇr´ıkazy cam = videoinput(’winvideo’,1,’RGB24_352x288’); preview(cam) obr = getsnapshot(cam); Prvn´ım pˇr´ıkazem zvol´ıme kameru pro vytvoˇren´ı video vstupu. Pro urˇcen´ı parametr˚ u zvoleného sn´ımac´ıho zaˇr´ızen´ı m˚ uˇzeme pouˇz´ıt pˇr´ıkaz imaqhwinfo(). Druh´ y pˇr´ıkaz slouˇz´ı k zapnut´ı náhledu kamery. Posledn´ım pˇr´ıkazem provedeme sejmut´ı obrazu a uloˇzen´ı do promˇenné obr. V´ ystupn´ı obraz je uloˇzen do trojrozmˇerné matice 288 × 352 × 3. Matlab pouˇz´ıvá pro uloˇzen´ı a správu obrázk˚ u barevn´ y model RGB. Pˇr´ıklad sejmutého obrázku mˇeˇric´ıho pˇr´ıstroje je na obrázku 3.1.

8

´ KAPITOLA 3. NAVRH ALGORITMU

Obrázek 3.1: Pˇr´ıklad sejmutého obrazu

3.2

Pˇ redzpracov´ an´ı

C´ılem pˇredzpracován´ı je upravit obraz pro zpracován´ı a dalˇs´ı metody. V tomto kroku se snaˇz´ıme odstranit ˇsum a zkreslen´ı vzniklé pˇri sn´ımán´ı obrazu nebo zv´ yraznit ˇci potlaˇcit nˇekteré rysy.

Pˇ revod do ˇ cernob´ıl´ eho form´ atu Vˇetˇsina segmentaˇcn´ıch metod pracuje s monochromatick´ ym obrazem. Proto v prvn´ı fázi pˇrevedeme uloˇzen´ y barevn´ y obrázek do ˇcernob´ılého formátu. Dopust´ıme se t´ım ˇcásteˇcné ztráty informace, avˇsak tato informace nen´ı pro naˇsi u ´lohu podstatná. Barevná informace je nav´ıc závislá na dalˇs´ıch parametrech a má tak pro proces rozpoznáván´ı malou vypov´ıdac´ı hodnotu. Pro pˇrevod barevného modelu RGB do ˇcernob´ılého formátu existuje celá ˇrada metod. My vybereme pˇrevod, kter´ y je popsán v [4] a je urˇcen následuj´ıc´ım vztahem Y (i, j) = 0.299 R(i, j) + 0.587 G(i, j) + 0.114 B(i, j)

(3.1)

pro kaˇzd´ y obrazov´ y element ˇra´dku i a sloupce j v obraze. Pˇreveden´ y obraz tak bude uloˇzen v dvourozmˇerné matici s rozmˇery 288 × 352.

Filtrace ˇ sumu C´ılem filtrace je odstranˇen´ı náhodného ˇsumu v obrazu, kter´ y je zp˚ usoben sn´ımac´ım zaˇr´ızen´ım, digitalizac´ı obrazu nebo ˇspatn´ ymi optick´ ymi podm´ınkami. Mezi nejpouˇz´ıvanˇejˇs´ı metody k odstranˇen´ı ˇsumu patˇr´ı filtrace pr˚ umˇerován´ım a filtrace metodou mediánu. Fil-

9


trace pr˚ umˇerován´ım je zaloˇzena na urˇcen´ı hodnoty jasu aritmetick´ ym pr˚ umˇerem jeho okol´ı. U filtrace metodou mediánu urˇc´ıme hodnotu nového jasu jako medián v lokáln´ım okol´ı. Obˇe metody u ´spˇeˇsnˇe vyhlazuj´ı obrázek a odstraˇ nuj´ı ˇsum, ale docház´ı pˇri nich k rozmazáván´ı hran v obraze, a proto ˇza´dnou filtraci v tomto návrhu aplikovat nebudeme.

Ekvalizace histogramu Sn´ıman´ y obraz m˚ uˇze m´ıt vlivem ˇspatn´ ych okoln´ıch podm´ınek n´ızk´ y kontrast. Jednou z metod pro automatické zv´ yˇsen´ı kontrastu sn´ımku je ekvalizace histogramu. Jedná se o transformaci jasové stupnice (viz. kapitola 2.1), která se snaˇz´ı vyrovnat zastoupen´ı vˇsech jasov´ ych hodnot. Uvedená transformace je v diskrétn´ım pˇr´ıpadˇe dána vztahem (vztah pˇrevzat z [1]) p q k − q0 X H(i) + q0 (3.2) q = T (p) = N 2 i=p0 kde p = hp0 , pk i pˇredstavuje vstupn´ı jasovou stupnici, q = hq0 , qk i pˇredstavuje v´ ystupn´ı 2 jasovou stupnici, N poˇcet obrazov´ ych element˚ u v obraze a H(i) hodnotu histogramu pro jas i. Na obrázku 3.2 m˚ uˇzeme vidˇet pˇr´ıklad v´ ychoz´ıho sn´ımku s n´ızk´ ym kontrastem a sn´ımku s ekvalizovan´ ym histogramem. Ekvalizace histogramu zvyˇsuje kontrast obrazu, ale zároveˇ n docház´ı ke zkreslen´ı nˇekter´ ych ˇcást´ı obrazu (napˇr. hran). Proto ji ve v´ ysledném algoritmu nepouˇzijeme.

Obrázek 3.2: V´ ychoz´ı obraz s n´ızk´ ym kontrastem (vlevo) a obraz s ekvalizovan´ ym histogramem (vpravo)

10


Obrázek 3.3: Histogram obrazu s n´ızk´ ym kontrastem (vlevo) a ekvalizovan´ y histogram (vpravo)

3.3

Segmentace obrazu

V tomto kroku se budeme snaˇzit naj´ıt vhodnou metodu pro segmentaci obrazu. C´ılem segmentace je oddˇelit ˇca´sti obrazu, které odpov´ıdaj´ı pˇredmˇet˚ um v reálném prostˇred´ı od pozad´ı. Na zvolené segmentaˇcn´ı technice závis´ı robustnost celého rozpoznáván´ı, a proto j´ı budeme vˇenovat zv´ yˇsenou pozornost. V této práci se zamˇeˇr´ıme na metody vyuˇz´ıvaj´ıc´ı prahován´ı a metody zaloˇzené na detekci hran.

3.3.1

Prahov´ an´ı

Nejjednoduˇsˇs´ı metodou segmentace obrazu je prahován´ı. Princip této metody spoˇc´ıvá v porovnáván´ı jasové hodnoty kaˇzdého obrazového elementu vzhledem k urˇcité stanovené mezi. Tuto mez oznaˇcujeme jako práh. Obrazové elementy s hodnotou jasu menˇs´ı neˇz zvolen´ y práh oznaˇc´ıme jako objekty a ostatn´ı obrazové elementy oznaˇc´ıme jako pozad´ı (pˇr´ıpadnˇe naopak). Prahován´ı je vlastnˇe transformac´ı jasové stupnice, kterou m˚ uˇzeme popsat následuj´ıc´ım vztahem q(i, j) =

  

1, 0,

pro p(i, j) ≥ T pro p(i, j) < T

(3.3)

kde p oznaˇcuje vstupn´ı jasovou stupnici, q v´ ystupn´ı jasovou stupnici a T zvolen´ y práh. V´ yhodou prahován´ı je velmi malá v´ ypoˇcetn´ı nároˇcnost. Na obrázku 3.4 m˚ uˇzeme vidˇet

11


pˇr´ıklad prahován´ı s n´ızk´ ym prahem, vysok´ ym prahem a se správnˇe nastaven´ ym prahem. Pro správnou funkci prahován´ı je podstatná správná volba prahu.

Obrázek 3.4: V´ ysledek prahován´ı s n´ızk´ ym prahem (vlevo), se správnˇe nastaven´ ym prahem (uprostˇred) a s vysok´ ym prahem (vpravo)

Metody urˇ cov´ an´ı prahu Pokud známe pˇredpokládané procentuáln´ı zastoupen´ı objekt˚ u v obraze (napˇr. u ´loha segmentace tiˇstˇeného textu na pap´ıˇre), m˚ uˇzeme pouˇz´ıt prahovan´ı zaloˇzené na této apriorn´ı znalosti. Tuto metodu pak oznaˇcujeme jako procentuáln´ı prahován´ı. Oznaˇcme procentuáln´ı zastoupen´ı objekt˚ u v obraze jako p. Hodnotu prahu potom zvol´ıme tak, aby p procent plochy v obraze mˇelo menˇs´ı hodnotu jasu neˇz práh T (pˇr´ıpadnˇe naopak). Sloˇzitˇejˇs´ı metoda urˇcen´ı prahu je zaloˇzena na anal´ yze histogramu. Pokud histogram obrazu vykazuje dva oddˇelené vrcholy (tzv. bimodáln´ı histogram), m˚ uˇzeme práh urˇcit jako hodnotu jasu s nejmenˇs´ı ˇcetnost´ı mezi obˇema vrcholy (obrázek 3.5). Tato metoda je vˇsak pouˇzitelná pouze pro obraz, u kterého jsou objekty v´ yraznˇe jasovˇe odliˇseny od pozad´ı.

Obrázek 3.5: Urˇcen´ı hodnoty prahu z histogramu

12


Dosud jsme se zab´ yvali pouze prahován´ım, které pouˇz´ıvá jednotn´ y práh pro vˇsechny obrazové elementy v obrázku. Tento zp˚ usob prahován´ı ˇcasto oznaˇcujeme jako prahován´ı globáln´ı. Toto prahován´ı m˚ uˇzeme pouˇz´ıt jen pro obrazy, u kter´ ych je zaruˇceno konstantn´ı osvˇetlen´ı ve vˇsech ˇca´stech obrazu. Tato podm´ınka vˇsak ve vˇetˇsinˇe pˇr´ıpad˚ u splnˇena nen´ı. Tento nedostatek odstraˇ nuje tzv. adaptivn´ı prahován´ı.

3.3.2

Adaptivn´ı prahov´ an´ı

U adaptivn´ıho prahován´ı je hodnota prahu urˇcena pro kaˇzdou ˇcást obrazu zvláˇst’. Velikost prahu se tak dynamicky mˇen´ı bˇehem procesu segmentace obrazu. Nejˇcastˇeji urˇcujeme hodnotu prahu pro kaˇzd´ y jednotliv´ y obrazov´ y element z jeho definovaného okol´ı. Dalˇs´ı moˇznost´ı je rozdˇelit obraz do nˇekolika pˇrekr´ yvaj´ıc´ıch se ˇca´st´ı a pro tyto ˇcásti urˇcit správn´ y práh. Adaptivn´ı prahován´ı vyuˇz´ıvá následuj´ıc´ı metoda.

Niblackova metoda Niblackova metoda je zaloˇzena na v´ ypoˇctu prahu ze stˇredn´ı hodnoty a smˇerodatné odchylky pro kaˇzd´ y obrazov´ y element z jeho lokáln´ıho okol´ı. Hodnotu prahu urˇc´ıme z následuj´ıc´ıho vztahu T (i, j) = m(i, j) + p s(i, j) (3.4) kde m(i, j) oznaˇcuje stˇredn´ı hodnotu lokáln´ıho okol´ı, s(i, j) smˇerodatnou odchylku lokáln´ıho okol´ı, p parametr prahován´ı a T (x, y) v´ ysledn´ y práh. Velikost lokáln´ıho okol´ı mus´ı b´ yt tak velká, aby zahrnula dostateˇcnou ˇcást objektu a pozad´ı a zároveˇ n tak malá, aby byla zaruˇcena konstantn´ı u ´roveˇ n osvˇetlen´ı v tomto v´ yˇrezu. Doporuˇcovaná hodnota parametru p je −0.2. V´ ysledek prahován´ı Niblackovou metodou m˚ uˇzeme vidˇet na obrázku 3.6.

3.3.3

Segmentace zaloˇ zen´ a na detekci hran

Dalˇs´ı skupinou metod urˇcené k segmentaci obrazu jsou metody zaloˇzené na detekci hran. Princip tˇechto metod vycház´ı z detekce hranic mezi objektem a pozad´ım. Tyto hranice nalezneme pouˇzit´ım hranového operátoru. V dalˇs´ım kroku spoj´ıme nalezené hrany, které pˇr´ısluˇsej´ı stejnému objektu a odstran´ıme hrany, které odpov´ıdaj´ı ˇsumu a nehomogenitám v obraze.

13


Obrázek 3.6: V´ ysledek prahován´ı Niblackovou metodou pro lokáln´ı okol´ı 11×11 (vlevo) a 21×21 (vpravo)

Cannyho hranov´ y detektor Jedn´ım z nejlepˇs´ıch a nejpouˇz´ıvanˇejˇs´ıch hranov´ ych detektor˚ u je Cannyho hranov´ y deˇ tektor. Casto b´ yvá oznaˇcován jako optimáln´ı hranov´ y detektor. Tento detektor se snaˇz´ı detekovat vˇsechny v´ yznamné hrany, minimalizovat poˇcet chybn´ ych hran, maximalizovat pˇresnost polohy hran a zabránit zdvojován´ı hran. Implementace Cannyho detektoru je pomˇernˇe sloˇzitá, a proto uvedeme jen základn´ı kroky algoritmu 1. odstranˇen´ı ˇsumu Gaussov´ ym filtrem 2. urˇcen´ı gradientu pomoc´ı vhodné masky 3. nalezen´ı lokáln´ıch maxim hodnot gradient˚ u 4. odstranˇen´ı nev´ yznamn´ ych hran prahován´ım s hysterez´ı Pˇr´ıklad segmentace obrazu Cannyho hranov´ ym detektorem je na obrázku 3.7. Nev´ yhodou této segmentaˇcn´ı metody je velk´ y poˇcet vstupn´ıch parametr˚ u a nutnost jejich správného nastaven´ı. Jako v´ yslednou segmentaˇcn´ı metodu pro náˇs návrh zvol´ıme Niblackovu metodu prahován´ı, která poskytuje nejlepˇs´ı v´ ysledky. Experimentálnˇe jsme urˇcili optimáln´ı velikost lokáln´ıho okol´ı 21 × 21.

14


Obrázek 3.7: Cannyho hranov´ y detektor

3.3.4

Filtrace bin´ arn´ıho ˇ sumu

Protoˇze zvolená segmentaˇcn´ı metoda zatˇeˇzuje obrázek binárn´ım ˇsumem, navrhneme jednoduch´ y filtr na odstranˇen´ı tohoto ˇsumu. Navrhnut´ y postup vycház´ı z algoritmu kFill (v´ıce informac´ı v [10]). U této filtrace pˇredpokládáme, ˇze nejmenˇs´ı velikost ˇs´ıˇrky a v´ yˇsky hledaného objektu je vˇetˇs´ı neˇz 3 pixely. Dále budeme uvaˇzovat pouze pˇr´ıtomnost ˇcerného ˇsumu na b´ılém pozad´ı (nˇekdy b´ yvá oznaˇcován jako ˇsum typu pepˇr“). ” Nejprve navrhneme filtraˇcn´ı masku 5 × 5, která se bude skládat z jádra a okol´ı (obrázek 3.8). Touto maskou projedeme cel´ y obrázek zleva doprava a shora dol˚ u. Oznaˇcme poˇcet nenulov´ ych pixel˚ u v okol´ı jako n a hodnotu pixelu ve stˇredu jádra jako s. Jádro filtraˇcn´ı masky pak vynulujeme, pokud plat´ı podm´ınka (s = 1) AND (n < 5)

(3.5)

T´ımto filtrem u ´spˇeˇsnˇe odstran´ıme ˇsum do velikosti 3 × 3. Prvn´ı podm´ınka ve vztahu 3.5 zaruˇcuje, ˇze v´ ypoˇcet provedeme jen pro ˇcásti obrazu s nenulov´ ym stˇredem filtraˇcn´ı masky, ˇc´ımˇz sn´ıˇz´ıme v´ ypoˇcetn´ı nároˇcnost algoritmu zhruba na polovinu. V´ ysledky navrhnutého postupu ukazuje obrázek 3.9.

3.3.5

Identifikace objekt˚ u

Abychom mohli se vznikl´ ymi objekty efektivnˇe pracovat, mus´ıme je od sebe vhodn´ ym zp˚ usobem odliˇsit. Jednou z moˇznost´ı je kaˇzdému objektu pˇriˇradit identifikaˇcn´ı ˇc´ıslo. Tento zp˚ usob identifikace naz´ yváme barven´ım. Princip této identifikace spoˇc´ıvá v obarven´ı“ ” kaˇzdého objektu unikátn´ı barvou. Barven´ım zde máme na mysli pˇriˇrazen´ı urˇcité hodnoty (barvy) vˇsem pixel˚ um odpov´ıdaj´ıc´ı jednomu objektu. Nejvyˇsˇs´ı identifikaˇcn´ı ˇc´ıslo pak udává 15


Obrázek 3.8: Filtraˇcn´ı maska (vlevo), pˇr´ıklad stavu splˇ nuj´ıc´ı (uprostˇred) a nesplˇ nuj´ıc´ı (vpravo) podm´ınku 3.5

Obrázek 3.9: V´ ysledek filtrován´ı ˇsumu - vlevo originál, vpravo v´ ystupn´ı obraz celkov´ y poˇcet objekt˚ u v obraze. Algoritmus barven´ı je detailnˇe popsán napˇr. v [1] a m˚ uˇzeme ho struˇcnˇe shrnout do následuj´ıc´ıch krok˚ u 1. procház´ıme po ˇrádc´ıch vˇsechny nenulové pixely 2. aktuáln´ımu pixelu pˇriˇrad´ıme hodnotu (barvu) podle jedné z následuj´ıc´ıch moˇznost´ı (a) pokud jsou vˇsechny sousedn´ı pixely odpov´ıdaj´ıc´ı masky (obrázek 3.10) nulové, pˇriˇrad´ıme mu novou dosud nepouˇzitou hodnotu (b) pokud maj´ı vˇsechny sousedn´ı nenulové pixely stejnou hodnotu, pˇriˇrad´ıme mu tuto hodnotu (c) pokud má v´ıce sousedn´ıch pixel˚ u r˚ uznou nenulovou hodnotu, pˇriˇrad´ıme mu jednu z tˇechto hodnot a zap´ıˇseme vˇsechny r˚ uzné hodnoty do seznamu ekvivalentn´ıch hodnot (tento stav oznaˇcujeme jako kolize barev)

16


3. projdeme vˇsechny nenulové pixely obrazu podruhé a pˇrebarv´ıme oblasti s v´ıce ekvivalentn´ımi hodnotami novou hodnotou shodnou pro celou aktuáln´ı oblast

Obrázek 3.10: Maska pro barven´ı ve 4-sousednosti (vlevo) a 8-sousednosti (vpravo) Popsan´ y postup ilustruje obrázek 3.11. Pro zajiˇstˇen´ı menˇs´ı v´ ypoˇcetn´ı nároˇcnosti a snazˇs´ı implementace pouˇzijeme pro náˇs návrh masku pro barven´ı ve 4-sousednosti. Vyhneme se t´ım nav´ıc sjednocen´ı objekt˚ u, které jsou spojeny diagonálnˇe pouze jedn´ım rohem a pravdˇepodobnˇe k sobˇe nepatˇr´ı. 0 0 0 0 0 0 0 0

0 1 0 1 0 1 1 0

0 0 0 1 0 0 1 0

0 1 0 1 1 0 0 0

0 1 1 1 1 1 1 0

0 1 1 1 1 1 1 0

0 0 0 0 0 1 0 0

0 1 1 0 1 1 0 0

0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0

0 1 0 4 0 6 6 0

0 0 0 4 0 0 6 0

0 2 0 4 4 0 0 0

0 2 2 2 2 2 2 0

0 2 2 2 2 2 2 0

0 0 0 0 0 2 0 0

0 3 3 0 5 5 0 0

0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0

0 1 0 2 0 4 4 0

0 0 0 2 0 0 4 0

0 2 0 2 2 0 0 0

0 2 2 2 2 2 2 0

0 2 2 2 2 2 2 0

0 0 0 0 0 2 0 0

0 3 3 0 2 2 0 0

0 0 0 0 0 0 0 0

Obrázek 3.11: Algoritmus barven´ı pro 4-sousedstv´ı - v´ ychoz´ı obraz (vlevo), obraz po prvn´ım pr˚ uchodu (uprostˇred), obraz po druhém pr˚ uchodu (vpravo)

3.4

Lokalizace sedmisegmentov´ ych znak˚ u

Po u ´spˇeˇsné segmentaci obrazu a identifikaci vˇsech objekt˚ u m˚ uˇzeme pˇrikroˇcit k procesu nalezen´ı objekt˚ u, které odpov´ıdaj´ı sedmisegmentov´ ym znak˚ um.

3.4.1

Odstranˇ en´ı nevhodn´ ych objekt˚ u

Segmentovan´ y obraz obsahuje velké mnoˇzstv´ı objekt˚ u a je nanejv´ yˇs vhodné v prvn´ı fázi odstranit objekty, u nichˇz je pˇredem jasné, ˇze nemohou b´ yt ˇca´stmi hledan´ ych sedmisegmentov´ ych znak˚ u. Tato redukce bude m´ıt pozitivn´ı vliv na v´ ypoˇcetn´ı dobu pˇri následném 17


zpracován´ı. Navrhneme proto jednoduch´ y algoritmus pro odstranˇen´ı tˇechto objekt˚ u. U testovan´ ych objekt˚ u pro nás bude rozhoduj´ıc´ı v´ yˇska objektu h, ˇs´ıˇrka objektu l a pomˇer mezi vlastn´ı v´ yˇskou a ˇs´ıˇrkou p. Nejprve je nutné zavést doln´ı a horn´ı mez pro pˇredchoz´ı parametry. Tyto meze závisej´ı na pouˇzitém vstupn´ım rozliˇsen´ı kamery, na vzdálenosti sn´ımán´ı mˇeˇric´ıho pˇr´ıstroje a na velikosti pˇredpokládan´ ych sedmisegmentov´ ych znak˚ u a je proto nutné je nastavit podle potˇreby. Nastaven´ı tˇechto hodnot pro náˇs návrh shrnuje tabulka 3.1. v´ yˇska h ˇs´ıˇrka l pomˇer p

doln´ı mez (xmin ) 5 5 0.2

horn´ı mez (xmax ) 140 80 9

Tabulka 3.1: Nastaven´ı parametr˚ u objekt˚ u Jelikoˇz m˚ uˇze b´ yt objektem jen ˇca´st sedmisegmentového znaku (napˇr. samostatn´ y segment), je tˇreba podle toho pˇrizp˚ usobit doln´ı meze parametr˚ u. Po urˇcen´ı tˇechto hodnot jiˇz m˚ uˇzeme implementovat vlastn´ı metodu pro odstranˇen´ı nevhodn´ ych objekt˚ u, která se skládá z následuj´ıc´ıch krok˚ u 1. projdeme vˇsechny objekty v obraze 2. urˇc´ıme v´ yˇsku h, ˇs´ıˇrku l a pomˇer p aktuáln´ıho objektu 3. objekt odstran´ıme z obrazu, jestliˇze plat´ı podm´ınka (h < hmin ) OR (h > hmax ) OR (l < lmin ) OR (l > lmax ) OR (p < pmin ) OR (p > pmax ) Obrázek 3.12 porovnává vstupn´ı a v´ ystupn´ı obraz této metody.

3.4.2

Sjednocen´ı objekt˚ u

Sedmisegmentové znaky jsou tvoˇreny jednotliv´ ymi segmenty, které jsou v závislosti na kvalitˇe segmentace nesourodˇe spojeny. Abychom mohli v obraze naleznout pozici sedmisegmentov´ ych znak˚ u, mus´ıme nejprve sjednotit oblasti odpov´ıdaj´ıc´ı segment˚ um jednoho znaku. Pro tento u ´ˇcel jsme navrhli vlastn´ı metodu sjednocen´ı objekt˚ u. Vyuˇz´ıváme pˇri tom apriorn´ı znalosti, ˇze vˇsechny segmenty hledaného znaku maj´ı shodnou ˇs´ıˇrku.

18


Obrázek 3.12: Odstranˇen´ı nevhodn´ ych objekt˚ u - vlevo originál, vpravo v´ ystupn´ı obraz V této metodˇe postupnˇe projdeme vˇsechny objekty v obraze. Pˇredpokládáme, ˇze kaˇzd´ y objekt m˚ uˇze b´ yt ˇcást´ı hledaného znaku. Pro aktuáln´ı objekt procház´ıme hranici jeho oblasti po smˇeru hodinov´ ych ruˇciˇcek a ve vzdálenosti l hledáme pˇr´ıtomnost sousedn´ıch objekt˚ u (obrázek 3.13). Pokud nalezneme ciz´ı sousedn´ı objekt, porovnáme ˇs´ıˇrku segmentu aktuáln´ıho objektu a ˇs´ıˇrku segmentu nalezeného objektu. Jestliˇze jsou tyto hodnoty pˇribliˇznˇe shodné, sjednot´ıme oba objekty. Sjednocen´ı je realizováno pˇrebarven´ım nalezeného objektu stejnou barvou (identifikaˇcn´ım ˇc´ıslem) jako p˚ uvodn´ı objekt. Vzdálenost prohledáván´ı l mus´ı b´ yt tak velká, aby zahrnula vˇsechny sousedn´ı segmenty, a zároveˇ n tak malá, aby nezasahovala do segment˚ u jin´ ych znak˚ u. V naˇsem pˇr´ıpadˇe je tato hodnota zvolena jako hodnota ˇs´ıˇrky segmentu aktuáln´ıho objektu. V´ ysledek sjednocen´ı objekt˚ u m˚ uˇzeme vizuálnˇe posoudit na obrázku 3.14.

Obrázek 3.13: Procházen´ı hranice objekt˚ u (ˇcervenˇe)

19


Obrázek 3.14: Sjednocen´ı objekt˚ u - vlevo originál, vpravo v´ ystupn´ı obraz

3.4.3

Nalezen´ı znak˚ u

V tomto kroku urˇc´ıme pozice vˇsech sedmisegmentov´ ych znak˚ u. Protoˇze bude naˇse lokalizace zaloˇzená na testován´ı shody objekt˚ u, je nutné, aby se ˇc´ıseln´ yu ´daj na mˇeˇric´ım pˇr´ıstroji skládal minimálnˇe ze dvou znak˚ u (tento pˇredpoklad je pro vˇetˇsinu mˇeˇric´ıch pˇr´ıstroj˚ u splnˇen). Maximáln´ı poˇcet znak˚ u nen´ı nijak omezen. Pˇri hledan´ı tˇechto znak˚ u budeme vycházet z toho, ˇze vˇsechny hledané znaky maj´ı pˇribliˇznˇe stejnou v´ yˇsku a pˇribliˇznˇe shodnou ˇs´ıˇrku jednotliv´ ych segment˚ u. Dále budeme pˇredpokládat, ˇze zachycen´ y obraz nen´ı v˚ uˇci mˇeˇric´ımu pˇr´ıstroji nijak v´ yraznˇe otoˇcen a hledané znaky se tak nacházej´ı vedle sebe, tj. maj´ı shodnou vertikáln´ı pozici v obraze. V navrhnutém postupu testujeme shodu vˇsech moˇzn´ ych dvojic objekt˚ u. Shodu testujeme vzhledem ke tˇrem parametr˚ um – v´ yˇsce objektu, ˇs´ıˇrce jednotliv´ ych segment˚ u a vertikáln´ı pozici v obraze. Pˇri testován´ı tˇechto parametr˚ u je tˇreba nastavit urˇcitou rezervu. Jestliˇze dvojici objekt˚ u vyhodnot´ıme jako shodnou, pˇridáme ji na seznam ekvivalentn´ıch objekt˚ u. V dalˇs´ı fázi sjednot´ıme dvojice ekvivalentn´ıch objekt˚ u ze seznamu do odpov´ıdaj´ıc´ıch mnoˇzin. Protoˇze se v zachyceném obraze m˚ uˇze nacházet v´ıce ˇc´ıseln´ ych u ´daj˚ u, bude pravdˇepodobnˇe vznikl´ ych mnoˇzin v´ıce neˇz jedna. V posledn´ı fázi proto z tˇechto mnoˇzin vybereme mnoˇzinu s nejvˇetˇs´ı v´ yˇskou jednotliv´ ych objekt˚ u. Pˇredpokládáme pˇri tom, ˇze ˇzádn´ y ˇc´ıseln´ yu ´daj na mˇeˇric´ım pˇr´ıstroji nen´ı vˇetˇs´ı neˇz mˇeˇren´ y ˇc´ıseln´ yu ´daj. Objekty v této mnoˇzinˇe pak seˇrad´ıme podle horizontáln´ı pozice v obraze. V´ ysledkem je tak posloupnost objekt˚ u odpov´ıdaj´ıc´ı hledan´ ym znak˚ u. Nalezen´ı a oznaˇcen´ı v´ ysledn´ ych znak˚ u ilustruje obrázek 3.15.

20


Obrázek 3.15: Nalezen´ı pozice znak˚ u (ˇcervenˇe)

3.4.4

Detekce desetinn´ e teˇ cky

Poté co urˇc´ıme pozici sedmisegmentov´ ych znak˚ u, pˇristoup´ıme k detekci desetinné teˇcky. Je tˇreba poznamenat, ˇze desetinná teˇcka nemá ˇza´dné charakteristické rysy a vlastn´ı tvar m˚ uˇze b´ yt pro r˚ uzné mˇeˇric´ı pˇr´ıstroje odliˇsn´ y. Urˇcen´ı pozice desetinné teˇcky je tak velice problematické. Objekt odpov´ıdaj´ıc´ı desetinnou teˇcce budeme hledat ve v´ yˇrezech mezi jednotliv´ ymi nalezen´ ymi sedmisegmentov´ ymi znaky (obrázek 3.16). Za desetinnou teˇcku vyhodnot´ıme takov´ y objekt, kter´ y splˇ nuje následuj´ıc´ı podm´ınku (p > 0.7) AND (p < 1.8) AND (l > 0.7s) AND (l < 1.5s) AND (A > 0.65s2 ) kde p je pomˇer mezi v´ yˇskou a ˇs´ıˇrkou objektu, l ˇs´ıˇrka objektu, s tlouˇst’ka segmentu pˇredchoz´ıho znaku a A plocha objektu (tj. poˇcet nenulov´ ych pixel˚ u objektu). Informaci o pozici desetinné teˇcky vyuˇzijeme pˇri sestaven´ı v´ ysledné klasifikované hodnoty.

Obrázek 3.16: Pˇredpokládané oblasti desetinné teˇcky (zelenˇe)

21


3.5

Klasifikace objekt˚ u

V tomto kroku se snaˇz´ıme identifikovat nalezené objekty, tj. zaˇradit kaˇzd´ y objekt do jedné z moˇzn´ ych klasifikaˇcn´ıch tˇr´ıd. Vˇetˇsina klasifikaˇcn´ıch metod je zaloˇzená na vytvoˇren´ı souboru mˇeˇren´ ych veliˇcin (tzv. pˇr´ıznak˚ u), které dostateˇcnˇe popisuj´ı dan´ y objekt a podle nichˇz objekt zaˇrad´ıme do konkrétn´ı tˇr´ıdy. Posloupnost tˇechto pˇr´ıznak˚ u tvoˇr´ı tzv. vektor pˇr´ıznak˚ u. V naˇsem pˇr´ıpadˇe je nejv´ yhodnˇejˇs´ı jako vektor pˇr´ıznak˚ u zvolit zastoupen´ı jednotliv´ ych segment˚ u ve znaku. Jestliˇze správnˇe detekujeme tyto segmenty, dokáˇzeme jednoznaˇcnˇe urˇcit, o jak´ y znak se jedná. Kaˇzd´ y sedmisegmentov´ y znak na mˇeˇric´ım pˇr´ıstroji, m˚ uˇze reprezentovat deset moˇzn´ ych hodnot 0, 1, 2, . . . , 9. Definujeme proto mnoˇzinu klasifikaˇcn´ıch tˇr´ıd C = {0, 1, 2, . . . , 9} (obrázek 3.17). Protoˇze se sedmisegmentov´ y znak skládá ze sedmi segment˚ u, vektor pˇr´ıznak˚ u bude m´ıt sedm prvk˚ u v = (v0 , v1 , v2 , . . . , v6 ), kde prvek vi pˇredstavuje zastoupen´ı segmentu si ve znaku. Dále definujeme, ˇze vi = 1, pokud je segment si v objektu pˇr´ıtomen, jinak vi = 0. Jednotlivé segmenty detekujeme anal´ yzou v´ yˇrezu objektu ve stˇredu pˇredpokládané pozice segmentu (obrázek 3.18). Speciáln´ım pˇr´ıpadem je znak 1, kter´ y se od ostatn´ıch znak˚ u liˇs´ı svou ˇs´ıˇrkou a pˇredpokládané pozice segment˚ u by tak byly vyhodnoceny ˇspatnˇe. Tento znak vˇsak snadno rozpoznáme podle specifického pomˇeru mezi v´ yˇskou a ˇs´ıˇrkou objektu.

Obrázek 3.17: Klasifikaˇcn´ı tˇr´ıdy

Obrázek 3.18: Detekce segment˚ u ve znaku 22


Navrhnut´ y klasifikátor potom m˚ uˇzeme zapsat následuj´ıc´ım pseudokódem if v = (1, 1, 1, 1, 1, 1, 0) then znak ← 0 elseif v = (0, 1, 1, 0, 0, 0, 0) then znak ← 1 elseif v = (1, 1, 0, 1, 1, 0, 1) then znak ← 2 elseif v = (1, 1, 1, 1, 0, 0, 1) then znak ← 3 elseif v = (0, 1, 1, 0, 0, 1, 1) then znak ← 4 elseif v = (1, 0, 1, 1, 0, 1, 1) then znak ← 5 elseif v = (1, 0, 1, 1, 1, 1, 1) then znak ← 6 elseif v = (1, 1, 1, 0, 0, 0, 0) then znak ← 7 elseif v = (1, 1, 1, 1, 1, 1, 1) then znak ← 8 elseif v = (1, 1, 1, 1, 0, 1, 1) then znak ← 9

V´ yslednou rozpoznanou hodnotu ˇc´ıselného u ´daje mˇeˇric´ıho pˇr´ıstroje z´ıskáme sestaven´ım z jednotliv´ ych klasifikovan´ ych znak˚ u a zpracován´ım informace o pozici desetinné teˇcky.

3.6

V´ ysledky n´ avrhu v Matlabu

Pro testován´ı navrhnutého algoritmu jsme pouˇzili dva r˚ uzné mˇeˇric´ı pˇr´ıstroje – multimetr Voltcraft VC220 a multimetr Solid RE830D. Oba pˇr´ıstroje se m´ırnˇe liˇs´ı charakterem a velikost´ı zobrazovan´ ych sedmisegmentov´ ych znak˚ u. Pro urˇcen´ı u ´spˇeˇsnosti rozpoznán´ı ˇc´ıseln´ ych u ´daj˚ u na mˇeˇric´ıch pˇr´ıstroj´ıch bylo pouˇzito 100 testovac´ıch sn´ımk˚ u pro kaˇzd´ y mˇeˇric´ı pˇr´ıstroj. U pˇr´ıstroje Voltcraft VC220 program správnˇe urˇcil pozici znak˚ u, klasifikoval vˇsechny znaky a detekoval desetinnou teˇcku pro 92 sn´ımk˚ u. Pro mˇeˇric´ı pˇr´ıstroj Solid RE830D bylo stejn´ ym zp˚ usobem správnˇe rozpoznáno 89 sn´ımk˚ u. Dosaˇzenou u ´spˇeˇsnost v rozpoznáván´ı shrnuje tabulka 3.2. Mˇeˇric´ı pˇr´ıstroj Voltcraft VC220 Solid RE830D

Poˇcet testovan´ ych Poˇcet ˇc´ıslic hodnot na displeji 100 3.5 100 3.5

Tabulka 3.2: V´ ysledky rozpoznáván´ı

23

Pˇresnost rozpoznáván´ı 92% 89%


Pˇr´ıklady správnˇe a nesprávnˇe rozpoznan´ ych mˇeˇren´ ych hodnot ilustruj´ı obrázky 3.19 aˇz 3.23. Doba v´ ypoˇctu algoritmu v Matlabu závis´ı na konkrétn´ım vstupn´ım obrázku a pohybuje se pr˚ umˇernˇe kolem 25 sekund. Je vˇsak nutné poznamenat, ˇze v této fázi jsme se nezab´ yvali ˇza´dnou ˇcasovou optimalizac´ı, ale pouze jsme se snaˇzili ovˇeˇrit funkˇcnost navrhnutého algoritmu. Program nav´ıc obsahuje ˇradu grafick´ ych metod pro ilustraci procesu rozpoznáván´ı a snadnˇejˇs´ı ladˇen´ı, které ve v´ ysledném zaˇr´ızen´ı nebudou.

Obrázek 3.19: Pˇr´ıklad správnˇe rozpoznaného sn´ımku - rozpoznaná hodnota 155.7

Obrázek 3.20: Pˇr´ıklad správnˇe rozpoznaného sn´ımku - rozpoznaná hodnota 608.0

24


Obrázek 3.21: Pˇr´ıklad ˇspatnˇe rozpoznaného sn´ımku - nenalezen druh´ y znak vlivem odrazu pˇredmˇetu v displeji, rozpoznaná hodnota 11.4

Obrázek 3.22: Pˇr´ıklad ˇspatnˇe rozpoznaného sn´ımku - nesprávnˇe detekovaná desetinná teˇcka, rozpoznaná hodnota 1.401

Obrázek 3.23: Pˇr´ıklad ˇspatnˇe rozpoznaného sn´ımku - chybná klasifikace tˇret´ıho znaku vlivem n´ızkého kontrastu, rozpoznaná hodnota 17X.0 25

Kapitola 4 Implementace V této kapitole pˇredstav´ıme zvolené zaˇr´ızen´ı pro otestován´ı naˇseho rozpoznáván´ı v reálném ˇcase a pop´ıˇseme konkrétn´ı implementaci algoritmu. Na závˇer se budeme zab´ yvat ˇcasovou optimalizac´ı programu.

4.1

Sezn´ amen´ı s procesorem

Jako zaˇr´ızen´ı, na kterém ovˇeˇr´ıme funkˇcnost naˇseho návrhu v reálném ˇcase, jsme zvolili v´ yvojov´ y modul TMS320DM6437 EVM s digitáln´ım signálov´ ym procesorem s technologi´ı DaVinci od firmy Texas Instruments (obrázek 4.1). Procesory s technologi´ı DaVinci poskytuj´ı velk´ y v´ ypoˇcetn´ı v´ ykon a jsou tak urˇcené pro video aplikace v oblastech poˇc´ıtaˇcového vidˇen´ı, robotiky, bezpeˇcnostn´ı techniky a dopravy.

Obrázek 4.1: V´ yvojov´ y modul TMS320DM6437 EVM 26

KAPITOLA 4. IMPLEMENTACE

Tento v´ yvojov´ y modul disponuje procesorem DM6437 pracuj´ıc´ım na frekvenci 600MHz, video dekodérem TVP5146M2, ˇctyˇrmi video DAC v´ ystupy, dynamickou RAM pamˇet´ı DDR2 s kapacitou 128MB, statickou RAM pamˇet´ı s kapacitou 2MB, 16MB NOR Flash pamˇet´ı, 64MB NAND Flash pamˇet´ı a rozhran´ımi USB, JTAG, UART, CAN I/O a Ethernet. Blokové schéma pouˇzitého modulu je zobrazeno na obrázku 4.2.

Obrázek 4.2: Blokové schéma v´ yvojového modulu TMS320DM6437 EVM (pˇrevzato z [11]) V´ yhodou tohoto modulu je zahrnut´ı video dekodéru a kodéru, nemus´ıme se proto zab´ yvat dekódován´ım a kódován´ım video signálu. Pro sn´ımán´ı obrazu je pouˇzita barevná CMOS kamera s rozliˇsen´ım 720 × 480 a standardem kódován´ı NTSC.

4.2

Pˇ repis k´ odu

Pro v´ yvoj a ladˇen´ı programu je urˇceno prostˇred´ı Code Composer Studio, které je souˇcást´ı v´ yvojového modulu. Zdrojov´ y kód m˚ uˇzeme vytvoˇrit v jednom ze ˇctyˇr podporovan´ ych programovac´ıch jazyk˚ u – strojov´ y kód, assembler, lineárn´ı assembler a C/C++. Vzhledem k rozsahu naˇseho algoritmu jsme se rozhodli pro vyˇsˇs´ı programovac´ı jazyk C. Pro náˇs program jsme pouˇzili zdrojov´ y kód Video Preview“, kter´ y je volnˇe posky” tován spoleˇcnost´ı Texas Instrument. V tomto kódu je implementováno v nekoneˇcné smyˇcce dekódován´ı vstupn´ıho video signálu a kódován´ı v´ ystupn´ıho video signálu. Vlastn´ı algoritmus rozpoznáván´ı um´ıst´ıme do této smyˇcky mezi krokem dekódován´ı a kódován´ı. T´ım zajist´ıme opakuj´ıc´ı se zpracován´ı a rozpoznáván´ı vstupn´ıho obrazu. 27


Protoˇze vstupn´ı rozliˇsen´ı obrazu je zbyteˇcnˇe velké a zvyˇsuje v´ ypoˇcetn´ı nároˇcnost programu, provedeme u ´pravu velikosti rozliˇsen´ı. Sn´ıˇzen´ı rozliˇsen´ı realizujeme pr˚ umˇerován´ım ˇctyˇr sousedn´ıch pixel˚ u. T´ımto ˇreˇsen´ım nav´ıc eliminujeme náhodn´ y ˇsum. Ze vstupn´ıho obrazu s rozliˇsen´ım 720 × 480 tak z´ıskáme obraz s rozliˇsen´ım 360 × 240. Toto rozliˇsen´ı je jiˇz zhruba shodné s rozliˇsen´ım pouˇz´ıvaném v návrhu algoritmu v Matlabu. Dalˇs´ı u ´pravu provedeme pro metodu zab´ yvaj´ıc´ı se sjednocen´ım objekt˚ u. Po implementaci prahován´ı a anal´ yze segmentovaného obrazu jsme zjistili, ˇze na rozd´ıl od pˇredchoz´ıho návrhu jsou segmenty znak˚ u leˇz´ıc´ı kolmo k sobˇe vˇzdy spojeny (tz. jsou souˇcást´ı stejné oblasti). Tento fakt je zp˚ usoben jin´ ymi optick´ ymi vlastnostmi nové pouˇzité kamery. Rozpojen´ı nastává pouze u segment˚ u, které leˇz´ı proti sobˇe. Tento pˇr´ıpad se vyskytuje pouze u znak˚ u 1, 7 a 0. Pˇri hledán´ı moˇzn´ ych kandidát˚ u pro sjednocen´ı objekt˚ u proto nemus´ıme procházet celou hranici objektu, ale jen jeho horn´ı hranici. D´ıky této u ´pravˇe zv´ yˇs´ıme robustnost metody, nebot’ sn´ıˇz´ıme poˇcet moˇzn´ ych kandidát˚ u na sjednocen´ı. Jelikoˇz bude naˇse zaˇr´ızen´ı pracovat v reálném ˇcase, budeme se snaˇzit minimalizovat v´ ypoˇcetn´ı dobu jednoho cyklu rozpoznáván´ı. Z toho d˚ uvodu jsme pro pˇr´ıstup do pole vyuˇzili pointrové aritmetiky nam´ısto indexace. Jestliˇze pˇristupujeme k prvk˚ um pole pomoc´ı pointrové aritmetiky, pro z´ıskán´ı dalˇs´ıho prvku staˇc´ı k aktuáln´ı adrese pˇriˇc´ıst konstantu odpov´ıdaj´ıc´ı velikosti prvku pole. Naopak pro pˇr´ıstup k prvk˚ um pole pomoc´ı index˚ u, mus´ıme nejprve vynásobit index touto konstantou a ten pak pˇriˇc´ıst k bázové adrese. Prvn´ı zp˚ usob pˇr´ıstupu do pole je tedy mnohem rychlejˇs´ı. Na druhou stranu je vˇsak zápis kódu vyuˇz´ıvaj´ıc´ı tento zp˚ usob ménˇe pˇrehledn´ y, coˇz nám ale nebude vadit. V naˇsem programu budeme ˇcasto pouˇz´ıvat dynamické seznamy. Nab´ızelo by se proto vyuˇz´ıt dynamické pole, které je moˇzno bˇehem chodu dynamicky zvˇetˇsovat nebo zmenˇsovat. Alokace a uvolnˇen´ı tohoto pole je vˇsak ˇcasovˇe velmi nároˇcná. Proto pro vˇetˇsinu seznam˚ u pouˇzijeme pole statické, u nˇehoˇz nastav´ıme jeho rozmˇery s dostateˇcnou rezervou. Cel´ y algoritmus rozpoznáván´ı navrhnut´ y v kapitole 3 je rozdˇelen do následuj´ıc´ıch metod create input image – Metoda pro vytvoˇren´ı vstupn´ıho obrazu. Zahrnuje sn´ıˇzen´ı vstupn´ıho rozliˇsen´ı obrazu a uloˇzen´ı hodnot jasu do statického pole. thresholding — Obsahuje prahován´ı vstupn´ıho obrazu Niblackovou metodou a filtraci binárn´ıho ˇsumu vzniklého prahován´ım. coloring — Metoda pro identifikaci objekt˚ u algoritmem barven´ı. remove inappropriate objects — Odstran´ı objekty, u nichˇz je jisté, ˇze nemohou b´ yt ˇca´stmi hledan´ ych znak˚ u. 28


join objects — Metoda pro spojen´ı objekt˚ u odpov´ıdaj´ıc´ı jednotliv´ ym segment˚ um do celého znaku. find digits — Obsahuje urˇcen´ı pozice sedmisegmenotv´ ych znak˚ u a detekci desetinné teˇcky. Nalezené znaky jsou vizuálnˇe oznaˇceny v obraze. yslednou rozpoznanou hodnotu. classify digits — Klasifikuje nalezené objekty a sestav´ı v´ Tuto hodnotu zobraz´ı ve v´ ystupn´ım obraze. convert image to output — Metoda pro vytvoˇren´ı obrazu, kter´ y bude zobrazen na v´ ystupn´ı obrazovce.

4.3

ˇ Casov´ a optimalizace

Po vytvoˇren´ı naˇseho programu se m˚ uˇzeme pokusit o jeho optimalizaci. Optimalizaci nejˇcastˇeji provád´ıme s c´ıli sn´ıˇzit v´ ypoˇcetn´ı dobu programu nebo sn´ıˇzit velikost pamˇeti, potˇrebnou k vykonán´ı programu. Protoˇze má naˇse zaˇr´ızen´ı pracovat v reálném ˇcase, bude naˇs´ım c´ılem sn´ıˇzit v´ ypoˇcetn´ı dobu, tz. pokus´ıme se o optimalizaci ˇcasovou. Abychom mohli posoudit v´ ysledek ˇcasové optimalizace, mus´ıme nejdˇr´ıve zmˇeˇrit dosavadn´ı ˇcas potˇrebn´ y k vykonán´ı programu. Prostˇred´ı Code Composer Studio neumoˇzn ˇuje pˇr´ımo zmˇeˇrit ˇcasov´ yu ´sek, poskytuje vˇsak informaci o poˇctu vykonan´ ych hodinov´ ych cykl˚ u. Pˇribliˇznou dobu v´ ypoˇctu pak m˚ uˇzeme vypoˇc´ıtat z následuj´ıc´ıho vztahu doba vypoctu =

pocet cyklu frekvence procesoru

(4.1)

T´ımto zp˚ usobem zmˇeˇr´ıme v´ ypoˇcetn´ı dobu pro vˇsechny pouˇzité metody. Tyto hodnoty shrnuje tabulka 4.1. Poznamenejme, ˇze uvedené hodnoty jsou pouze orientaˇcn´ı a pˇresné hodnoty jsou závislé na konkrétn´ım vstupn´ım sn´ımku z kamery. Nyn´ı m˚ uˇzeme pˇristoupit k samotné optimalizaci. Code Composer Studio nab´ız´ı nˇekolik moˇznost´ı optimalizace. My se rozhodneme pro automatickou optimalizaci v sekci build ” options“. Máme zde na v´ ybˇer typ optimalizace (ˇcasová vs. pamˇet’ová) a u ´roveˇ n optimalizace. Zvol´ıme optimalizaci ˇcasovou s nejvyˇsˇs´ı u ´rovn´ı a provedeme kompilaci programu. Následnˇe zmˇeˇr´ıme v´ ypoˇcetn´ı dobu programu stejn´ ym zp˚ usobem jako v pˇredchoz´ım pˇr´ıpadˇe bez optimalizace. V´ ysledek ˇcasové optimalizace m˚ uˇzeme posoudit z tabulky 4.2. V´ ypoˇcetn´ı dobu jednotliv´ ych metod pˇred optimalizac´ı a po optimalizaci porovnává tabulka 4.3. V´ıce informac´ı o optimalizaci v prostˇred´ı Code Composer Studio nalezneme v [12]. 29


Metoda

Poˇcet hodinov´ ych V´ ypoˇcetn´ı doba pro 3 cykl˚ u (×10 ) CPU 600MHz (ms) create_input_image 17 140 28.57 thresholding 175 988 293.31 coloring 90 800 151.33 remove_inappropriate_objects 15 086 25.14 join_objects 51 0.09 find_digits 598 1.00 classify_digits 200 0.33 convert_image_to_output 14 185 23.64 Celkem 314 048 523.47 Tabulka 4.1: V´ ypoˇcetn´ı doba algoritmu pˇred optimalizac´ı Metoda

Poˇcet hodinov´ ych V´ ypoˇcetn´ı doba pro 3 cykl˚ u (×10 ) CPU 600MHz (ms) create_input_image 3 761 6.27 thresholding 17 760 29.60 coloring 62 538 104.23 remove_inappropriate_objects 8 844 14.74 join_objects 62 0.10 find_digits 539 0.90 classify_digits 650 1.08 convert_image_to_output 6 282 10.47 Celkem 94 352 157.25 Tabulka 4.2: V´ ypoˇcetn´ı doba algoritmu po optimalizaci Metoda

V´ ypoˇcetn´ı doba pˇred optimalizac´ı (ms) create_input_image 28.57 thresholding 293.31 coloring 151.33 remove_inappropriate_objects 25.14 join_objects 0.09 find_digits 1.00 classify_digits 0.33 convert_image_to_output 23.64 Celkem 523.47

V´ ypoˇcetn´ı doba po optimalizaci (ms) 6.27 29.60 104.23 14.74 0.10 0.90 1.08 10.47 157.25

Tabulka 4.3: Srovnán´ı v´ ypoˇcetn´ı doby algoritmu pˇred a po optimalizaci 30


Z v´ ysledk˚ u je patrné, ˇze celková v´ ypoˇcetn´ı doba programu se sn´ıˇzila v´ıce neˇz tˇrikrát. K nejvˇetˇs´ı optimalizaci doˇslo v metodˇe thresholding, ve které je implementováno prahován´ı obrazu. V´ ysledná pr˚ umˇerná doba v´ ypoˇctu jednoho cyklu rozpoznáván´ı je tedy asi 0.16 s.

31

Kapitola 5 Experiment´ aln´ı v´ ysledky Navrhnuté zaˇr´ızen´ı pro rozpoznáván´ı sedmisegmentov´ ych znak˚ u jsme testovali v reálném prostˇred´ı na dvou mˇeˇric´ıch pˇr´ıstroj´ıch – multimetru Voltcraft VC220 a multimetru Solid RE830D. Správnost rozpoznáván´ı jsme vizuálnˇe posoudili na v´ ystupn´ı obrazovce, která uˇzivatele informuje o nalezen´ ych znac´ıch a rozpoznané hodnotˇe. Pˇri sn´ımán´ı mˇeˇric´ıho pˇr´ıstroje jsme kameru vˇzdy nastavili tak, aby nedocházelo k pˇr´ımému odrazu svˇetla od displeje mˇeˇric´ıho pˇr´ıstroje. Testován´ı rozpoznán´ı kaˇzdého pˇr´ıstroje jsme provedli pro 100 mˇeˇren´ ych hodnot. Pro kaˇzdou mˇeˇrenou hodnotu jsme zmˇenili um´ıstˇen´ı mˇeˇric´ıho pˇr´ıstroje vzhledem ke kameˇre. Správnost rozpoznán´ı jsme hodnotili vzhledem ke ˇctyˇrem bod˚ um 1. Nalezen´ı pozice znak˚ u – Nalezen´ı prohlás´ıme za ne´ uspˇeˇsné, pokud jeden nebo v´ıce znak˚ u nebudou nalezeny nebo pokud bude jako znak vyhodnocen jeden a v´ıce objekt˚ u, které znaky nejsou. 2. Klasifikace znak˚ u – Jestliˇze jeden nebo v´ıce znak˚ u budou klasifikovány chybnˇe, prohlás´ıme tento bod za nesplnˇen´ y. 3. Detekce desetinné teˇcky – Tento bod bude splnˇen, pokud bude správnˇe nalezena a vyhodnocena desetinná teˇcka. 4. Celkové rozpoznán´ı - Celkové rozpoznán´ı prohlás´ıme za u ´spˇeˇsné, jestliˇze budou splnˇeny vˇsechny tˇri pˇredchoz´ı body. V pˇr´ıpadˇe testován´ı rozpoznán´ı mˇeˇric´ıho pˇr´ıstroje Voltcraft VC220 zaˇr´ızen´ı správnˇe nalezlo pozici vˇsech sedmisegmentov´ ych znak˚ u pro 95 mˇeˇren´ ych hodnot. Z tˇechto pˇr´ıpad˚ u

32

´ Í VYSLEDKY ´ KAPITOLA 5. EXPERIMENTALN

byly znaky správnˇe klasifikovány pro 94 hodnot a desetinná teˇcka byla správnˇe detekována pro 91 hodnot. Celkové rozpoznán´ı bylo u ´spˇeˇsné pro 90 mˇeˇren´ ych hodnot. Následnˇe jsme testovali rozpoznán´ı na mˇeˇric´ım pˇr´ıstroji Solid RE830D. Pozice vˇsech znak˚ u byla správnˇe urˇcena pro 92 hodnot. Z tˇechto pˇr´ıpad˚ u zaˇr´ızen´ı správnˇe klasifikovalo vˇsechny znaky pro 91 hodnot a správnˇe detekovalo desetinnou teˇcku pro 86 hodnot. Pro tento pˇr´ıstroj bylo celkové rozpoznán´ı u ´spˇeˇsné v 85 pˇr´ıpadech. Dosaˇzené experimentáln´ı v´ ysledky v rozpoznáván´ı shrnuj´ı tabulky 5.1, 5.2 a 5.3. Poznamenejme, ˇze tyto v´ ysledky jsou pouze orientaˇcn´ı, protoˇze u ´spˇeˇsnost rozpoznáván´ı závis´ı na konkrétn´ıch podm´ınkách reálného prostˇred´ı. Voltcraft VC220

Nalezen´ı pozice Klasifikace znak˚ u znak˚ u

Poˇcet testovan´ ych hodnot Poˇcet správnˇe urˇcen´ ych hodnot ´ Uspˇeˇsnost

Detekce desetinné Celkové teˇcky rozpoznán´ı

100

95

95

100

95

94

91

90

95%

99%

96%

90%

Tabulka 5.1: V´ ysledky rozpoznáván´ı pro mˇeˇric´ı pˇr´ıstroj Voltcraft VC220

Solid RE830D

Nalezen´ı pozice Klasifikace Detekce desetinné Celkové znak˚ u znak˚ u teˇcky rozpoznáván´ı

Poˇcet testovan´ ych hodnot Poˇcet správnˇe urˇcen´ ych hodnot ´ Uspˇeˇsnost

100

92

92

100

92

91

86

85

92%

99%

93%

85%

Tabulka 5.2: V´ ysledky rozpoznáván´ı pro mˇeˇric´ı pˇr´ıstroj Solid RE830D Mˇeˇric´ı pˇr´ıstroj Voltcraft VC220 Solid RE830D

Poˇcet testovan´ ych Poˇcet ˇc´ıslic hodnot na displeji 100 3.5 100 3.5

Pˇresnost rozpoznáván´ı 90% 85%

Tabulka 5.3: Shrnut´ı v´ ysledk˚ u rozpoznáván´ı Z dosaˇzen´ ych v´ ysledk˚ u je patrné, ˇze k nejvˇetˇs´ı chybovosti docház´ı pˇri hledán´ı pozice znak˚ u a pˇri detekci desetinné teˇcky. V prvn´ım pˇr´ıpadˇe je chyba nejˇcastˇeji zp˚ usobena odrazem jin´ ych pˇredmˇet˚ u v displeji mˇeˇric´ıho pˇr´ıstroje nebo velmi ˇspatn´ ymi podm´ınkami pˇri 33

´ Í VYSLEDKY ´ KAPITOLA 5. EXPERIMENTALN

sn´ımán´ı obrazu (napˇr. velmi n´ızkou intenzitou osvˇetlen´ı). Takto zp˚ usobenou chybovost m˚ uˇzeme sn´ıˇzit správn´ ym um´ıstˇen´ım sn´ımac´ıho zaˇr´ızen´ı a zajiˇstˇen´ım dobr´ ych optick´ ych podm´ınek. V druhém pˇr´ıpadˇe je chyba zp˚ usobena faktem, ˇze desetinná teˇcka nemá ˇzádné charakteristické rysy a je tak velice obt´ıˇzné ji v obraze detekovat. Vlivem nedokonalé segmentace nav´ıc vznikaj´ı v obraze faleˇsné objekty, které se mohou tvarem podobat hledané desetinné teˇcce. K obt´ıˇznosti pˇrisp´ıvá i to, ˇze ˇc´ıseln´ y u ´daj desetinnou teˇcku m˚ uˇze obsahovat, ale zároveˇ n nemus´ı. Tuto chybovost m˚ uˇzeme sn´ıˇzit pouˇzit´ım dokonalejˇs´ı segmentaˇcn´ı metody. V´ ysledek u ´spˇeˇsného rozpoznáván´ı a v´ ystupn´ı obraz zaˇr´ızen´ı ilustruj´ı obrázky 5.1 a 5.2.

Obrázek 5.1: V´ ysledek rozpoznáván´ı zobrazen´ y na v´ ychoz´ım obrazu (vlevo) a na obrazu po segmentaci (vpravo)

Obrázek 5.2: V´ ysledek rozpoznáván´ı zobrazen´ y na v´ ychoz´ım obrazu (vlevo) a na obrazu po segmentaci (vpravo)

34

Kapitola 6 Z´ avˇ er V této práci jsme se zab´ yvali návrhem a v´ yvojem algoritmu pro zaˇr´ızen´ı urˇcené k rozpoznáván´ı sedmisegmentov´ ych znak˚ u na mˇeˇric´ıch pˇr´ıstroj´ıch. Toto zaˇr´ızen´ı by mohlo naj´ıt uplatnˇen´ı pˇreváˇznˇe pro laboratorn´ı u ´ˇcely. Bliˇzˇs´ı specifikace jsou popsány v prvn´ı kapitole. Druhá kapitola je vˇenována základn´ım pojm˚ um poˇc´ıtaˇcového vidˇen´ı a vysvˇetlen´ı jednotliv´ ych krok˚ u procesu rozpoznáván´ı. V tˇret´ı kapitole jsme se zab´ yvali návrhem algoritmu v prostˇred´ı Matlab a detailnˇe jsme popsali pouˇzité metody. V´ ysledky tohoto návrhu jsme testovali pro dva r˚ uzné mˇeˇric´ı pˇr´ıstroje a dosaˇzená pr˚ umˇerná u ´spˇeˇsnost rozpoznáván´ı se pohybuje kolem 91 %. Navrhnut´ y algoritmus jsme u ´spˇeˇsnˇe implementovali do v´ yvojového modulu TMS320DM6437 EVM ve ˇctvrté kapitole. Protoˇze zaˇr´ızen´ı pracuje v reálném ˇcase, provedli jsme v prostˇred´ı Code Composer Studio ˇcasovou optimalizaci. Pˇred touto optimalizac´ı se pr˚ umˇerná v´ ypoˇcetn´ı doba jednoho cyklu rozpoznáván´ı pohybovala kolem 0.52 s, po optimalizaci jsme tuto hodnotu sn´ıˇzili na 0.16 s. Dosaˇzené v´ ysledky implementovaného rozpoznáván´ı jsme zhodnotili v páté kapitole. Pr˚ umˇernou u ´spˇeˇsnost jsme opˇet testovali na dvou pˇr´ıstroj´ıch a tato hodnota se pohybuje kolem 87 %. K nejvˇetˇs´ı chybovosti docház´ı pˇri hledán´ı pozice znak˚ u a pˇri detekci desetinné teˇcky. Chybovost v prvn´ım pˇr´ıpadˇe je nejˇcastˇeji zp˚ usobena odrazem jin´ ych pˇredmˇet˚ u v displeji sn´ımaného mˇeˇric´ıho pˇr´ıstroje a m˚ uˇzeme ji sn´ıˇzit vhodn´ ym um´ıstˇen´ım kamery. V druhém pˇr´ıpadˇe je chybovost zp˚ usobena obt´ıˇznou charakteristikou desetinné teˇcky. Naopak velké u ´spˇeˇsnosti dosahuje navrhnutá metoda klasifikace znak˚ u, která je zaloˇzená na urˇcen´ı jednotliv´ ych segment˚ u, z nichˇz jsou znaky sloˇzeny. V´ ysledkem této práce jsou funkˇcn´ı programy v prostˇred´ı Matlab a v jazyce C.

35

Literatura ˇ [1] V. Hlaváˇc, M. Sonka: Poˇc´ıtaˇcové vidˇen´ı, Grada, 1992, ISBN 80-854-2467-3 ˇ [2] V. Hlaváˇc, M. Sedláˇcek: Zpracován´ı signál˚ u a obraz˚ u, CVUT, 2005, ISBN 80-010-3110-1 [3] Z. Kotek, V. Maˇr´ık: Metody rozpoznáván´ı a jejich aplikace, Academia, 1993, ISBN 80-200-0297-9 ˇ ara: Modern´ı poˇc´ıtaˇcová grafika, Computer Press, 1998, ISBN 80-722-6049-9 [4] J. Z´ [5] Ch. M. Bishop: Pattern Recognition and Machine Learning, Springer Science Business Media, 2006, ISBN 03-873-1073-8 [6] E. R. Davies: Machine Vision: Theory, Algorithms, Practicalities, Morgan Kaufmann, 2005, ISBN 01-220-6093-8 [7] R. O. Duda, P. E. Hart, D. G. Stork: Pattern Classification, Wiley, 2001, ISBN 04-710-5669-3 [8] D. A. Forsyth: Computer Vision: A Modern Approach, Prentice-Hall, 2003, ISBN 01-319-1193-7 [9] D. G. Stork: Computer Manual in MATLAB to Accompany Pattern Classification: Theory, Algorithms, Practicalities, Wiley, 2004, ISBN 04-714-2977-5 [10] K. Chinnasarn, Y. Rangsanseri, P. Thitimajshima, Removing Salt-and-Pepper Noise in Text/Graphics Images, IEEE Computer Society Press, 1998 [11] Texas Instrument Inc.: TMS320DM6437 DVDP Getting Started Guide, 2007 [12] Texas Instrument Inc.: Code Composer Studio v3.0 Getting Started Guide, 2004

36

Pˇ r´ıloha A Seznam pouˇ zit´ eho software • Matlab R2010a • Code Composer Studio v3.3 • Flashburn DSK 3.11 • Texmaker 3.1

I

Fakulta elektrotechnick

Recommend Documents