Pedzpracování obrazu

P edzpracování obrazu Po íta ové vid ní

Ilona Kalová Skupina po íta ového vid ní Ústav automatizace a m icí techniky Fakulta elektrotechniky a komunika ních technologií Vysoké u ení technické v Brn

P edzpracování obrazu – p ednáška

Tematické rozd lení p ednášky: 1. 2. 3. 4. 5. 6. 7.

et zec zpracování obrazu. P edzpracování obrazu. Šum, zkreslení Bodové jasové transformace. Geometrické transformace. Lokální p edzpracování. Další techniky p edzpracování

et zec zpracování obrazu



et zec zpracování obrazu Vhodný postup operací (blok ) vedoucí k danému výsledku (m ení, rozpoznání objekt , inspekce výroby atd.) Je lepší, pokud hned od za átku víme k emu bude obraz použit a k tomu sm ujeme všechny jednotlivé kroky

et zec zpracování obrazu – osv tlení, objektiv Osv tlení

• typ zdroje – slune ní sv tlo, žárovka, zá ivka, výbojka, LED dioda, laser, …

• provedení, orientace – bodové, plošné, kruhové, sv telný pruh, vzor, … p ímé, sm rové, rovnob žné, difusní, bo ní, zadní … • vlnová délka – IR, viditelné, UF • vyza ovací charakteristika, intenzita, polarizace, koherence, …

Objektiv

• ohnisková vzdálenost – zorný úhel, zorné pole, zv tšení, rozsah ost ení, hloubka ostrosti • sv telné íslo, clona – množství sv tla, které propustí na senzor, pr m r clony, sv telná ada • vady objektiv • p ídavné filtry

et zec zpracování obrazu – senzor, A/D p evod Senzor

• typ – ádkový (lineární) x plošný (maticový), barevná (jeden x t i ipy), ernobílá • technologie – CCD, CMOS, progresivní, prokládaný (interlaced) • rozm r senzoru – nej ast ji 1/3“, 1/2“, 2/3“, rozm r pixelu, pixelové rozlišení, video standard • spektrální citlivost • data rate, kontrolní a ídicí signály, interface • expozi ní doba, záv rka

A/D p evod

• v závislosti na použité kame e - digitaliza ní karta do PC, sou ást inteligentní kamery, …) • vzorkování a kvantování • programovatelná hradlová pole, signálové procesory • mohou ešit i n které operace p edzpracování obrazu – DFT, prahování, …

et zec zpracování obrazu – p edzpracování Cíl p edzpracování:

• potla it šum • odstranit zkreslení • potla it i zvýraznit rysy obrazu

Vstupem i výstupem p edzpracování je obraz

• g(i,j) … element vstupního obrazu • f(i,j) … element výstupního (transformovaného) obrazu

et zec zpracování obrazu – segmentace Cíl segmentace:

• roz lenit obraz do ástí, které souvisí s p edm ty i oblastmi reálného sv ta = odd lení objekt od pozadí, analýza obsahu obrazu • obraz chystáme pro další krok = popis • redukce dat

Vstupem segmentace je obraz, výstup m že být r zný podle použité metody (obraz, ásti obrazu, poloha objektu v obraze atd.)

et zec zpracování obrazu – popis Cíl popisu:

• popsat objekty v obraze (kvalitativn nebo kvantitativn ) • vede k porozum ní obrazu

Výstup je ovlivn n tím, na co se popis bude používat (vyjád ení ur ité vlastnosti, p íznakový vektor, seznam primitiv atd.) Kvantitativní - vektor p íznak 1.barva vlas ( erná = 0, hn dá = 1, blond = 2, rezavá = 3) 2.pohlaví (muž = 0, žena = 1) 3.výška = 175 cm 4.vousy (ne = 0, ano = 1) 5.vzd lání (základní = 0, st edoškolské = 1, vysokoškolské = 2) x = [0, 1, 175, 0, 2] Vektor x tedy popisuje 1,75 m vysokou brunetu s vysokoškolským vzd láním, která našt stí nemá vousy.

Kvalitativní – et zec primitiv

et zec zpracování obrazu – aplikace

P edzpracování obrazu



P edzpracování obrazu Cíl p edzpracování = zlepšení obrazu z hlediska dalšího zpracování • potla it šum • odstranit zkreslení • potla it i zvýraznit rysy obrazu Vstupem i výstupem p edzpracování je obraz • g(i,j) … element vstupního obrazu • f(i,j) … element výstupního (transformovaného) obrazu Využívá se nadbyte nosti údaj v obrazu • sousední pixely mají v tšinou podobnou hodnotu jasu adu operací p edzpracování m žeme zjednodušit vhodným nastavením scény, výb rem senzoru, objektivu atd. P edzpracování musíme vztahovat k tomu, co chceme z obrazu získat, co s ním chceme d lat dál

P edzpracování obrazu – metody 1. Bodové jasové transformace - jasová korekce - transformace jasové stupnice 2. Geometrické transformace - plošná transformace - jasová transformace 3. Lokální p edzpracování - vyhlazování obrazu - detekce hran, ost ení 4. Filtrace obrazu v kmito tové oblasti 5. Restaurace obrazu 6. Matematická morfologie

Šum, zkreslení



Šum, zkreslení Šum – typy:

• bílý = idealizovaný, používá se pro simulace nejhorších degradací obrazu, ve výkonovém spektru má rovnom rn zastoupeny všechny frekvence • Gauss v = aproximace degradace obrazu • typu „pep a s l“ – u binárních obraz , impulsní šum – u obraz s více jasovými úrovn mi = zrn ní • aditivní = vzniká p i p enosu obrazu nebo snímání • multiplikativní = šum TV rasteru, má charakter vodorovných pruh • kvantiza ní = není použit dostate ný po et jasových úrovní

Šum – vznik:

• p i digitalizaci • p i p enosu obrazu

Zkreslení – p íklady:

• radiální zkreslení – poduška, soudek • tangenciální zkreslení • zkreslení typu zm na m ítka

Zkreslení – vznik:

Bílý šum, šum typu „pep a s l“

P íklad soudkovitého zkreslení

• turbulence atmosféry • vzájemný pohyb sníma e a p edm tu • nevhodné zaost ení • vada optické soustavy (špatná o ka, …) • nelinearita opticko-elektrického senzoru • nelinearita záznamového materiálu (zrnitost filmového materiálu) Zkreslení - a) soudek, b) poduška, c) tangenciální - nato ení detektoru k ose optiky

Bodové jasové transformace



Bodové jasové transformace Jas v bod výstupního obrazu závisí pouze na jasu bodu ve vstupním obrazu = pro úpravu jednoho konkrétního pixelu použijeme jen tento pixel vstupního obrazu a) Jasová korekce

• poruchy hardwaru – jiná citlivost jednotlivých sv tlocitlivých prvk sníma e (vadné pixely), nerovnom rné

osv tlení, jiná citlivost snímacího a digitaliza ního za ízení = systematické chyby f (i, j )

e(i, j ).g (i, j )

p edpokládá se multiplikativní model poruchy e(i,j)

Ur ení degrada ní fce e(i,j) • p i stálých sv telných podmínkách po ídíme obraz o známém g(i,j) - nejlépe obraz o konstantním jase c => fc(i,j). fc (i, j ) e(i, j ) c • nebo po ídíme obraz s objektem I0, obraz za stejných sv telných podmínek bez objektu If – korekce osv tlení a obraz za tmy (zakrytý objektiv) Ib – korekce nelinearity sníma e I (i, j ) I b (i, j ) I c (i, j ) M 0 I f (i, j ) I b (i, j ) , kde konstantou M m níme kontrast výsledného obrazu I0

If

Ib

P vodní snímek, snímek pozadí, snímek za tmy, obrázek po korekci

Bodové jasové transformace b) Transformace jasové stupnice

• jen ur itá hodnota jasu ve vstupním obrazu je transformována na jinou hodnotu, bez ohledu na pozici • transformace T výchozí stupnice jasu p na novou stupnici q: q = T(p) • p íklady: inverze, prahování, ekvalizace histogramu, roztažení histogramu, úprava kontrastu

Bodové jasové transformace b) Transformace jasové stupnice – ekvalizace histogramu

• algoritmus, který zm ní rozložení intenzit v obrazu tak, aby se v n m vyskytovaly intenzity p ibližn se stejnou etností – snaha o zvýšení kontrastu. • má-li p vodní obraz interval jas a histogram H(p), cílem je najít takovou monotónní transformaci q = T(p), aby výsledný histogram G(p) byl rovnom rný pro celý výstupní interval q T ( p)

MxN

H(i)

qk q0 NxM

p i po

H (i ) q0

H(i)

V tomto p ípad ale nezáleží pouze na jasu v daném bod ale i na rozložení jasu v celém snímku - histogramu p i po

q=T(p)

H (i) ... kumulativní histogram

Geometrické transformace



Geometrické transformace Cíl

• odstran ní geometrických zkreslení – zkosení v i snímané ploše, širokoúhlé sníma e, … • zm na rozlišení obrazu, posunutí, oto ení, zkosení 2D obrazu • „rovnání prostoru“ (nap . letecké snímky)

Dva kroky

• plošná transformace - transformace sou adnic bod • jasová transformace – aproximace jasové funkce

Problémy

• obecn nep i adí diskrétním celo íselným sou adnicím ve vstupním obrazu celo íselné sou adnice v obraze výstupním – mohou vzniknout díry nebo naopak n kolik pixel se mapuje na totéž místo • ást p vodního obrazu m že ležet mimo nový obraz • transformace v tšinou nejsou invertovatelné

f = T(g) : x’ = Tx(x, y) y’ = Ty(x, y)

Geometrické transformace – plošná transformace Najde k diskrétnímu bodu (x,y) ve vstupním obrazu odpovídající bod ve výstupním obrazu (x’,y’) – obecn spojité sou adnice Ur ení transforma ních vztah : • jsou dány p edem – rotace, zv tšení, zkosení, … • je nutné je hledat na základ znalosti p vodního i transformovaného obrazu - obvykle pomocí známých (vlícovacích) bod , které lze snadno najít v obou obrazech

Transforma ní vztahy se v tšinou aproximují polynomem n-tého ádu

x'

n n r

r

k

ark x y ,

r 0 k 0

y'

n n r

brk x r y k

r 0 k 0

• pokud nedochází k náhlým zm nám pozic, vysta íme si v tšinou s polynom do stupn n = 3

Koeficienty ark a brk lze ur it pomocí vlícovacích bod – množiny sob odpovídajících bod (x,y) a (x’,y’) a metody nejmenších tverc P íklady: Bilineární transformace

Afinní transformace

x' a0 a1 x a2 y a3 xy

x' a0 a1 x a2 y

y ' b0 b1 x b2 y b3 xy

y ' b0 b1 x b2 y

Geometrické transformace – plošná transformace P íklady:

Radiální zkreslení

x' x (1 k1r 2 k 2 r 4 k3r 6 ) y ' y (1 k1r 2 k2 r 4 k3r 6 ) Zjednodušení - zkreslení je symetrické podle st edu obrazu r … je radiální vzdálenost r x2 y 2

Tangenciální zkreslení

x' x 2 p1 y y' y

p2 ( r 2 2 x 2 )

p1 (r 2 2 y 2 ) 2 p2 x

Geometrické transformace – jasová transformace Najde jas, který bude ve výstupním obrazu po geometrické transformaci odpovídat jednotlivým pixel m Transformované sou adnice x’, y’ leží mimo rastr, p itom geometricky transformovaný obraz se také musí reprezentovat maticí Možná ešení: • interpolace metodou nejbližšího souseda • aritmetický pr m r ty nejbližších soused • lineární interpolace • kubická interpolace •…

Geometrické transformace – zm na rozlišení Zmenšení i zv tšení N kolik r zných algoritm lišících se v kvalit rekonstrukce a v asové náro nosti V tšinou separabilní operace – možné aplikovat na ádek a pak na sloupec zvláš – konvoluce (konvolu ní jádro h(x))

a) Interpolace nejbližším sousedem

• nejjednodušší – nearest neighbour interpolation, point shift, sample and hold • výpo et spojité funkce g(x) z diskrétní funkce f(xk) definované v diskrétních bodech xk, k = 1,…n: g ( x)

f ( xk );

xk

1

xk

x

2

xk

xk 2

1

jádro h( x ) {

1 pro : 0 0

x

pro : 0.5

0.5 x

a) Bilineární transformace

• postupná aplikace lineární interpolace • dva sousední vzorky v bodech x0 a x1 s hodnotami f0 a f1 - body se proloží úse kou a hledaná hodnota v bod x se vypo te jako: f ( x)

f0

x x0 f1 x1 x0

f0

jádro h( x) {

1 x 0

pro : 0

pro :1

x

1

x

c..) Polynomiální, goniometrické, exponenciální, Parzenovo okno (B-spline plochou), …

Geometrické transformace – oto ení obrazu Plošná transformace oto ení obrazu o úhel

x' x cos

y sin

y ' x sin

y cos

Oto ení o násobky devadesáti stup • zám na pixel na p íslušných pozicích v matici Oto ení o obecný úhel • dvoupr chodový algoritmus (two-pass algoritm) – na ádky a sloupce jsou použity jiné transformace 1. pr chod – na všechny ádky x' x cos

y sin

meziobraz I x' , y

y ' x sin y cos , protože ta je funkcí x, se kterým již bylo 2. pr chod – nelze aplikovat transformaci po ítáno. Proto x vyjád íme jako funkci x’ a y a dosadíme do p edchozího:

y'

x' sin cos

y

• výpo et hodnoty (jasu), která se bude mapovat do výstupního obrazu, lze použít libovolnou metodu p evzorkování v okolí bodu [u,v]

Lokální p edzpracování



Lokální p edzpracování Využívají pro výpo et jasu bodu ve výstupním obrazu jen lokální okolí odpovídajícího bodu ve vstupním obrazu Podle cíle: • Vyhlazování obrazu • Detekce hran (gradientní operátory, ost ení)

Podle funk ního vztahu: • Lineární • Nelineární

Lokální lineární p edzpracování • jas v bod (i,j) je dán lineární kombinací jas v okolí O (velikosti MxN) vstupního obrazu g s váhovými koeficienty h (konvolu ní jádro = filtr). Pro izoplanární systémy (nezávislé na poloze) = diskrétní konvoluce:

f (i, j)

i M/2

j N/2

h(m i, n j)g(m, n)

m i M/2 n j N/2

Lokální p edzpracování – vyhlazování obrazu Potla ení vyšších frekvencí = potla ení náhodného šumu, ale i jiných náhlých zm n (ostré áry a hrany) - využívá se nadbyte nosti dat = stejné pixely v okolí Metody: 1. 2. 3. 4.

Pr m rování Filtr s Gaussovým rozložením Medián Vyhlazování rotující maskou

1. Pr m rování P es více (n) obraz f (i, j )

1 n

n

nerozmazává hrany (u statických scén), pro dynamické scény je vhodné po ídit model prost edí (pozadí)

g k (i , j )

k 1

V jednom obrazu • lokální aritmetický pr m r – m žeme ešit konvolucí – rozmazává hrany P . filtr 3x3: h

1 1 1 1 1 1 1 9 1 1 1

zvýšení váhy st edu: h

1 1 1 1 1 2 1 10 1 1 1

nebo 4-soused : h

1 2 1 1 2 4 2 16 1 2 1

• pr m rování s omezením zm n – povolení jen menších zm n mezi p vodním jasem a výsledkem pr m rování

Lokální p edzpracování – vyhlazování obrazu 2. Filtr s Gaussovým rozložením

• Gaussovo (normální) rozložení: 1D : G( x)

1 2

e

x2 2 2

2 D : G ( x, y )

1 2

x2 y 2

e 2

2

2

kde x,y jsou sou adnice obrazu a je sm rodatná odchylka (udává velikost okolí, na kterém filtr pracuje

P . filtru 5x5:

3. Medián

• medián íselné posloupnosti je íslo, které se po uspo ádání podle velikosti nachází uprost ed této posloupnosti • výhoda: redukuje rozmazávání hran • nevýhoda: poškozuje tenké áry a o ezává ostré rohy

Lokální p edzpracování – vyhlazování obrazu 4. Vyhlazování rotující maskou

• podle homogenity (nap . rozptylu) jasu hledá k filtrovanému bodu ást jeho okolí, ke které pravd podobn pat í a tu pak použije pro výpo et • mírn ost ící charakter • osm pozic stejné masky, r zné masky P . masek (A, B) a nazna ení prvních dvou pozic masek:

Algoritmus:

1. P es všechny body (i,j) obrazu 2. P es všechny pozice masky (8 pozic) 3. Výpo et rozptylu jasu 2

1 n (M ,N )

g (i, j ) O

1 g (i, j ) n ( M ,N ) O

2

O…okolí (MxN), n…po et bod masky

4. Výb r pozice s nejmenším rozptylem 5. P i azení bodu (i,j) výstupního obrazu hodnotu aritmetického pr m ru jas vybrané masky

Lokální p edzpracování – vyhlazování obrazu Ukázka výsledk • obrázek zatížen šumem typu „pep a s l“ s hustotou 0.02

Lokální p edzpracování – detekce hran Zd razn ní vyšších frekvencí = zvýrazn ní obrazových element , kde se jasové fce náhle m ní (velký modul gradientu), ale bohužel i šumu Vychází se z toho, že hrana je místo, kde se náhle m ní jas a toto místo se musí zd raznit Hrana je ur ena velikostí (velikost gradientu obrazové fce) a sm rem

g

g x

2

g y

2

arctg

g g / y x

Parciální derivace v obrazech nahrazeny diferencemi: i

g (i, j )

g (i, j ) g (i 1, j )

j

g (i, j )

g (i, j ) g (i, j 1)

Ost ení = úprava obrazu tak, aby v n m byly strm jší hrany

f (i, j )

g (i, j ) C S (i, j )

kde C … koeficient udávající sílu ost ení, S(i,j) … strmost zm ny v ur itém bod , nap . gradient nebo Laplacián

Lokální p edzpracování – detekce hran Operátory neinvariantní v

i rotaci

• n kolik masek (rotace jedné): Roberts v, Sobel v, Prewitt v, Kirsch v, …. • aproximace první derivace

h1

1 0

0 , h2 1

0 1 , 1 0

h1

1 0

2 0

1 0 , h2

0 1

1 0

2 1 , ...

1

2

1

2

1

0

Robertsuv

h1

1 0 1

1 0 1

1 0 , h2 1 Prewituv

Sobeluv

0 1

1 0

1 1 , ...

1

1 0

h1

3 3

3 0

3 3 , h2

3 5

3 0

3 3 , ...

5

5

5

5

5

3

Kirschuv

Lokální p edzpracování – detekce hran Operátory invariantní v

i rotaci

• jedna maska: Laplace v, … • aproximace druhé derivace – detekce pr chodu nulou

2

g

2

g 2 x

2

g 2 y

h4

0 1

1 0 4 1 , h8

1 1

1 1 8 1

0

1

1

1

0

1

Laplace v

Operátory Marra a Hildretové Cannyho hranový detektor Operátor LoG • druhá derivace hledána pomocí filtru s Gaussovým rozložením G a Laplaceova operátoru • derivace Gaussova filtru lze spo ítat p edem analyticky (nezávisí na konkrétním obrazu) 2

(G * g )

(

2

G) * g

0

Lokální p edzpracování – detekce hran Ukázka výsledk

Další techniky p edzpracování



Filtrace obrazu v kmito tové oblasti Lze aplikovat na celém obrazu i jen na vý ezu je nutné p evést obraz do frekven ní reprezentace, tam provést filtraci a nakonec p evést zp t nej ast ji Fouriérova transformace, kosínová, vlnková (wavelet)

Fouriérova transformace • využívá se amplitudová char. nebo výkonová spektrální hustota • volbou koeficient ve frekven ní oblasti lze modifikovat obraz v prostorové oblasti (nap . realizovat filtr typu dolní propust pro vyhlazení obrazu) F (u , v)

R 1S 1

f ( x, y ) exp

y 0 x 0

f ( x, y )

1 R S

R 1S 1 v 0u 0

2 j x u S

F (u , v) exp

2 j x u S

2 j y v R 2 j y v R

Restaurace obrazu Snaha o potla ení porušení obrazu na základ znalosti charakteru poruchy nebo jejího odhadu ím lepší je znalost degradace, tím lepší jsou výsledky, proto se degradace modelují Modely poruch se d lí: • apriorní – parametry poruchy jsou známy nebo je lze získat p ed obnovením (nap . ohodnocení vlastností snímacího za ízení, rozmazání – modelujeme sm r a rychlost pohybu, …) • aposteriorní – znalosti o poruše jsou získávány až analýzou degradovaného obrazu (ur ování charakteru poruch vyhledáváním osam lých bod nebo p ímek v obrazu a nalezením odpovídající p enosové funkce po degradaci, odhadování spektrálních vlastností šumu v oblastech obrazu, o kterých víme, že jsou pom rn stejnorodé, …)

Obvykle se uvažuje lineární model poruchy (konvoluce p es celý obrázek)

g ( x, y )

( a ,b )

f ( a, b) h( a, b, x, y ) dadb ! ( x,, y )

kde f(a,b) je neporušený obraz, g(x,y) je degradovaný obraz, (x,y) p edstavuje aditivní šum a h(x,y) je prostorov nezávislý model poruchy

g (i, j ) ( f * h)(i, j ) ! (i, j ) G (u , v) F (u , v) H (u , v) N (u , v)

Restaurace obrazu P íklady filtr : Relativní pohyb mezi objektem a kamerou • konstantní pohyb objektu ve sm ru osy x, rychlostí V pod dobu T (v dob otev ení záv rky)

H (u , v)

sin( VTu ) Vu

Rozost ený objekt • špatné zaost ení tenké o ky p i malé hloubce ostrosti (J1 je Besselova fce prvního ádu, r2=u2+v2, a je posun v obraze) – model je prostorov závislý

H (u , v)

J1 (ar ) ar

Inverzní filtrace • vhodné jen pro obrazy, které nejsou zatíženy šumem • u obraz se šumem rozmazává ostré hrany (aditivní chyba pro vysoké frekvence – malá amplituda filtru)

F (u , v ) G (u, v) H 1 (u , v ) N (u , v) H 1 (u, v) Wienerova filtrace, Kalmanova filtrace, … • vhodné i pro nezanedbatelný šum, který má však odhadnutelné statistické vlastnosti

Matematická morfologie Používá se pro: • p edzpracování (odstran ní šumu, zjednodušení tvaru objekt ) • zd razn ní struktury objekt (kostra, zten ování, zesilování, výpo et konvexního obalu, ozna ování objekt ) • popis objekt íselnými charakteristikami (plocha, obvod, projekce)

Úlohu vyhodnocení obrazu geometrizuje Základem jsou tvar objekt a transformace, které ho zachovávají Jsou realizované jako relace obrázku s jinou menší bodovou množinou = strukturní element – elementem systematicky pohybujeme v obrazu Základní operace: • dilatace • eroze • otev ení • uzav ení

Binární otev ení

- 7 pix široký kruhový element

Pedzpracování obrazu

Recommend Documents