Digitális képek szegmentálása
5. Textúra Kató Zoltán http://www.cab.u-szeged.hu/~kato/segmentation/
Textúra fogalma Sklansky: Egy képen egy területnek állandó textúrája van, ha a lokális statisztikák vagy egyéb lokális tulajdonságok állandóak, lassan változnak, vagy Megközelítőleg periódikusak
Texel: az ismétlődő minta-elem Értelmezésük szorosan kapcsolódik az emberi látáshoz: Az ismétlődő mintázatot nem egyenként érzékeljük, hanem mint egy felület tulajdonságát (~szín, szürkeárnyalat) Egy textúrált felületet homogénnek érzékelünk
Textúra fajtái: Determinisztikus: jól meghatározott geometriai alakzat ismétlődése Véletlen: változó mintázat rögzített statisztikai tulajdonságokkal (pl. eloszlás)
2
Determinisztikus textúrák
3
Véletlen textúrák
4
Textúra-élek Élek ott keletkeznek, ahol a textúra paraméterek megváltoznak: méret irány sűrűség kontraszt hosszúság szélesség …
Fontos jellemző a szegmentáláshoz
5
Gestalt pszihológia
6
Textúra-érzékelés leírása a Gestalt pszihológiára épül, amely az emberi látás csoportosítási preferenciáival foglalkozik. A csoportosítás lényegében értelmes részekre bontja a látott képet. A csoportosítás alapja: szomszédság hasonlóság folytonosság szimmetria stabilitás bezárás (zárt alakzat)
Textúra-érzékelés egyfajta perceptuális csoportosítás
Gestalt szabályok
7
Az egészet látjuk, nem a részeket
8
Textúrák megkülönböztetése
9
Bela Julesz(1966): Bizonyos textúrákat könnyedén („első ránézésre”) meg tudunk különböztetni. különböző első- és másodrendű statisztikák esetén azonos másodrendű statisztikák esetén nehéz megkülönböztetni
Első- és másodrendű statisztika
10
Első rendű statisztika: az egyes elemek statisztikája például: méret, árnyalat
Másodrendű statisztika: páronkénti előfordulási gyakoriság
Jellemzők ÍÎkapcsolat Irány ÍÎ pozíció
Szín vagy görbület, de nem szín és görbület
11
Textúra leírás
12
A textúrák statisztikai leírása olyan textúrajellemzőket állít elő, melyek egy régión belül homogének Î szegmentálás viszonylag könnyen elvégezhető Három fő típus: hisztogram (elsőrendű statisztika) együttes előfordulási (co-occurence) mátrix (másodrendű statisztika) textúra elemek eloszlása egy ablakon belül
Hisztogram momentumok Egy x valószínűségi változó (itt pixel-érték) n. centrális-momentuma Mn: N Jól jellemzik a kép, vagy egyes régiók textúráltságát.
13
M n = ∑ ( xi − m) p ( xi ) n
i =1
Második momentum jól jellemzi a kontrasztot, ami fontos a textúrák jellemzésében is: Relatív simaság R: konstans intenzitás: R = 0 nagy intenzitás-változás: R ≈ 1
R = 1−
1 1 + σ ( x) 2
3. momentum a hisztogram alakjára (szimmetria), 4. mometum a hisztogram laposságára jellemző Nem írja le a pixelek egymáshoz viszonyított elhelyezkedését.
Együttes előfordulási mátrix
14
A co-occurence mátrix az egymástól adott távolságban és irányban elhelyezkedő azonos szürkeárnyalatú pixel-párok számát adja meg. Ebből a mátrixból azután sokféle textúra-jellemzőt vezethetünk le. C(l,m|∆i,∆j) megadja a valószínűségét annak, hogy egy tetszőleges pixelérték l, amíg a pixel (megfelelő írányban és távolságban levő) szomszédjának pixelértéke m. A co-occurence mátrix szimmetrikus. C (l , m | ∆i, ∆j ) = occurence{I(i, j) = l & I(i + ∆i, j + ∆j ) = m}+ + occurence{I(i, j) = l & I(i − ∆i, j − ∆j ) = m} Írható más alakban is (~polárkoordináta): C(l,m|d,θ)
Együttes előfordulási mátrix - példa Tekintsük az alábbi 6-színű képet és C(l,m|0,1): Horizontálisan szomszéd pixelek együttes előfordulása C(l,m|0,1) 6X6 mátrix (256 árnyalat esetén 256X256)
15
Co-occurence – textúra jellemzők Energia Entrópia Korreláció Inercia
N
16
N
E (d , θ ) = ∑∑ C (l , m | d , θ ) 2 l =0 m=0 N N
H (d , θ ) = ∑∑ C (l , m | d , θ ) log C (l , m | d , θ ) l =0 m=0 N N
S (d , θ ) = ∑ ∑ (l − µ x )(m − µ y )C (l , m | d , θ ) σ xσ y l =0 m =0 N N
I (d , θ ) = ∑ ∑ (l − m) 2 C (l , m | d , θ ) l =0 m =0 N N
Lokális homogenitás L(d , θ ) = ∑ ∑ C (l , m | d , θ ) (1 + (l − m) 2 ) l =0 m =0
Ezen jellemzőknek nincs közvetlen psziho-fizikai értelme, de jól használhatók textúrák megkülönböztetésére.
Gabor textúra jellemzők Multi-channel szűrőzés: Az emberi vizuális rendszer ihlette (Campbell & Robson). Az elmélet szerint a vizuális rendszer felbontja a retinai képet több szűrt képre, melyek mindegyike egy keskeny frekvencia (méret)- és irány-tartomány intenzitás-változásait tartalmazza.
Az él-irányra merőleges.
Gabor szűrők
17
Gabor szűrő - példa
18
Gabor szűrő-sorozat Különböző irányra és frekvenciára érzékeny Gabor szűrők együttese.
19
Többcsatornás szűrőzés
20
Textúra-jellemzők kinyerése szűrősorozat segítségével. Minden egyes szűrő egy bizonyos irányra és egy bizonyos méretre érzékeny
A szűrőzés lépései: A szűrők definiálása (számuk, matematikai formula) Î szűrt képek A szűrt képekről a megfelelő textúra-jellemzők kinyerése Î feature képek A megfelelő feature képek kiválasztása, amelyek segítségével el tudjuk különíteni a képen található textúrákat Î szegmentálás
Gabor szűrő
21
Gabor szűrő impulzus-függvénye:
1 x2 y2 h( x, y ) = exp − 2 + 2 cos(2πµ0 x) 2 σ x σ y µ0 - a szinuszos sík frekvenciája az X tengely mentén σx és σy - a Gauss burkoló szórása az X és Y tengely mentén.
Gabor szűrő a Fourier tartományban
22
Fourier tartományban használjuk: 1 (u − u0 ) 2 v 2 1 (u + u0 ) 2 v 2 + H (u, v) = A exp − exp + − + 2 2 2 2 σ2 2 σ σ σ u v u v A = 2πσ xσ y ,
σ u = 1 2πσ x
σ v = 1 2πσ y
Ez a reprezentáció megadja azt, hogy a filter mennyire módosítja az input kép egyes frekvenciakomponenseit.
Diszkrét 2D Fourier traszformáció
23
Egy M x N függvény (kép) diszkrét Fourier transzformáltja: M −1 N −1
1 − j 2π (ux / M +vy / N ) F (u, v) = f ( x, y)e ∑∑ MN x=0 y=0 Az inverz transzformáció: M −1 N −1
f ( x, y ) = ∑∑ F (u , v )e
j 2π ( ux / M + vy / N )
u =0 v =0
Szűrőzés: a kép Fourier transzformáltját szorozzuk a szűrő-függvény Fourier transzformáltjával (H(u,v))
Diszkrét 2D Fourier traszformáció A transzformáció értéke (u, v) = (0,0) -ban:
1 F (0,0) = MN
M −1 N −1
∑∑ f ( x, y) = f ( x, y) átlaga x =0 y =0
Ha f ( x, y) valós, akkor Fourier transzformáltja szimmetrikus *
F (u , v) = F (−u ,−v)
Ebből következik, hogy a Fourier transzformált spektruma szimmetrikus:
F (u, v) = F (−u ,−v)
24
Fourier transzformáció
25
Szűrőzés a frekvencia-tartományban A Fourier frekvenciatartomány tulajdonságai: Alacsony frekvenciák: A kép lassan változó komponensei Magas frekvenciák : A gyorsabb szürkeárnyalatváltozások élek zaj
A képen erős ±45°-os élek láthatók.
26
Gabor jellemzők: 1. szűrődefiníció Farrokhnia-Jain 1991: 4 irány:
θ 0 = 0 ° , 45 ° , 90 ° , 135 °
Radiális frekvencia (µ0) értékei a képmérettől (N = kép szélessége) függenek:
µ0 = 1 2 , 2 2 , 4 2 , ...., ( N / 4) 2 ciklus N A szükséges Gabor szűrők száma:
4 log 2 ( N c / 2).
27
Gabor szűrősorozat Például 256 széles kép esetén 28 szűrőt használunk: 4 irány és 7 radiális frekvencia. Egy adott szűrő az általa lefedett ellipszis alakú tartományba eső frekvenciákat emeli ki.
28
Gabor szűrő példák
29
2. Szűrők kiválasztása
30
A szűrt képek közül ki kell valasztani azokat, amelyek már jól elkülönítik a textúrákat. LSE (Least Square Error) kritérium:
2 ˆ SSE = ∑ [ s ( x, y ) − s ( x, y )] x, y
s ( x, y )
– a szűrt képek összege, jól közelíti az input képet
sˆ( x, y )
– a szűrt képek egy részének összege
COD (Coefficient of Determination): R 2 = 1 − A teljes intenzitás-változásból mennyit tartalmaz sˆ( x, y )
SSE 2 [ s ( x , y )] ∑ x, y
2. Szűrők kiválasztása
31
Mivel az egyes Gabor szűrők között alig van átfedés, s(x,y) energiája (E) jól közelíthető: n
E = ∑ Ei , Ei = ∑ [ri ( x, y )] = ∑ | Ri (u , v) | i =1
2
x, y
2
u ,v
ri(x,y) - i. szűrt kép, Ri(x,y) - i. szűrt kép diszkrét Fourier transzformáltja. Ei 2 Így R közelíthető: 2 i∈s
R ≈
∑
E Az ideális szűrőket úgy választjuk ki, hogy Kiszámoljuk Ei–t minden i=1,2,…,n Rendezzük a szűrőket Ei alapján Kiválasztjuk az első k szűrőt melyekre R2 elegendően nagy (pl. >0.99)
3. Feature képek
32
A megfelelő szűrt képekből olyan feature képeket kell előállítanunk, amelyek megközelítően homogén szürkeértékeket rendelnek a homogén textúrájú részekhez. Ezt a következő eljárással állítjuk elő (FarrokhniaJain 1991): Nem-lineáris transzformációt alkalmazunk a szűrt képekre −2αt (α konstans): 1− e
ψ (t ) = tanh(αt ) =
1 + e − 2αt
Az így kapott képet simítjuk egy Gauss szűrővel, melynek szórása arányos a gabor szűrő frekvenciájával:
σ = k / u0
Feature kép példák
33
Szegmentálás
34
A helyesen kiválasztott feature képek alapján viszonylag könnyen elvégezhetjük a szegmentálást Küszöbölés, klaszterezés, régiónövelés, MRF, stb…
MRF szegmentálás
