Digitális Képfeldolgozás kézirat Dr. Alhusain Othman
Budapesti Műszaki és Gazdaságtudományi Egyetem Fotogrammetria és Térinformatika Tanszék
Budapest, 2002
1
DIGITÁLIS KÉPFELDOLGOZÁS
1.1. Terminológia: A képek fontos szerepet játszanak minden napi életünkben mint adat hordozó eszközök. A képek több formában léteznek, van ahol látható formában, van ahol nem, van még igazi kép és absztrakt kép. A képek, formai illetve alakulása alapján három csoportba sorolhatók: 1. Látható képek: (Klasszikus) képek: mint a fotók, a rajzolások, és a festmények. Optikai képek: amik alakulnak a lencsék, a prizmák, és a hologramok által. 2. Nem Látható képek: Fizikai képeknek is nevezik. Ezek olyan fajta képek amelyek mutatják bizonyos fizikai jelenségeknek az elosztását. Néhány példa a csoportnak: A hőmérséklet, a nyomás és a magasság elosztása. 3. Absztrakt képek: Matematikai függvényeknek is nevezik, ezek két alcsoportba is kioszthatok. Az egyik alcsoport folytonos függvények (például sinus, cosinus, tangént, stb.), a másik viszont diszkrét vagy pulzus függvények, avagy digitális képek.
1.1. Ábra, a képek típusai.
2
1.2. Definíciók: Kép: Ábrázolás, hasonlítás, vagy utánzása egy objektumnak, élénk vagy grafikai leírás valamiről, egy valaminek a létrehozása hogy ábrázoljon valami mást. Digitális: Számítás numerikus eljárásokkal vagy diszkrét egységekkel. Feldolgozás: folyamat (eljárás) alkalmazásának a művelete. Digitális képfeldolgozás: Egy sorozat műveletnek az alkalmazása egy objektumnak numerikus ábrázolására, hogy egy kívánt eredményt kaphassunk. Digitalizálás: Egy folyamat amely eredményeképpen egy képnek eredeti formájából átalakítandó digitális formát kapunk. Szkennelés: A kép pontjainak sorozatos címzése. Mintavételezés: A szürkeségi szint felmérése egy ponton a kép területén. Kvantálás: Átváltani a megmért értéket egy egész számra. Felbontás: A valódi terület méretei amely úgy szerepel mint egyetlen adat egység egy adott képen. 1.3. Digitális kép modellezése: A digitális kép annak eredményeként jön létre hogy egy klasszikus képet elosztunk egyenlő vízszintes és függőleges egységekre, ezeket a vízszintes és függőleges egységeket soroknak és oszlopoknak nevezzük. Egy sor és oszlop keresztmetszéséből eredendő kis négyszögletű területet kép elemnek hívják, a szakmában nagyon elterjedt az angol nyelvű neve a „pixel” is. Így a klasszikus (analóg) képből ilyen sor/oszlop elosztáson keresztül kapjuk a digitális képet és ennek a csomózási modelljét, 1.2a ábra. A vízszintes távolságot két szomszédos pixel központja közötti oszlop távolságnak nevezzük, ugyanazt a függőleges távolságot két szomszédos pixel központja között sor távolságnak nevezzük, 1.2b ábra. Ha elképzelünk egy 2D koordináta rendszert amelyben a kezdőpont (0,0) a képnek felső bal oldalán helyezkedik el, a koordinátatengelyek kissé eltérően a klasszikus koordináta rendszerektől viszont megegyeznek a számítógép képernyő koordinátaival , úgy hogy az X tengely jobb felé irányul, és az Y tengely lefelé irányul, akkor a képnek a koordináta modelljét kapjuk, 1.2c. ábra. A koordináta rendszerben minden pont a kép területén pontosan meghatározható koordinátáival (x,y) és szín tartalom intenzitásával f(x,y). Ha tovább lépünk és próbáljuk a koordináta modellt fejleszteni mátrix formában, akkor a digitális képnek a mátrix modelljét kapjuk. A mátrix modellben megszűnik a képi forma és létre jön helyette egy mátrix, sorokkal, oszlopokkal, és elemekkel, 1.2d ábra. Mivel a mátrix nagyon könnyen feldolgozható és manipulálható a számítógéppel, így a mátrix modell képezi a legfontosabb modellt a képfeldolgozásban, nélküle nem létezhet a számítógépes digitális képfeldolgozás.
b) pixel távolságok
a) csomózási modell 3
d) mátrix modell
b) koordináta modell
1.2. Ábra, a kép modellezése.
1.4. Szürkeségfokok: Az 1.3 ábra mutatja a szürkeségi skálát, ahol fellehet tüntetni az összes színárnyékot a fekete és fehér színek között, e két szélsőséges szín közé esik az összes szürke szín, a világos szürkétől, a közép szürkén át, a sötét szürkéig. A szürkeségi szinten (fokon) viszont meglehet határozni a színárnyékokat (intenzitásokat) számokkal a 0 és a 255 között. A színes színek megkomponálhatók három elemi komponensből amelyek megfelelnek a fent említett szürkefok konvencióknak. Az egyik komponens táplálja a kék szín áramkörét, a másik komponens táplálja a zöld szín áramkörét, és a harmadik komponens táplálja a piros szín áramkörét.
1.3. Ábra, a szürkeségi szint és skála.
4
1.5. Digitális képfeldolgozási rendszerek fő elemei: Egy tipikus képfeldolgozási rendszer négy fő komponensből áll, ezek a komponensek a következők: Adatgyűjtő komponens mint szenzor, szkenner, kamera, stb. Adat tároló és archiváló hardver, mint mágnes szalagok, CD-ék, merev lemezek és floppy lemez drive-ok. A hármadik és legfontosabb komponens képfeldolgozási rendszerekben a számítógép, a számítógépnek az alkalmassága, gyorsasága, és kapacitása döntőek egy hatható képfeldolgozási rendszer kialakításában. A negyedik komponens a képbemutatását szolgál. Nagy felbontású monitor elengedhetetlen a képfeldolgozási rendszerekben, még esetleg színes nyomtató és plotter lehetőséget biztosítanak úgynevezett kemény másolat (hard copy) a feldolgozott illetve interpretált képeknek.
1.4. ábra, tipikus digitális kép feldolgozási rendszer
1.6. Digitális képfeldolgozási szakaszok: A képfeldolgozás célja, hogy értelmes és hasznosítható információkat nyerjünk a nyers képi adatokból. Hogy ezt a célt elérhessük, a nyers képi adatok öt feldolgozási szakaszon mennek át, 1.4. ábra. Ezek a szakaszok az adatgyűjtés, kép tárolás, kép feldolgozás, kép bemutatás, és kép kommunikáció:
Kép tárolás és/vagy kommunikáció
-Műhold felvételek -Légi fotók -Földi fotók -Stb.
Műhold és atmoszféra kapcsolatos javítások
Adatgyűjtés
Előfeldolgozás
-Vizuál feldolgozás -Számítógépes feldolgozás
-Rövid-idős -Élő-vonalas -Archiváló
Képtárolás
Képfeldolgozás
1.5. Ábra, kép feldolgozási szakaszok
5
-monitor -nyomtató -fotók, térképek, stb.
képbemutatás
1.6.1 Adatgyűjtés: Képi adatgyűjtés általában fotó-érzékelő műszerekkel történik mint a fényképezőgépek, a TV kamerák, szkennerek, és más szenzorok. Ezek a műszerek az adatgyűjtés mellet digitalizáló szerepet is játszanak. 1.6.2. Kép tárolás: A kép tárolásnak az a feladata hogy a gyűjtött adatokat megfelelő formában, megfelelő médiumokon történő mentése következő illetve későbbi feldolgozási cél számára, a képi adat tárolása a következő eljárások szerint történik: 1) Tárolási médiumok: A tárolási médiumok egy fajta mágnes és/vagy optikai műszerek amelyeket használják képi (és más) adatok tárolására, ezek a műszerek három kategóriába sorolhatók, a következők szerint: Rövid-idős tárolók: Gyors hozzáférést biztosítanak az adathoz a feldolgozás közben, mint a számítőgép memória és a keret (frame) bufferek. Élő-vonalas tárolók: Ezek is viszonylag gyors hozzáférési időt biztosítanak a visszahívása(töltésé-)nek, e fajta tárolók hozzáférési ideje hosszabb mint a memóriáé és a buffereké de kapacitása nagyobb, egy példája ezeknek a tárolóknak a számítógépnek a merev lemeze (hard disk). Archiváló tárolók: Ezek nagy kapacitású tárolási hellyel rendelkeznek és hosszú életű tárolást biztosítanak, ezek közöl említjük a mágnes szalagot és a legújabban a CD-éket. 2) Adat képzés: Az összes adatokat tárolják a számítógépen bit formátumban, a bit egy bináris szám amelynek 0 vagy 1-es az értéke a bináris számítási rendszerben, e rendszerben történik az összes művelet a számítógépben. Byte: Általában (8-bit)-es hosszú adat érték ami együttesen tárolható egy helyen a számítógépen. Pixel melység: mutatja a szín értéket, avagy az egy időben mutatható színek száma egy képen. Például egy (8-bit)-es pixel melység ad lehetőséget 256 szín vetítésére. A 4-bit és 16-bit adnak lehetőséget a (24 = 16) illetve a (216 =65536) szín vetítésére. 3) Tárolási formátumok: Képi adatok tárolhatok a mágnes médiumok háromféle elrendezésben. Ezek a sáv beillesztés, a sor 1, sáv 1 sor beillesztés, és a pixel beillesztés. sor 2, sáv 1 ----- ---- Sáv beillesztés-BSQ: A sáv beillesztésben sor n, sáv 1 minden képnek a sávját tárolják külön file-ban, így lehetőség nyílik arra, hogy a képnek sor 1, sáv 2 sor 2, sáv 2 különböző sávjai letöltése könnyű és tetszőleges ----- ----sor n, sáv 2 sorrendben történjen (pl. sáv 1, sáv 4, sáv 3 ). E fajta elrendezés a legelterjedtebb a gyakorlatban. Az 5-ös ábra mutatja ezt a népszerű formát, látható benne, hogy a kép file „header” része után rögtön következnek a különböző sávok külön file-okban, bele értve, hogy mindegyik sor 1, sáv x file-nak van saját file-végét (EOF). sor 2, sáv x ----- ----sor n, sáv x
1.6. ábra, sáv beillesztési berendezés.
6
Sor beillesztés-BIL: Ebben a formátumban egyetlen egy file hordozza az egész képnek az adatait, ha a file több sávos is. A file-ből mindegyik rekordja hordozza egy sávból egy sor adatot. Például, az első file rekord hordozza sor 1 sáv 1-ből, a második file rekord hordozza sor 1 sáv 2-ből és így tovább az utolsó sor az utolsó sávból. A 6-os ábra mutatja ezt a rendezést.
sor 1, sáv 1 sor 1, sáv 2 ----- ----sor 1, sáv x sor 2, sáv 1 sor 2, sáv 2 ----- ----sor 2, sáv x ----- --------- --------- --------- ----sor n, sáv 1 sor n, sáv 2 ----- ----sor n, sáv x
1.7. ábra, sor beillesztési berendezés.
Pixel beillesztés-BIP: Abban a formátumban, a képi adatok úgy helyezkednek el, hogy a file elején –a header után- helyezkedik el az első pixel az első sávból, utána az első pixel a második sávból, és így tovább, az első pixel az utolsó sávból. Utána folytatódik az elrendezése a második pixelnek úgy mint az elsőnek, és utána a harmadiknak, a negyediknek, és így tovább az utolsó pixelig az utolsó sávból. 7. ábra mutatja ezt a komplikált formátumot, amellyel nagyon ritkán találkozunk a gyakorlatban. A képi adat berendezéssel kapcsolatos, könnyen következtethető, hogy egy sávos képekben (beleértve a színes képeket) mindhárom formátum (BSQ, BIL, BIP) megegyezik a berendezésükben és egységes eredményt adnak. Az egy sávos képek elterjedtebbek az építészeti, és szerkezetmérnöki képfeldolgozási alkalmazásokban.
pixel 1, sáv 1 pixel 1, sáv 2 ----- ----pixel 1, sáv x pixel 2, sáv 1 pixel 2, sáv 2 ----- ----pixel 2, sáv x ----- --------- --------- --------- ----pixel n, sáv 1 pixel n, sáv 2 ----- ----pixel n, sáv x
1.8. ábra, pixel beillesztési berendezés. 3) Kép Feldolgozás: Abban a fontos fázisban találkozunk a legtöbb művelettel amelyek alkalmazhatók képi adatok feldolgozásában. Ezek a műveletek általában kifejezhetők algoritmus formákban. így a képfeldolgozási műveletek matematikai számításokra alapozódnak és következménye képen
7
könnyen fejezhetők be szoftverrel. A képfeldolgozás ebből a fázisból ered, mivel a fázis igazán a legfontosabb az információ nyerés szempontjából. 4) Kép bemutatás: Multispectrális (színes) monitorok főszerepet játszanak a modern képfeldolgozási rendszerekben. A jelek a bemutatási modul output-jából levezethetők képírási rendszerekbe is, hogy kemény másolati terméket (hard-copy) kaphassunk, mint a képek, fotók, diák, térképek, stb. A monitor felbontás nagyon fontos faktor a kép finom részleteinek bemutatásában. 5) Kép kommunikáció: Ez a fázis alapvetően nem egy része a képfeldolgozási rendszereknek, de a gyors számítógépes hálózatok fejlődésének köszönhetően a kép kommunikáció mostanában fontos szerepet játszik a képi adatok gyors és könnyű cseréjében és átadásában. 1.7. Szürkeségfok hisztogram. Szürkeségfok hisztogram: egy függvény, amely minden szürkeségfoknál mutatja egy képből a pixelek számát amelyeknek azonos szürkeségfoka van. Például, ha az X koordináta mutatja a szürkeségi fokot, és Y koordináta a pixelek számát, akkor a szürkeségfok hisztogram egy jó indikátor amelyet lehet hasznosítani a digitalizálásban, a kontraszt javításban és az objektum határainak meghatározásában. 596
1000
PixelekSzámaSzürkeségiSzint 500
0
0
0
50
100
150
0
200
SzürkeségiSzint
250
300 255
1.9. ábra, szürkeségi szint hisztogram. 1.8. Kép geometria és műveletek: x 1.8.1. A pixel szomszédság: A pixel P(x,y) koordinátával rendelkezik, a körülötte (x-1,y-1) (x,y-1) (x+1,y-1) eső csoport pixeleket, pixel szomszéd-ságnak y (x- 1,y) nevezik, ezt a pixel szomszédságot sok műveletben P(x,y) (x+1,y) alkalmazzuk, és fontos szerepet játszik a pixelre alkalmazható különböző műveletekben. A közvetlen (x-1,y+1) (x,y+1) (x+1,y+1) szomszédság kilenc pixelből áll, ezek: vízszintes – 2 pixel: (x-1,y), (x+1,y) 1.10. ábra, pixel szomszédság. függőleges – 2 pixel: (x,y-1), (x,y+1) átlós – 4 pixel: (x-1,y-1),(x+1,y-1), (x-1,y+1), (x+1,y+1)
8
1.8.2. Algebrai műveletek: Algebrai műveltek azok a műveletek, amelyekben a kimenő (output) kép közvetlen eredménye a műveletnek az alkalmazása két bemenő (input) képre. A műveletek lehetnek összeadás kivonás, szorzás, osztás. Nyilvánvaló, hogy ezek a műveletek az input két képnek pixeleinek szürkeségi szintjeire történik. A fent említett műveletek matematikai alapon történnek a következő egyenletek szerint, ahol A, B az input képek és C az output kép. Algebrai műveletek hasznosak az átlagolásban, zaj minimálásban, szürkeségi szint nem –uniformitás elhárítás. Ha egy algebrai műveletnek eredményez egy szürkeségi szinttel amely kisebb mint a 0 vagy nagyobb mint 255, akkor nagyítás/csökkentés eljárást kell alkalmaznunk, mert ilyen tartomány a szín skálán kívül esik.
Összeadás: A(x,y) + B(x,y) = C(x,y) Kivonás: A(x,y) – B(x,y) = C(x,y) Szorzás: A(x,y) x B(x,y) = C(x,y) Osztás: A(x,y) / B(x,y) = C(x,y)
0 1 2
0 7 3 4
1 3 5 6 A+B
2 6 9 5
0 1 2
0 0 0 2
1 1 0 3 A-B
0 3 1 3
0 1 2
2 0 0 0
0 1 2
1 2 2 5 A
2 1 4 1
0 1 12 2 2 6 5 10 A*B
0 4 2 1
0 1 2
2 5 20 4
0 1 2
1 1 3 2 B
0 1 1 3
2 5 5 4
1 2 1 3 A/B
2 0 1 0
1.11. Ábra, algebrai műveletek.
1.8.3. Logikai műveletek: A fő logikai műveletek az AND (és), az OR (vagy), a NOT (nem). A NOT műveletet negációnak vagy kiegészítésnek is nevezik. Ezek a műveletek komplettek, olyan értelemben hogy abból a három alap művelet kombinálásából lehet összeállítani minden más logikai műveletet. Ha A és B két bináris input kép, C bináris outputkép, akkor a logikai műveleteket ki lehet fejezni a következő formák alapján: AND: A AND B = C OR: A OR B = C NOT: NOT A = Ā = C
logikai példa: logikai példa: logikai példa:
(A: 0 1 0 1) AND (B: 0 0 1 1) = (C: 0 0 0 1) (A: 0 1 0 1) OR (B: 0 0 1 1) = (C: 0 1 1 1) NOT (A: 0 1 0 1) = (C: 1 0 1 0)
A logikai műveletek elsősorban alkalmazhatók bináris képekre, és hasznosak a maszkolásban, jellemző észrevételben (detekcióban) és forma elemzésben (analízisben), ilyen alkalmazások találhatók az ipari mesterséges intelligenciában, műhold és orvosi kép javításban, cél mozgás meghatározásban, és sok más területen. Az ábra 1.12. mutatja kép formákban a logikai műveletek alkalmazásának az eredményét.
9
1.12. Ábra, logikai műveletek alkalmazása bináris képekre.
10
2. GEOMETRIAI MŰVELETEK Geometriai műveletek azok a műveletek, amelyekben változnak a térbeli függések a különböző objektumok között a kép területén. Egyszerű példája a geometriai műveleteknek, ha elképzelünk egy eredeti kép és nagyított (vagy kicsinyített) példányát, egy másik példa, ha az eredeti képen pár objektumot elmozdítunk a helyükről és a kép területén más helyre rakjuk őket. Egy geometriai művelet szükségszerűen két részből áll. Az egyik rész meghatározza (definiálja) a mozgás irányát az eredeti helyről az új helyre, a másik rész meghatározza a szürkeségi szint(ek) a mozgósított objektumoknak (pixeleknek). Ezt a két részt szaknyelven térbeli transzformációnak és szürkeségi szint interpolációnak nevezzük. Minden geometriai műveletben nagyon kívánatos két dologra törekedni, az egyikben az objektumok érintkezésére, a másikban a görbe-lineáris jellemzők folytonosságának minél jobban tartására. 2.1. Térbeli transzformáció: A térbeli transzformációt pontosan meglehet határozni pixelenkénti mozgás definiálásával, bár ez egy pontos művelet de végbevitele majdnem lehetetlen feladat. Ennél sokkal egyszerűbb és elfogadható pontossággal lehet alkalmazni egy függvénnyel definiált transzformációt. A függvényt magát meglehet határozni úgynevezett „szabályozott hálózat interpretáció” alkalmazásával, úgy, hogy az eredeti deformált input képben választunk néhány mintapontot és pontosan meghatározzuk a helyüket a javított output képen. Az input pontok és az output pontok közötti függés segítségével lehet származtatni a transzformáció függvényt. Minél több pontot választunk, annál felsőbb rangú lesz a függvény és következésképpen pontosabb. Az általános formája a transzformációs függvénynek a következő: g(x,y)=f[a(x,y), b(x,y)]
(2.1)
ahol g(x,y) az output kép, f(x,y) az input kép, és az a(x,y) és b(x,y) függvények amelyek előírják (kikötik) a transzformációt.
f(x,y)
g(x,y)
2.1. Ábra, eredeti torzult kép és javított másolatát.
11
2.2. Geometriai transzformációs példák: 1) A másolás: A sima másolásban a(x,y) = x, b(x,y) = y Így: g(x,y) = f(x,y) A mellékelt két képben könnyen látható hogy az adott fenti kép és másolata egyenlők.
1 2 0 1 5 3 0 2 2 4 3 3 F
1 5 2
2 0 1 3 0 2 4 3 3 G
2) A csúsztatás: a csúsztatás transzformációban a(x,y)=x-x0, b(x,y)=y-y0, ahol x0 a csúsztatás értéke az x tengely irányban, y0 a csúsztatás értéke az y tengely irányban van. Az x0 és y0 értékeinek +,kombinálásával lehet csúsztatni a képet le-, fel-, jobb-, és bal felé tetszés szerint. Példa: Ha akarjuk csúsztatni a képet egy oszloppal 0 0 0 0 1 2 0 1 jobbra és két sorral lefelé, akkor: 0 0 0 0 5 3 0 2 x0 =1, y0 = 2 0 1 2 5 2 4 3 3 Következésképpen: G F g(x,y) = f(x-x0, y-y0) g(x,y) = f(x-1, y-2) Figyelembe véve hogy az eredeti kép határain kívül eső pixeleknek az értéke nulla, a „G” képet kapunk. 3) Tükrözés egy vonal körül: A vonal körüli tükrözésben az a(x,y) és a b(x,y) függvényekre alkalmazott változással megkapjuk a kívánt tükrözési műveletet. Így ha változik az a(x,y) értéke és a b(x,y) fixen marad akkor kapunk egy függőleges vonal körüli tükrözést. Viszont ha az a(x,b) fixen marad és változik a b(x,y) akkor a vízszintes vonal körüli tükrözést kapjuk. Ezt a két tükrözési alapművelet kilehet fejezni matematikai modellben, a következő egyenletek szerint: - Függőleges vonal körüli tükrözés: a(x,y) = c-x, b(x,y) = y g(x,y) = f[a(x,y), b(x,y)] g(x,y) = f(c-x,y) Példa: Ha c= 1, alkalmazzon egy függőleges tükrözést a következő F képre. c=1 akkor: a(x,y) = 1-x, b(x,y) =y g(x,y) = f[a(x,y), b(x,y)] g(x,y) = (1-x,y)
1 2 0 1 5 3 0 2 2 4 3 3 F
2 1 0 0 3 5 0 0 4 2 0 0 G
- Vízszintes vonal körüli tükrözés: a(x,y) = x, b(x,y) =c-y g(x,y) = f[a(x,y), b(x,y)] g(x,y) = f(x,c-y) Példa: Ha c = 1, alkalmazzon egy vízszintes tükrözést a következő F képre c = 1 akkor: a(x,y) = x, b(x,y) = c-y g(x,y) = f[a(x,y), b(x,y)] g(x,y) = f(x,1-y)
1 2 0 1 5 3 0 2 2 4 3 3 F
12
5 3 0 2 1 2 0 1 0 0 0 0 G
4) A teljes tükrözés: A teljes tükörképben a tükrözés úgy történik mint ha egy középen eső oszlop (vagy sor) körül történne a tükrözés (forgatás), a teljes tükrözés ideális formában alkalmazható amikor a soroknak illetve oszlopoknak egy képen páratlan száma van. A teljesen tükrözött képben, a transzformáció függvény egyikük a következő két formát veszi fel: - oszlop körül tükrözésben: g(x,y) = f(x0-x,y) x0: oszlopok száma a képen csökkent eggyel mivel a számozás nullával kezdődik. A fenti egyenlet alapján számoljuk a soroknak különböző elemeit: Példa: g(x,y) = f(8-x,y) sor 0: g(0,0) = f [(8-0),0] = f(8,0) = 1 g(1,0) = f [(8-1),0] = f(7,0) = 9 ------- ------------------g(8,0) = f [(8-8),0] = f(0,0) = 0 sor 1: g(0,1) = f [(8-0),1] = f(8,1) = 2 g(1,1) = f [(8-1),1] = f(7,1) = 0 ------- -------------------g(8,1) = f [(8-8),1] = f(0,1) = 2 sor ----: ------- -------------------------- -------------------------- -------------------------- -------------------sor 8: g(0,8) = f [(8-0),8] = f(8,8) = 2 g(1,8) = f [(8-1),8] = f(7,8) = 1 ------- --------------------
0 1 2 3 4 5 6 7 8
0 0 2 2 2 8 2 7 6 9
1 7 3 1 4 7 3 2 7 1
2 6 1 2 5 9 1 3 2 2
3 1 3 0 1 8 5 1 4 4
4 3 4 1 0 9 2 8 5 2
5 4 5 5 0 1 7 5 2 9
6 8 6 7 3 2 8 6 3 0
7 9 0 9 2 5 2 7 7 1
8 1 2 8 9 4 8 6 8 2
5 1 3 0 1 8 5 1 4 4
6 6 1 2 5 9 1 3 2 2
7 7 3 1 4 7 3 2 7 1
8 0 2 2 2 8 2 7 6 9
F
0 1 2 3 4 5 6 7 8
0 1 2 8 9 4 8 6 8 2
1 9 0 9 2 5 2 7 7 1
2 8 6 7 3 2 8 6 3 0
3 4 5 5 0 1 7 5 2 9
4 3 4 1 0 9 2 8 5 2 G
2.2. Ábra, oszlop körüli tükrözés
13
g(8,8) = f [(8-8),8] = f(0,8) = 9 - sor körül tükrözésben: g(x,y) = f(x,ys-y) ys: sorok száma a képen, csökkent eggyel mivel a számozás nullával kezdődik. A fenti egyenlet alapján számoljuk a soroknak különböző elemeit: g(x,y) = f(x,ys-y) Példa: g(x,y) = f(x,8 - y) oszlop 0: g(0,0) = f [0,(8-0)] g(0,1) = f [0,(8-1)] ------- ---------g(0,8) = f [0,(8-8)] oszlop 1: g(1,0) = f [1,(8-0)] g(1,1) = f [1,(8-1)] ------- ---------g(1,8) = f [1,(8-8)] oszlop ----: ------- ----------------- ----------------- ----------------- -----------
0 1 2 3 4 5 6 7 8
1 7 3 1 4 7 3 2 7 1
2 6 1 2 5 9 1 3 2 2
3 1 3 0 1 8 5 1 4 4
4 3 4 1 0 9 2 8 5 2
5 4 5 5 0 1 7 5 2 9
6 8 6 7 3 2 8 6 3 0
7 9 0 9 2 5 2 7 7 1
8 1 2 8 9 4 8 6 8 2
5 9 2 5 7 1 0 5 5 4
6 0 3 6 8 2 3 7 6 8
7 1 7 7 2 5 2 9 0 9
8 2 8 6 8 4 9 8 2 1
F
0 1 2 3 4 5 6 7 8
= f(0,8) = 9 = f(0,7) = 6 ---------= f(0,0) = 0
0 0 2 2 2 8 2 7 6 9
0 9 6 7 2 8 2 2 2 0
1 1 7 2 3 7 4 1 3 7
2 2 2 3 1 9 5 2 1 6
3 4 4 1 5 8 1 0 3 1
4 2 5 8 2 9 0 1 4 3 G
2.3. Ábra, sor körüli tükrözés
= f(1,8) = 1 = f(1,7) = 7 ---------= f(1,0) = 7
oszlop 8: g(8,0) = f [8,(8-0)] = f(8,8) = 2 g(8,1) = f [8,(8-1)] = f(8,7) = 8 ------- -------------------g(8,8) = f [8,(8-8)] = f(8,0) = 1
-------------------------------------
2.3. Szürkeségi szint interpoláció: Általában egy mint két interpolációt alkalmazunk a szürkeségi szint számításában egy transzformációs műveletben. Ezek a legközelebbi szomszéd interpoláció és a bilineáris interpoláció: 2.3.1. A legközelebbi szomszéd interpoláció: A legközelebbi szomszéd interpolációban az interpolált pixel veszi fel a hozzá való legközebbi pixelnek a szürkeségi szintjét szürkeségi szintként. A 2.4. Ábra, mutatja ezt az interpolációs módszert. Az ábrán mutatott p(1,2) pixelnek a szürkeségi 0 1 2 3 4 szintje egyenlő a (0,3) pixelével, 0 3 5 amelynek 4 értéke van. 1 2 p 3 4 1 4 2.4. Ábra, a legközelebbi szomszéd interpoláció
14
2.3.2. A bilineáris interpoláció: A bilieáris interpoláció támaszkodik alapozott geometriai elvekre, úgy hogy két-dimenziós interpolációt lebontunk három egy-dimenziós interpolációra. Ha figyelembe veszünk a négy (A1, A2, A3, A4) pontból álló cella elrendezését, ábra 2.5, az (x,y) koordináta rendszerben a négy említett pont sorrendben a (0,0), (0,1), (1,0), (1,1) koordinátákkal és f(0,0), f(0,1), f(1,0), f(1,1) függvény értékekkel rendelkeznek. Egy adott helyen vagy ponton (x,y) a cellán belül kilehet számítani a függvénynek az értékét a legegyszerűbb módon ha 2-D interpolációt alkalmazunk a cellára az adott ponton. A kétdimenziós interpolációt három egy-dimenziós interpolációra bontjuk ki a következők szerint: - Először, 1-D interpolációs műveletet alkalmazunk az x tengely irányában az y = 0 tartományban: f(x,0) = f(0,0) + x[f(1,0)-f(0,0)] (2.2) - Másodszor, 1-D interpolációs műveletet alkalmazunk az x tengely irányában az y = 1 tartományban: f(x,1) = f(0,1) + x[f(1,1)-f(0,1)] (2.3) - Harmadszor, 1-D interpolációs műveletet alkalmazunk az y tengely irányában az x tartományban: f(x,y) = f(x,0) + y[f(x,1)-f(x,0)] (2.4) Helyettesítéssel a (2.2) és a (2.3) egyenletekből és egyszerűsítés a (2.3) egyenletbe adja a 2-D interpolációnak az általános formáját: f(x,y) = [f(1,0) - f(0,0)]x + [f(0,1) f(0,0)]y + [f(1,1) + f(0,0) - f(0,1) f(1,0)]xy + f(0,0) (2.5) A (2.5) egyenletet lehet modellezni egyszerűsített formában, (2.6). f(x,y) = ax + by + cxy + d
(2.6)
Ahol: a = f(1,0) – f(0,0) b = f(0,1) – f(0,0) c = f(1,1) + f(0,0) – f(0,1) – f(1,0) d = f(0,0)
2.5. Ábra, 2-D interpoláció
Világos a fenti eljárásból hogy a szürkeségi szint egy adott pixelnek interpolálható a szomszédságaiból, így az erős eltérés a szürkeségi szinttel a pixelek között kiküszöbölhető, ennek a tulajdonságnak köszönhetően ez az interpoláció alkalmazható a gyűjtott képi adatok normalizálásában. A gyakorlati képfeldolgozásban az interpolált pixelnek a szürkeségi szintjét számolják a közvetlen négy illetve nyolc pixelnek a szürkeségi szintjeiből. Ilyenkor a számítás könnyű, mert ezek a szomszédos pixelek átlagolásából számítható. Viszont a számítások nehezebbek lesznek amikor nem közvetlen szomszédos pixelek szerepelnek az interpolált pixelnek a szürkeségi
15
szintje számításában. A 2.6. Ábrán mutatott interpoláció eredményezi „5” értéket a pixel P(2,3) szürkeségi szintjének.
0 1 2 3 4 0 1 2 3 4
9 6 p 1 4
2.6. Ábra, 2-D interpoláció alkalmazása.
16
3. KÉPOSZTÁLYOZÁS A képosztályozás célja, hogy a képben tárolt információt tömören és megfelelően írja le. Két fő képosztályozási procedúra terjedt el a gyakorlatban, ezek: statisztikus és szintaktikus osztályozás. A statisztikus osztályozáson belül találhatjuk a felügyelt és a nem-felügyelt osztályozást. 3.1. Statisztikus osztályozás: A statisztikus osztályozás általában két fázisban történik, 3.1. Ábra mutatja a statisztikus osztályozásnak a menetét. Először meghatározzuk az objektumok sajátosságait. Ezután az osztályozás következik, vagy az objektumot annak a sajátság-osztálynak az elemeként ismerjük fel, amelytől a mért sajátságai alapján a legkevésbé tér el. Az egy osztályba sorolt objektumok bizonyos értelemben „hasonlítanak” egymásra, míg a különbözőkbe soroltak eltérőek. 3.1.1. Sajátság kinyerés (sajátság vektorok): 1) Mérhető képjellemzők keresése: Strukturális jellemzők -ívhossz vagy kerület -terület -alak -átmérő -belső pontok átlagos távolsága egymástól és az elhelyezkedése képen -stb. Textúrális jellemzők -ortogonális transzformációk (FT, FFT, stb.) -futási hosszak meghatározása -korrelációk -periodicitás -uniformitás -hisztogram jellemzők (átlag, minimum, maximum, terjedelem) 3.1. Ábra, statisztikus osztályozás 2) Multi- és hyper-spektrális felvételek jellemezése: 3) Számítástechnikai megfontolások: A számítógép által feldolgozott és elemzett sajátságvektorok kell, hogy legjobban megfeleljenek a sebességi és a pontossági követelményeknek. Ideális esetben előre ismernünk kell a pontos paramétereket, a különböző osztályokról. Egyébként paraméter becslést kell végeznünk. A megbízható paraméter becsléshez szükséges adathalmaz nagysága a sajátságvektor dimenziószámával gyorsan nő. Így sokszor szükség van úgynevezett lényegtömörítésre.
17
3.1.2. Az osztályozási algoritmus építése: Az osztályozási algoritmus építése három szakaszon megy át, ezek a szakaszok alapos és átfogó tervezése elengedhetetlen annak érdekében hogy a pontos osztályozási eredményt megkaphassuk. A három szakasz a következő: 1) osztályozó tervezés: A múlt években sok osztályozási módszereket és algoritmusokat találtak ki, amelyek sok szempontból különböznek, de közös nevező létezik közöttük, ez az, hogy mindegyik a legvégén támaszkodik egy meghatározó feltételre. Ha egy objektumnak a jellemzői megfelelnek ennek a feltételnek, akkor az objektumot osztályozni lehet, mint tagja annak az osztálynak amely feltételének megfelelt. 2) osztályozó gyakoroltatás ( training): Ha egyszer már meghatároztuk az egyik osztálynak a feltételét, akkor ennek a feltételnek felsőés alsó- határát kell megjelölnünk. Azután kell gyakoroltatni az osztályozót oly módon, hogy az osztályból kiválasztunk pár jól ismert és pontosan képviselő mintapontokat és objektumokat amelyek a gyakorló csoportba esnek és megmérjük néhány meghatározó jellemzőit. Ezeken a jellemzőkön keresztül kialakítjuk az osztályozási feltétel(eke)t. Az osztályozó gyakoroltatása közben általában használni lehet egyszerű feltételezési szabályokat, mint az ismert hiba elterjedés minimálást és a valószínűség (probabilitás) maximálást. Az osztályozás gyakoroltatása közben kívánatos, hogy minél több képviselő területet kell bevonni a számításba. Persze ezen képviselő területek számításba vétele költséges és időigényes munka, mivel sokszor helyszíni szemlélést és adatgyűjtést igényel. 3) az osztályozó teljesítésének meghatározása: Nagyon fontos, hogy az osztályozási algoritmus gyors és pontos eredményt tud biztosítani (nem igényel sok számítógép és emberi forrást). A gyorsaság szempontjából sok múlik azon, hogy milyen matematikai és statisztikai műveleteket alkalmazunk az algoritmusban. A pontosságot viszont kétféle módon lehet meghatározni. Az egyik mód, hogy a képviselő területeknek az osztályozását összehasonlítjuk az osztályozó algoritmus és a helyszíni szemlélés eredményeivel. A másik mód, gyakoroltatás után alkalmazzuk az osztályozást egy „nem ismert” területre és később megyünk a helyszínre és összehasonlítjuk ennek a „nem ismert” területnek az osztályozását az algoritmus osztályozás és a helyszíni szemlélés eredményével. Ez a második értékelési módszer sokkal pontosabb de drágább, mivel szükségeltetik egy extra helyszíni szemle. 3.1.3. Felügyelt osztályozás: A képi adatok elemzése három fő fázisban valósult meg. Ezek a gyakoroltatás, az osztályozás és a bemutatás. Az első kettő fázisnak alapos és átgondolt tervezése és alkalmazása fontos szerepet játszik a sikeres képelemzésben. A 3.2. ábra mutat egy tipikus képelemzési folyamatot, amely a felügyelt képosztályozásra támaszkodik, amelynek eredményeként megkaphatjuk az osztályozott képet a nyers képi adatból. A gyakoroltatási fázisban egy interpretációs kulcsot numerikus módon fejlesztünk ki a spektrális jellemzőkből minden osztály csoportnak. Fontos, hogy ezek az osztály csoportok jól ismert, illetve tanulmányozott helyeket képviselnek a terepen. Az osztályozási fázisba a sorozás úgy történik, hogy egy pixel a képi adathalmazból össze lesz hasonlítva az összes osztálynak a numerikus interpretációs kulcsával.
18
Input kép (több sávos)
Gyakoroltatás
Osztályozás
Output kép (tematikai térkép)
3.2. Ábra, felügyelt osztályozás menete A hasonlítás művelet végén a szóban forgó pixel lesz osztályozva, mint annak az osztálynak a tagja ahol legjobban hasonlított a numerikus interpretációs kulcshoz. Az osztályozás eredménye bemutatásra kerül elsősorban egy output kép formában, amely gyakran a szokásos térképek a méretarányával megegyezik és így tematikai (tér) képnek is nevezik. A felügyelt osztályozást több módon lehet alkalmazni, de három algoritmus gyakrabban fordul elő a multispektrális képfeldolgozás és ennek távérzékelési alkalmazásaiban. Ezek a párhuzamosságú osztályozás, a minimális osztályozás és a Gauss maximális valószínűségi osztályozás. Ebben a három algoritmusban közös, hogy mindegyikük támaszkodik az úgynevezett, a képnek a spektrális terére (szóródási grafikonnak is nevezik). A szóródási grafikon egyféle művelet, amelyben egy képből választunk két (vagy több) sávot. Ezeknek a sávoknak a szürkeségi szint hisztogrammjait rajzoljuk két koordináta rendszerbe, úgy, hogy az egyik tengelyre rajzoljuk az első sávnak a szürkeségi szint értékeit, a másik tengelyre a másik sávnak a szürkeségi szint értékeit. A metszésükbe kerül egy jel amely bemutatja ennek a pixelnek (vagy osztálynak) a nevét. A 3.3. ábra mutatja a spektrális tér grafikonját.
0 1 2 3 4 5 6
0 7 7 2 2 8 6 2
1 0 1 7 3 1 1 2
sáv A 2 3 2 8 6 6 6 7 2 7 7 2 3 7 6 8
4 1 8 2 2 3 3 2
5 2 1 6 7 0 1 3
6 1 6 2 3 6 8 7
0 1 2 3 4 5 6
0 1 5 2 8 1 3 5
1 0 1 2 3 6 6 6
sáv B 2 3 3 2 6 3 7 6 2 7 3 3 6 1 7 1
4 1 3 1 4 2 7 8
5 7 2 5 5 0 7 3
6 5 2 6 6 1 7 6
s á v B sz. sz.
8 7 6 5 4 3 2 1 0
* * * * * * * * *
x x x x x x x
+ + + + + + +
- - - -
0 1 2 3 4 5 6 7 8 sáv A sz. sz. 3.3. Ábra, több sávos kép és a spektralis tere (szóródási grafikonja).
19
1) Minimális távolságú osztályozás: Ebben az osztályozási algoritmusban, a szóródási grafikon rajzolása után, mindegyik osztálynak meghatározzuk a súlypontját, vagy pontosabban szaknyelven a spektrális vektor középértékét. Egy nem ismert pixel úgy lesz osztályozva, hogy a távolság ennek a pixelnek és mindegyik osztálynak a középértéke között számításra kerül. Amikor megkapjuk a legkisebb távolságot a szóbanforgó pixel és valamelyik osztály központja között, akkor valósul meg a döntés, hogy a pixel tagja annak az osztálynak ahol a számítás legkisebb távolságot eredményezett. Az osztályozási algoritmus matematikailag nagyon alapozott, megvalósítása egyszerű és kiszámítása hathatós. Hátránya az, hogy kevésbé érzékeny a különböző változásokra a szóródási grafikonon, főleg hibázhat amikor a kérdéses pixel egy túl nagy és egy kicsi osztályok közé esik.
uuuuuuu uuuuuuuuuuu HHH uuuuuuuuuuuu HHHH uuuuuuuuuuuu HHH uuuuuuuuuuuu uuuuuuuuuuu uuuuuuuuu + nnnn uuuuuuu nnnnn nnnnn nnnneee nnneeee vvvvv eeeeeeee vvvvvvv eeeeee vvvvvvv eee vvvvv vv
3.4. Ábra, osztályozás.
minimális
távolságú
2) Párhuzamosságú osztályozás: Annak érdekében, hogy kerüljük az érzékenységi problémákat a minimális távolságú algoritmusban, a párhuzamosságú osztályozás került kifejlesztésre. Ebben az uuuuuuu algoritmusban minden osztálynak HHH uuuuuuuuuuu HHHH uuuuuuuuuuuu meghatározzuk a minimális és a maximális HHH uuuuuuuuuuuu értékeket mindkét sávnak a szürkeségi szintje uuuuuuuuuuuu irányában. Így kapunk négyszögletű keretet uuuuuuuuuuu uuuuuuuuu + avagy párhuzamosságú alakot az adott nnnn uuuuuuu osztály körül. Egy nem ismert pixel úgy lesz nnnnn osztályozva mint tagja egy osztálynak, ha a nnnnn nnnn eee pixel helye a szóródás grafikonon az adott vvvvv X nnn eeee osztálynak a párhuzamosságú keretén belül vvvvvvv eeeeeee vvvvvvv e e e e e ee esik. Például a (+) pixel tagja az (u) v v v v v v eee osztálynak, viszont az (x) pixel marad „nem HHH ismert” mivel egyik keretbe sem esik (helyezkedik). A párhuzamosságú osztályozási algoritmus 3.5. Ábra, párhuzamosságú osztályozás. nagy gyors, hathatós és a gyakorlatban gyakran találkozunk vele képfeldolgozási és elemzési rendszerekbe építve. Azonban probléma adódik amikor két párhuzamosságú alak fedi egymást. Ilyenkor nem lehet tudni, hogy egy adott pixel melyik osztályba sorolható, példaként a 3-as pixel nem lehet pontosan tudni, hogy E vagy S osztályhoz tartozik-e. Néha próbáljuk kiküszöbölni ezt a problémát azzal, hogy definiálunk lépcsőzetes párhuzamosságú alako(ka)t. 3) Gauss maximális valószínűségű osztályozás:
20
A maximum valószínűségű algoritmusban az úgynevezett eltérés (variance) és viszonosság (correlation) mintákat vesz figyelembe az osztályról. Itt a pontok, amelyek egy osztályt alakítanak, tekinthetők (mint) egyféle Gauss (normál) megoszlásnak. Ezt a normál megoszlást figyelembe véve fellehet fogni úgy, hogy egy osztálynak a szóródása meghatározható az átlag vektorral és az eltérés/viszonosság (covariance) mátrixal. Az átlag vektor és covariance mátrix tudatában meglehet számítani a valószínűségét, hogy egy adott pixel melyik osztályhoz tartozik. A maximális valószínűségű osztályozás rajzolja az úgynevezett „egyenlő-valószínű” kontúr vonalakat a szóródási grafikonon. Az „egyenlő-valószínű” kontrol vonalak mutatnak arra, hogy az osztályozás mennyire érzékeny az átfedésre. A Gauss maximális valószínűségű osztályozás a legpontosabb a három algoritmus közül, viszont nagyon hosszadalmas és és komplikált számításokat igényel. Ezért gyakran csak számítógép segítségével alkalmazzuk.
3.6. Ábra, Gauss maximális valószínűségű osztályozás
3.1.4. Nem-felügyelt osztályozás: A nem-felügyelt osztályozás egy egyszerű és hasznos algoritmus, amelyben nagy számú pixel (gyakran a képnek az összes pixele) kiosztható a kívánt osztály számra. Így természetszerűen a szürkeségi szintre nézve, egymásra hasonló pixelek egy osztályba kerülnek, viszont távol eső pixelek külön osztályba kerülnek. Az eredendő osztályok ebből az algoritmus alkalmazásából a legelején nem lehet tudni milyen osztályokat képviselnek. A felhasználó viszont kis erőfeszítéssel mint a referens adatok elemzése (térképek, statisztikai könyvek, stb.), lehetősége lesz ezeket az osztályokat megnevezni fogadható pontossággal. Bár a nem-felügyelt osztályozás kevésbé pontos mint a felügyelt osztályozás, de sokkal olcsóbb.
21
4. KÉPKIEMELÉS (FOKOZÁS) A képkiemelés egy olyan képfeldolgozási eljárás, amelyben a kép a feldolgozás során jobban megfelel egy bizonyos alkalmazásnak, mint az eredeti kép. Itt a „bizonyos” szó fontos, mert a képkiemelés igen is egyfajta eljárás, amely probléma specifikus. Példaként említjük meg, hogy egy képkiemelési eljárás, amely megfelel egy műhold képnek. Nagyon valószínű, semmi haszna nincs egy orvosi képkiemelésben. A képkiemelési eljárások két fő tartományban alkalmazhatók, ezek a térbeli tartomány és a frekvencia tartomány. 4.1. Térbeli tartományi eljárások: A képkiemelés szempontjából, a térbeli tartomány a képnek az egész területét (pixeleit) értendő. Így a képkiemelési műveletek a térbeli tartományban közvetlen módon támaszkodnak a pixelek manipulálására. Egy képfeldolgozási függvényt fellehet tüntetni a térbeli tartományban, mint közvetlen összefüggése az input és output képeknek. Az általános egyenlet (4.1) világosan mutatja be ezt az összefüggést, ahol f(x,y) az input kép, g(x,y) az output kép és a T az alkalmazott művelet: g(x,y) = T[f(x,y)] (4.1) Az alkalmazott műveletet (T) lehet alkalmazni egy vagy több pixelen egy egyetlen képből, vagy több pixelen több képből. Az egy pixelen végzett alkalmazások megtalálhatók főleg az úgynevezett pontműveletekben, mint a szürkeségi szint transzformációk, amelyek alkalmazhatók a színkülönbség fokozásban. Az egy képből több pixelre alkalmazott műveleteket általában a pixelnek a szürkeségi szintjét a szomszédságára támaszkodva számítják. A szomszédság lehet négyszögletes, tégla-, vagy kör- alakú. Ilyen műveletek nagyon elterjedtek a térbeli képszűrésben. A több képből több pixelre alkalmazott műveleteket találunk a képátlagolásban, a képzaj (hiba) csökkentésben és más alkalmazásokban.
y
y
y
(x,y)
(x,y)
g(x,y)
(x,y)
•
kép f(x,y)
x
x x
(a) szinkülönbség fokozás (b) szörés (c) zaj csökkentés 4.1. Ábra, képfokozás a térbeli tartományban
22
4.1.1. Pont műveletek: A legegyszerűbb képkiemelési műveletek akkor történnek, amikor a (4.1) egyenletben választunk egy (T) műveletet és egy egycellás ablakra alkalmazzuk. Ez az amikor a pixelnek a szomszédsága 1x1 dimenziós ablakból áll, ami azt jelenti, hogy a (T) műveletet egyetlen egy pixelnek a szürkeségi szintjére alkalmazzuk. Az ilyen műveleteket szürkeségi szint transzformációnak is nevezik. Ezeknek a műveleteknek az egyszerűsített formája a következő: s = T(r)
s = T(r) világos19
T(r)
10
sötét 0 5
0
r
9
(a) áltálanos
4.2
s = T(r)
Ahol, r és s a szürkeségi szintek, az input és output képeknek az (x,y) pontnál, a T a transzformáció értéke az adott pontnak. Néhány hasznos és a gyakorlatban is elterjedt példáját a pontbeli képkiemelésnek a következő részben tárgyaljuk.
világos 19
T(r)
sötét 0
0
5
(b) köszöb
r
9
4.2. Ábra, képkiemelés pont műveletek.
1) Képnegatív: A képnegatívok nagyon hasznosak sok alkalmazásban, mint orvosi képek bemutatása, előadás bemutatásokban, nyomdászatban, és sok más alkalmazásban. Egy digitális képnek a képnegatívuma úgy kapható meg, hogy minden ponton szürkeségi szint (és természetesen szín is) az output képben ellenkezője (fordítottja) a szürkeségi szint (szín) az input képben. Grafikailag kilehet számítani a képnegatívot úgy, hogy rajzolunk egy négyzetet, az egyik oldalára (lenti vízszintes) rajzoljuk a szürkeségi szintjét (0255-ig) az input (eredeti) „r” képnek, , a másik oldalára (baloldali függőleges) rajzoljuk a szürkeségi szintjét (0-255-ig) az output (negatív) „s” képnek. Az átló két oldal vége között „T(r)” meghatározza a számítás értékét úgy, hogy az „r” tengelyen választunk egy szürkeségi szintet, keressük a metszetét a T(r) átlóra, és onnan számítjuk az output szürkeségi szintet „s” tengelyen.
23
s világos (255)
T(r)
sötét 0
0
255
4.3. Ábra, képnegatív transzformáció.
r
2) Színkülönbség kinyújtás (Kontraszt stretching): Alacsony színkülönbségű képek sok okból erednek. Az okok közül a leggyakoribb az, s hogy rossz világítási viszonyok között világos: 255 készül a kép, nincs jó dinamikai érzékelése (L-1) a felvevő szenzornak, vagy rosszul beállított paraméter a felvevő rendszerben. (r2,s2) A fő célja a színkülönbség kinyújtásnak, T(r) hogy a szürkeségi szinteknek a dinamikai tartományát minél jobban növeljük. (r1,s1) Közértelemben kifejezve, a kép világos sötét: 0 részeinek jobban történő világítása és a sötét részeinek jobban történő sötétítése. 255 0 r A 4.4. ábra mutat egy tipikus L-1 transzformációs függvényt, amelyet gyakran használunk a színkülönbség 4.4. Ábra, színkülönbség kinyújtás kinyújtásban. A pontok (r1,s1) és (r2,s2) transzformáció. helyezkedése meghatározza a transzformáció műveletet. Például ha r1=s1 és r2=s2 akkor a transzformáció egy lineáris függvény, amely egy 45°-os irányú egyenes vonal lesz, és nem változtat semmit a transzformációs művelet alkalmazása során. Hogy érvényesüljön a színkülönbség, akkor r1>s1 és r2<s2 kell hogy legyen. Viszont ha r1=r2, s1=0,és s2=L-1, akkor a színkülönbség átváltozik egy küszöb függvényre, amely bináris képet eredményez (fekete-fehér képet). Itt érdemes említeni, hogy r1
s világos: 255
(L-1)
T(r)
sötét: 0 0
4.5. Ábra, dinamikai tartomány tömörítési transzformáció.
4.3
24
255 L-1
r
Ahol c skálázási konstans. Példaként, ha egy képen a pixel halmaznak a szürkeségi szintjeit a [(0,R)=(0, 2.5 x 106)] dinamikai tartományban esnek, és lineáris módon próbálunk a képernyőre mutatni, akkor a tartomány szélessége miatt problémák adódnak a bemutatásnál. Viszont ha logaritmus módon skálázzuk az értékeket, akkor a „log(1+|r|)” a [0, 6.4] tartományra terjed ki, és ha a szakaszos [0,255] szín tartományban van lehetőségünk bemutatni a képet, akkor a skálázási konstans „c=255/6.4=39.84” értéket vesz fel. Így a kép tömörített dinamikai tartománnyal kerül bemutatásra, amely sokkal egyensúlyozottabb színskálával történik, úgy, hogy minden szín árnyéka látható lesz. 4) szürkeségi-szint szeletelés: A képfeldolgozás és elemzés során többször kívánatos, hogy bizonyos jellemzők a képen kiemelésre vagy hangsúlyozásra kerüljenek. Ilyen például a vízi területek a műhold képeken, beteges területek a röntgen képeken. Erre a fent említett probléma megoldásaként az úgynevezett szürkeségi szint szeletelés kínálkozik. A szürkeségi szint szeletelés egy, mint kétféle eljárás alapján történik meg. Az egyikben magas értéket adunk minden szürkeségi szintnek a kívánt tartományban, és alacsony értékeket a többi szürkeségi szinteknek. (ábra 4.6a). A második eljárásban, (ábra 4.6b) a szürkeségi szintek a kívánt tartományban magasabbra értékelődnek, de a kívánt tartományon kívül megtartják a szürkeségi szinteknek az értékeit. s
s
világos: 255
világos: 255
(L-1)
(L-1)
T(r)
T(r)
sötét: 0
sötét: 0 0
A
B
255 L-1
r
(a)) 4.6. Ábra, szürkeségi szint szeletelés.
25
0
A
(b)
B
255 L-1
r
4.1.2. Térbeli képszűrés A kép szűrés az egyik olyan legfontosabb technikák közé tartozik, amelyek alkalmazhatók a kép bizonyos jellemzőinek kiemelésében, illetve kinyomásában, mint élek hangsúlyozása, színkülönbségek manipulálása, zaj csökkentése, stb. A szűrés alkalmazható a térbeli és a frekvencia tartományokban egyaránt. A térbeli szűrés lineáris és nem lineáris módszereken keresztül valósítható meg. Ebben a részben részletesen bemutatjuk a lineáris és nem lineáris szűrési módszereket, a gyakorlatban elterjedt finomító és élesítő szűrőket, és ezeknek a szűrőknek néhány speciális példányát. 1) Lineáris szűrés: A lineáris szűrési módszerben egy (nxn) elemű alakot (szűrőt) építünk ki, a gyakorlatban 3x3 elemű szűrő nagyon elterjedt, mert viszonylag kevés számítással párosul és eléggé jó eredményeket idéz elő. A szűrőn tárolt értékek bizonyos értelemben alakítanak súlyozási tényezőket (faktorokat), amelyek alkalmazhatók egy bizonyos pixelnek a szomszédságára, hogy ennek a „bizonyos” pixelnek a szürkeségi szint értékét tudjuk kiszámítani a szűrés során. A 4.7. ábra mutat egy képet és szűrési ablakot (szűrőt). A képen az értékek z1,…,z9 a pixel p(x,y) szomszédságának a szürkeségi szintjeit képviseli, az s1,…,s9 értékek viszont a szűrőnek a súly tényezőit kép 0 1 y 3 4 5 6 0 1 x 3 4 5 6
szűrő
Z1 Z2 Z3 Z4 Z5 Z6 Z7 Z8 Z9
S1 S2 S3 S4 S5 S6 S7 S8 S9
4.7. Ábra, egy kép és 3x3 szűrési ablak. A lineáris szűrési módszerben, a szűrési folyamat során egy pixelnek p(x,y) a szürkeségi szintje úgy lesz kiszámítva, hogy a szűrési ablaknak a súlyozási tényezői sorrendben szorzásra kerülnek a megfelelő elemekkel a pixel p(x,y) szomszédságával az eredeti képen és legvégén ezeket a szorzási eredményeket összeadva (summázással) megkapjuk a psz(x,y) szűrt eredményét. Az egyenlet (4.4 ) mutatja ezt a lineáris szűrési módszert: Psz(x,y)=s1z1+ s2z2+ s3z3+ s4z4+ s5z5+ s6z6+ s7z7+ s8z8+ s9z9
(4.4 )
Az a szűrési művelet amelyet alkalmaztuk a pixel p(x,y)-re, addig ismétlődik amíg nem fedi az egész kép területét (összes pixelét). Azok a pixelek amelyek a kép peremére esnek, számításuknál csak a részszomszédságukat vesszük figyelembe.
26
Példa: A lineáris szűrési módszert alkalmazva, szűrj le az (A) képet, a lent adott (Bsz) ablakon keresztül.
0 1 2 3 4 5 6
0 4 5 1 3 7 4 6
1 2 3 6 7 2 1 5
kép 2 3 0 3 1 4 2 5 8 2 2 3 3 5 2 3
szűrő 4 6 1 2 1 4 5 4
5 3 6 1 3 5 6 2
6 1 8 3 4 2 4 7
szűrt kép 2 3 4 5 6 11 10 0 … … 1 ... … … … 2 3 4 5 6 0 1
1 0 1 0 2 0 1 0 1
4.8. Ábra, szűrési művelet. 2) Nem-lineáris szűrési módszer: Hasonlóan a lineáris szűréshez, a nem-lineáris szűrés is egy pixel szomszédságán alkalmazható. Viszont a szűrési eredmény jobban támaszkodik (tükröz) az egyéni szürkeségi szintekre egy ablakon és nem kifejezetten a súlyozási faktorokra a szűrőn. Ilyen példák a minimum, maximum, vagy a „közepes” érték egy pixel szomszédságában, vagy egy ablakon (szomszédságnál nagyobb lehet!). Egy eredeti pixelnek P(x,y) a szűrt eredménye Psz(x,y) hasonlít a (4.8) egyenletekben mutatott formákra, ahol az 1,…, 9 tartomány mutatja a szomszédság (illetve az ablaknak) az elemeinek számát. Psz(x,y)=max{Zk| k=1,2,…,9} Psz(x,y)=min{Zk| k=1,2,…,9} Psz(x,y)=közép{Zk| k=1,2,…,9}
(4.8)
3) Finomító szűrők: A finomító szűrők alkalmazhatók az elhomályosításban, zajcsökkentésben és a kis törések hidalásában a vonalas és görbe alakú képjellemzőkben. A finomító szűrők tervezhetők támaszkodva mind a lineáris és nem-lineáris szűrési módszerekre. A finomító szűrők közül a képfeldolgozási alkalmazásokban gyakran találkozhatunk az aluláteresztő és a közép-értékű szűrőkkel. Aluláteresztő szűrő: Ebben a szűrőben az összes szűrési tényező pozitív értéket vesz fel, a legegyszerűbb matematikailag alkalmazható, amikor ezek a tényezők az „1” értéket veszik fel. Ennek a példának bár egyszerű a számítása, mégis adódnak problémák a szürkeségi szint számításánál, mert egy (3x3)-szoros szűrő alkalmazásánál adódhat, hogy az eredendő szürkeségi szint meghaladja a megengedett szürkeségi szintet (255) a kilenc szorzás-összeadás alkalmazás során. A megoldás gyakran igényli az eredendő 1 1 1 szürkeségi szint osztását a szűrő elemeinek számával. Példánkban osztás kilenccel. Ezért ezt a szűrőt 1/9 x 1 1 1 szomszédság átlagolásnak is nevezik. A tulajdonságai 1 1 1 közül rossz az, hogy ennek a szűrőnek az intenzív alkalmazása vesztést eredményezhet az éles 4.9. Ábra, aluláteresztő részletekben. A jó tulajdonságai közül megemlítjük az szűrő.
27
alapos élesség kiküszöbölést, így egyensúlyozott tulajdonságú képeket eredményezhet. Közép-értékű szűrő: Ha a szűrési műveletnek a célja, az hogy a zaj csökkenése elhomályosítás nélkül történjen, akkor célszerű az aluláteresztő szűrőt kikerülni és inkább a nem-lineáris közép-értékű szűrőt választani. A közép-értékű szűrőben, a szürkeségi szint egy pixelnek helyettesíthető a középértékű szürkeségi szinttel az adott pixelnek a szomszédságával. Itt figyelni kell hogy a középértékről van szó és nem az átlagról mint az aluláteresztő szűrőkben. Ez a szűrő kifejezetten hatékony amikor a zaj nagyon élesen és ugrás szerűen jelenik meg a képen, és ezt a zajt kívánjuk kiszűrni anélkül, hogy veszítsünk a képen lévő objektum határok élénkségéből. 4) Élénkítő szűrők: Az élénkítésnek a célja, hogy a finom részleteket egy képen kihangsúlyozza, vagy bizonyos elhomályosodott részeket kifokozzon. Az élénkítő szűrők sok területen alkalmazhatók, mint pl. az orvosi képfeldolgozásban, elektronikus nyomdászatban, ipari megvizsgálásokban és katonai cél autonóm megtalálásában. Az élénkítő szűrők közül a felüláteresztő, a magas-fellendítési és a derivált szűrőkkel gyakran találkozunk a gyakorlati képfeldolgozási alkalmazásokban. Felüláteresztő szűrő: A felüláteresztő szűrőben, a szűrő ablak peremén eső elemeinek kell, hogy mínusz értékük legyen, viszont az elemnek az ablak közepén plusz értéket vesz el, hogy engedje a magas értékek áthaladását (érvényesülését). A 4.10 ábra mutatja egy tipikus felüláteresztő élénkítő szűrőt, ahol a szűrő minden elemének „-1”értéke van, kivéve a közepes elem, amelynek „8” az értéke. Az elemek summázása a nulla értékkel egyenlő, így amikor a szűrő fed egy területet a képen, ahol kevés a különbség a szürkeségi szinteken, akkor a szűrőnek az eredménye (outputja) nulla vagy ekörül lesz. Ha egy szürkeségi szint mínusz értéket vesz fel a szűrés -1 -1 -1 során, skálázási és/vagy vágási technikák 1/9 x -1 8 -1 alkalmazása válik szükségessé. -1 -1 -1 Ez a szűrő könnyen eredményez élénk képet, így az élvonalak kielégítően kiemelésre kerülnek, 4.10. Ábra, felüláteresztő szűrő. viszont hátránya az, hogy általános színkülönbség csökkenést eredményez. Ilyen hátrányokat ellehet kerülni a magas-fellendítési szűrő alkalmazásával. Magas-fellendítési szűrő: A felüláteresztő szűrőn szűrt kép (FK) egyenlő az eredeti kép (EK) mínusz aluláteresztő szűrőn szűrt kép (AK), vagy: FK = EK – AK
(4.6)
Abban az egyenletben, ha csak az eredeti képet szorozzuk egy (X) konstanssal, akkor a (4.6) egyenletnek a bal oldala egyenlő lesz a magas fellendítési képpel (MK): MK = X . EK – AK
(4.7)
Összeadjuk és kivonjuk az „EK” értéket az egyenletnek a jobb oldalara: MK = X . EK + (– EK + EK) – AK Javítunk: MK = X . EK – EK + EK – AK
28
= (X – 1) . EK + (EK – AK) Helyettesítünk a (4.6) egyenletből MK=(X –1) . EK + FK (4.8) Vagy a Magas-fellendítési kép = (X – 1) Eredeti kép + Felüláteresztő kép. Amikor X=1, akkor a magas-fellendítési kép (MK) egyenlője lesz a felüláteresztő képnek (FK). Viszont ha X1, akkor az eredeti kép „egy részét” összeadjuk (vagy köznyelven visszarakjuk) a felüláteresztő képre. Így a magas-fellendítési képnek nem csak élesek lesznek az élvonalai, hanem nem olyan rossz a színkülönbsége (kontrasztja), így a színkülönbség szempontjából nagyon hasonlít az eredeti képre. A gyakorlatban a központi súlypontnak a szűrőben adjuk a következő értéket: S = 9X – 1 (4.9) Ez a szűrő nagyon hasznos az elektronikai nyomdászatban, mivel alkalmazásával élénkíteni tudjuk az élvonalakat az általános színkülönbség (kontraszt) csökkenés nélkül. Derivált szűrő: A pixel átlagolás általában homályosítja a képet. Tudható, hogy az átlagolás hasonlít az integrálásra, így az integrál ellenkezője a differenciál, várható, hogy ellenkező hatása lesz a képre, vagy élénkíti a képet. A derivált szűrőt a differenciál operátorok approximációjával lehet alkalmazni. Vissza tekintve a 4.7. ábrára, az általános derivált approximáció 3x3 elemes szűrő súlypontjának a következő egyenlet szerint történik: ∆f ≈{(z7+z8+z9) - (z1+z2+z3)+(z3+z6+z9) - ( z1+z4+z7)}
(4.10)
A gyakorlatban három híres szűrőt gyakran használnak, ezek Roberts szűrő, Previtt szűrő és Sobel szűrő, (4.11.) ábra. Ezek a szűrők különböző variációkat képviselnek a (4.10) egyenletnek. 1 0 0 -1
0 1 -1 0
-1 -1 -1 0 0 0 1 1 1
(a) Roberts szűrő
-1 0 0 0 -1 0
(b) Prewitt szűrő
4.11. Ábra, derivált szűrők.
29
1 0 1
-1 -2 -1 0 0 0 1 2 1
-1 0 -2 0 -1 0
(c) Sobel szűrő
1 2 1
5. HÁROM DIMENZIÓS KÉPFELDOLGOZÁS 5.1. Sztereometria: Amikor a fényképezőgép egy 3_dimenziós objektumról alakít egy képet, sok információt veszít el az objektumról. Ez az információ elvesztés egy közvetlen eredménye a perspektiv vetületnek (projekciónak) amely csökkenti a dimenziózást háromról kettőre és jelenik meg főleg kiterjedési hibák formában. Ilyen információ elvesztés lehet kikerülni két kamera használatával a fényképezésben. Ez egy művelet, amelyben két kamera helyezkedik el két különböző helyen az objektum körül, így az objektum lesz fényképezve két nézőszögből. A kettő kép a két kamerából ily módon alakít egy képpárost mely szaknyelven sztereoszkóp képpárosnak nevezik. A sztereoszkóp képpáros használatával a kiterjedés homályosság probléma a 3-D-os fényképezésben könnyen megoldásra talál. Technikailag, ez a kiterjedés homályossági probléma megoldható, ha ki tudunk fejleszteni egy eljárást, amelyben mindkét jellemző –a fényesség és az elterjedés- a fényképezett pixeleknek rögzítésre (mutatásra) kerül. Két kép kombinációja visszaadja a legtöbb információt egy fényképezés alatt álló objektumról oly módon, hogy az egyik hordozza (adja) a fényességi jellemzőt és a másik hordozza (adja) az elterjedési jellemzőt. Sztereometria, ez az eljárás, amelyben egy kiterjedési képet nyerhetünk egy sztereó fényképpárosból. Az ellenkező eljárásban is lehetőség nyílik, hogy egy sztereó képpárost nyerhetünk egy fényességi kép és egy kiterjedési képből.
30
5.2. Sztereometriai kiterjedés: A sztereometria egy eljárás, amelyben alkotunk (leszármaztatjuk) a 3-D forma egy objektumnak sztereoszkopiai képpárosból. Hogy ezt le tudjuk vezetni, először meg kell modellezni a képalakítási (fényképezés) geometriát egy kamerával, és ezután másodsorban kettő kamerával. Abban az első esetben, amikor egy kamerával történik a fényképezés, feltételezzük, hogy egy objektum görbe felülettel helyezkedik a kamera lencséje előtt, 5.1. ábra. Kép alakítás közben tudjuk viszonyítani mindegyik pixelt a kép síkfelületétől a megfelelő területre az objektum felületén. Minden pixel vetülete (projekciója) a kamera lencsén keresztül alakítja egy „pixel kúpot” mely húzódik a csúcsszögtől a lencse középpontján addig ameddig átmetszi az objektumot. A pixeles kép definiálja a területet az objektum felületről, amely a pixelhez tartozik. Ebben a vetületi modellben minden pixelhez tartozik két érték, ez a két érték viszonyít: a pixel a hozzá tartozó területre az objektum felületéből. Ezek az értékek a terület fényessége és a távolság a terület központja és a lencse között. Egy egyszerű kifejezéssel, a pixel „fényesség” és „kiterjedés”. Így tudunk kialakítani egy „kiterjedési képet” úgy, hogy minden pixelhez rögzítünk egy szürkeségi szint, amely arányos nem a fényességhez, hanem a „pixel kup”-hoz, vagy a pixel távolság a lencsétől.
31
5.3. Sztereoszkopiai fényképezés: A sztereoszkopiai fényképezés két kamerával történik. A kamerák elhelyezkedése és a távolságok a 12. ábra szerint történnek. A 3 D koordináták (x,y,z), úgy mint ahogy a 11. ábrában vannak bemutatva, a pozitív (y) koordináta a lap felé irányul. Ha a p pont valahol a kettő kamera előtt helyezkedik el, p az (x,y,z) koordinátákkal rendelkezik. A p pont képének van vízszintes koordinátája mindkét kamerában. Xe a bal kamerában és xr a jobb kamerában. Mindkét kamera egyenlő fókusszal rendelkezik (f). Ha a hasonló háromszögek szabályait alkalmazzuk, akkor írhatjuk: X= z xe f a bal kamerának, és x-d= x= a jobb kamerának. (1) és (3) egyenlítés, javítás, és megoldás (z)-vel eredményez: z= Ez az egyenlet (4) határozza meg a „normális kiterjedés”-t. Ebben a formátumban a kapcsolat a „kiterjedés (z)” és a „pixel eltolódás” között nagyon világos. Sajnos az is világos, hogy a kiterjedés (z) egyféle függvénye nem az eltolódásnak, hanem a különbsége a baloldali és a jobboldali eltolódásoknak. Ez a rossz tulajdonság a normális kiterjedési formulában kikerülhető, ha tudjuk definiálni az úgynevezett „igazi kiterjedési” formulát. Ha még egyszer alkalmazzuk a hasonló háromszögek szabályait másképpen és főleg a 3 dimenzióban, akkor tudjuk írni: r z = (5) Ha helyettesítjük a (4) egyenletből és javítjuk, akkor: r= (6) Így definiáltuk az „igazi kiterjedési” formulát, amely meghatározza a totális távolságot (r) a bal kamera lencséjétől a kívánt (p) pontig. A (6) formula pontosabb, mint a (4) formula és a közelítés alkalmazásával egyenlőek lesznek. Így ha tudjuk az azonos pixeleket a bal és a jobb képekben, ki lehet számítani a „normális” vagyis az „igazi” (valódi) kiterjedést a (4) illetve a (6) formula alapján. A gyakorlatban a sztereometriai kiterjedést úgy végezzük, hogy először minden pixel a bal képben találja a megfelelő pixel a jobb képben úgy, hogy minden két pixel képeznek ugyan egy pontot az objektum felületén. Az megoldható soronkénti szabályszerűen, mert bármilyen pont az objektumon fényképeződik ugyan ezen a függőleges helyen mindkét képben. Másodsorban, a pixel eltolódás használatával számítjuk (z) a (4) formula alapján és utána számítjuk az xkoordinátáját a pontnak az (1) formula alapján és az y- koordinátát a következő formula alapján: y= (7)
32
Így ez az eljárás lehetőséget ad az (x,y,z) koordináták számítására. Ez persze az Objektumból minden valós pont, amely fény képződik egy pixelre. Ha kifejezzük a (z)-t mint egy függvény, akkor az (x) és az (y) a normális kiterjedésű képet produkálja. Viszont ha a (6)-os formulát használjuk, akkor valódi (igazi) kiterjedésű képet produkálunk. Mindkét esetben a látható felület objektumnak lett fényképezve 3 dimenzióban. 5.4. Sztereoszkóp kép bemutatása 5.4.1. Bemutatási geometria: A sztereoszkóp kép bemutatásban, a sztereoszkóp képpáros egy D távolsággal helyezkedik a látó ember szemétől. Az interocularis távolság a két szem között S. Egy kis (pont) alak amely (xe, yl) koordinátákkal helyezkedik el a bal képben és (xr, yl) koordinátákkal a jobb képben fog feltűnni a figyelő embereknek, mint ahogy a P pontnál helyezkedik el. 13. ábra. Ha a hasonló háromszög szabályait alkalmazzuk az ACP és ACP között, akkor tudjuk írni: z/x=D/xe z= Hasonlóképpen a BEP és BEP között tudjuk írni: z/x-s=D/xr (8) (7) egyenletből helyettesítünk (8)-ba és javítunk, akkor az úgynevezett Távolsági egyenletet kapjuk: z= (9) amely hasonlít a (4) egyenletre. Az x- koordináták az az egyező pontok a két képből, ezt a következő egyenlet határozza meg: xr=xe- (10) Ebből az egyenletből világos, hogy azok az objektumok, amelyek egy z=∞ pozicióban helyezkednek el, ott a bal és a jobb koordináták egyenlőek. Röviden, a sztereoszkóp fotográfia egy olyan technológia, amelyben a kamera konfigurációt és elhelyezkedést használjuk, ez hasonlít a 12. ábrára a fényképezésnél és műszer együttest hasonlít a 13-as ábra a bemutatásnál. Ezzel a 3-D-és ábrázoló alakítást érjük el. Tételezzük fel, hogy a 12. ábrán látható két kamera két diapozitívot alakít. A két diapozitívot 180 fokkal elforgatjuk a Z tengely körül, ezután a két elforgatott diapozitívot elhelyezzük a figyelő előtt a 13. ábra alapján. Ha teljesítjük a: DxS=fxd
(11)
Formulát, akkor az ábrázolás úgy fog tűnni mintha a figyelő a valóságban látná az objektumot.
5.5. Sztereo Bemutatási Alakítás:
33
Ha megvan nekünk a „bal kép” és a „normál kiterjedési kép” és a „jobb kép” kialakítását kívánjuk sztereoszkóp kép bemutatás céljából, akkor elérhetjük ezt egy egyszerű geometriai transzformáció alkalmazásával a következő egyenletek alapján: xr= xe – yr=ye
(12)
Ez a művelete magában egy egyszerű másolás, változó vízszintes eltolódással. A transzformáció egy, egyetlen sornak illusztrálva a 14. ábrán látható. A jobboldali kép kialakítandó a szürkeségi szint másolásával egy xe koordinátájú pixelről xr koordinátájú pixelre. Minden (xe, y) pontnál(ban) az eltolódás értéke egy kölcsönös függvénye a kiterjedésnek. A gyakorlatban, ha megvan egy területről (helyről) egy un. „félszemes” fényességi kép és egy kiterjedési kép, lehetőség nyílik arra, hogy kellemes és megnyerő sztereo bemutatást érjünk el mind a bal, mind a jobb képek kialakításával. A jobboldali kép kialakítható a (12) formulák alkalmazásával, de az eltolódás felének használatával. A baloldali viszont ugyanúgy kialakítható, mint a jobboldali, de azzal a feltétellel, hogy az eltolódás az ellenkező irányba történik. Ez az eljárás kiváló minőségű bemutatások nyerésére (kialakítására) ad lehetőséget, főleg ha a képben sok részlettel rendelkező objektumok vannak.
34
7. Számítógépes Képfeldolgozási Gyakorlás
1. Számítógépes Képfeldolgozási Gyakorlat
1. Megvan adva egy file amely egy távérzékelt műholdas kép adatainak egy részét tartalmazza. Rendezze ezeket a feladatokat 4 sávban mind 3 elrendezési eljárás alapján (azaz sáv, sor, pixel beillesztések alapján). Header 6 7 3 4 6 2 2 9 1 6 3 9 7 2 1 3 2 1 5 2 3 EOF
2 2 6 9 0 7 2
1 1 4 8 0 2
4 9 3 2 3 8
9 7 2 4 5 4
8 7 9 5 2 1
7 2 1 2 8 5
2 3 4 4 1 2
4 4 5 3 9 6
3 5 2 2 2 7
2 2 0 5 7 4
0 4 3 6 1 3
7 6 2 9 4 2
5 7 1 1 7 4
1 8 1 8 8 1
2 2 6 7 1 6
4 1 5 2 4 2
6 9 4 9 5 5
8 7 2 4 2 5
1 3 1 2 6 6
9 1 1 1 5 1
2 2 5 0 4 3
5 2 6 6 3 4
5 2 7 4 2 2
3 4 7 7 1 3
2 9 8 2 4 1
9 1 9 1 5 5
1 6 1 0 2 4
1 4 2 6 9 3
4 3 7 4 2 4
2. Az első példában kapott sávokban váltsa a szürkeségi szinti számokat szürkeségi skála árnyalatokkal (szürkeségi térkép). A rajzolás könnyítése érdekében a 0 – 2-ig fehérrel, a 3 – 6ig szürkével, 7 – 9-ig feketével. 3. Az első példában kapott képek rajzolja mindegyikének külön-külön a szürkeségi szint hisztogramját. 4. Válasszon két-két külön sávot és alkalmazzon egy összeadás, kivonás, szorzás, és osztás műveletet.
35
2. Számítógépes Képfeldolgozási Gyakorlat
1. A lent adott távérzékelt képen négy ismert pixel (gyakoroltató terület) van megadva négy osztály képviseletében. A négy pixel és a képviselt osztályok a következők: p1(0,0): víz p2(1,7): építmény p3(5,2): erdő p4(7,6): szántóföld A szóródás grafikon rajzolása után, a gyakoroltató területekre támaszkodva osztályozza a képet. - Rajzolja meg a szürkeségi szint hisztogramját mind a két sávnak.
0 1 2 3 4 5 6 7 8
-
sáv 1 0 1 1 0 5 1 7 6 6 8 6 6 1 1 3 1 7 7 8 8
2 1 1 2 5 7 0 2 6 7
3 1 3 4 2 2 3 3 2 2
4 2 3 1 3 2 8 6 7 6
5 3 2 3 2 2 8 1 7 7
6 4 8 7 6 8 2 2 8 8
7 5 6 7 8 7 8 7 8 5
8 8 5 6 7 7 6 5 7 6
0 1 2 3 4 5 6 7 8
sáv 2 0 1 1 6 3 2 4 5 5 5 4 6 5 7 4 5 7 8 7 8
2 4 5 0 3 5 6 8 7 6
3 7 7 6 1 2 0 1 0 2
4 8 6 6 4 5 8 6 8 7
5 6 7 5 4 6 1 1 6 7
6 4 7 7 6 7 1 0 7 8
7 4 3 4 6 5 5 4 6 5
8 6 5 4 3 4 5 3 3 5
sáv 2 8 7 6 5 4 3 2 1 0 0
1
2
3 4 5 sáv 1
6
7
Rajzolja meg a szóródási grafikont a két sáv felhasználásával. Határozza meg a súlypontokat minden osztálynak. Határozza meg minden osztálynak a minimum/maximum értékét a szóródási grafikonon. A gyakoroltató területekre támaszkodva osztályozza a képet, úgy hogy mindegyik osztálynak különböző színe (jele) legyen. Osztályozza a pixelt p5 (6,0) a minimális távolságú és a párhuzamosságú algoritmusok alapján.
36
8
3. Számítógépes Képfeldolgozási Gyakorlat
1. A gyakorlat 6 különböző képfeldolgozási jártasságot céloz meg, ezek: Képek olvasása file-ból, képek bemutatása képernyőre, képek formálása matrix és táblázat formákban, zaj összeadása (keverése) a képhez, zaj szűrése (átlagolás, közép (median), módszereken, él (határ) rajzolás. a.) a képfile a camera.bme „olvasása” Eredeti kép” néven. b.) Az olvasott kép bemutatása a képernyőre. c.) Kép formálása, matrix és táblázat formákban: d.) Zaj összeadása: e.) A zajos kép bemutatása a képernyőre. Finomítási szűrő: Közép szűrő: f.) a szűrt képek bemutatása: g.) hisztogram rajzolás: h.) él (határ) rajzolása „Prewitt” szűrő alkalmazásával: szűrt képek bemutatása. 2. A gyakorlat a különböző képfeldolgozási jártasságot célozza meg, ezek: Képek olvasása file-ból, képek vetítése képernyőre, képek formálása matrix és táblázat formákban, zaj összeadása a képhez, a zaj szűrése a közép-értékű (median) szűrő felhasználásával, a zaj értékének meghatározása, tetszőleges (quantile) szűrő alkalmazása. I.)
Közép értékű (median) szűrő a.) A képfile „fruit.bmp” olvasása „gyumolcs” néven. b.) Az olvasott kép vetítése a képernyőre c.) A kép formálása matrix és táblázat formában d.) Zaj összeadása:
37
e.) A zajos kép vetítése a képernyőre f.) A zajos kép „zajos gyumolcs” szűrése a median szűrővel g.) A szűrt kép „szurtgyumolcs” kép vetítése h.) Kivonja az eredeti kép „gyumolcs” a szűrt képből „szurtgyumolcs”vetítése a zajt. i.) Tekintse meg az abszolút különbséget a két kép között, „zajosgyumolcs” és „szurtgyumolcs” vetítse az eredményt kép formában. II.)
(Quntile) szűrő a.) Olvassa a „pattern.bmp” file-t, p néven. b.) Zajt adjon a p képre c.) Vetítse a „p” és „zajospattern” képek d.) Tervezzen két szűrőt a következők alapján: e.) Vetítse a Pnégyzet és Pkereszt képeket és figyelje a különbséget köztük. f.) Alkalmazzon a „kereszt3” szűrőt az eredeti „P” képre, a Quantile érték választásával, vetítse a képeket és tekintse meg a különbséget.
3.) A gyakorlat célja a különböző finomítási szűrők alkalmazása és a képre hatott alkalmazásának megtekintése. a.) Definiáljon egy kép matrixot M és szűrő K b.) Szűrjük egyenletesen c.) A szűrésnek az intenzív alkalmazása képelmosódást eredményezhet. d.) Ha hangsúlyozni akarjuk a központi pixelt, akkor alkalmazzuk az úgynevezett központi finomítást. e.) Ha hangsúlyozni akarjuk a központi és az ortogonális pixeleket, akkor alkalmazzuk az úgynevezett ortofinomítást. f.) Lehet alkalmazni az a-, d-, e-ben említett szűrők nagyított változatait is a következők alapján: g.) Alkalmazzuk a nagyított szűrőket: 4.) Vetítsük a képeket:
38
4. Számítógépes Képfeldolgozási Gyakorlat
A Gyakorlat különböző geometriai képfeldolgozási jártasságot céloz meg, a műveleteket egyaránt kell alkalmazni valós képre, és kép mátrixokra. A műveletek a következők: kép tükrözése vízszintes és függőleges irányokban, kép forgatása különböző fokokkal, kép és csúsztatási műveletek.
a.) Olvassa a „pattern.bmp” képet és vetítse a képernyőre b.) Alkalmazzon egy vízszintes tükrözést az olvasott képre és vetítse a képernyőre c.) Alakítson egy képmátrixot a következők szerint: i:0..5
j:0..4
Mi,j = mod (i+j2, 256)
d.) Alkalmazzon egy vízszintes tükrözést az (M) kép mátrixra és szemlélje a különbséget. e.) Ismételje meg a fent említett lépéseket egy függőleges tükrözésben. f.) Forgassa az olvasott képet és az alakított mátrixot a fenti (a,c) említett példákban 90, 180, 270, és tetszőleges 24 fokkal. Vetítse ezeket a forgatott képeket. g.) Alakítson egy kép mátrixot a következők szerint: i:0..24
j:0..20
Mi,j = (i+j)
mutasson mátrixot h.) Használja a „translate” nevű függvényt, hogy elérje az M2 kép mátrixot csúsztatását Le-, Fel-, jobb-, bal-, felé. i.) Olvassa a „camera.bmp” nevű képet és vetítse a képernyőre. j.) Csúsztassa a képet Le-, Fel-, jobb-, bal- felé. Töltse ki a nem fedett pixeleket fehér illetve fekete színnel.
39
5. Számítógépes Képfeldolgozási Gyakorlat
A gyakorlatnak a célja, a geometriai transzformációs műveletek megismerése és gyakorlása egy úgynevezett geometriai regisztráció műveleten keresztül. A transzformáció végbevihető a „Wrap (M,T)” nevű függvénnyel, ahol M egy kép, T egy matrix, amely tartalmazza a kötő (eredeti és új) pontok helyeit.
a.) Alakítson M3 kép mátrixot a következők szerint: i:0..4
j:0..6
Mi,j = mod (i.5 +j)
A „T” transzformációs mátrixot töltse fel a kötőpontokkal úgy, hogy először ne legyen változás a transzformáció alkalmazása során (a mátrix felső része egyenlő az alsó résszel). b.) Olvassa „BT” néven a „bridge.bmp” nevű képet és mutassa be. c.) Vágjon ki a „BT” képből egy részt „B” néven és mutassa be, a vágáshoz használjon a „submatrix” nevű függvényt.. d.) Alkalmazzon egy geometriai transzformációt a „B” képre (abban a példában egyelőre nem változtat semmit!) e.) Tervezzen egy transzformációt, amely kinyújtja a képet 2 faktorral. Alkalmazzon transzformációt az M mátrixra és B képre. i:4..5
Ti,1 = Ti-4,1/2
Ti,0 = Ti-4,0
f.) Tervezzen egy transzformációt, amely csúsztatja a képet fel-, jobb felé, a következők szerint: i:4..7 Ti,1 = Ti-4,1 -1 Ti,0 = Ti-4,0 +1 és alkalmazzon az M Mátrixra g.) Fokozza a transzformációt úgy, hogy a kép csúszik 20 pixellel jobbra, és 10pixellel felfelé. Mutassa az eredeti és csúsztatott híd képeket. i:4..7
Ti,1 = Ti-4,1 - 20
Ti,0 = Ti-4,0 +10
h.) Alkalmazzon egy geometriai transzformációt, amely elforgatja a képet 45 fokkal: i:4..7
Ti,1 = 0.707.(Ti-4,0 + Ti-4,1)
i.) Alkalmazzon általános affine transzformációt:
40
Ti,0 = 0.707.(Ti-4,0 - Ti-4,1)
i:4..7
Ti,1 = 0.6.Ti-4,1 + 0.8.Ti-4,0)
Ti,0 = 1.2.Ti-4,0 + 5
j.) Olvassa a „pattern.bmp” képet és alkalmazzon egy nagyítás/kicsinyítés (zoom) műveletet. k.) Tervezzen egy Z1 mátrixot, ahol: i:0..3
j:0..5
Zi,j = i + j2
Alkalmazza a „zoom” műveletet az M mátrixra úgy, hogy a sorok duplája és az oszlopok háromszorosa legyen az eredeti M mátrixban.
41
6. Számítógépes Képfeldolgozási Gyakorlat
1. A gyakorlat célja különböző szűrési eljárások gyakorlása. Ezek a szűrési eljárások kifejezetten alkalmazhatók a képen található objektumok és jellemzők határainak meghatározására és/vagy éleinek megtalálására. Ilyen alkalmazások találhatók az orvosi képfeldolgozásban, biometriában, stb. I. Függvény(ek): - Canny (M, sigma, ), egy függvény amely keresi az élek egyikét M: kép matrix, Sigma: standard eltérés ( L/h: alacsony/magas küszöb. a.) Olvassa a „pattern.bmp” képet és vetítse a képernyőre. R
(„pattern.bmp”)
b.) Alkalmazzon egy „canny” nevű szűrést, ahol Vetítse a szűrt képet
sigma=
c.) Ismételje az (a), (b) lépéseket a „brain.bmp” képre, ahol sigma= másik esetben használjon saját tervezésű paramétereket is. d.) Ismételje az (a), (b) lépéseket a „fingerp.gif” képre, ahol sigma= másik esetben használjon saját tervezésű paramétereket is. e.) Ismételje az (a), (b) lépéseket a „Iena.bmp” képre, ahol sigma= másik esetben használjon saját tervezésű paramétereket is. II. Függvény(ek): Ezek a függvények differenciál módszer alapján találják meg az objektumoknak a határait, ezek közül: Difedge (M) Freichen (M) Sobel (M) Prewitt (M) Roberts (M)
ahol M a kép matrix
42
a.) Olvassa a „brain.bmp” nevű képet, R: („brain.gif”) b.) Definiálja a K1 és K2 konvolúciós matrixokat és alkalmazza a /difedge(M)/ szűrést, mutassa be az eredeti és szűrt képet. difedge (R) c.) Ismételje az (a), (b) lépéseket, a /friechen(M)/ függvény használásával és a következő konvoluciós matrixokat: d.) Ismételje az (a), (b) lépéseket, a /sobel(M)/ függvény használásával és a következő konvoluciós matrixokat: e.) Ismételje az (a), (b) lépéseket, a /prewitt(M)/ függvény használásával és a következő konvoluciós matrixokat: f.) Ismételje az (a), (b) lépéseket, a /roberts(M)/ függvény használásával és a következő konvoluciós matrixokat: g.) Hasonlítsa össze az eredeti és szűrt képeket, amelyek fázisokat eredményeztek (a)-tól (f)-ig. III. Függvény(ek): Ezek a függvények találják az éleket támaszkodva nyolc szűrő sorozatos konvoluciója az eredeti képpel - kirsch (M) - robinson3 (M)
- robinson5(M) - compgrad (M)
a.) Olvassa a „lena.bmp” nevű képet. („lena.bmp”) b.) Vágja belőle a (30-220: sorok, 50-200: oszlopok) részt. := submatrix ( 30, 220, 50, 200) c.) Alkalmazza a „kirsch”nevű él szűrést, egyenlítse a képet. kirsch:= equalize (kirsch(M)) d.) Vetítse az eredeti és a szűrt egyenlített képet. e.) Ismételje a (c), (d) lépéseket a „robinson3” függvény használásával. f.) Ismételje a (c), (d) lépéseket a „robinson5” függvény használásával.
43
g.) Ismételje a (c), (d) lépéseket a „compgrad” függvény használásával. IV. Függvény(ek): Ezek a függvények Laplacian szűrőt használnak az objektumok éleinek (határainak) megtalálására. Laplace4 (M) Laplace8 (M) Laplace24 (M) ahol M a kép matrix, a „szám” a függvény néven mutatja az „átlagolási” faktort. a.) Olvassa a „fingerp.gif” nevű képet. R:= („fingerp.gif”) b.) Definiálja a laplace4-re alkalmas szűrőt a következők szerint: c.) Egyenlítse, és skálázza a képet, és alkalmazza rá a „laplace4” szűrést, vetítse az eredeti és laplace4 módon szűrt képeket. := equalize (scale(laplace4 (R), 0, 255)) d.) Definiálja a laplace8-ra alkalmas szűrőt a következők szerint: K:= e.) Egyenlítse és skálázza a képet, és alkalmazza rá a „laplace8” szűrést, vetítse a laplace8 módon szűrt képet. 8:= equalize(scale(laplace8 (R), 0, 255)) f.) Definiálja a laplace24-re alkalmas szűrőt a következők szerint: g.) Egyenlítse és skálázza a képet, és alkalmazza rá a „laplace24” szűrést, vetítse a laplace24 módon szűrt képet. 24: equalize (scale(laplace24 (R), 0, 255)) 2. A gyakorlat célja az, hogy a hallgató megismerkedjen a képfeldolgozás néhány gyakorlati alkalmazásának a lehetőségével. Ilyen példák gyakran fordulnak elő az iparban, az állami adminisztrációban és az orvosi vizsgálatokban. A példák szegmentáció és viziós módszereken épülnek. I. Az emberi agy szegmentációja: a.) Olvassa és vetítse az „anat45. pgm” képet „fej” néven. Fej („anat45.pgm”)
44
b.) próbálja maszkolni a fejet, „binarizez” függvény felhasználásával, az alsó és felső küszöböket lehet próbaszerűen variálni, hogy jó maszkolási eredményt érhessünk el. Binfej1:= binarizez (fej, 35, 80, 1, 0) Vetítse a kép „binfej1” c.) Radírozza az éleket egy kicsit, az „erode8” függvény felhasználásával, és vetítse a képet. Binfej2:= erode8(binfej1,1) d.) Alkalmazzon úgynevezett „8-szomszédos kötött komponens címzést” a binarizált képre, mérje minden komponensnek a területét, és válassza a legnagyobbat. Confej:= concomp (binfej2, 8, 1) Az agy a 12. terület lesz. e.) Alkalmazza a „dilate” függvényt, hogy megkapja az agynak az eredeti méretét: f.) Távolítsa el a lyukakat az agy területéről. g.) Számítsa ki a fejnek és az agynak a végleges képét. II. Gép vizió: lyukak lokációja: a.) Olvassa a „pat.gif” nevű képet, távolítsa el a nem homogén részeket binarizáció és morfológiai zárási műveletekkel, mutassa a képeket b.) Alkalmazzon „kötött komponens címzés”, front pixelek értéke 1, háttér pixelek értéke 0 (reprezentálja a lyukakat) c.) Használja a „shape features” függvényt a lyuknak a koordinátái számításában: III. Gépi osztályozása a burgonyának: a.) Olvassa és vetítse a „potato.gif” nevű képet RGB formában. Potato b.) Válassza ki a burgonya szemet a háttérből: c.) Binarizza a képet és utána távolítsa el a zajt a képből, morfológiai művelettel: d.) Mérje meg a burgonya méreteit pixel-ben. e.) Mérje meg a zöld (beteg) részeket: f.) Mutassa meg hány százaléka zöld a burgonyának:
45
Szakirodalom 1. Álló, G.; Főglein, J; Hegedűs, Gy. Cs.; Szabó, J. (1993): Bevezetés a számítógépes képfeldolgozásba, 209 oldal, BME Mérnőktovábbképző Intézet, Budapest. 2. Gonzalez, R. C. and Woods, R.E. (1993): Digital Image Processing, 716 p., AddisonWesley, NY, USA. 3. Castleman, K. R. (1979): Digital Image Processing, 429 p., Prentice-Hall, NJ, USA.
46
