Eighth Hungarian Conference on Computer Graphics and Geometry, Budapest, 2016
Digitális képalkotó algoritmusok összehasonlító elemzése képszerkezet és entrópia alapján
Berke Dávid1 – Ocskai Zsolt2 – Major Krisztina2 - Enyedi Attila2 - Berke József2
1 - Budapesti Műszaki és Gazdaságtudományi Egyetem, 1111, Budapest, Műegyetem rkp. 3., Magyarország 2 - Gábor Dénes Főiskola, 1139, Budapest, Mérnök út. 39, Magyarország
Abstract Az ezredfordulóval kezdődően, a digitális képalkotó berendezések robbanásszerű elterjedésnek indultak. Legtöbbjük az elektromágneses hullámokat érzékelik, azaz működésük azonos fizikai törvényekre épülnek. Napjainkban megszokott eszközeink (laptopok, táblagépek, mobiltelefonok, autók, stb.), már több képalkotó érzékelőt is tartalmaznak. Ezen érzékelők legnagyobb része CMOS technológiára épülő, Bayer-mintázat alapú képek készítésére alkalmas. Az érzékelőből kiolvasott adatok és a megjeleníthető végleges kép között számos művelet kerül elvégzésre, melyek közül a legnagyobb eszköz független részt a képalkotó algoritmusok képezik. Az algoritmusok szakirodalmi összehasonlítása több szempont alapján történik: vizuális szemrevételezés, Mean Squared Error (MSE) hiba, Signal Noise Ratio (SNR) hiba és számítási kapacitás alapján. Az alábbiakban bemutatjuk, a legismertebb képalkotó algoritmusok (Legközelebbi szomszéd alapú interpoláció, Bilineáris interpoláció, Smooth Hue Transition interpoláció, Smooth Hue Transition interpoláció logaritmikus expozíciós térben, Élérzékeny interpolációs algoritmus I., Él-érzékeny interpolációs algoritmus II., Lineáris interpoláció Laplace-féle másodrendű korrekcióval I., Lineáris interpoláció Laplace-féle másodrendű korrekcióval II.) összehasonlító elemzésének eredményeit, képszerkezet és képtartalom alapú, saját fejlesztésű programmal történő mérések alapján.
Categories and Subject Descriptors (according to ACMCCS): I.4.7 [Image Processing and Computer Vision]: Feature Measurement
1. Bevezetés A digitális kamerák széleskörű elterjedése, előtérbe helyezte a megfelelő képalkotó eljárások/algoritmusok fejlesztését. A leginkább elterjedt kamerák általában egyetlen érzékelőt használnak és az érzékelők Bayer mintázatot követnek. A mintázat létrehozása „Color Filter Array” (CFA) szűrő segítségével történik, amelyet az érzékelő tömb magában foglal. Ebben az elrendezésben, minden egyes érzékelő csak fényintenzitást érzékel. A színes kép létrehozásához szükséges tudnunk a CFA mintázatot és megfelelő számítási módszert kell alkalmaznunk. Ezeket a módszereket nevezzük szín interpolációs eljárásoknak, vagy színes demosaicing algoritmusoknak. Egyetlen érzékelőt tartalmazó kamera a változó intenzitású, elektromágneses hullámot (fényt) érzékeli, négyzetrács alakban elrendezett képérzékelőkkel. A színes kép létrehozásához, a CFA szűrőt, a lencse és az érzékelők közé kell helyezni. A CFA tehát egy színszűrő, az egyes érzékelők előtt. A szakirodalomban számos különböző CFA konfigurációt javasoltak, azonban az egyik legnépszerűbb elrendezés, a Bayer minta alapú4, 1. ábra. Ez a három additív alapszín, a vörös, a zöld és a kék (RGB) színeire épül. Az egy érzékelős szín interpolációs algoritmusokat, két csoportra bonthatjuk: nem adaptív és adaptív algoritmusok. A nem adaptív algoritmusok jelölik, azokat az
algoritmusokat, amelyek esetén az interpoláció (egy csoporton belül) rögzített pixelminta alapján történik.
1. ábra Bayer mintázat elrendezése Míg az adaptív algoritmusokra az jellemző, hogy figyelembe veszik a helyi, a pixel környezetében lévő értékeket és ennek
függvényében (és nem egy kötött minta alapján), döntenek az interpolált értékekről. Más szóval, az adaptív algoritmusok némi intelligenciával vannak felruházva, ezért sokkal kifinomultabb eredményt adnak.
kettős felső vonással jelölve a második rendben legközelebbi képsort és képoszlopot), amelyek csak az érzékelő RAW állományából nyerhetők.
2. A vizsgált algoritmusok Az entrópia és fraktálszerkezet alapú mérésekre az alábbi algoritmusok kerültek kódolásra: • • • • • • • •
Legközelebbi szomszéd alapú interpoláció, Bilineáris interpoláció, Smooth Hue Transition interpoláció, Smooth Hue Transition interpoláció logaritmikus expozíciós térben, Él-érzékeny interpolációs algoritmus I., Él-érzékeny interpolációs algoritmus II., Lineáris interpoláció Laplace-féle másodrendű korrekcióval I., Lineáris interpoláció Laplace-féle másodrendű korrekcióval II.
A legközelebbi szomszéd interpolációs módszer során, az első rendben legközelebbi szomszédos képpontok kerülnek felhasználásra, ezek az adott pont feletti, alatti, jobbra és balra eső pixelek 1, 14, 18, 21 lehetnek. Az algoritmus minden képsíkon (R, G és B) a hiányzó pixelértéket, a tőle balra elhelyezkedő értékkel helyettesíti. Azaz a zöld képsíkon az 1. ábra alapján - a G8-as pozícióban a G7 érték, a G12-es helyre a G11, a G14-es helyre a G13, a G18-as helyre a G17 érték kerül. Jól látható, hogy a G6-os helyre (bal oldali képszél, az ábrán B6-al jelölve), a fenti eljárás nem alkalmazható, mivel itt nincs bal oldali képpont. Helyette a fenti, lenti és jobb oldali képpontok egyike lesz választható. Értelemszerűen, a jobb oldali képszélen hiányzó pontok esetén, pedig a fenti, lenti és bal oldali képpontértékek közül választhatunk. A felső képszélen a lenti, bal és jobb oldali, míg az alsó képszélen a fenti, bal és jobb oldali képpontértékek lesznek választhatók. Kék vagy vörös pixelek esetén, csak átlós irányban találnánk azonos színű pixeleket, melyek nem tekinthetők legközelebbi szomszédnak, így ezeket nem használjuk az interpoláció során a számításokhoz. Vesszük az eltérő színű, de legközelebbi szomszédú pixelértékeket. A széleken hasonlóan járunk el, mind zöld pixelek esetén tettük. A bilineáris interpoláció 1, 11, 12, 14, 19, 21, 28 során, a zöld pixelek esetén, vesszük a zöld réteg négy legközelebbi pixelének számtani átlagát, az 1. ábra alapján. Például a G8=(G3+G7+G9+G13)/4. Zöld pozícióból történő helyettesítés esetén: vegyük az azonos színrétegen lévő, két legközelebbi pixelérték számtani átlagát. Például: B7=(B6+B8)/2 és R7=(R2+R12)/2. Kék/vörös pozícióból vörös/kék pozícióba történő helyettesítés esetén: vegyük az azonos színrétegen lévő, négy átlós irányban legközelebbi pixelérték számtani átlagát. Pl.: R8=(R2+R4+R12+R14)/4 és B12=(B6+B8+B16+B18)/4. A képszéleken történő pixelek (R1, G2, R3, G4, R5, … és G6, R11, G16, R21, …) számítása esetén további két pixelsor értékeit veszi figyelembe az eljárás (2. ábra mínusz (-) jelölésű sorok és oszlopok, egyetlen felső vonással jelölve az első rendben,
2. ábra Képszéleken lévő, nem a képhez tartozó pixelek (R1, G2, R3, G4, R5 és G6, R11, G16, R21) számításánál figyelembe vett értékek a (-) jelölésű sorok és oszlopok, egyetlen felső vonással jelölve az első rendben, kettős felső vonással jelölve a második rendben legközelebbi képsort és képoszlopot Az egyik legfontosabb hibája a bilineáris interpolációnak, hogy a színárnyalatokat a szomszédos képpontok változása miatt, természetellenes módon számítja. A Bayer típusú CFA szűrő esetén, a zöld színek túl erősek, míg a másik két alapszín, túl gyenge lesz. Ezen hibát javítja a Smooth Hue Transition interpolációs eljárás 1, 11, 12, 19. A zöld pixelek interpolációja megegyezik a bilineáris eljárással úgy, hogy a vörös/kék interpoláció előtt kerül végrehajtásra. Az interpoláció célja, a sima átmenet biztosítása kék és vörös pixelek esetén. A smooth hue transition interpoláció logaritmikus expozíciós térben eljárás esetén, a zöld pixelek interpolációja megegyezik a bilineáris eljárással úgy, hogy a vörös/kék interpoláció előtt kerül végrehajtásra. Miután elvégeztük a zöld pixelek interpolációját, az eredeti képi adatokat felülírjuk, az interpolált zöld pixelértékekkel. Ezután a pixelértékek lineáris, expozíciós terét áttranszformáljuk, logaritmikus expozíciós térré. Elvégezzük a 1, 12, 25 szerinti számításokat, majd az összes pixelértéket visszatranszformáljuk, a lineáris expozíciós térbe. A legtöbb nem adaptív algoritmus, a szín interpolációt a szomszédos pixelértékek átlagolásával végzi. Ennek hatására, egy képen lévő objektum ún. "cipzár hatású" lesz, amely az élek/kontúrok nem természetes átmenetét jelenti. Ennek megszüntetése úgy lehetséges, hogy az algoritmusokba építünk egyfajta intelligens érzékelő és döntéshozó eljárást. Az ilyen algoritmusokat nevezzük adaptív szín interpolációs algoritmusoknak. Mivel az
emberi látórendszer érzékeny az élekre/kontúrokra, ezért olyan módszereket használunk, amelyek figyelemre veszik ezeket. Ennek egyik kezdeti lépése volt az 1, 2, 10, 11 szerinti él-érzékeny interpolációs eljárás. Lényege, hogy definiálunk egy horizontális és egy vertikális irányú különbséget minden vörös/kék pozícióban, valamint egy T küszöböt. A T értéke általában függ a kép tartalmától és a szomszédos pontoktól. Egy lehetséges értéke 20 szerint, a horizontális és a vertikális irányú különbségek számtani átlaga. Majd végrehajtjuk a 1, 2, 10, 11 során részletezett interpolációt. Egy másik, lehetséges megoldás, ezen eljárás csoporton belül 15 által került leírásra, ami elsősorban, a különbségek képzésében mutatkozik. Az előzőek során ismertetett él-érzékeny módszerek hátránya, hogy nem veszik figyelembe az átlós irányú eltéréseket. A lineáris interpoláció Laplace-féle másodrendű korrekcióval esetén, Hamilton és Adams 1997ben egy optimálisabb megoldást javasolt, a vízszintes és a függőleges élek figyelembevételére. Az algoritmus összetettebb horizontális és vertikális gradiens mellett, átlós irányú eltéréseket is figyelembe vesz.
3. ábra Interpoláció folyamata saját fejlesztésű programcsaláddal - „qChannel”
A RAW elnevezés a digitális kamerák érzékelőjéből közvetlenül kiolvasott nyers, feldolgozatlan képi információkat és a felvétel körülményeire, a kamera beállításaira vonatkozó metaadatokat tartalmazó digitalizált adathalmazt jelent. A fényképezőgép módosítást nem hajt végre a RAW adatokon. A RAW nem tartalmaz színeket, hiszen az érzékelő csak a fény mennyiségét méri. A színek interpolációs algoritmusokkal alakíthatók ki, amelyekből a gépben csak egyféle van, a szoftverekben viszont több megoldás közül választhatunk. A RAW formátum tehát minden információt tartalmaz, ami a digitális kép kialakításához szükséges, de önmagában nem kép. Emiatt a RAW fájlok tartalmaznak egy JPEG képet, hogy a gép LCD-jén közvetlenül meg lehessen nézni az eredményt és annak hisztogramját.
3. Az entrópia Az entrópia napjainkban használt információelméleti fogalmát, 1948-ban Claude E. Shannon22, 23 vezette be, majd gyakorlati példán keresztül szemléltette24, melyet Neumann János javaslatára nevezett el, entrópia függvénynek. Ezek szerint az üzenetek átlagos információ tartalma (független üzenetek esetén) – entrópiája, az alábbiak szerint határozható meg:
!
Az egyes algoritmusok vizsgálatához saját fejlesztésű programcsaládot hoztunk létre. Ennek egy részét képezi a RAW/GreyScale TIFF kép interpolálási lehetőség. Az intenzitás adat kinyeréséhez és a számított adat képpé alakításához – a nyílt-‐forrású LibRAW28 és LibTiff29 csomagok kerültek alkalmazásra. A családot alkotó konzol programok C++ nyelven, Visual Studio30 használatával, míg a grafikus kezelő felület a Qt community edition31 használatával, a Qt creator-‐ban készültek. A kódbázisok platform függetlensége miatt Windows, Linux és OS X rendszerekre is lefordíthatóak. Az interpoláció folyamatát a 3. ábrán tekinthetjük át.
𝐻=
𝑝! 𝑙𝑑 !!!
ahol
1 𝑝! (1)
H - az információelméleti entrópia
pi - az i-edik üzenet előfordulási valószínűsége (gyakorlatban relatív gyakoriság) Az entrópia matematikai értelemben vett általános definícióját, Rényi Alfréd adta, 1961-ben 20, amely szerint
H∝ (X) =
ahol
1 log 1−∝
!
p∝ ! !!!
∝≥ 0 és ∝≠ 1
Az entrópia gyakorlati esetekben történő számítása során, célszerű figyelembe venni, az alábbiakat: •
Egy zárt rendszer információelméleti entrópiája, az alábbi értékeket veheti fel:
0 ≤ H ≤ log ! n
létezik, akkor FD -t az A halmaz fraktáldimenziójának nevezzük. A fraktáldimenzió (FD) általános definíciója a következő:
L2 L1 FD = S1 log S2 log
ahol n a lehetséges üzenetek száma. •
A entrópia akkor a legkisebb, ha a forrás mindig ugyanazt az üzenetet küldi, azaz a képen egyetlen szín vagy intenzitásérték szerepel.
•
A entrópia akkor veszi fel a legnagyobb értéket, ha az összes üzenet valószínűsége egyenlő – (p! = −log ! n ), amely 𝐻𝑚𝑎𝑥 = 𝑙𝑜𝑔2 𝑛 Képek esetén, ez azt jelenti, hogy minden egyes lehetséges intenzitásérték, egyenlő számban fordul elő a képen. Azonban a gyakorlatban előforduló képalkotó eszközök, legtöbb esetben egyetlen lapkát tartalmaznak, amelyek 12, 14 vagy 16 bit felbontásúak. A Bayer-mintázat alapú érzékelő adatai alapján, a végleges kép három csatornát tartalmaz (RGB), melyeket interpolációval állítanak elő. 4. Spektrális fraktáldimenzió Egy fraktálgörbe dimenziója olyan szám, amely azt jellemzi, hogy a görbe két kiválasztott pontja között, hogyan nő a távolság, midőn növeljük a felbontást. Tehát, amíg a vonal és a felület topológiai dimenziója mindig 1, illetve 2, addig a fraktáldimenzió lehet egy ezek közti érték is. A valós világban előforduló görbék, illetve felületek nem valódi fraktálok, olyan folyamatok hozták létre őket, amelyek csak egy meghatározott mérettartományban található alakzatokat képesek kialakítani. Így D változhat a felbontással. A változás segíthet abban, hogy jellemezhessük a létrehozásban közreműködő folyamatokat. Mandelbrot az alábbiak szerint definiálta a fraktál fogalmát: “A fractal is by definition a set for which the HausdorffBesicovitch dimension strictly exceeds the topological dimension”17 , azaz fraktálnak tekinthető minden olyan halmaz, amelynek a Hausdorff-Besicovitch dimenziója nagyobb a topológiai dimenziónál. A gyakorlatban elsősorban a digitálisan rögzített halmazok, adatok (pl. képek, hangok, videók) esetén - szinte mindig teljesül a fenti definíció. A fraktáldimenzió elméleti leírása3: Legyen ( X , d ) egy metrikus tér, valamint A ∈ H (X ) . Legyen N (ε ) a minimális
ε
sugarú gömbök száma,
amely lefedi A halmazt. Ha
⎧⎪ ⎧ LnN (ε ) ⎫⎫⎪ FD = Lim⎨Sup⎨ : ε ∈ (0, ε )⎬⎬ ε →0 ⎪ ⎩ Ln(1 / ε ) ⎭⎪⎭ ⎩
ahol L1 és L2 a (fraktál) görbén mért hosszúságok, S1 és S2 pedig a használt (tetszőleges) mérték nagysága (pl. digitális képek esetén a felbontás). Számos olyan módszer került kifejlesztésre, amely a fraktáldimenzió számítására is alkalmas 7, 25. Az SFD egy, az általános fraktáldimenzióból17 származtatott szerkezetvizsgálati eljárás, amely a fraktálok egy újszerű alkalmazását jelenti. Az SFD5, 6, 8, 9, a térbeli szerkezeten kívül, a spektrális sávok színszerkezetének mérésére is alkalmas, és elegendő információt nyújt a színek, árnyalatok fraktál tulajdonságaira vonatkozóan is. Az SFD értékek számításához (két vagy több képsáv esetén, azonos spektrális felbontás esetén), a spektrális fraktáldimenzió alábbi definíciója alkalmazható, a mért adatokra, mint függvényre (értékes spektrális dobozok száma, az összes spektrális doboz függvényében) egyszerű matematikai átlagolással számítva, az alábbiak szerint9: S−1
log(BM j ) S n j=1 log((2 ) )
n×∑ SFDESR =
S −1
(2)
ahol n – a képrétegek vagy képcsatornák száma S – a spektrális felbontás bitben BMj - értékes képpontot tartalmazó spektrális dobozok száma j-bit esetén BTj – összes lehetséges spektrális dobozok száma j-bit esetén
A lehetséges spektrális dobozok száma j-bit esetén az alábbiak szerint számítható:
BT j = (2S )n
(3)
A fentiekben definiált SFDESR metrika, azaz kielégíti az alábbi feltételeket: nem negatív defínit, szimmetrikus és teljesíti a háromszög egyenlőtlenséget. A metrika teljesülésének további feltétele a regularitás feltételének teljesülése is. Azaz, a diszkrét képsík pontjai egyenletes sűrűségűek legyenek. A gyakorlatban az A/D átalakító előtt a képfüggvényt nemlineáris transzformációnak vetik alá, aminek hatására a képfüggvény sűrűségfüggvénye állandó lesz. Így digitális képek esetén általában teljesül vagy annak tekinthető a regularitás feltétele. Mivel az SFDESR összefüggés metrika9, a képi adatok mérésére egzaktul használható.
5. Véges felbontású digitális képek Az alábbiakban gyakorlati összefüggést adunk, véges felbontású (finite spatial resolution) digitális képek esetén alkalmazható SFD számításokhoz (a CCD és CMOS érzékelők által adott képek, mind ilyenek)8. Az előzőfejezetben tárgyalt összefüggések alapján, közvetlenül megállapítható, hogy
0 ≤ SFD ≤ n
esetén általában a képpontok száma kisebb, mint a lehetséges spektrális képpontok száma, így az SFDESR-MAX összefüggés alkalmazandó. Önmagában csak az SFD érték, nem jellemző paraméter az érzékelőre. A K vagy csak az S értéke, nem jellemző, mint egyedüli paraméter. Amennyiben az SFDESR-MAX összefüggést megszorozzuk (S-1)-el, az alábbi értéket kapjuk, melyet SSRR-nek nevezünk (Spatial and Spectral Resolution Range):
(4)
azaz SFD értéke 0 és a számításokba szereplő csatornák/rétegek száma közötti értéket vehet fel. A további becsléshez használjuk ki azon tényt, hogy a digitális képet alkotó pixelek száma ismert, legyen ez K,
K = X ∗Y
SSRRCCD/CMOS = (S −1) × ( SFDESR−MAX )
(9)
azaz S−1 # log(BM j ) & ( SSRRCCD/CMOS = nx %(Z −1) + ∑ S n %$ ' j=Z log((2 ) ) (
(10)
Digitális képek esetén, a fenti összefüggés az alábbiak szerint kerül módosításra:
ahol K – a képet alkotó pixelek száma
S # log(BM j ) & ( SSRIRKEP = nx %(Z −1) + ∑ S n %$ ' j=Z log((2 ) ) (
X - a kép szélességének mérete pixelben Y - a kép hosszúságának mérete pixelben Amennyiben
(11)
ahol igaz, hogy
K ≥ BT j
2≤𝑍≤𝑆
(12)
és akkor
SFDmax = n
(5)
Z-t úgy választom, hogy Z-1 esetén 𝐾 ≥ 𝐵𝑇j
ha viszont teljesüljön.
K < BT j akkor maximálisan annyi különböző spektrális képpontom lehet, amennyi a képpontok száma, ekkor
S−1
log(BM j ) ) S n log((2 ) ) j=1
n × ((Z −1) + ∑ SFDESR−MAX =
S −1
(6)
ahol igaz, hogy 1≤𝑍≤𝑆−1
(7)
és
Z-t úgy választom, hogy Z-1 esetén 𝐾 ≥ 𝐵𝑇j
(8)
teljesüljön. A ténylegesen megépített és használt képérzékelők
A (9) és (10) mennyiségek értéke monoton nő, amennyiben az S, K és n értéke közül bármelyik kettő rögzített és a harmadik értéke nő. Tartalmazza mindhárom, digitális érzékelőkre (9) és digitális képekre (10) jellemző paramétert (K, S, n), így önmagában jellemző értéke tetszőleges digitális képérzékelőnek illetve képnek.
6. Eredmények A vizsgálataink során három jellemzőt mértünk minden képen: entrópia, SFD és futásidő. Továbbá az SSRIR számításra került a (11) összefüggés alapján. Kezdetben 2020 légifelvételt mértünk, melyből 10 NIR és 10 VIS tartományú volt. A teljes méréssorozathoz 100-100 felvétel került kiválasztásra, melyből 48 NIR és 52 VIS tartományú volt. A képek Canon EOS 30D VIS és NIR kamerával készültek – mentett képméret: 3504x2336, érzékelő mérete (RAW adatok alapján): 3596x2360. Jelen publikációban a 20 kép alapján történő mérések eredményeit közöljük. A képek kiválasztásánál figyelembe vettük az eltérő geometriai felbontást, a képtartalmak változatosságát és azok homogenitását is. A nyolc algoritmus mellett, megnéztük az Adobe cég, nem publikált, de a gyakorlatban leginkább használt képalkotó eljárásainak (RAW 6.7.0.339, RAW 7.0.0.308, RAW 8.0.0.137, RAW 9.1.1.461)
összehasonlítását is entrópia, SFD, futásidő és SSRIR alapján. 6.1 Adobe RAW konverzió mérés eredményei A 4. ábrán az Adobe négyféle képalkotó eljárásának információtartalomra (entrópiára) vonatkozó hatását láthatjuk. A képek átlagos információtartalma minimálisan, de folyamatosan növekedett a modulok időbeli fejlődésével.
4. ábra Adobe négyféle képalkotó eljárásának entrópiája Ugyanez a tendencia nem mondható el a szerkezetre (5. ábra). A legmagasabb szerkezeti értéket a RAW6 esetén kaptuk, amely a legrégebbi modul. Vélhetően annak köszönhetően, hogy ez a modul tartalmazott a legkevésbé hatékony algoritmust és belső zajcsökkentő eljárást.
ábra), míg VIS esetén csökken. Mindez vélhetően a VIS képek esetén alkalmazott zajszűrés eredménye lehet, amely értelemszerűen nem mutatkozik NIR képek során, hiszen itt más jellegű zajok kerülnek előtérbe, melyek csökkentésére kevésbé alkalmas a beépített módszer. 6.2 Interpolációs eljárások mérési eredményei A mérési eredményeket bemutató táblázatokban az alábbi jelöléseket alkalmazzuk: • Bilineáris interpoláció - Bilinear, • Lineáris interpoláció Laplace-féle másodrendű korrekcióval I. – Laplace 1, • Lineáris interpoláció Laplace-féle másodrendű korrekcióval II. – Laplace 2, • Legközelebbi szomszéd alapú interpoláció – Nearest Neighbour, • Smooth Hue Transition interpoláció - Smooth Hue, • Smooth Hue Transition interpoláció logaritmikus expozíciós térben - Smooth Hue Log, • Él-érzékeny interpolációs algoritmus I. – Edge Sensitive I., • Él-érzékeny interpolációs algoritmus II. - Edge Sensitive II. Az algoritmusok közül a legmagasabb futásidőt a Laplace 2, míg a legalacsonyabbat a Nearest Neighbour adta (7. ábra). A Laplace 2 átlagos futásideje (1,15 mp) közel kétszerese a Nearest Neighbour (0,6 mp) eljárásnak. Mindez jól egyezik Chen, T. 1999. mérési eredményeivel10 és a kódolás során kialakított program alapján történő várakozással.
5. ábra Adobe négyféle képalkotó eljárásának SFD értékei
7. ábra Interpolációs képalkotó eljárásának futásideje
A futásidő érdekes képet mutat. Az entrópia számítása 12 másodperc körüli, míg SFD esetén 30 perc körüli értékeket kaptunk, egy Intel Core i7 2,8 GHz, 16 GB DDR3, Mac OS X 10.11 64 bit gépen történő számítással.
A legmagasabb információtartalom a Smooth Hue eljárásé (22,04), de csak látható tartományú képek esetén (8. ábra). NIR képek során a legmagasabb entrópiát a Laplace 1 adta (21,09). Mindez összefüggésben lehet azzal, hogy az átalakított NIR kamera képeinek élessége nem éri el a VIS képekét, így ezen az él-érzékeny eljárások javítanak, ami esetünkben az entrópia növekedésében is jelentkezik.
6. ábra Adobe négyféle képalkotó eljárásának SSRIR értékei NIR képek esetén az SSRIR érték folyamatosan nő (6.
8. ábra Interpolációs képalkotó eljárások entrópiája
Chen, 1999 szerint10 a Laplace 1 eljárás adja a legjobb minőséget, főleg az élek visszaadása tekintetében. Mindezek megerősítik, hogy az entrópia VIS és NIR képek jellemzésére egyaránt alkalmas. A képszerkezeti mérések esetén (9. ábra) a Smooth Hue eljárás adta a legmagasabb értéket a VIS tartományban (1,01), míg a NIR esetén a Laplace 1 és Laplace 2 (0,83).
csatornaszám) tükrözi. Fraktálszerkezetre és maximális információtartalomra épül. Bayer típusú képérzékelők során alkalmazott képalkotó interpolációs eljárások egzakt mérésére javasoljuk a megszokott MSE és számítási kapacitás mellett az entrópia, SFD paraméterek mérését és az SSRIR számítását is. Ezen paraméterekkel egzaktul mérhető az árnyalatbeli eltérések, valamint az egyes eljárások hatása.
Hivatkozások 1.
2. 9. ábra Interpolációs képalkotó eljárások SFD értékei Chen 1999. alapján10 a Smooth Hue típusú algoritmusoknak kisebb a homályosító hatása mint, a bilineáris interpolációnak, azonban jelentős színárnyalatbeli hibával rendelkezik. Mindez egzaktul kimutatható az SFD paraméter mérésével. Érdekességként jegyezzük meg, hogy a legnagyobb futásidőt SFD mérés esetén a Laplace 1 eljárású képeken mértük (VIS- 89 perc, NIR – 24 perc), melynek értéke közel egyharmaddal magasabb az eljárások közül VIS esetén második leghosszabb Laplace 2 –nek (54 perc), valamint NIR esetén második leghosszabb Smooth Hue -nak (16 perc). A legalacsonyabb futásidőt VIS esetén a Smooth Hue Log (16 perc), míg NIR esetén a Bilinear adta (12 perc). Az árnyalatok tekintetében legjobbnak tekintett Smooth Hue eljárás SSRIR értékei a legmagasabbak (30,28) de csak VIS képek esetén. NIR képeknél a legmagasabb értéket (29,71) a Laplace 1 eljárás adta, igaz ehhez közeli értéket (29,42) adott a Smooth Hue is – legkisebb a Bilinear 29,13 értékkel, (10. ábra).
3. 4. 5. 6.
7.
8.
9.
10.
11.
10. ábra Interpolációs képalkotó eljárások SSRIR értékei
12.
7. Javaslatok Javasoljuk, hogy digitális képek esetén kerüljön bevezetésre a S # log(BM j ) & ( SSRIRKEP = nx %(Z −1) + ∑ S n %$ ' j=Z log((2 ) ) (
mennyiség, mint Spatial and Spectral Resolution Image Range - SSRIR, amely mindhárom fontos jellemzőt (digitális képek képpontjainak száma, spektrális felbontás,
13.
14.
15.
Adams, J. E., "Interactions between color plane interpolation and other image processing functions in electronic photography", Proceedings of SPIE Vol. 2416 P.144-151., 1995. Adams, J. E. – Parulski, K. – Spaulding, K., "Color Processing in Digital Cameras", Eastman Kodak Company, 1998. Barnsley, M. F., Fractals everywhere, Academic Press, 1998. Bayer, B. E., "Color imaging array", U.S. Patent 3,971,065, 1976. Berke, J., Fractal dimension on image processing, 4th KEPAF Conference on Image Analysis and Pattern Recognition, Vol.4, pp.20, 2004. Berke, J., The Structure of dimensions: A revolution of dimensions (classical and fractal) in education and science, 5th International Conference for History of Science in Science Education, July 12 – 16, 2004. Berke, J., Spectral fractal dimension, Proceedings of the 7th WSEAS Telecommunications and Informatics (TELE-INFO ’05), Prague, pp.23-26, ISBN 960 8457 11 4, 2005. Berke, J., Measuring of Spectral Fractal Dimension, Advances in Systems, Computing Sciences and Software Engineering, Springer pp. 397-402., ISBN 10 1-4020-5262-6, 2006. Berke, J., Measuring of Spectral Fractal Dimension, Journal of New Mathematics and Natural Computation, ISSN: 1793-0057, 3/3: 409418, 2007. Chen, T., A Study of Spatial Color Interpolation Algorithms for Single-Detector Digital Cameras, Psych221/EE362 Course Project, Information System Laboratory, Department of Electrical Engineering, Stanford University, 1999. Cok, D. R., "Single-chip electronic color camera with color-dependent birefringent optical spatial frequency filter and red and blue signal interpolating circuit", U.S. Patent 4,605,956, 1986. Cok, D. R., "Signal processing method and apparatus for sampled image signals", U.S. Patent 4,630,307, 1986. Cok, D. R., "Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal", U.S. Patent 4,642,678, 1987. Hidemori, Z. et. al., 1998. "A New digital signal processor for progressive scan CCD", IEEE Transactions on Consumer Electronics. Vol.44, No.2, P.289-295, May 1998. Kozma-Bognár, V., Investigation of Hyperspectral Image Processing and Application in Agriculture, Ph.D. dissertation, University of Pannonia, 2012.
16. Laroche, C. A., "Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients", U.S. Patent 5,373,322, 1994. 17. Mandelbrot, B. B., The fractal geometry of nature, W.H. Freeman and Company, New York, 1983. 18. Ozawa, N., "Chrominance signal interpolation device for a color camera", U.S. Patent 4,716,455, 1987. 19. Parulski, K. A., "Color Filters and Processing Alternatives for one-chip cameras", IEEE Transactions on Electron Devices. Vol.ED-32, NO.8, August 1985. 20. Rényi, A., Onmeasures of information and entropy, Proceedings of the 4th Berkeley Symposiumon Mathematics, Statistics and Probability, 547–561, 1960. 21. Sakamoto, T. et. al., "Software pixel interpolation for digital still cameras suitable for a 32-bit MCU", IEEE Transactions on Consumer Electronics. Vol.44, No.4, P.1342-1352, November 1998. 22. Shannon, C. E., A Mathematical Theory of Communication, The Bell System Technical Journal, 27:379–423, 1948. 23. Shannon, C. E., A Mathematical Theory of Communication, The Bell System Technical Journal, 28:623–656, 1948. 24. Shannon, C. E., Prediction and entropy of printed English, The Bell System Technical Journal, 30:50–64, 1951. 25. Turner, M. T., - Blackledge, J. M. – Andrews, P. R., Fractal Geometry in Digital Imaging, Academic Press, 1998. 26. Weldy, J. A., "Optimized design for a singlesensor color electronic camera system", Proceedings of SPIE Vol.1071 P.300-307, 1988. 27. Wen-Hsin, C. et. al., "A Mega-Pixel resolution PC Digital Still Camera", Proceedings of SPIE Vol.2654. p.164-171, 1986. 28. XiaoLin, W. et. al., "Color Restoration from Digital Camera Data by Pattern Matching", Proceedings of SPIE Vol. 3018 P.12-17, 1998. 29. LibRAW fejlesztői oldala: http://www.libraw.org. 30. LibTiff fejlesztői oldala: http://www.remotesensing.org/libtiff. 31. Visual Studio hivatalos oldala: https://www.visualstudio.com. 32. Qt platform hivatalos oldala: http://www.qt.io.
