Základy zpracování obrazu
Zpracování obrazu a fotonika 2006
Reprezentace obrazu Barevný obrázek „Na laně“ • rozměry: 1329 x 2000 obrazových bodů • 3 barevné RGB kanály • 8 bitů na barevný kanál •FUJI Superia 400 – filmový skener Nikon • nasnímáno v prostoru Adobe RGB
Vzorkování a kvantizace obrazu
• Vzorkování (sampling): digitalizace v prostorových souřadnicích • Kvantizace (quantization): digitalizace v úrovních
Vzorkování a kvantizace obrazu
Vzorkování a kvantizace obrazu
Vzorkování a kvantizace obrazu
Reprezentace obrazu
RGB
R
G
B
Reprezentace obrazu
CIE Lab
L
a
b
šedotonový (luminosity)
chrominační
chrominanční
Reprezentace obrazu ¾ Srovnání RGB – CIE Lab
4x u= − 2 x + 12 y + 3 9y v= − 2 x + 12 y + 3 Kolorimetrický diagram stejných rozdílů
Reprezentace obrazu ¾ Srovnání RGB – CIE Lab ¾ Další možnosti: z z
CMYK – tiskový prostor (doplňkové barvy) Indexovaná barva
¾ Barevné profily a přizpůsobení zařízení! ¾ Zpracování v kanálu L – není změna
barevného podání
Popis obrázku - histogram
Luminosity
Histogram Distribuční (rozdělovací) funkce úrovní (pro daný kanál) v obraze.
Popis obrazu - histogram Funkce – pravděpodobnost = f(úrovně) Normování na počet bodů v obraze. Součet úrovní v histogramu = 1, resp. počet bodů v obraze Neexistuje vztah mezi polohou v histogramu a v obraze! Informace o „správné expozici“
Histogram Distribuční (rozdělovací) funkce úrovní (pro daný kanál) v obraze.
Popis obrazu - histogram Saturace do bílé – ztráta kresby Hodnoty: Mean – střední hodnota Std Dev. – odchylka Median – medián (ve spojení s mean informace o tvaru h.) Pixels – počet obr. bodů
Pozadí snímku
Histogram Distribuční (rozdělovací) funkce úrovní (pro daný kanál) v obraze.
Vyrovnání (ekvalizace) histogramu
Vyrovnání (ekvalizace) histogramu
Převodní charakteristika
Zesvětlení – podání světel
Převodní charakteristika
Ztmavení – podání stínů
Převodní charakteristika
Negativ
Převodní charakteristika
Binarizace obrazu
2D konvoluce Integrální podoba: ∞ ∞
( f ∗ g )( x , y ) =
∫ ∫ f ( u, v ) g( x − u, y − v )dudv
−∞ −∞
FT ( f ∗ g )( x, y )) = F (u, v).G (u , v) Diskrétní tvar:
( F ∗ G )( i , j ) = ∑ ∑ G( k , l ) F ( i − k + 1, j − l + 1 ) k
l
Vstup
2D konvoluce - příklady Po konvoluci
Dolní propust (průměrování) ⎛ 1 1 1⎞ ⎜ ⎟ g ( x, y ) = 1 / 9⎜1 1 1⎟ ⎜ 1 1 1⎟ ⎝ ⎠
Vstup
2D konvoluce - příklady Po konvoluci
Horní propust (zvýraznění detailů) ⎛ − 1 − 1 − 1⎞ ⎟ ⎜ g ( x, y ) = 1 / 1⎜ − 1 5 − 1⎟ ⎜ − 1 − 1 − 1⎟ ⎠ ⎝
Vstup
2D konvoluce - příklady Po konvoluci
Horní propust Prewitové filtr (zvýraznění horiz. hran) ⎛1 1 1⎞ ⎟ ⎜ g ( x, y ) = 1 / 1⎜ 0 0 0 ⎟ ⎜ − 1 − 1 − 1⎟ ⎠ ⎝
Vstup
2D konvoluce - příklady Po konvoluci
Horní propust Laplaceův filtr (zvýraznění horiz.i ver. hran)
⎛0 1 0⎞ ⎟ ⎜ g ( x, y ) = 1 / 1⎜ 1 − 4 1 ⎟ ⎜0 1 0⎟ ⎠ ⎝
Vstup
Sobelova filtrace Po filtraci
Dvě směrové filtrace horizintální, vertikální ⎛ −1 0 1 ⎞ ⎜ ⎟ GV ( x, y ) = 1 / 1⎜ 2 0 2 ⎟ ⎜ −1 0 1 ⎟ ⎝ ⎠ ⎛ − 1 − 2 − 1⎞ ⎜ ⎟ GH ( x, y ) = 1 / 1⎜ 0 0 0⎟ ⎜1 2 1 ⎟⎠ ⎝
Fáze a modul fáze
Mediánová filtrace ⎛ 100 101 106 ⎞ ⎜ ⎟ 256 0 110 ⎜ ⎟ ⎜ 108 106 104 ⎟ ⎝ ⎠
(100 101 106 256 0 110 108 106 104) (0 100 101 104 106 106 108 110 256)
Medián je 106 a hodnota 0 se nahradí 106 Odstranění: defektů, impulsového šumu a rušení, škrábance, hot a cool pixels Šum Salt and Pepper Mediánová filtrace 3x3
Korekce RAW snímku RAW símek přímo z kamery Obsahuje temný proud šum elektroniky vinětaci Jak má vypadat?
Korekce RAW snímku
RAW símek přímo z kamery
Korigovaný snímek
Obr. převzaty z http://ccd.mii.cz
Korekce snímací soustavy ¾ Aditivní zkreslení (šum) z
odstranění pomocí temného snímku, filtrací
¾ Multiplikativní (vinětace) z
odstranění flat fieldem, modelem
Korekce RAW snímku
RAW símek přímo z kamery
Korigovaný snímek
Obr. převzaty z http://ccd.mii.cz
Multiplikativní zkreslení - vinětace Změna osvětlení v závislosti na vzdálenosti od středu
E=
πτ ⎛ D ⎞
⎜⎜ ⎟⎟ L cos 4 θ 4 ⎝ f ⎠ 2
⎛D⎞ E ≈ ⎜⎜ ⎟⎟ = c 2 ⎝ f ⎠
θ
2
Minimalizace • Vhodná konstrukce objektivu – cl.číslo, průměr, ohnisko • Korekce následným zpracováním
Úhel paprsků, které vstupují do soustavy. Nevyhnutelná vada!
Vinětace Změna osvětlení v závislosti na vzdálenosti od středu
Snímek před úpravou
Snímek po úpravě - Photoshop
Flat Field Kompenzace • vinětace • defektů v obraze (prach) „Vyrovnání pole“
Fk ( x, y ) = K
F ( x, y ) FF ( x, y )
Technika získání: homogenní osvětlení snímací a zobrazovací soustavy (odrazná deska). model soustavy – obnova nejdéle po každé změně! je třeba RAW flat field korigovat na temný proud.
Temný snímek Temný snímek – dark frame Zdroje: Tepelně generovaný náboj ve struktuře Šum součástek Typický charakter (vadné sloupce), histogram
Temný snímek Tepelný šum Kvantové jevy – nenulová teplota
I d = A exp(− B
k BT
)
Kodak KAF-0400 CCD produkuje 1e–/s na pixel při 0 °C Čtecí šum (elektronika + CCD!): Kodak KAF-0400 CCD je 15 e– RMS – tj. nelze mít nikdy lepší přesnost bez ohledu na teplotu! Pozn. Čtecí šum elektroniky lze vyjádřit i ve Voltech – KAF-0400 CCD má výstupní uzel, který převede 1 elektron na 10 μV. Výsledný parametr za A/D převodníkem (typicky 16 bitů rozsah 2V) Parametr e–/ADU.
Temný sn í mek Výsledný parametr za A/D převodníkem (typicky 16 bitů rozsah 2V). Např. Předpokládejme že kamera je vybavena 16 bitovým A/D převodníkem se vstupním rozsahem 2 V. Tj. 2 V signál je rozdělen na 65 536 jednotek. 1 jednotka reprezentuje 2 V / 65 536 = 30,5 μV. Předpokládejme že výstupní uzel použitého CCD snímače generuje napětí 10 μV na elektron. Výsledný poměr je (30,5 μV / ADU) / (10 μV / e–) = 3 e– / ADU. To znamená že každé 3 elektrony v potenciálové jámě pixelu způsobí jeden inkrement čísla ve výsledném obrazu. Typicky také 2,3 e– / ADU nebo 1,5 e– / ADU.
Temný snímek Tepelný šum Kvantové jevy – nenulová teplota
I d = A exp(− B
k BT
)
Kodak KAF-0400 CCD produkuje 1e–/s na pixel při 0 °C BIAS FRAME: základní úroveň hodnoty pixelů definovaná elektronikou kamery. Tj. temný snímek s nulovou expoziční dobou.
Temný proud x fix pattern noise!
Temný snímek Tepelný šum Kvantové jevy – nenulová teplota
I d = A exp(− B
Korekce:
k BT
)
Fd ( x, y ) = F ( x, y ) − D( x, y )
Podmínky snímání: Stejná teplota, expoziční doba a rozlišení. Nepříliš velký časový odstup Jinak – model „superdark“ z více snímků nebo použití filtrace (např. medián).
Postup korekce RAW snímku
RAW – nekorigovaný - snímek
Postup korekce RAW snímku RAW – nekorigovaný – snímek - F
Temný snímek - D
Po korekci temným snímkem - Fd
Postup korekce RAW snímku Po korekci temným snímkem - Fd
Flat field - FF
Korigovaný snímek - Fk
Postup korekce RAW snímku
RAW – nekorigovaný - snímek
Korigovaný snímek - Fk