Digitalizace obrazu a obrazové formáty
1
Komprese obrazu - úvod Digitalizace: • diskretizace úrovňová (kvantizace) •diskretizace prostorová a časová
Nyquistova vzorkovací podmínka
f s = 2 f max fmax - maximální kmitočet digitalizovaného signálu 2
2D diskretizace s( x , y ) =
∞
∞
∑ ∑ δ ( x − iΔx, y − jΔy)
i =−∞ j =−∞
f s ( x , y ) = f ( x , y )s( x , y ) =
∞
∞
∑ ∑ f (iΔx, jΔy)δ ( x − iΔx, y − jΔy)
i =−∞ j =−∞
3
2D diskretizace
(
Fs ω x , ω y
(
S ω x ,ω y
)
)
1 = F ω x ,ω y ⊗ S ω x ,ω y 2π
(
)
(
2π ∞ ∞ = δ ω x − iΩ x , ω y − Ω y ∑ ∑ ΔxΔy i =−∞ j =−∞
(
)
)
2π 2π Ωx = ,Ω y = Δx Δy
Ω x 〉 2ω x max , Ω y 〉 2ω y max
2π 2π Δx 〈 , Δy 〈 Ωx Ωy 4
DIGITALIZACE OBRAZU
Základní pojmy: • podvzorkování, aliasing, • rekonstrukční filtr • antialiasingový filtr • up/downsampling, decimace • 2D vzorkování – separovatelné, ortogonální rastr
5
Kvantizace nejjednodušší – rovnoměrná Weber-Fechnerův zákon ΔL/L=0,02 Li +1 − Li = 0,02 ⇒ Li +1 = Li (1 + 0,02 ) Li Lmax n = 100 = (1 + 0,02 ) Lmin ⎛L ⎞ log⎜⎜ max ⎟⎟ ⎝ Lmin ⎠ = 230 n= log(1 + 0,02)
Max Loydův kvantizér – minimum MSE různá pravděpodobnost výskytu jednotlivých úrovní
6
DIGITALIZACE OBRAZU
Kvantizace: • úrovňové rozlišení a přiřazení kódu • ztráta informace - nevratná • uniformní x neuniformní • dithering • halftoning
7
2D diskretizace - rekonstrukce
(
)
(
) (
FR ω x , ω y = Fs ω x , ω y H R ω x , ω y
)
f R ( x , y ) = f s ( x , y ) ⊗ hR ( x , y )
(
)
H R ω x , ω y = konst. pro ω x ≤ ω xR , ω y ≤ ω yR
(
)
H R ωx , ω y = 0
hR ( x, y ) = konst.
sin (ω xR x )sin (ω yR y )
π 2 xω xR yω yR
jinde 8
2D diskretizace - rekonstrukce
(
)
H R ω xR , ω yR = konst. 2 2 pro ω x2 + ω y2 ≤ ω R , ω R2 = ω xR + ω yR
(
)
H R ω xR , ω yR = 0 jinde hR ( x , y ) = 2πω R konst.
(
J1 ω R x 2 + y 2
)
x2 + y2 9
Obrazové formáty • bitmapové – BMP, TIFF, GIF, WMF, JPG, JP2, • vektorové – matematický popis, key points, primitiva – elementy • rendering – vektorový formát do bitmapového • header (hlavička) – parametry (rozlišení vertikálně a horizontálně, kvantizace, typ souboru …..) • paleta – LUT, paletovaná grafika • true-color grafika
10
Tagged Image Format TIFF • obrazový blok Image File • může zahrnovat i kompresi JPEG • 40 datových položek (rozměry .... jméno autora) • obrazová data – pruhy • PhotometricInterpretation – kategorie 106H • 8mi i 16ti bitová reprezentace
11
Windows Bitmap BMP • komprese RLE • paleta nebo RGB • BitmapFileHeader • BitmapInfoHeader • BitCount
12
Graphic Interchange Format GIF
• Compuserve • 256 barev včetně transparence • komprese LZW (až 1,5) • souvislý proud dat
13
Vektorové formáty • primitiva – Beziérovy křivky, kuželosečky, 3D objekty • klíčové slovo + parametry • příklad DXF
14
DIGITALIZAČNÍ STANDARD ITU - R 601 Parametr
NTSC 525/60
PAL 625/50
luminance Y
720
720
chrominance R-Y, B-Y
360
360
luminance Y
858
864
chrominance R-Y, B-Y
429
432
luminance Y
480
576
chrominance R-Y, B-Y
480
576
Počet aktivních bodů v řádce
celkový počet bodů na řádek
počet aktivních řádek na snímek
f s ,Y = 858 f H , NTSC = 864 f H , PAL = 13,5MHz f s ,Y f s , R −Y , B −Y = = 6,75MHz 2
15
DIGITALIZAČNÍ STANDARD ITU - R 601 celkový bitový tok (13,5+6,75+6,75).8 = 216 Mb/s tj. 27 MB/s při osmibitové kvantizaci 270 Mb/s při desetibitové kvantizaci označení
4:2:2
základní barevné složky R, G, B
4:4:4 (324 Mb/s)
standardy MPEG
4:2:0 (162 Mb/s)
PCM s uniformním kvantizací 8 bitů (256 úrovní) na vzorek jasový kanál Y - 220 úrovní (černá 16, bílá 235) chrominanční kanály - 225 úrovní (střed 128) 16
DIGITALIZAČNÍ RASTRY
SIF (MPEG-1) 4:2:0 360 x 288
ITU-R 601 4:2:2 vzorek Y
MPEG-2 4:2:0 720 x 576
vzorky R-Y, B-Y
H263 CIF (Common Intermediate Format) 352 x 288 bodů SDI (Serial Digital Interface) 270 Mb/s - studio 17
SDTV, EDTV, HD, HDV, HDTV SDTV 720 x 576 (480) HDV 1280 x 720 HDTV 1440 x 1024 HDTV 1920 x 1080 interlaced nebo progressive 4:3 nebo 16:9 ........ D16 2880 x 2048
18
Komprese obrazu Kódování : • zdrojové – vlastnosti obrazu • kanálové – vlastnosti přenosového kanálu • kodek – komprese a dekomprese • still picture (statický obraz) 1200x1600 obraz.bodů, RGB 24 b, cca 5.8 MB 36 snímků cca 200 MB 1/3 CD, 1,5 hod. GSM, 12 min. ISDN, 46 sek. ADSL, 5 sek. pomalý IntraNet • video – 572x720 bodů, YUV, 16 b, 830 kB/snímek 1 hod. 75 GB
19
Zdrojová komprese Systémové parametry: • CD audio – 44,1 kHz, 16 b/vz., 700 kb/s (mono), 1,4 Mb/s (stereo) • MP3 audio -
CR 11, BR 1,5 b/vz., 128 b/s
• GSM řeč – 8 kHz, 8 b/vz., 64 kb/s • JPEG – 5,8 MB na 600 kB, CR 9,5, BR 0,43 b/vz • MPEG-2 – 166 Mb/s(20 MB/s) na 4,5 MB/s, CR 36,8, BR 0,43 b/vz
20
Image Format
Typical File Size in MB
Comment
Uncompressed TIFF
14.1
3 channels of 8 bits
Uncompressed 12-bit RAW
7.7
1 channel of 12 bits
Compressed TIFF
6.0
Lossless compression
Compressed 12-bit RAW
4.3
Nearly lossless compression
100% Quality JPEG
2.3
Hard to distinguish from uncompressed
80% Quality JPEG
1.3
Sufficient quality for 4" x 6" prints
60% Quality JPEG
0.7
Sufficient quality for websites *
20% Quality JPEG
0.2
Very low image quality 21
Komprese obrazu a zkreslení Kvalita obrazu: • subjektivní - pozorovatel • objektivní míry MSE, PSNR
1 M 2 MSE = ∑ (xˆ i − x i ) M i =1
(
)
⎡ 2n − 1 2 ⎤ PSNR = 10 log ⎢ ⎥ ⎢⎣ MSE ⎥⎦ 22
Metriky zkreslení obrazu
23
Subjektivní kvalita obrazu Metodika kvalitativních testů skupinou pozorovatelů • doporučení ITU-R BT.500-10 (2000) • pozorovací podmínky: vypnutý displej < 0,02 špičkový jas zapnutý displej, úroveň černé = 0,01 špičkový jas okolí ~ 0,15 špičkový jas, D65 maximální pozorovací úhel 30° špičkový jas typicky 200 cd/m2 kontrast 50 (0,02)
24
Metodika kvalitativních testů skupinou pozorovatelů • metodika: SS Single Stimulus x DS Double Stimulus (spatial x temporal) CQS Continuous Quality Scale Excellent – Good – Fair – Poor – Bad IS Impairment Scale Imperceptible – Perceptible, but not Annoying – Slightly Annoying – Annoying – Very Annoying CS Comparison Scale Much Worse – Worse – Slightly Worse – Same – Slightly Better – Better – Much Better 25
Metodika kvalitativních testů skupinou pozorovatelů • metodika zpracování výsledků • MOS Mean Opinion Score • střední hodnota a standardní odchylka • odstranit nejhorší a nejlepší případ • aproximace symetrickou nebo nesymetrickou logistickou funkcí
MOS =
a
1 + e − b ( x −c )
26
Stupeň korelace • Pearsonův lineární korelační koeficient r
r=
(∑ X.Y ) − ⎛⎜ N1 ∑ X∑ Y ⎞⎟ ⎠ ⎝ 1 1 2⎤ ⎡ 2⎤ ⎡ 2 2 ⎢⎣∑ X − N (∑ X ) ⎥⎦.⎢⎣∑ Y − N (∑ Y ) ⎥⎦
• Spearmanův korelační koeficient
6 rS = 1 − N. N 2 − 1
(
)
⎡ ⎤ 2 ⎢∑ (X − Y ) ⎥ ⎢⎣ ⎥⎦ 27
Zkreslení obrazu • bloková struktura – DCT, VQ • blur – NTSC, PAL, • mosquito efekt (ringing, Gibbsův effekt) • geometrická deformace • zkreslení textury
28
Modelování HVS
• jas, kontrast, barva, tvar, stíny, textura • přímky, hrany, vrcholy – nejnižší syntaxe • kontext
29
Receptivní pole senzory
logaritmizace
váhová funkce
log
váha
log
váha
∑ log
váha
log
váha
výstup
střed
záporné váhy
poloha
30
Perceptuální metrika • Daly, Lubin, Teo, Hegger, atd. • specificky – komprese, tisk, zobrazování • JND Just Noticeable Difference • kontrast • jasová adaptace (jasové maskování) – W.F. zákon • kontrastní maskování • barevné maskování
31
Psychofyzika vidění • modelování optického systému, LGN, zraková kůra • vyšší úrovně zatím málo známé • čtyři typy procesů: jas, prostorové kmitočty, časové změny, obsah obrazu • amplitudová nelinearita – Weber-Fechnerův z. • CSF Contrast Sensitivity Function (MTF) • maskování jasové – nelineární kvantizace • lokální a globální jas
32
Gaborův stimul 33
Dekompozice do dílčích pásem
34
Reference
Eye optics
Retinal sampling
Directional filters
Non-linearity
Model HVS Sarnoffovy laboratoře
Decompressed Spatial filters
Metrics calculation
JND map
35
36
Reference • C.J.B. Lambrecht, Vision Models and Applications to Image and Video Processing, Kluwer Academic Publishers, 2001 • A. Bovik, Handbook of image and video processing, Academic Press, 2000 • S.E. Umbaugh, Computer Imaging, CRC Press, 2005
37
