Obraz s vysokým dynamickým rozsahem

Obraz s vysokým dynamickým rozsahem High Dynamic Range (HDR)

České vysoké učení technické v Praze Fakulta elektrotechnická Katedra radioelektroniky

16/11/2016

Technická 2 166 27 Praha 6 mmtg.fel.cvut.cz

© Multimedia Technology Group

v7.00

HDR Moderní oblasti obrazové techniky a videotechniky

Běžná fotografie



Úvod do HDR     



High dynamic range imaging Převodní charakteristika Mapa jasů Mapování jasů pro potřeby zobrazení Zpětně kompatibilní HDR komprese

Měření a kalibrace DF  Spektrální charakteristiky  Opto-elektronická převodní charakteristika



HDR – 19 snímků Mapování jasů

HDR – 19 snímků Mapování jasů

Ukázky HDR snímků


1/50




Úvod do HDR  Dynamický rozsah (DR) • Poměr mezi nejsvětlejším Lmax a nejtmavším Lmin jasem ve scéně • Scény reálného světa mohou mít DR řádu mnoha dekád • DR spotřebních fotoaparátů je mnohem nižší než DR scény 10-3

10-2

10-1

1

10

102

103

104

105

106

cd/m2

105

106

cd/m2

DR Scény

A B

C 10-3

• • • • •

10-2

10-1

1

10

102

DR fotoaparátu 103

104

Mnoho scén dosahuje DR 100 000 : 1 DR je vysoký pokud scéna obsahuje zdroj světla nebo zrcadlové odrazy HVS (při plném rozsahu adaptace) může pracovat s DR až 10 000 : 1 Běžné kompaktní digitální fotoaparáty nabízí DR okolo 400 : 1 Profesionální DSLR fotoaparáty mohou mít DR (RAW data) až 10 000 : 1 © Multimedia Technology Group

2/50




Rec. BT.709  Minimální jas: 0.117 cd/m2  Maximální jas: 100 cd/m2  Vychází z vlastností CRT monitorů



Moderní displeje umí až 1000 cd/m2 (HDR displeje i 6x více)  Při kalibraci podle BT.709 nevyužívají potenciál  V případě jiného mapování - zobrazení je jiné než tvůrce zamýšlel (rozdíl oproti masteru)



Cílem je mít světlejší highlighty a tmavší stíny při zachování kresby (detailů)  Tedy větší kontrast


3/50




Největší omezení dynamického rozsahu vzniká při post-produkci a distribuci  Je možné vytvořit HDR master starších děl


4/50

HDR Blokové schéma obecného HDR systému

Moderní oblasti obrazové techniky a videotechniky




5/50

HDR Dynamický rozsah oka





6/50

HDR Adaptabilita na černou





7/50

HDR Vnímání dynamického rozsahu





8/50




Weber – Fechnerův zákon  charakterizuje vztah mezi • fyzikální intenzitou podnětu působícího na receptor • subjektivním vjemem intenzity (požitkem), které toto působení vyvolá

 autoři • E. H. Weber (lékař, 1795–1878) • G. Th. Fechner (psycholog, 1801–1887)

 Fyzikální význam • • • •

S k I I0

𝐼 S = 𝑘 ∗ 𝑙𝑛 𝐼0

∆𝐼 ∆S = 𝑘 ∗ 𝐼0

– intenzita subjektivního vjemu; – konstanta; – fyzikální intenzita podnětu působícího na receptor; – prahová intenzita, tedy absolutně nejnižší možná intenzita.


9/50




JND – Just Noticeable Difference  Lidský vizuální systém je schopen rozlišit zhruba 1% rozdíl v jasech  Tato hodnota je přirozeně závislá • na pozorovateli • pozorovacích podmínkách • obecně se dá ale říci, že se JND pohybuje v rozmezí 0,5-2%. JND

Dynamický rozsah 2%

1%

0.5%

1:10 (kancelář)

116 (~7 bitů)

231(~8 bitů)

462 (~9 bitů)

1:30 (domácí prostředí, TV)

172 (~8 bitů)

342 (~9 bitů)

682 (~10 bitů)

1:100 (kinosál)

232 (~8 bitů)

463 (~9 bitů)

923 (~10 bitů)

1:1000 (sken filmu 3D)

348 (~9 bitů)

694 (~ 10 bitů)

1385 (~ 11 bitů)

1:10000 (sken filmu 4D)

469 (~ 9 bitů)

925 (~ 10 bitů)

1846 (~ 11 bitů)


10/50


HDR přenosový řetězec


11/50


HDR přenosový řetězec


12/50


HDR EOTF

PQ (Perceptual Quantizer) - SMPTE ST 2084 HLG (Hybrid Log-gamma) - navržena BBC/NHK (ITU-R BT.2100) © Multimedia Technology Group

13/50

HDR snímání Moderní oblasti obrazové techniky a videotechniky



Metody snímání HDR obsahu  LDR kamera • Několik (po sobě jdoucích) expozic stejné scény – – – –

Využívá výstup z běžných CMOS či CCD snímačů DF Lze zrekonstruovat mapu rozložení jasu ve scéně Mapováním jasů se sníží DR na reprodukovatelný rozsah Problém s pohybem

 HDR kamera • Modifikace snímacího čipu – Např. snímací čip Fuji Super CCD SR – Dva typy snímacích buněk lišící se svou plochou – Zvýšení DR není dostačující pro věrné zachycení DR běžných scén

• Simultánní použití více kamer • Adaptivní metody • Zvýšení bitové hloubky pro detektor s velkou dynamikou – – – –

Minimálně 17 bitů (131 072 úrovní) Úprava postihne celý řetězec zpracování obrazu Nárůst datového objemu jednoho snímku je extrémní Tato metoda rozšíření DR není pro multimedia vhodná © Multimedia Technology Group

14/50

HDR snímání Moderní oblasti obrazové techniky a videotechniky



Simultánní použití více kamer    

odstraňuje problém s pohybem vyžaduje precizní optiku dynamický rozsah dán počtem senzorů každý další senzor • zvyšuje cenu • komplikuje přístroj • snižuje objem světla


15/50




Adaptivní filtrace obrazu  Adaptive Dynamic Range Imaging (ADRI)  maska s měnitelnou optickou hustotou (denzitou) • pro každý pixel • limit rozlišení

 zpětnovazební systém • kontinuální analýza obrazu • zpětná vazba zanáší zpoždění


16/50




High Dynamic Range Imaging  Základní kroky vytvoření HDR snímku (bez použití speciálního HW) • Sada expozic stejné scény (změna expozičního času) • Rekonstrukce převodní charakteristiky DF a mapy jasů scény • Mapování jasů do LDR snímku Rekonstrukce mapy jasů reálné scény Sejmutí sady snímků běžným DF

LDRIN 1-15 Sada vstupních LDR snímků

Zobrazení na běžném monitoru

LDROUT Výstupní LDR snímek

Mapování jasů na nízký DR

HDR HDR mapa jasů scény


17/50




Rekonstrukce mapy jasů scény (radiance map)  Pro výpočet mapy jasů je důležitá převodní charakteristika DF • Převodní charakteristika f – Vztah mezi hodnotou pixelu Zi,j, osvětlením snímače Ei a dobou expozice tj

Z i , j  f ( Ei  t j ) – Pro monotónní f lze určit inverzní funkci

f 1  Z i , j   Ei  t j

Nikon D700 – 8bpc JPEG

– Po logaritmování

log  f 1 ( Z i , j )   log Ei  log t j – Zavedeme funkci g

g  log f 1 – Potom platí

g ( Z i , j )  log Ei  log t j • Existuje postup pro určení funkce g ze série LDR snímků


18/50




Rekonstrukce mapy jasů scény (radiance map)  Ze známé převodní charakteristiky a série LDR snímků • Mapa osvětlení čipu – Hodnoty osvětlení pro danou expozici lze určit ze známé funkce g a hodnoty pixelu

log Ei  g ( Z i , j )  log t j – Kompletní mapa osvětlení se určí ze všech LDR expozic pomocí váhování P

log Ei 

 w(Z j 1

i, j

)   g ( Z i , j )  log t j  P

 w(Z j 1

i, j

)

– Pixelům blízkým saturaci se přidělí menší váha – Výsledkem kombinace více snímků je také potlačení šumu

• Výsledná mapa jasů je proporcionální hodnotám osvětlení log Ei log Li

HDR HDR mapa jasů scény © Multimedia Technology Group

19/50




Obrazové formáty pro uložení HDR mapy jasů  Nutno pracovat s plovoucí řádovou čárkou (float) • Dostatečná přesnost a zároveň velký dynamický rozsah • Potřebná přesnost typicky 4B na barevný kanál • Obrazový soubor je mnohem větší (96bpp) než standardní LDR (24bpp)

 Optimalizovaný HDR formát Radiance RGBE (1985, *.hdr) • 3x8b pro mantisu R, G, B a 8b pro společný exponent (32bpp) • Kvantizační krok 1%, DR 1076

 Upravený formát SGI LogLuv TIFF (1997, *.tif) • Více variant • 10b log luma + 14b CIEuv LUT = 24bpp (Kvantizační krok 1,1%, DR 104,8) • 16b luma + 16b CIEuv = 32bpp (Kvantizační krok 0,3%, DR 1038)

 OpenEXR (2002, *.exr) • 16b/32b float na kanál R, G, B (48bpp/96bpp) • Kvantizační krok 0,1%, DR 1010,7

 Standard JPEG XR (2009, *.jxr) • Podpora ztrátové komprese HDR snímků © Multimedia Technology Group

20/50




Zobrazení HDR snímků  Standardní displej nestačí pro přímé zobrazení HDR mapy jasů • Běžný LCD s neproměnným podsvětlením – Výbojka CCFL (Cold Cathode Fluorescent Lamp) – Dynamický rozsah 300:1 až 1000:1 – Černá 0,1-1 cd/m2, bílá maximálně 300-500 cd/m2

 Speciální zobrazovače s vysokým dynamickým rozsahem • Systém využívající v čase a po ploše proměnné podsvětlení – Např. pomocí pole LED nebo se zadní projekcí – Dosažitelný dynamický rozsah 200 000:1 Podsvětlení LCD pomocí zadní projekce

Distribuce podsvětlení

Zobrazený snímek


21/50




Zobrazení HDR snímků  SIM2 HDR 47E S 4K displej • Podsvětlení maticí LED - 2202 oblastí – 1920 x 1080 pixelů, 4000 cd/m2, kontrast 20 000:1

• Zpracování obrazu v displeji SIM2 HDR obraz

Zpracování 30 bitů na kanál

Barevný obraz s vysokým rozlišením (8 bitů na kanál)

TMO Běžný LDR obraz

TMO-1

Modulace podsvětlení (12 bitů na kanál)

Matice podsvětlení

Výsledný obraz (HDR)


22/50




Problematika mapování jasu  Úkolem mapování jasů je upravit HDR pro zobrazení na LDR zařízení • Metoda by měla brát v úvahu vlastnosti lidského vizuálního systému – Dosažení podobného vjemu jako při pozorování reálné scény

Reálná scéna

Mapování jasů

HDR mapa jasů

Pozorovatel

 Různé operátory pro mapování jasů: • • • •

LDR popis HDR scény

Vizuálně shodné

Globální operátory Lokální operátory Operátory pracující ve frekvenční doméně Operátory pracující s gradienty © Multimedia Technology Group

23/50

+2EV

Lokální mapování jasů

Globální mapování jasů

Rekonstrukce mapy jasů reálné scény

0EV



-2EV


HDR

Ukázka mapování jasů

Mapování jasů na nízký DR Výstupní mapované snímky


24/50




Operátory pro mapování jasu  Globální operátory • K převodu z HDR na LDR se využívá kompresní funkce – Výpočet pro každý pixel nezávisle na okolních bodech obrazu – Výpočetní nenáročnost – Malá účinnost pro velké DR

• Např. Millerův operátor, logaritmický a exponeciální operátor, adaptivní logaritmický operátor, Shlickův operátor, globální fotografický operátor,…

 Lokální operátory • Inspirovány lidským vizuálním systémem – – – –

Dochází k adaptaci oka na právě pozorované místo a jeho jasovou úroveň Výpočetně náročnější Účinné i pro velké DR Problém s artefakty (okolí objektu s inverzí jasu)

• Např. prostorově variantní operátor, Rahmanův multiscale Retinex operátor, lokální fotografický operátor,…


25/50

HDR Operátory pro mapování jasu  Millerův globální operátor • Jedna z prvních metod založená na psychovizuálních měřeních • Kompresní funkce – Jas reprodukčního zařízení v závislosti na původním jasu

Ld i ( x, y ) 

Qi ( x, y )  Ld max Qi max

Qi   1,5  log  Li   6,1  Li 0,338Li

0,034

Kompresní funkce - Miller 110 100 90 80 70 60

Ld




50 40 30 20 10 0 -3

-2

-1

0

1

2

3

4

log(Lw)


26/50

HDR Operátory pro mapování jasu  Exponenciální globální operátor • Jednoduchá metoda, často používaná jako reference • Kompresní funkce

 L  x, y   1  Ld  x, y   1  exp   w Lav log  exp    log  Lw ( x, y )     Lav log   N x, y   Lw  0,2126  LR  0,7152  LG  0,0722  LB

  Ld   Rd   G    L  d  d  Bd     Ld 

s  LR       Lw   s  LG       Lw   s  LB       Lw  

Kompresní funkce 1 0.9

Logaritmické mapování Exponenciální mapování

0.8 0.7 0.6

Ld




0.5 0.4 0.3 0.2 0.1 0 -3

-2

-1

0

1

2

3

4

log(Lw)


27/50

HDR Operátory pro mapování jasu  Logaritmický globální operátor • Jednoduchá metoda, často používaná jako reference • Kompresní funkce

Ld ( x, y ) 

  Ld   Rd   G    L  d  d  Bd     Ld 

log 1  Lw ( x, y )  log 1  Lw max 

s  LR       Lw   s  LG       Lw   s  LB       Lw  

Kompresní funkce 1 0.9

Logaritmické mapování Exponenciální mapování

0.8 0.7 0.6

Ld




0.5 0.4 0.3 0.2 0.1 0 -3

-2

-1

0

1

2

3

4

log(Lw)


28/50

HDR Operátory pro mapování jasu  Adaptivní logaritmický globální operátor • Empiricky optimalizovaná logaritmická kompresní funkce L Lw  w Lav log

Ld  x, y  

Ld max  0,01  log  Lw max 

ln  Lw  1    L   ln 2   w     Lw max   

log b  log 0,5 

    8    

, b  0,7  0,9

Kompresní funkce - Drago 1.4

1.2

1

0.8

Ld




0.6

0.4 b=0.7 b=0.8 b=0.9 b=1

0.2

0 -3

-2

-1

0

1

2

3

4

log(Lw)


29/50

HDR Operátory pro mapování jasu  Shlickův kvantizační globální operátor • Empiricky optimalizovaná logaritmická kompresní funkce

 Lw ( x, y )  1  k  k   Lw min  Lw max  p  Lw ( x, y ) Ld ( x, y )  ( p  1)  Lw ( x, y )  Lw max p

JND Lw max  j Lw min

   

Kompresní charakteristika - Shlick 1 0.9 0.8 0.7 0.6

Ld




0.5 JND=0.5 0.4 k=0 k=0.2 k=0.4 k=0.6 k=0.8 k=1

0.3 0.2 0.1 0 -3

-2

-1

0

1

2

3

4

log(Lw)


30/50

HDR Operátory pro mapování jasu  Globální fotografický operátor • Inspirováno fotografickým měřením expozice

Lw ( x, y ) 

k Lav log

 Lw ( x, y ), k  0,18  0,72

 L( x, y )  L( x, y )  1  2  Lwhite   Ld ( x, y )  1  L( x, y ) Kompresní charakteristika - Fotografický operátor 1 key=0.09 key=0.18 key=0.36 key=0.72

0.9 0.8 0.7 0.6

Ld




0.5 0.4 0.3 0.2 0.1 0 -4

-3

-2

-1

0 log(Lw)

1

2


3

4

31/50

HDR Operátory pro mapování jasu  Prostorově variantní operátor • Inspirováno malířskými technikami (také nelze zaznamenat plný DR) • Lokální úprava tvaru kompresní funkce (nebezpečí vzniku artefaktů)

Lw

blur

1 k  Lwblur ( x, y )

( x, y )  Lw ( x, y )  R

s = 16

s = 32

s = 64

s = 128

 Lw ( x, y )

Gauss

( x, y ),

R

Gauss

Vliv parametru k, s = 32

Ld ( x, y ) 

Vliv velikosti jádra, k = 2




 x2  y 2  ( x, y )   exp   2    (  s) 2  (  s )  1

k=1

k=2

k=4

k=8


32/50




Operátory pro mapování jasu  Rahmanův multiscale Retinex operátor • Založen na modelu HVS – Modeluje vlastnosti sítnice lidského oka – Retinex – Model ovlivňování pixelu okolím pomocí filtrace s různou velikostí jádra – Potlačení artefaktů


33/50




Operátory pro mapování jasu  Lokální fotografický operátor • Vychází z globálního fotografického operátoru – Analogie s metodou zastiňování a nadržování (dodge and burn) – Model ovlivňování pixelu okolím pomocí filtrace Gaussovskou maskou


34/50




Vizuální obsah tvoří většinu přenosů dat po Internetu  Více jak 1,8 miliardy fotografií sdílených denně

 2/3 „digitálního vesmíru“ tvořeno/spotřebováno uživateli • Sledování videa, sdílení obrázků, sociální sítě,... 1ZB  1021 B  109 TB

KPCB estimates based on publicly disclosed company data, 2014 YTD data per latest as of 5/14.


35/50




Skupina standardů JPEG  Joint Photographic Experts Group

 Obrovské množství fotografií sdílených na Internetu • Více jak 1,8 miliardy fotografií sdílených denně

JPEG (Joint Photographic Experts Group) ISO/IEC JTC 1/SC 29/WG 1 a ITU-T SG16

MPEG (Moving Picture Experts Group) ISO/IEC JTC 1/SC 29/WG 11 a ITU-T SG16 Cena Emmy (1995-96) za vývoj technologie pro MPEG a JPEG


36/50

HDR Algoritmy pro kompresi obrazu  Bezeztrátová komprese • Rekonstruovaný obraz je identický s originálem

 Ztrátová komprese • Rekonstruovaný obraz je vůči originálu degradován 

Algoritmy pro ztrátovou kompresi  Perceptuálně bezeztrátová komprese

Max. Bitrate Redukce redundance

Bezeztrátová komprese

• Pozorovatel nevnímá zkreslení

 Perceptuálně ztrátové komprese • Pozorovatel vnímá zkreslení 

Důležitá podmínka návrhu

Entropie dat Perceptuálně bezeztrátové




Redukce irelevance Dolní mez pro perceptuálně bezeztrátovou kompresi

Ztrátová

 Perceptuálně bezeztrátový systém komprese  Nutnost definovat psychovisuální redundanci Min. Bitrate


37/50

HDR Skupina standardů JPEG  Další vývoj – AIC (Advanced Image Coding) • V únoru 2015 byla zveřejněna výzva CfI (Call for Information) • Hledání nových nástrojů pro kompresní standardy další generace • Velký potenciál má vnitrosnímková komprese založená na HEVC

Kompresní účinnost




Složitost


38/50




Zpětně kompatibilní ztrátová komprese HDR obrazu  Od roku 2013 připravovaný standard JPEG XT • Rozšíření více než 20 let starého standardu JPEG

 Kódování HDR obrazu pomocí JPEG po aplikaci TMO • Přenos chybového signálu v postranních datech Vstupní HDR obraz HDR obraz

HDR obraz

Kodér JPEG LDR obraz

+

Výpočet chybového obrazu Chybový obraz

Mapování (TMO)

Zkreslený HDR obraz

Inverzní mapování (TMO-1)

Sloučení dat q JPEG

Komprimovaný LDR obraz

Dekodér JPEG

JPEG kompatibilní obrazový soubor

Dodatečná data

Zkreslený LDR obraz

Kódování chybového obrazu Q © Multimedia Technology Group

39/50

HDR Objektivní metriky pro verifikaci HDR komprese obrazu  Verifikační testy standardu JPEG XT – Testovány tři profily od různých proponentů – Velmi rozdílné výsledky pro různé dostupné objektivní metriky – Testování provedeno pro pět HDR snímků a pět operačních bodů (1 - 5 bpp) HDR-VDP-2

MRSE

97.83

SNR

35

75

97.82

70

97.81

30 65

97.8

97.78 97.77 BloomingGorse2 CanadianFalls McKeesPub MtRushmore2 WillyDesk

97.76 97.75

60

25

SNR (dB)

97.79

MRSE (dB)

HDR-VDP-2 (-)




20

50 45

15

97.74 97.73 0

1

2

3 bpp (-)

4

5

55

6

10 0.5

1

1.5

2

2.5

3 bpp (-)

3.5

4

BloomingGorse2 CanadianFalls McKeesPub MtRushmore2 WillyDesk 4.5 5 5.5

40 35 0.5

1

1.5

2

2.5

3 bpp (-)

3.5


4

BloomingGorse2 CanadianFalls McKeesPub MtRushmore2 4.5WillyDesk 5 5.5

40/50




Hodnocení účinnosti komprese JPEG XT

cadik desk01

Knossos8

LowerLewisFalls

RevelStoke

SwissSunset

Zurich2

 Sledované parametry • Tři testované JPEG XT profily (Profile A, Profile B, Profile C) • Vliv výběru operátoru pro mapování jasů (TMO) – Jednoduchý TMO (ořezání + lineární komprese + inverzní gamma) – Reinhard, Drago, iCAM06

• Výběr snímků HD (1 snímek) a 4K (5 snímků) • Plný rozsah testované kvality komprese – Základní vrstva – Rozšiřující vrstva

- q od 40 do 95 s krokem 5 a 99 - Q od 20 do 95 s krokem 5 a 99

• Použité metriky pro objektivní hodnocení kvality – Základní metriky - SNR, MRSE – Metriky založené na HVS - Feature Similarity Index (FSIM) a CIEDE2000


41/50

HDR Výsledky (q = 75, Signal-to-Noise Ratio)




Pinheiro, A., et al., Performance evaluation of the emerging JPEG XT image compression standard, MMSP 2014.


42/50

Měření a kalibrace DF pro HDR Moderní oblasti obrazové techniky a videotechniky



Objektivní charakteristiky digitálních fotoaparátů  Základní charakteristiky • Rozlišovací schopnost - Spatial frequency response SFR (ISO 14 524) – Modulační přenosové funkce MTF, Bodová rozptylová funkce PSF

• Opto-elektronická převodní funkce OECF (ISO 12 233) – Vztah mezi osvitem v rovině snímače a úrovní digitálního signálu

 Detailní charakteristiky • Spektrální odezva (spektrální citlivost obrazového snímače)

 Další důležité charakteristiky • Citlivost ISO (ISO 12 232), Šumové vlastnosti (ISO 15 793)

 Různé nástroje pro vyhodnocení • Určení parametrů kamery (např. Imatest)

 Pro přesné HDR snímky jsou důležité parametry fotoaparátu • Spektrální charakteristika • Opto-elektronická převodní funkce • atd. © Multimedia Technology Group

43/50




Příklad měření a kalibrace vybraných DF  Nikon D700 a Nikon D90 – hlavní rozdíl velikost snímače • Měření spektrální charakteristiky – Důležité pro všechny multimediální aplikace – Ještě důležitější pro vědecké aplikace (astro)

• Opto-elektronická převodní charakteristika – Základní charakteristika pro HDR

 Vybrané objektivy • Základní ZOOM AF-S Nikkor 24-70mm f/2.8G ED

AF-S DX Nikkor 18-105mm f/3.5-5.6G ED VR

Nikon D700

Nikon D90

Celkový počet pixelů

12.87 milionů

12.9 milionů

Efektivní počet pixelů

12.1 milionů (4256x2832)

12.3 milionů (4288x2848)

Formát snímače

FX

DX

Typ snímače

CMOS

CMOS

Rozměry snímače

23.9 x 36.0mm

15.8 x 23.6mm

Obrazový formát

12/14-bit NEF (RAW)

12-bit NEF (RAW)

Rozsah citlivostí ISO

200-6400

200-3200

Rozsah časů závěrky

30s-1/8000s

30s-1/4000s


44/50




Opto-elektronická převodní funkce (OECF)  Vztah mezi osvitem v rovině snímače a digitální výstupní úrovní pro optoelektronickou snímací soustavu • Profesionální testovací tabulka ISO 14524 – – – –

12 štítků s definovanou a kalibrovanou densitou Rovnoměrné osvětlení (5500K, 1300Lux) Série snímků (52 Nikon D90, 55 Nikon D700) Zafixovaná clona a proměnný expoziční čas

• Vyhodnocení OECF z RAW a JPEG obrazových dat – Lineární převod 14bpp NEF (Nikon D700) a 12bpp NEF (Nikon D90) – Lineární 16bpp TIFF bez barevné interpolace Nikon D700 CFA

Nikon D90 CFA

– JPEG obrazová data zahrnují nelineární mapování a barevnou interpolaci (demosaicing) © Multimedia Technology Group

45/50




Opto-elektronická převodní funkce (OECF) Nikon D700 – sekvence expozic (ISO 200) +9EV 30s

0EV 1/15s

-9EV

Krok 1/3EV 1/8000s


46/50




Opto-elektronická převodní funkce (OECF) +9EV

Nikon D90 – sekvence expozic (ISO 200)

30s

0EV 1/15s

-8EV

Krok 1/3EV 1/4000s


47/50




Opto-elektronická převodní funkce (OECF) Nikon D700 – 14bpp RAW

Nikon D700 – 8bpc JPEG DR ≈ 13.5EV DR ≈ 1:10 000

DR ≈ 10EV DR ≈ 1:1 000

Nelineární OECF

Lineární OECF

Nikon D90 – 12bpp RAW

Nikon D90 – 8bpc JPEG

DR ≈ 12EV DR ≈ 1:4 000

Lineární OECF

DR ≈ 10EV DR ≈ 1:1 000

Nelineární OECF


48/50




Opto-elektronická převodní funkce (OECF)  Nelineární převodní charakteristika • Digitální kamera – snímací řetězec Závěrka

Objektiv

Jas scény

Osvětlení snímače



Obrazový senzor

ADC

Napětí na snímači

Osvit snímače Saturace

Nikon D700 – 14bpp RAW

Nelinearita

Digitální hodnoty Kvantizace

Převedené hodnoty Komprese DR

Nikon D700 – 8bpc JPEG DR ≈ 13.5EV DR ≈ 1:10 000

Lineární OECF

DR ≈ 10EV DR ≈ 1:1 000

Nelineární OECF


49/50




Spektrální odezva kamery  Není dostupná od výrobců (důležitá pro přesné použití) • Měření v optické laboratoři (použití kalibrovaného monochromátoru) Halogenový světelný zdroj

Polopropustné zrcadlo Měřená kamera

Počítačem řízený monochromátor

PC

Vláknový spektrometr

Napájecí zdroj


50/50




Spektrální odezva kamery  Zpracování surových obrazových dat RAW • Nikon D700

Nikon D700 CFA

Nikon D90 CFA

– 14bpp NEF – Struktura CFA RGR

• Nikon D90 – 12bpp NEF – Struktura CFA GBG

• Příklad vyhodnocení spektrální odezvy (jedno z nejdetailnějších měření) – Vlnové délky 360 – 830nm – Krok monochromátoru 5nm (D700), 10nm (D90) – Pro každou vlnovou délku je zachyceno spektrum pomocí spektrometru – – – – –

Měření provedeno pro citlivost kamery ISO 200 Rozsah expozičních časů 30s – 1/4000s (D90), 1/8000 (D700) Více něž 1500 expozic pro každou kameru RAW obrazové soubory ukládány přímo na PC HDD přes rozhraní USB2.0 K automatizaci expozic byl použit program Nikon Camera Control Pro © Multimedia Technology Group

51/50




Spektrální odezva kamery  Ukázka linearity surových dat RAW z obrazového sensoru Nikon D700 R-kanál

570-670nm

Nikon D90 R- kanál

570-670nm

Nikon D700 G- kanál

460-600nm

Nikon D90 G- kanál

460-600nm

Nikon D700 B- kanál

420-530nm

Nikon D90 B- kanál

420-530nm


52/50




Spektrální odezva kamery  Ukázky změřené spektrální odezvy Nikon D700 – odezva snímače G

B

Nikon D700 – celková odezva

Objektiv a UV filtr UV filtr UV filter + objektiv

R

UV filtr + objektiv

G B R

Objektiv

Nikon D90 – odezva snímače

Nikon D90 – celková odezva

Objektiv a UV filtr UV filtr

G

G UV filtr + objektiv

Objektiv UV filtr + objektiv B

R

B R


53/50




Spektrální odezva kamery  Ukázky změřené spektrální odezvy  Porovnání Nikon D700 a Nikon D90 • Plné křivky Nikon D700, čárkovaně Nikon D90 • Zanedbatelný rozdíl (Použití stejné CFA technologie) Nikon D700, D90 – odezva snímače

Nikon D700, D90 – optiky

Nikon D700 Nikon D90

G

B

UV filtr + objektiv

G

B

Nikon D700 R

R

Nikon D90


54/50

Příklady z testování HDR Moderní oblasti obrazové techniky a videotechniky



Sekvence LDR snímků pro tvorbu HDR • Scéna s lampou a barevnými tabulkami 30s

+9EV

1/15s

1/8000s

0EV

-9EV

Nikon D700 (1EV step)


55/50





+9EV

1/15s

1/4000s

0EV

-8EV

Nikon D90 (1EV step)


56/50





30s

+9EV

+9EV

Saturace

1/2s

+3EV

Saturace

Nikon D700

Nikon D700

Nikon D90

Nikon D90

Saturace

1/2s

+3EV

Saturace

1/60s

-2EV

1/60s

-2EV


57/50




Sekvence LDR snímků pro tvorbu HDR • Mapa jasů (32bpc plovoucí řádová čárka – OpenEXR, Radiance, PSD, etc.) – Adobe Photoshop – Merge to HDR zásuvný modul – Mapování jasů pro potřeby zobrazení (8bpc) Nikon D700 Lineární mapování

Vyrovnání histogramu

1:200

Nikon D90 Lineární mapování

120x80pix

Lokální kontrast

120x80pix

1:20 000

Vyrovnání histogramu

Lokální kontrast


58/50




Reálné HDR scény  Sejmuto pomocí digitální zrcadlovky • Sekvence LDR snímků pro potřeby HDR – Sekvence LDR snímků (14bpp nebo 12bpp RAW data) – HDR mapa jasů (32bpc) – Mapování jasů (8bpc) náhled

• Vybrané příklady Vybrané expozice

Mapování jasů

Vybrané expozice

Mapování jasů


59/50




Reálné HDR scény • Vybrané příklady Vybrané expozice

Mapování jasů

Vybrané expozice

Mapování jasů


60/50


Mastering v HDR 

Post-processing podle uměleckého záměru autorů



Spousta parametrů     

OETF (PQ, HLG, vlastní, …) Barevný prostor (BT.709, P3, BT.2020, XYZ, …) Vyvážení bílé (D65, C, …) Minimální a maximální jas Charakteristiky použitého monitoru



Parametry je třeba signalizovat displeji → metadata



Metadata lze využít také k zajištění zpětné kompatibility


61/50

HDR – zpětná kompatibilita Moderní oblasti obrazové techniky a videotechniky



Co rozumíme zpětnou kompatibilitou?  Existuje několik přístupů  Stejné procesy - zachování kamer, kodeků, post-produkčních procesů, atd.  Kompatibilita s nižším rozlišením, bitovou hloubkou, atd.



Ve skutečnosti je potřeba  Jeden HDR signál přímo zobrazitelný na kterémkoliv standardním zařízení NEBO  Jeden signál z něhož bude možné získat HDR i SDR signál NEBO  Současně přenášet jeden HDR a jeden SDR signál


62/50

HDR – zpětná kompatibilita Moderní oblasti obrazové techniky a videotechniky



Doposud navrhovaná řešení

Technologie

Kompatibilita základní vrstvy

OETF

Vylepšovací vrstva

Statická metadata (ST 2086)

Dynamická metadata

Kompatibilita s SDR TV/STB

Kompatibilita s HDR TV/STB

BDA/HDR 10

HDR

PQ

žádná

Ano

Ne

Ne

S podporou HDR 10

BBC/NHK

SDR/HDR

HLG

žádná

Ano

Ne

Ano (UHD)

S podporou HLG

Technicolor

HDR

PQ

žádná

Ano

Ano

Ano s IP

S Technicolor IP

Technicolor

SDR

BT.709

žádná

Ano

Ano

Ano

S Technicolor IP

Dolby Vision

HDR

PQ

přítomna

Ano

Ano

Ano s IP

S podporou HDR 10 nebo Dolby IP

Dolby Vision

SDR

BT.709

přítomna

Ano

Ano

Ano

S Dolby IP

Dolby Vision

žádná

PQ

žádná

Ano

Ano

Ne

S Dolby IP


63/50

HDR – standardizace Moderní oblasti obrazové techniky a videotechniky



OETF  PQ: SMPTE ST 2084  HLG: ARIB STD-B67 & ITU-R BT.2100



Metadata  SMPTE ST 2086 • define standard color grading display metadata

 SMPTE ST 2094 • dynamic metadata describing transformation HDR ↔ SDR (připravováno)

 ETSI DTS/JTC-036 • Single-layer SDR-Compatible HDR System for use in Consumer

 Electronics devices


64/50




HDMI  2.0a: Support standard ST 2084 + metadata ST 2086  2.1 still TBC: Hybrid Log Gamma (HLG), ST 2094 dynamic metadata, Dolby Vision?



IMF  ST 2086 metadata carriage support



Compression: MPEG/ITU HEVC/AVC  VUI values for PQ and HLG  SEI messages: • • • • •

Mastering Display Colour Volume (ST 2086) Content Light Level Information Colour Remapping Information (CRI) Alternative Transfer characteristic Chroma resampling filter hint


65/50




Blu-Ray Disc Association (BDA)  HDR 10: HEVC main 10-bits + ST-2084 + ST-2086 Metadata  Optional proprietary metadata: Philips, Technicolor, Dolby



Application standardization  ARIB: HLG ( STD-B67)  DVB: HDR 10, HLG 10 (Technicolor/Philips and Dolby Vision for further consideration ...) • HLG number 1 for backward compatibility • PQ number 1 for non-backward compatibility

 ATSC: PQ, HLG, Technicolor/Philips and Dolby Vision still under consideration. 

Industry forum  Ultra HD Forum: HDR 10 & HLG  UHD Alliance: HDR 10


66/50

Použitá literatura Moderní oblasti obrazové techniky a videotechniky



Použitá literatura [1] REINHARD, E. - WARD, G. - PATTANAIK, S. - DEBEVEC, P. Dynamic Range Imaging: Acquisition, display and image-based lighling. Morgan Kaufmann, 2005. [2] BĚLOVSKÝ, L. Zvýšení dynamického rozsahu digitálního fotoaparátu, Diplomová práce ČVUT FEL, 2008. [3] KATSAGGELOS, A. Super Resolution of Images, Morgan and Claypool Publishers, 2007. [4] CHAUDHURI, S. Super-Resolution Imaging, Springer, 2001. [5] HELLEU, L. Advanced image reconstruction algorithms, super-resolution, Diplomová práce ČVUT FEL, 2009.


67/50

Děkuji za pozornost!

České vysoké učení technické v Praze Fakulta elektrotechnická Katedra radioelektroniky

16/11/2016

Technická 2 166 27 Praha 6 mmtg.fel.cvut.cz


v7.00

Obraz s vysokým dynamickým rozsahem

Recommend Documents