Vliv ztrátové komprese na stereoskopické video

 

Vliv ztrátové komprese na stereoskopické video  Bakalářská práce – ČVUT FEL  Ondřej Levý 

ČERVENEC 2008 

 

Obsah  Obsah..................................................................................................................................... 2  Seznam obrázků.................................................................................................................. 4  Zadání .................................................................................................................................... 5  Anotace .................................................................................................................................. 6  Abstract ................................................................................................................................ 6  Úvod ....................................................................................................................................... 7  Možnosti aplikace stereografie ............................................................................................. 7  Současné videokodeky ............................................................................................................. 7  Lidské prostorové vnímání............................................................................................ 9  Fyziologické způsoby ................................................................................................................ 9  Disparita ...................................................................................................................................................... 9  Motion paralax .......................................................................................................................................... 9  Psychologické způsoby...........................................................................................................10  Světlo a stín ............................................................................................................................................. 10  Relativní velikost .................................................................................................................................. 10  Vzájemná poloha................................................................................................................................... 10  Gradient textup...................................................................................................................................... 10  Prostorová perspektiva...................................................................................................................... 10  Lineární perspektiva............................................................................................................................ 10  Různé metody stereografie..........................................................................................11  Metody s prostorovou separací ...........................................................................................11  Metody s barevnou separací.................................................................................................12  Metody se separací polarizovaným světlem ...................................................................13  Metody se separací časovým mutiplexem........................................................................14  Hybridní metody.......................................................................................................................14  Self 3D stereografické metody....................................................................................15  Autosteroskopické metody využívající lentikulární skla...........................................16  Autostereoskopické metody využívající beriérové masky ........................................16  Mpeg2 .........................................................................................................................................18  H.264/AVC ..................................................................................................................................18  WMV..............................................................................................................................................20  Apple ProRes 422.....................................................................................................................20  Testování vlivu komprese ............................................................................................21  Jiné testovací postupy.............................................................................................................21  Testování kodeku.....................................................................................................................22  Testování zobrazovacích metod..........................................................................................24  Výpočet dispartitní mapy.................................................................................................................. 25  Percepční testy..........................................................................................................................26  Výběr testovacích osob ...................................................................................................................... 27  Testovací videa ................................................................................................................29  Testovací obrazce.....................................................................................................................29  Syntetické scény .......................................................................................................................29  Reálné scény...............................................................................................................................29   

2 

Způsob vyhodnocení výsledků testů.........................................................................30  Závěr ....................................................................................................................................31  Literatura ...........................................................................................................................32 

                 

                         

           

 

3 

Seznam obrázků

Obr. 1  Disparita při dvouokém pohledu (převzato z [11]) ............................................................... 9  Obr. 2   Motion Paralax (převzato z [6]).................................................................................................10  Obr. 3  Brýle určené k prohlížení streopohlednic (převzato z [7]) ..............................................12  Obr. 4  Skládání obrazu do anaglyphu (převzato z [6]) ....................................................................12  Obr. 5 – blabla (převzato z [6])...................................................................................................................13  Obr. 6  princip projekce se separací polarizovaným světlem (převzato z [7]).........................13  Obr. 7  brýle pro projekce se separací časovým multiplexem .....................................................14  Obr. 8  Pozorovaci úhly při použití dvou pohledů na scénu (převzato z [4]) ............................15  Obr. 9 – pozorovací úhly při použítí vice pohledů na scénu (převzato z [4])..............................16  Obr. 10  Princip zobrazovačů s lentikulárnimi skly (převzato z [4]).........................................16  Obr. 11  Princip zobrazovačů s bariérovou maskou (převzato z [4]) ..........................................17  Obr. 12  blokové schéma kodování Mpeg2 (převzato z [13]) .........................................................18  Obr. 13  Blokové schéma dekódování H.264 (převzato z [13]) ......................................................19  Obr. 14  Blokové schéma kodovani H.264 (převzato z [13])...........................................................19  Obr. 15  Logo kodeku ProRes (převzato z [15]) ................................................................................20  Obr. 16  Blokové schéma zpracování stereografického videa......................................................21  Obr. 17  Blokové schéma testování vlivu kodeku.............................................................................22  Obr. 18  Blokové schéma testování vlivu zobrazovací metody ....................................................24  Obr. 19  Hloubková mapa (převzato z [14]) .......................................................................................26  Obr. 20  Blokové schéma percepčního testování ..............................................................................26  Obr. 21  Schéma uspořádání pracoviště podle DSCQS ....................................................................27 

 

4 

Zadání Vyhledejte a nastudujte dostupnou literaturu se zaměřením na záznam, přenos a přehrávání stereoskopického videa. Popište různé způsoby zobrazení stereoskopického videa. Zaměřte se na metody stereoskopického přenosu a zobrazení s použitím ztrátových kompresních formátů typu MPEG-2, MPEG-4, VC-1 aj. Pokuste se o zmapování současně dostupných komerčních řešení v oboru. Navrhněte systém, který umožní co nejobjektivněji posoudit vliv vnímání stereoskopického efektu po použití ztrátové komprese.

 

5 

Anotace Tato práce pojednává o vlivu komprese a použité zobrazovací metody na vnímání stereoskopického videa. Práce také obsahuje podrobný přehled současných nejpoužívanějších metod projekce stereoskopického videa a používaných ztrátových kodeků. V práci je rovněž obsažen návrh testovacího postupu kombinujícího objektivní a percepční testy vlivu komprese na stereoskopické video.

Abstract  This work is about the influence of the compression and the visualizations methods on a perception of a stereoscopic video. This work contains detailed summary of the contemporary and mostly used methods of a projection of the stereoscopic video and lossy codecs. This work also contains a suggestion of a testing procedure that combines objective and perspective tests of the influence on a spectroscopic video.

 

6 

Úvod Možnosti aplikace stereografie  Možnosti využití stereoskopie jsou velmi široké. Jednou z oblastí možného využití jsou vědecké, strojírenské, architektonické, nebo medicínské vizualizace. Ve všech těchto vědeckých a technických profesích jsme často konfrontováni s potřebou zobrazit velké množství dat nebo složité souvislosti co nejlépe a nejsrozumitelněji. Stereoskopické (trojrozměrné) zobrazení je pro tyto případy velmi vhodné. Každodeně se setkáváme a manipulujeme s reálnými trojrozměrnými objekty. A proto je trojrozměrné zobrazení pro člověka jedním z nejpřirozenějších způsobů prezentace dat. U aplikací stereografické projekce v těchto technických profesích se setkáváme s využítím metod od klasických anaglyph, přes separaci obrazu polarizovaným světlem, až po moderní self 3D zobrazovací metody. Další skutečně významnou oblastí využití stereoskopického 3D zobrazení je zábavní, filmový a reklamní průmysl. Tato tři odvětví jsou přímo založena na práci s multimediálním obsahem a stereoskopické video je jen jeho dalším rozšířením. Motivace ve všech třech odvětvích je zřejmá. Jak filmový, zábavní tak i reklamní průmysl se snaží své diváky, potažmo zákazníky, co nejvíce zaujmout. U filmového průmyslu znamenal příchod digitálního zpracování obrazu velký krok kupředu jak co se týká kvality tak i možnosti zpracování obrazu. Ale i přesto další zvyšování technické kvality filmu nepřináší vyšší divácký zážitek. Naproti tomu i velmi jednoduché stereografické metody jsou schopny diváky mnohem intenzivněji vtáhnout do děje a umocnit mnohonásobně zážitek s filmu. Nejrůznější metody stereografie se tak postupně začínají stávat součástí celého konceptu digital cinema. S pokročilými technologiemi je stále snazší a především levněší přebudovat digitální projekční kinosály na 3D kina a zásadně tak rozšířit možnosti využití těchto prostor. Pro takovéto projekční sály se ve velké míře používají především metody založené na separaci pomocí polarizovaného světla. Pro reklamní průmysl jsou obzvlástě zajímavé metody takzvaného self 3D. U těchto metod nejsou potřebná žádná dodatečná zařízení jako polarizační brýle pro to, aby človek vnímal projekci trojrozměrně. Proto jsou tyto metody stereoskopického zobrazení zvláště vhodné pro sytémy projekce trojrozměrných reklamních sdělení, kde je nutnost používání jakýchkoliv dodatečných pomůcek nevhodná, nebo dokonce neproveditelná. Je zřejmé, že možnosti využití stereoskopie jsou jak v současnosti, tak v blízké budoucnosti velké. Již dnes exituje velký prostor pro využití stereoskopického videa a v mnoha dalších oborech se začínají teprve prosazovat.

Současné videokodeky V současnosti používané ztrátové videokodeky je možné rozdělit do dvou kategorií. Do první kategorie patří obecné kodeky určené především pro přenos videa při co nejmenším datovém toku. V této kategorii nejvíce dominuje kodek H.264 a nebo kodeky, které jsou založeny na principech používaných v tomto kodeku. Do této kategorie patří kodeky jako WMV VC-1, MotioJPEG 2000, On2 TrueMotion VP6 a další.  

7 

Druhou kategorií jsou specializované kodeky určené především pro profesionální zpracování obrazu. Tyto kodeky si nekladou za cíl snížit co nejvíce velikost komprimovaného videa, ale mají za úkol spíše zaručit vlastnosti potřebné při editaci videa a zároveň zachovat vysokou kvalitu videa při rozumných nárocích na diskovou kapacitu.

 

8 

Lidské prostorové vnímání   

Způsob jakým človek vnímá trojrozměrný prostor kolem sebe je velmi komplikovaný. Podílí se na něm mnoho různých faktorů a to jak fyziologické povahy, tak i čistě psychologické.

Fyziologické způsoby  Disparita Vzdálenost mezi očima způsobuje, že každým okem vidíme mírně odlišný obraz. Pokud se oběma očima zaměříme na konkrétní bod, promítne se jeho obraz do středu sítnice s nejostřejším viděním (tzv. fovea) v každém oku. Všechny ostatní objekty ležící blíž nebo dál, než je bod na který jsou oči zaměřeny, se promítne v každém oku na jiný bod sítnice. Na následujícím obrázku je vidět, jak se vzdálenější (zelený) bod promítne s disparitou df a bližší objekt s disparitou dn . Čím blíže je objekt k pozorovateli, tím větší vzniká disparita. U projekce stereoskopického videa se v obraze disparita simuluje tak, že stejné objekty jsou na snímcích pro levé a pravé oko od sebe vzdáleny právě o disparitní vzdálenost df. Tím u pozorovatele dochází k iluzi, kdy se zdá, že objekty jsou v různé vzdálenosti a vzniká dojem trojrozměrného prostoru.

         

 

Obr. 1  Disparita při dvouokém pohledu (převzato z [11]) 

  Motion paralax  Motion paralax je efekt vznikající při pozorování pohybu dvou různě vzdálených objektů. Obraz na sítnici, který vytváří bližší objekt, překoná sítnici rychleji, než obraz objektu vzdálenějšího, ačkoliv se oba objekty pohybují stejnou rychlostí.

 

9 

     

 

Obr. 2   Motion Paralax (převzato z [6]) 

 

Psychologické způsoby Mezi psychologické aspekty prostorového vnímání patří šest různých jevů, jež významně utvářejí lidské vnímání trojrozměrného světa a také jsou velmi duležité při tvorbě stereoskopického videa. Světlo a stín  Vnímání světla s stínu patří mezi jeden ze základních způsobů, jímž je lidský mozek schopen rozpoznávat vlastnosti předmětu, jeho objem a vlastnosti jeho povrchu. Relativní velikost  Lidský mozek ví, že vzdálenější objekty se jeví menší, než objekty bližší. Proto také při vnímání pomáhají známé objekty jako je lidská postava, dům, strom a podobně, k určení vzdálenosti na scéně. Protože lidký mozek si pamatuje, jak velké jsou ve skutečnosti, je schopen podle jejich velikosti na scéně odhadnout vzdálenost. Vzájemná poloha  Objekty, které jsou blíže, zakrývají objekty, jež jsou více vzdálené od pozorovatele. To umožňuje získat přehled o tom, které objekty leží na scéně blíže a které dál. Gradient textup  Jedná se o podobný jev, jako je popisovaný v odstavci o relativní velikosti. Stejně tak jako u celých objektů, tak i u vzorů a textur platí, že čím jsou vzdálenější, tím měnší a méně patrný je vzorek. Prostorová perspektiva  V přírodě se nám zdají vzdálenější objekty nejen menší, ale také mlhavější, méně jasné a více zastřené. Tento jev je dán především vlastnostmi atmosféry. Lineární perspektiva  Perspektva je dalším z důležitých prvků při vnímání hloubky a vzdálenosti v obraze. Perspektiva vyjadřuje vztah mezi bližšími a vzdálenějšími objekty a napomáhá tak rozpoznání vzdálenosti v dvojrozměrných obrazech.

 

10 

Různé metody stereografie  Všechny metody stereografie jsou založeny na principu, kdy je potřeba pro každé oko vytvořit mírně upravený obraz stejné scény. Každý obraz představuje scénu z mírně jiné perspektivy podobné tomu, jak by ji viděl člověk při přirozeném pohledu oběma očima. Pro uměle vytvořené scény je potřeba vyrendrovat oba pohledy pro jednotivé oči. Při snímání reálného světa je nutno použít speciální soustavu dvou a více kamer, abychom získali záběry pro jednotlivé oči. U většiny běžně používaných metod stereoskopického vidění jsou potřeba další pomůcky k separaci obrazu pro levé a pravé oko. Podle typu separace obrazu pro levé a pravé oko lze metody stereografické projekce rozdělit do následujících čtyř kategorií: • • • •

Metody s prostorovou separací  Metody s barevnou separací Metody se separaci polarizovaným světlem  Metody se separací časovým multiplexem 

Kromě metod které využívají pro navození trojrozměrného vjemu různé pomůcky (polarizační, barevné či jiné brýle) existují ještě takzvané autostereoskopické metody. U těchto metod odpadá nutnost používaní jakýchkoliv dalších pomůcek pro navození trojrozměrného vjemu. Toto je velká výhoda zmíněných metod, protože nutnost používání různých specialních brýlí je pro mnoho uživatelů skutečně omezujíci a nepohodlná. Ovšem na druhou stranu mají i autostereoskopické metody zobrazení svoje nevýhody. Především se jedná o velkou pohledovou závislost. To znamená, že výsledný vjem je silně závislý na místě, ze kterého projekci sledujeme. Z této vlastnosti také vyplívá, že autostereoskopické zobrazovače mají velmi omezený počet diváků, kteří mohou projekci sledovat. Autosteroskopické metody lze dále podle principu na němž jsou založeny rozdělit do dvou kategorií: • •

Využívající lentikulární skla Využívající barierové masky

Obě tyto metody používaji dosti podobný princip, ale výrazně se liší jeho realizací. Proto je dobré je uvádět jako dvě samostatné skupiny. Existují i další metody umožňující dosáhnout autostereoskopického efektu. Například multiprojektorové systémy s dvojitými lentikuárními sky. Ale pro jejich menší rozšířenost si dovolím dále je neuvádět.

Metody s prostorovou separací Metody využívající prostorovou separaci patří mezi nejstarší a nejjednodužší metody sterografie. Tato metoda je velmi stará a byla používána již před mnoha lety, například pro takzvané stereogramy. Jednalo se o jakési trojrozměrné pohlednice, kde ležely na pohlednici vedle sebe dva obrazy. Jeden pro levé a druhý pro pravé oko. Pomocí specialních „brýlí“, do nichž se takováto pohlednice vložila, bylo možné následně prohlížet trojrozměrný obraz.

 

11 

  Obr. 3  Brýle určené k prohlížení streopohlednic (převzato z [7]) 

  Velmi podobný princip se používá například i pro záznam stereoskopického videa na filmový pás. Zde jsou také obrazy pro levé a pravé oko umístěny vedle sebe (někdy se celá tato metada nazývá „Side by Side“), nebo nad sebou. Ovšem aby se vešly snímky pro levé a pravé oko na jedno filmové políčko, musí být snímky stranově zdeformovány. Pro projekci takovéhoto filmu se používají speciální promítačky vzbavené optikou schopnou oddělit jednotlivé poloviny filmového políčka a roztáhnout je do správného poměru stran. Dále je takovýto film promítán za použití separace pomocí polarizovaného světla anebo časového multiplexu. V případě klasického filmu je tedy metoda s prostorovou separací určena pouze k uložení stereoskopického videa, ale pro projekci se již využívají jiné metody.

Metody s barevnou separací  Stejně tak jako metoda s prostorovou separací je i metoda s barevnou separací jednou z nejdéle používaných metod zobrazení stereografického obrazu. Zásadní výhodou této metody je velmi levné potřebné vybavení a snadná implementace. Tato metoda je také známá pod názvem Anaglyph.

  Obr. 4  Skládání obrazu do anaglyphu (převzato z [6])

Pro vytvoření Anaglyphu je potřeba, jako u všech metod, obraz pro levé a pravé oko. Obraz pro levé oko je nejprve upraven za pomoci červeného filtru a obraz pro pravé oko pomocí arutového, modrého anebo zeleného filtru. Takto upravené obrazy jsou

 

12 

poté zobrazeny přes sebe. Pro sledování takovéhoto obrazu jsou potřeba brýle vybavené opět barevnými filtry pro separaci obrazu pro jednotlivé oči.

  Obr. 5 – blabla (převzato z [6])

Metody se separací polarizovaným světlem  Další velmi hojně používanou metodou je postup, při němž jsou obrazy pro jednotlivé oči promítány na plátno s navzájem kolmou polarizací světla. Pro realizaci takovéto projekce jsou vetšinou potřeba dva samostatné projektory, které jsou vzájemně synchronizovány a jsou vybaveny polarizačními filtry se vzájemně kolmou polarizací. Diváci jsou pak také vybaveni brýlemi, jež obsahují takové polarizační filtry, kdy filtr pro pravé oko propouští pouze obraz určený pro pravé oko a naopak filtr umístěný u levého oka propustí pouze obraz určený pro levé oko. Mezi další potřebné vybavení patří plátno z materiálu, který zachovává polarizaci dopadajícího světla.

  Obr. 6  princip projekce se separací polarizovaným světlem (převzato z [7]) 

 

 

13 

Tato metoda je výhodná především svojí jednoduchostí. Narozdíl od metod s časovým multiplexováním neobsahují brýle pro diváky žádnou aktivní, a tudíž drahou elektroniku.

Metody se separací časovým mutiplexem  Díky nedokonalostem lidského oka, mezi které patří i jistá setrvačnost, není potřeba zobrazovat smínky pro jednotlivé oči současně, ale je možné zobrazovat střídavě snímky pouze pro jedno oko. V takovém případě je nutné, aby monitor nebo projektor byl schopen zobrazit dvojnásobný počet snímků, než při promítání běžného videa. Diváci jsou vybaveni speciálními brýlemi se clonami z tekutých krystalů. Otvírání a zavírání těchto clon pro jednotlivé oči je synchronizováno se zobrazováním snímků pro levé a pravé oko. Tím je zaručeno, že se obraz pro levé oko dostane pouze k levému oku a naopak.

  Obr. 7  brýle pro projekce se separací časovým multiplexem 

  Mezi zásadní výhody této metody patří, stejně jako u metod využívajících polarizované světlo, především velký počet diváků, kteří mohou projekci sledovat současně. Mezi nevýhody naopak patří dost nákladná konstrukce brýlí a náročná synchronizace s monitorem nebo projektorem, který zobrazuje jednotlivé snímky.

Hybridní metody Kromě výše uvedených metod existují jěstě další technologie které kombinují princip různých základních metod separace obrazu. Pro příklad uvěďme alespoň technologii RealD která využívá kombinace metod se separací polarizovaným světlem a metod s časovým multiplexem. Tato technologie používá pouze jeden projektor střídavě promítající snímky pro levé a pravé oko s kruhovou polarizaci. Pravotočivou pro pravé oko a levotočivou pro oko levé. Diváci jsou opět vybaveni polarizačními brýlemi oddělujícími obraz pro levé a pravé oko. Projektor pracuje s velmi vysokou obnovovací frekvencí, takže dosahuje až 72 fps pro jedno oko.

 

14 

Self 3D stereografické metody  Existuje několik různých metod a způsobů, jak navodit dojem trojrozměrného obrazu i bez použití pomůcek, které jsou potřeba u metod uvedených v předchozí kapitole. I když se různé self 3D metody v technických datailech liší, některé vlastnosti mají společné. Především se jedná o to, že všechny tyto metody jsou pohledově závislé. To znamená, že výsledný vjem je závislý na poloze pozorovatele vůči zobrazovači. Při použití pouze dvou pohledů na scénu dojde k vytvoření celé řady pozorovacích úhlů. Ovšem jen v 50 procentech těchto pozorovacích úhlů je pozorovatel v pozici že levým okem vidí obraz pro levé oko a naopak. Ve zbylých 50 procentech případů dojde k prohození kanálů pro jedotlivé oči a tudíž ke špatnému zobrazení scény. Stejně tak pokud pozorovatel opustí optimální vzdálenost od zobrazovače, dojde ke ztátě prostorového vjemu. Problém s prohozením videa pro levé a pravé oko se u starších systémů konstruktéři snažili vyřešit soustavou kamer, které sledovaly pohyb očí pozorovatele a podle toho prohazovaly obrazy pro levé a pravé oko tak, aby pozorovatel ze své aktuální pozice viděl záběry pro levé a pravé oko opravdu levým a pravým okem a ne naopak.

  Obr. 8  Pozorovaci úhly při použití dvou pohledů na scénu (převzato z [4])

U moderních LCD s vysokým rozlišením se tento problém řešil tak, že trojrozměrný obraz se neskládá pouze ze dvou pohledů na scénu, ale zpravidla z 5 až 9 pohledů. LCD potom zobrazuje prokládané pohledy z více úhlů, čímž je docíleno toho, že prostor, ze kterého je možné pozorovat trojrozměrný obraz je mnohem jemněji pokryt úhly, ze nichž je možné pozorovat trojrozměrný obraz. Takže při pohybu pozorovatele nedocházi již k nežádoucimu prohazování videa pro levé a pravé oko.

 

15 

     

  Obr. 9 – pozorovací úhly při použítí vice pohledů na scénu (převzato z [4])

Autosteroskopické metody využívající lentikulární skla 

První ze dvou základních self 3D zobrazovacích metod je založen na použití  takzvaných lentikulárních skel. Před LCD monitor je v tomto případě přidána  soustava svislých, velmi přesných čoček. Zároveň musí display zobrazovat obraz  pro levé a pravé oko prokládaně (jak je vyobrazeno na nasledujícím obrázku).  Poté je možné díky použitým čočkám docílit toho, že pozorovatel uvidí levým  okem obraz pro levé oko a pravým pouze obraz pro pravé.   

    

 

    

 

 

Obr. 10  Princip zobrazovačů s lentikulárnimi skly (převzato z [4]) 

 

Autostereoskopické metody využívající beriérové masky  Druhým principem používaným v self 3D zobrazovačích je takzvaná barierová maska. Narozdíl od předchozí metody s lentikulárnimi skly, je před LCD zobrazovač předřazena mřížka se svislými štěrbinami, které obraz rozdělují opět tak, že pozorovatel vidí levým okem pouze obraz pro levé oko a pravým pouze obraz pro pravé oko. LCD display stejně jako v předchozím případě zobrazuje obraz pro levé a pravé oko prokládaně tak, jak je vidět na následujícím obrázku.

 

16 

  Obr. 11  Princip zobrazovačů s bariérovou maskou (převzato z [4])

                             

 

17 

Video kodeky  Kodeků používaných ke kompresi videa existuje velké množství. V následujících odstavcích bych se rád zaměřil na několik nejdůležitějších, nebo nejběžněji využívaných kodeků pro univerzální použití, které jsou optimalizovány především pro kódování videa s co nejmenším datovým tokem. V krátkosti bych se také zmínil alespoň o jednom zástupci kodeku určeného pro zpracování videa.

Mpeg‐2  Mpeg2 je široce užívaný formát ztrátové komprese videa používaný pro vysílání TV signálu, distribuci na DVD atd... Mpeg2 je popsán ve standardu ISO/IEC 13818, který pochází z roku 1994. I přes relativně velké stáří tohoto návrhu zůstává tento kodek dodnes díky svým dobrým vlastnostem stále široce používaným. Základní schéma kódování používané tímto kodekem ze značné míry vychází z kodeku mpeg1. Oproti svému předchůdci umí mpeg2 především pracovat s prokládaným videm a také je možné používat variabilní datový tok. Mpeg2 pracuje s několika typy snímků I – takzvané klíčové snímky. A dále tak P a B snímky. Tyto snímky jsou pouze rozdílové a vypočítávají se z předchozího, nebo z předchozího a následujícího snímku. Mpeg2 také pracuje s predikcí pohybu v obraze pro dosažení lepších výsledků při nižším datovém toku.

Obr. 12  blokové schéma kodování Mpeg2 (převzato z [13])

H.264/AVC  Tento standart vynikl společnou prací skupiny ISO MPEG a ITU. Výsledný kodek H.264/AVC je jakýmsi derivátem původně velmi obecně pojatého standartu mpeg4. Mnohé jeho vlastnosti vypouští především kvůli jejich velmi obtížné implementaci.  

18 

Výsledný kodek je ale i přes vypuštení mnohých vlastností jeden z dnes nejpokročilejších moderních kodeků určených pro efektivní přenost obecných obrazových dat. Kodek H.264/AVC používá stejně tak jako mpeg1 a mpeg2 dělení scény do makrobloku. Ovšem zatímco u mpeg2 byla velikost makrobloku fixní, mpeg4 používá proměnou velikost makrobloku. Velikost makrobloku se může měnit od 4x4 pixelu až po velikost 16x16 pixelu. Navíc dělení na makrobloky nemusí být striktně čtvercové, ale je možné vytvářet i obdélníkové makrobloky. Mezi další novinky v tomto kodeku patří například takzvané Intra-Frame Coded Macroblocks. Tato nová vlastnost zajištuje možnost kódovat opakující se vzory i v rámci jednoho snímku. Dále byla také v tomto kodeku vylepšena predikce pohybu tak, že lépe dokáže zakódovat pomalé pohyby v horizontálním směru, na které je lidské oko citlivé. Na následujících dvou obrázcích je znázorněno základní blokové schéma kodéru a dekodéru tohoto kodeku.

Obr. 14  Blokové schéma kodovani H.264 (převzato z [13])

Obr. 13  Blokové schéma dekódování H.264 (převzato z [13])

 

19 

WMV  Formát Windows Media Video s kodekem VC-1 je konkurencí pro kodek H.264/AVC od společnosti Microsoft. I když existuje calá řada implementačních rozdílů, oba kodeky, jak VC-1 tak H.264, používaji pro efektivní kódování videa podobné, nebo dokonce stejné principy. VC-1 stejně jako H.264 využívá variabilních makrobloků, také používá I,P,B kodovani bloků. Narozdíl od H.264 však interně používá čistě celočíselnou aritmetiku, což vede k nižší zátěži procesoru. Patrně nejzásadnější rozdí u kodeku VC-1 je v systému predikce makrobloku. Kodek H.264 používá predikci na úrovni obrazových bodů, kdežto kodek VC-1 nejdříve převede makrobloky na koeficienty DCT a teprve zde na úrovni transformavaných koeficientů provádí predikci. Tímto postupem se velmi omezí vznik rušivých blokových artefaktů a také se zmenší pamětová a časová náročnost. Další výhodou tohoto postupu je možnost extrapolace snímku. To znamená možnost automaticky převádět různé fps, anebo odstraňovat prokládání snímků. Kodek VC-1 také narozdíl od H.264 používá pro kódování barev model YUV s vzorkováním 4:2:0, kdežto H.264 podporuje více druhů vzorkování včetně 4:2:2 a 4:1:1. Formát Widows Media ovšem nezahrnuje pouze kodeky pro kompresi zvuku a videa, ale také část sloužící pro kryptování a ochranu obsahu takzvané DRM. Tato funkce umožnuje především filmovým a hudebním vydavatelům a prodejcům efektivně řídit možnosti nakládání se skladbami a filmy, které jsou chráněny autorským zákonem. V poslední době se firma Microsoft zaměřuje především na vylepšení v DRM, a samotný přehrávač. Video kodek VC-1 zůstává i přes změny v ostatních částech formátu Windows media beze změn.

Apple ProRes 422 

  Obr. 15  Logo kodeku ProRes (převzato z [15])

Aplle ProRes je novým kodekem od společnosti Apple, určeným především pro využití v profesionálních filmových střižnách. Z tohoto také vyplívají některé jeho vlastnosti. Narozdíl od kodeku H.264 a WMV VC-1, které jsou určeny pro univerzální použití, je tento kodek zameřen jen na střih a maximální kvalitu videa. Například nepoužívá žádné B a P snímky, jak tomu je u předchozích kodeků. Stejně tak podporovaná rozlišení jsou omezena na rozlišení používaná v televizním a filmovém průmyslu. Dalším rozdílem oproti předchozím kodekům je to, že ProRes používá pouze kvalitnější vzorkování barev 4:2:2. Tento kodek má také přesně dané datové toky pro různá rozlišení. Pro Standartní televizní rozlišení to jsou datové toky 42Mb/s nebo 63Mb/s. Pro HD rozlišení to jsou datové toky 145Mb/s a 220Mb/s. Jelikož ProRes používá variabilní datový tok, nejsou tyto hodnoty zcela přesné. Ale kodek se při kódování snaží o to, aby průměrná hodnota datového toku nepřesáhla datový tok daný vybraným profilem.  

20 

Testování vlivu komprese  Všeobecně lze rozdělit testovací metody na objektivní a subjektivní. U objektivních metod se využívá především přesných měření, kdežto u subjektivních metod spoléháme především na percepční testy provedené s dostatečne velkou a reprezentativní skupinou osob a následně statisticky zpracované. Pro testování vlivu ztátové komprese na stereoskopické video by bylo nejlepší využít obou postupů.

Zdrojové video 

Komprimace 

Dekomprimace 

Zobrazení 

Výsledný vjem 

  Obr. 16  Blokové schéma zpracování stereografického videa

V celé úloze komprese a zobrazení stereoskopického videa je několik zásadních faktorů, které ovlivňují výsledný vjem. Proto by bylo vhodné rozdělit úlohu testování vlivu ztátové komprese na několik částí. Konkrétně na tyto tři následující části: 1. Testování vlivu kodeku 2. Testování vlivu zobrazovací metody 3. Percepční testy Všechny tyto tři části jsou podrobně popsány níže.

Jiné testovací postupy Existuje řada prací zabývajících se zkoumáním vnímání stereoskopického videa. Většina prací je ovšem zaměřena spíše na zkoumání konkretních vlivů nebo vlastností lidkého oka a již nezkoumá vliv použité komprese nebo způsob projekce stereografického videa. Kupříkladu v práci od Roger Cheng a Klara Nahrstedt (zdroj č. 10) je zkoumáno, jaký vliv mají na vnímání stereoskopického videa při použití autostereoskopického displaye parametry jako fps, rozlišení, poměr rozlišení obrazu a rozlišení hloubkové mapy, hloubkové rozlišení a další. Z výsledků této práce vyplívá, že největší vliv na snižování kvality výsledného vjemu má především snižování hloubkového rozlišení. Bohužel, testování se zůčastnilo pouze 27 osob, což je jako testovací vzorek velmi malý počet. Autoři dalších prací (zdroje č. 9) se také zaměřují na zkoumání faktu, že je možné video pro levé a pravé oko komprimovat asymetricky. Výsedky těchto prací ukazují, že je možné kanál pro jedno oko zakódovat s mnohem nižším rozlišením, nižším fps nebo nižším datovým tokem aniž by testovací osoby zaznemenaly snížení kavality stereoskopického videa a zhoršení prostorového vjemu. Kupříkladu v práci Pieter

 

21 

Seuntiens, Lynda Meesters a Wijnand Ijsselsteijn (zdroj č. 9) je testováno, zda má na vnímání při asymetrické komprimaci vliv i to, jaké oko má testovací subjekt dominantní. Tento fakt se ovšem nepodařilo prokázat.

Testování kodeku  Tato část testu má především za úkol otestovat, jakým způsobem si se stereoskopickým videem poradí predikční algoritmy různých kodeků. Jak bylo řečeno výše v kapitole o kodecích, většina moderních kodeků používá pro dosažení lepších výsledků různé způsoby predikce pohybu v obraze a hledá stejné vzory jak v rámci jednoho snímku, tak i v několika po sobě následujících snímcích. Jelikož většina kodeků při svém vzniku nepočítala přímo s komprimací stereoskopického videa, je velmi pravděpodobné, že při komprimaci stereoskopického nebudou predikční algoritmy kodeku pracovat zcela optimálně. Nějvetší chyby se dají předpokládat při komprimaci stereoskopického videa, které používá časového multiplexování snímku pro levé a pravé oko. Případně také u stereoskopického videa side by side. Stejně tak se dá předpokládat zkreslení vnímání stereskopického efektu u stereoskopického videa používajícího principu anaglifu. Zde s velkou pravděpodobností dojde k porušení barevné separace z důvodu nižšího barevného vzorkování u některých kodeků. Uspořádání tohoto experimentu je následující. Mějme sadu testovacích videí pro levé a pravé oko a k nim třetí doplňkové video obsahující pouze vyjádření disparity těchto dvou videostop. Tato videa spojíme do jednoho stereoskopického videa.

Obr. 17  Blokové schéma testování vlivu kodeku

 

22 

Stereoskopické video následně zkomprimujeme námi zvolenými kodeky a z výsledného komprimovaného videa znovu vypočítáme dodatkové video s vyjádřením disparity jednotlivých snímků. Následným porovnáním disparity snímků před a po komprimaci bychom měli být schopni lokalizovat, v jakých případech dochází k největším změnám zobrazení prostorové informace. Pro exaktní porovnání výsledků jednotlivých kodeků při různých nastaveních je také možné vypočítat koeficienty MSE (Mean Squere Error) nebo MAE (Mean Absolut Error) podle následujících vzorců. Pro MSE:

kde:

x – originální obraz y – komprimovaný obraz i,j prvky obrazové matice M - počet pixelů na výšku obrazu N – počet pixelů na šířku obrazu

a pro MAE:

kde:

x – originální obraz y – komprimovaný obraz i,j prvky obrazové matice M - počet pixelů na výšku obrazu N – počet pixelů na šířku obrazu

Tyto vzorce MSE a MAE jsou určeny pro výpočet těchto koeficientů u jednoho snímku černobílého obrazu. Jelikož disparita kanálu pro levé a pravé oko muže být vyjádřena jako odstín šedé, nepotřebuje tento vzorec již dalši úpravy pro práci s barevným obrazem. Z vypočtené hodnoty MSE je dále možné vyjádřit hodnotu PSNR (Peak Signal to  Noise Ratio). PSNR je zkratka pro peak signal‐to‐noise ratio. Jedná se hodnotu  udávající poměr mezi užitečným signálem a šumem degradujícím signál. Tato hodnota patří mezi nejběžněji používané veličiny pro porovnání výsledků komprese obrazu. PSNR je možné vypočítat podle následujícího vzorce: 

 

23 

kde:

MAX – maximální možná hodnota daného pixelu MSE - Mean Squere Error

Pro reprezentaci vypočítaných honot pro jednotlivé snímky máme dvě možnosti. První je vynést hodnotu PSNR do grafu v závislosti na čísle snímku. Tím získáme přehled o tom, jakým způsobem se shoduje disparita obrazu před a po kompresi v průběhu testovacího videa. Ovšem pro snadné porovnávání výsledků různých datových toků nebo různých kodeků u stejného videa není tento postup dobrý. Druhou možností je vypočítat artimetický průměr hodnot všech snímků. Tím získáme jedinou hodnotu, kterou můžeme ohodnotit komprimaci testovacího videa jako celku. Obzvláště zajímavé výsledky předpokládám u použití stereoskopických metod s časovým multiplexem s prostorovou separaci side by side a nebo při použití barevné separace (anaglyph). U těchto metod totiž nejvíce očekávám, že dojde ke zmatení algoritmů pro predikci pohybu v obraze a proto i ke vzniku různých artefaktů v obraze.

Testování zobrazovacích metod  Tato druhá část testu vlivu komprese na stereoskopické video se zaměřuje na vliv jednotlivých zobrazovacích metod. Základním posláním této části testu je především zjistit, jakým způsobem dále ovlivní jednotlivé možnosti zobrazení stereoskopické artefakty vzniklé při kompresi zdrojového videa. Také si tento test klade za cíl co nejvíce exaktně porovnat kvalitu jednotlivých zobrazovacích metod.

Obr. 18  Blokové schéma testování vlivu zobrazovací metody

Uspořádání tohoto experimentu by proto mělo být následující. Místo živého pozorovatele bude pro sledování sterografické projekce použita speciální

 

24 

stereoskopická kamera. Disparita obrazu získaná z této kamery se následně porovná s disparitou obrazu, který byl promítán stejnou metodou jako při testování vlivu kodeku na disparitu obrazu. Bohužel, tento experiment vyžaduje velmi přesné sestavení testovacího vybavení a eliminaci všech možných rušivých vlivů. Za optimálních podmínek by porovnání výsledných hodnoty PSNR z testování vlivu kodeku a z tohoto testu mělo odhalit, jakou měrou se podílí výběr zobrazovací metody na degradaci obrazu. Výpočet dispartitní mapy  Uvažujme ideální podmínky, kdy máme dva odpovídající obrazy se stejným rozlišením z kamer s totožnou ohniskovou vzdáleností f, a rovnoběžnými optickými osami. Bod v prostoru P se souřadnicemi P=(X,Y,Z). Tento bod se promítne do obrazu z kamer tak, že pro levý obraz platí:

 f ⋅ X f ⋅Y  PL = ( X L ,Y ) =  ,   Z Z  a pro pravý obraz:

€

 f ⋅ (X − b) f ⋅ Y  PR = ( X R ,Y ) =  ,   Z Z 

Kde b je vzdálenost mezi kamerami. €

Disparita pro bod P je potom rovna Euklikovské vzdálenosti:

de ( pL , pR ) −

€

2

( X L − X R ) +(YL − YR ) 2

Jak již bylo řečeno v kapitole o lidském vnímání, disparita roste s klesající vzdáleností od pozorovatele. A naopak s rostoucí vzdáleností disparita klesá až pro objekty v nekonečnu se rovná disparita nule. Z předchozích vztahů je možné odvodit vzorce pro výpočet polohy objektu v prostoru. X=

b ⋅ xL x L −x R

v případě, že budeme uvažovat že y=yL=yR tak vztah pro Y bude: €

Y=

b⋅ y x L −x R

Z=

b⋅ f x L −x R

€

€

Disparitu nebo vzdálenost, kterou je možné z disparity vypočítat, je možné reprezentovat jako disparitní mapu. Velikost disparity je v disparitni mapě zpravidla reprezentována jako jas pixelu.

 

25 

  Obr. 19  Hloubková mapa (převzato z [14])

  Percepční testy Tato závěrečná část je narozdíl od předchozích dvou založena na subjektivním vnímání stereoskopického videa lidským zrakem. Tato závěrečná část je velmi důležitá především z toho důvodu, že všechna exaktně zjištěná data v prvních dvou částech testování nemají bez výsledků této části žádný vztah k reálnému vnímání lidského pozorovatele. Hlavním výsledkem by mělo být především to, jaké změny v disparitě vzniklé při kompresi jsou lidským okem vnímány nejvíce negativě, a které změny jsou vlivem nedokonalosti lidkého oka naopak ignorovány a nebo mají na výsledný vjem zanedbatelný vliv.

 

  Obr. 20  Blokové schéma percepčního testování

Pro subjektivní testování kvality existuje doporučená metoda definovaná organizací ITU-R. Tato metoda se nazývá DSCQS neboli Double-Stimulus continous quality scale. Zmíněná metoda je přímo založena na hodnocení kvality souboru ukázek skupinou uživatelů. Jedná se o cyklickou metodu, kdy je testovacím osobám postupně zobrazována referenční ukázka bez komprese a jedna ukázka s různou úrovní komprese nebo poškození. Celá sekvence by neměla trvat více než půl minuty. Testovací osoby mají za úkol ohodnotit jednotlivé ukázky podle jejich kvality. Kvalita

 

26 

se zaznamenává za pomoci křížku do stupnice opatřené číslem příslušné ukázky. Stupnice má pět stupňů a měla by být označena slovy označujícími úroveň kavality: výborná, velmi dobrá, ještě dobrá, špatná, velmi špatná. Metoda DSCQS má dvě varianty. I. II.

Sám pozorovatel má možnost volit mezi dvěma ukázkami do doby, než se rozhodne jakým způsobem je ohodnotí. Testovací osobě jsou promítány zkoumané ukázky po sobě do té doby než se rozhodne jakým způsobem je ohodnotí.

Orientační obrázek doporučeného uspořádání testovacího pracoviště podle DSCQS je znázorněn na následujícím obrázku. Podrobnou definici podmínek potřebných pro testování, včetně doporučených parametrů monitoru, okolního osvětlení, vzdálenosti od monitoru a mnoho dalšího je možné nalézt v originálu tohoto doporučení viz zdroj číslo 5.

  Obr. 21  Schéma uspořádání pracoviště podle DSCQS

Výsledky všech párových testů je potřeba následně statisticky zpracovat. Pro podrobný popis zpracování výsledků této metody doporučuji anglický originál ITU-R Recommendation BT.500-10 - Methodology for the subjective assessment of the quality of the television pictures (zdroj č. 5), nebo v češtine práci Jakuba Svítka Subjektivní hodnocení kvality obrazu (zdroj č. 8). Výběr testovacích osob  Minimální počet testovacích osob podle DSCQS je 15. Tento počet je ovšem dle mého názoru velmi podhodnocen a bylo by vhodné pro testy použít mnohonásobně větší počet osob. V mnoha textech o provádění sociologických průzumů se říká, že minimální reprezentativní vzorek musí obsahovat alespoň 600 osob, jinak není výzkum prokazatelný. Stejně tak je potřeba velmi dbát na správný výběr reprezentativního vzorku osob a provádět důsledný sběr paspartizačních dat o testovacích osobách. Podle těchto dat by se měl následně provést přepočet tak, aby výsledky byly reprezentativní pro zvolenou cílovou skupinu testovacích osob. I v doporučení ITU je uvedeno, že testovací osoby pro účel tohoto testování by měly  

27 

být různého věku a profese. Podmínkou je také dobrý stav zraku. Stav zraku by měl být před začátkem testu proveřen pomoci Snellova optotestu. V tomto testu by měly být schopny testovací osoby přečíst poslední řádek ze vzdálenosti 5 metrů.

 

28 

Testovací videa Testovací obrazce  Při testování vlivu komprese a při pokusu lokalizovat, které artefakty nejvíce ovlivňují vnímanou disparitu obrazu, je nejlepší začít s testováním co nejjednodužších obazců. Sada takovýchto testovacích scén by měla pokrývat základní pohyb objektu v trojrozměrném prostoru, měla by také obsahovat různě barevné plochy pro prověření metod využívajících barevou separaci obrazu pro levé a pravé oko. Mnou navrhovaná sada testovacích obrazců by se měla skládat z následujících scén: 1. neutrálně šedá nebo černo-bíle kostkovaná plocha, která se rovnoměrnou rychlostí přibližuje k pozorovateli. Pro další testování metod s barevnou separací je možno použít i plochy s jinak barevnými vzory. 2. Plocha s pravidelnými vystouplými pásy pohybující se kolmo na směr těchto vystouplých pásů. Šířka těchto pásů může být proměnná pro ověření rozlišovací schopnosti při zmenšující se velikosti objektu. 3. Kruh s různě vystouplými kruhovými výsečemi. 4. Pásy s ruznou vzdálenosti od kamery uspořádané tak, že rozdíl ve vzdálenosti by se postupně snižoval. Tyto možnosti jsou jen návrhy na možné obrazce, které by mohly umožnit testování hloubkové rozlišovací schopnosti, náchylnost na různé deformace vnímání hloubky a další možné artefakty vznikající u metod s různým druhem separace obrazu.

Syntetické scény  Tato skupina reprezentuje nejrůznější renderovaná videa a vizualizace vytvářené jak v technických profesích, tak ve filmech. Z technických oborů by mezi takovéto scény patřily především architektonické, strojírenské nebo medicinské vizualizace. A naopak z filmového a zábavního nebo filmového průmyslu může jako příklad posloužit jakýkoliv animovaný film. Velkou výhodou těchto scén je fakt, že při tvorbě v 3D modelovacích programech a následném renderingu scény není zpavidla problém vytvořit více pohledů na scénu a zároveň získat i video obsahující informace o hloubce a vzdálenosti jednotlivých objektů. Tím je možno získat testovací materiál s netriviálním obsahem a zároveň velmi dobře známou disparitou kanálu pro jednotlivé oči.

Reálné scény  Poslední kategorie testovacích videí by měla obsahovat scény nasnímané v reálném prostředí. Tyto scény by svojí skladbou měly odpovídat záběrům používaným ve filmech. Zárověn by tyto scény měly obsahovat záběry, které jsou velmi problematické pro kodeky. Jako vhodní kandidáty na takovéto scény se zdají být záběry lesknoucí se mírně zvlněné vodní hladiny, objekty s velkým množstvím detailů (například listnaté stromy v mírném vánku, tráva atd..), husté svislé linie pohybujíci se vodorovně přes záběr (například různé ploty a sítě) nebo scény s mlhou, hustým děštěm nebo kouřem.

 

29 

Způsob vyhodnocení výsledků testů  První dvě části testování je ideální provádět pouze se sadami testovacích obrazců a se syntetickými scénami. Použití reálných záběrů v těchto dvou fázích testování není vhodné, protože u tohoto typu záběrů není vždy k dispozici přesná disparita záběrů pro jednolivé oči. Porovnáním hodnoty PSNR pro různé kodeky, různé datové toky, různé metody separace obrazu a různé zobrazovací metody bychom měli být schopni odhalit závislost degradace stereografického obrazu na těchto třech proměnných. Během třetí fáze testu, kdy používáme percepční testy, je možné použít již všechny tři navrhované skupiny testovacích scén. U prvních dvou kategorií (tj. u testovacích obrazců a syntetických scén) bychom měli již výsledky z prvních dvou fází testování. Následným porovnáním hodnocení scén testovacími osobami a údajů získaných objektivním testováním v prvních dvou fázích bychom měli být schopni nalézt závislot mezi zhoršováním kvality stereografického videa a vnímáním tohoto videa živou osobou. Také bychom měli být schopni odhadnout úroveň degradace, při které se stává video pro diváka již nesledovatelné. Výsledky získané z percepčních testů pro skupinu záběrů uvedených v kapitole „realné scény“ je možné následně použít pro ověření, že hodnocení testovacích osob má pro tento typ scén stejný průběh jako hodnocení kvality testovacích obrazů a syntetických scén.

 

30 

Závěr  Přestože existují dobré a velmi rozšířené metody pro testování videa, jednotná metodika pro testování streoskopického videa není jak ve formě doporučení ITU tak ani ve formě jinak široce přijímaného postupu. Existuje celá řada studií věnujícich se stereoskopickému videu, ale ty řeší většinou pouze konkrétní jevy při sledování stereoskopického videa a již se nezabývají vlivem a vhodností různých komerčně dostupných kodeků. Některé metodiky určené pro percepční testy běžného videa se dají velmi snadno adaptovat i pro testování steroskopického videa. Mnou navrhovaný postup pokrývá jak objektivní tak i percepční testy a zaměřuje se především na možnost porovnání vlivu různých kompresních kodeků kombinací s různými zobrazovacími metodami. Jelikož existuje velmi široké spektrum rozličnýc metod zobrazování stereoskopického videa a stejně tak velké množství ztrátových kodeků, je velmi pravděpodobné, že některé kombinace kodeků a zobrazovací metody se projeví jako nevhodné.

 

31 

Literatura  [1] Šoustal, R. :(2006). Rozšíření formátu MPEG pro stereoskopické video. [2] Burianek, Jan: (nedatováno). Nové standarty pro komprimaci videa. Pixel [3] Buriánek, Jan: (nedatováno). Autostereoskopické 3D monitory Spatial View. Pixel [4]Dodghson, N. A. (nedatováno). Autostereoscopic 3D Displays [5] ITU-R Recommendation BT.500-10 . (2000). Methodology for the subjective assessment of the quality of the television pictures [6] Michálek, Mirek: (2005) Diplomová práce, ČVUT FEL [7] Stereoskopy. (2008). Načteno z wikipedia.org: www.wikipedia.org/wiki/stereoskopy [8] Svítek, Jakub: (2003). Subjektivní hodnocení kvality obrazu, semestrální projekt, katedra radioelektroniky, ČVUT FEL [9] Pieter Seuntiens, Lynda Meesters and Wijnand Ijsselsteijn: (2006).Perceived Quality of Compressed Stereoscopic Images: Effects of Symmetric and Asymmetric JPEG Coding and Camera Separation, Eindhoven University of Technology [10] Roger Cheng,Klara Nahrstedt: Empirical Study of 3D Video Source Coding For Autostereoscopic Displays [11] Binocular disparity, http://en.wikipedia.org/wiki/Binocular_disparity [12] John Watkinson: (2004). The MPEG handbook – second edition [13] Jiří Šmukař: (2008). Kompresní formát MPEG-4 a jeho srovnání s konkurenčními formáty [14] MercedesBenz: (2008).Environment Perception and Driver Assistance [15] Apple: (2008). Apple ProRes White Paper    

 

32 

Vliv ztrátové komprese na stereoskopické video

Recommend Documents