1 Přenos: Kodování, formáty dat Idea přenosového řetězce je naznačena na obrázku (viz Obr. 1). Jako zdroj 3D obsahu je v dnes technicky nejvyspělejším případě možno použít přímo počítačem syntetizovaný obraz. Další možností je pak signál ze stereoskopické kamery. Při použití této je jednak nutná odlišná práce kamerového technika vůči současnému 2D variantě, zejména přesně souhlasné nastavení parametrů obou kamer (matching). Tyto parametry jsou např. ohnisková vzdálenost, ostření, clona a další. Při režijním zpracování je pak nutno vyvarovat se například střihu z kladné do záporné paralaxy. Třetím zdrojem obsahu je převod 2D záznamu na 3D. V této oblasti probíhá v současnosti z pochopitelné motivace použití stávajícího obsahu vývoj, a to ve dvou základních směrech. Jednak se jedná o systémy, kde je hloubková informace manuálně zadávána pro referenční snímky a dále je pak extrapolována do dalších snímků. Dále pak jde o více či méně automatizované systémy pro vytváření hloubkové mapy na základě monokulárních vodítek hloubky, jako jsou analýza zaostření (depth from focus), geometrická perspektiva, pohybová paralaxa, texturní analýza a další.
Obr 1.1Schéma přenosového řetězce 3D televize.
1.1 Metody 3D video kódování • • •
Prostorová komprese Časový multiplex 2D + metadata o 2D + delta o 2D + depth o 2D + depth +metadata
1.1.1 Prostorová komprese Prostorová komprese, spočívá v podvzorkování obrazu pro levé a pravé oko a následné prostorové přeskládání jednotlivých pixelů obrazu. V normě [1] jsou definovány dva způsoby tohoto uspořádání, nazývané též jako Frame Compatible (FC). Side-by-Side a Top-andBottom. Pro jiné systémy byly zkoušeny i další způsoby uspořádání (Obr. 2). Podrobněji popisuje způsob skládání podvzorkovaných signálů obrázek 3. Tento, nejjednodušší způsob je v současnosti také nejčastěji užíván. Transformace se provádí ještě před komprimací metodou
MPEG-4 AVC. Na přijímací straně dojde inverzně nejprve k dekompresi a poté buď v set top boxu, nebo až v zobrazovači k rozdělení a interpolaci.
Obr 1.2 Prostorová komprese videa: Side-by-side, Top-and-Bottom, Row-by-Row a Chessboard.
Obr 1.3 Popis skládání podvzorkovaných video framů do Side-by-side. [1].
Popsaný a normou definovaný způsob má výhodu v použití současné infrastruktury (zcela neměnný systém pro konečné odbavení pořadu, komprimaci, modulaci, přenos až po set top box diváka) a neklade tedy na její provozovatele ani na uživatele další náklady vyjma nákupu 3D zobrazovače. Nevýhody jsou rovněž na první pohled zřejmé. Jsou jimi nemožnost přijmu jednoho pohledu (2D) stávající technologií, která prezentuje obraz jako podvzorkovanou dvojici obrazů s nemožností použití pouze jednoho z obrazů. Je-li tedy požadován příjem 2D obrazu stávajícími zařízeními, je při tomto systému vysílání nutno šířit paralelní datový tok s 2D mutací obsahu, což nelze považovat za efektivní využití přenosových prostředků.
1.1.2 Časový multiplex Problém popsaný v předchozím odstavci by mohl vyřešit časový multiplex. V prvních fázích vývoje bylo uvažováno o podobné prezentaci 3D obsahu jako bylo popsáno v minulém odstavci (FC), ovšem při postupném časovém střídání levého a pravého snímku. Tento způsob se však neujal. Nepřinesl by totiž výhodu zpětné kompatibility z důvodu nutnosti použití neprokládaného formátu a problémům s nekompatibilitou obrazového kodéru. Alternativou se kterou se počítá v další fázi rozvoje 3D vysílání je možnost použití dvou nezávislých obrazových toků, což zabezpečí výše zmíněnou kompatibilitu s 2D HD přijímačem. Pro 3D příjem však bude v takovém případě třeba nejen 3D zobrazovač, ale i nový set top box.
1.1.3 2D + metadata Mezi další a v současnosti využívané způsoby kódování 3D obsahu patří systém 2D+delta. Jak již název napovídá, využívá systém vysoké míry korelace mezi datovými toky pro levé a pravé oko. Kdy je kódován pouze rozdíl mezi těmito snímky. Praktickou realizací takovéhoto
kompresního standardu je například Multiview Video Coding (MVC). Tento kompresní algoritmus je zpětně kompatibilní s MPEG-4 AVC, což jej předurčuje k budoucímu nasazení pro účely 3D vysílání. V současnosti se používá například pro distribuci 3D obsahu na Bluray discích. Princip jeho funkce popisuje schematicky obrázek 4.
Obr 1.4 Schéma kompresních algoritmů pro multiview video. [4] a) Nezávislé pohledy komprimované MPEG-4 AVC b) Interpolace použitím informace I snímků referenční sekvence c) Kompletní interpolace
Je vhodné poznamenat, že při tomto způsobu zpracování informace, se počítá s více diskrétními pohledy (v tomto případě s osmi S0÷S7) a tedy i z možností budoucího použití vícepohledového displeje s horizontálním dělením pohledů. Obrázek 4a) demonstruje situaci s paralelně komprimovanými datovými toky popsanou v předchozí kapitole. T0÷T7 je jedna Group of Picture (GOP) známá z MPEG-4 AVC. Obrázky 4 b,c) pak popisují stejných 7 pohledů vzájemně zakódovaných ve dvou úrovních “časoprostorového“ kódování. Je zřejmé, že kompletní interpolace c), která se běžně používá například pro zmíněné Blue-ray disky nabízí vyšší míru komprese (snížení datového toku až o 60% proti případu a)) za cenu mírného zvýšení výpočetní náročnosti. I v tomto případě však zůstává možná zpětná kompatibilita s dekodérem MPEG-4 AVC. Popsaný systém 2D+delta však stále trpí mnohými necnostmi, jež brání jeho budoucímu univerzálnímu použití. Mezi tyto nevýhody patří například Diskrétní počet pohledů bez možnosti jednoduchého spojitého renderingu. Pohybová paralaxa je běžná pouze v horizontálním směru. Dále se jedná o problém adaptivní paralaxy. Tedy nelinearity snižování vnímané hloubky při poklesu úhlopříčky stínítka. Při tomto způsobu také není možné použít Depth Range Control (DRC), tedy uživatelsky nastavitelnou hloubku 3D vjemu. Zmíněné nevýhody by odstranily formáty 2D+depth, kde je spolu se klasickým 2D videem přenášena i hloubková mapa umožňující na straně dekodéru v určitém rozsahu spojitý rendering pohledů ve vertikálním i horizontálním směru, přizpůsobení konkrétnímu zobrazovači, DRC a další. Více o tomto způsobu kódování v kapitole 7.
1.2 3D televizní vysílání: Současný standard a předpokládaný vývoj 3D televizní vysílání je v současnosti rozšířené zejména pomocí kabelové a satelitní platformy. [3] EmiTel sice testoval na svém multiplexu ve Varšavě i pozemní šíření. Nikdy zde však nedošlo k pravidelnému vysílání. Současné vysílání se řídí dříve již zmíněnou normou ETSI. [1] tato definuje jednak použité FC uspořádání obrazu a dále pak signalizaci o přítomnosti a parametrech 3D vysílání a to jednak ve vlastních PES paketech, stejně jako v servisních tabulkách transportního toku MPEG2-TS. Dále je zde popsáno, kde se v transportním toku nachází informace o vysílání 3D obsahu, minimální a maximální disparitě obrazu (video depth range descriptor), dále jsou zde rovněž popsány scénáře přepínání mezi vysíláním 2D-HD a 3D TV obsahem. Norma definuje dvě formy stereoskopického vysílání. Jsou to jednak “mód příležitostného vysílání 3D obsahu“, a dále pak “mód dominantního 3D vysílání 24/7“. Obecně lze pro oba módy specifikovat, že informace o 3D videu je vždy určitým způsobem přenášena již v rámci PES paketů videa jako SEI (H.264/AVC Supplemental Enhancement Information). O přítomnosti této informace v transportním toku videa informuje AVC video descriptor v tabulce PMT (Program Map Table), a to nastavením indikátoru Frame_Packing_SEI_not_present_flag [1], [2]. Kromě toho je informace o vysílání 3D obsahu přítomna v tabulce SDT (Service Description Table) a nepravidelně vysílané tabulce EIT (Event Informatik Table). Tabulka SDT obsahuje 2 pro další měření relevantní decriptory. Je jím Service type (Service descricptor) a Component type (Component descriptor). Service type nabývá v režimu pravidelného 3D vysílání hodnot 0x1C, 0x1D nebo 0x1E, v případě příležitostného pak hodnot používaných též v klasickém 2D-HD vysílání, tedy 0x19, 0x1A, nebo 0x1B. Component type udává v případě 3D vysílání typ stranové komprese. Pro Side-by-side má hodnotu 0x80, pro Top-and-bottom pak 0x81.
European Broadcasting Union (EBU) rozdělila v roce 2010 (dosti optimisticky) předpokládaný vývoj 3D televize do 4 generací. První generaci popisuje současná norma [1] s výhledem systému kompatibilního s 2D HDTV přijímačem, tedy s oddělenými obrazovými toky pro levé a pravé oko (Popisováno jako fáze 1 a 3 první generace). Druhá generace by měla umožnit horizontální pohybovou paralaxu (nasazení multiview stereoskopických displejů). Třetí generace předpokládá více pohledů i ve vertikálním směru a čtvrtá využití hologramu, neboli přenos optického pole v dané oblasti. Autor je nucen poukázat na fakt, že dlouhodobé extrapolace vývoje jakéhokoli technického systému nemusí být vždy naplněny, jak se začíná projevovat i na popsaném příkladu.
