Komprese multimédií. Ing. Jan Přichystal, Ph.D. 7. října PEF MZLU v Brně

Komprese multimédií Ing. Jan Přichystal, Ph.D. PEF MZLU v Brně

7. října 2010

Ing. Jan Přichystal, Ph.D.

Komprese multimédií

Úvod Komprimace umožňuje efektivní digitální reprezentaci zdrojového signálu jako je text, obraz, zvuk nebo video, použitím redukovaného počtu prvků digitální informace, než má originál. Musí však umožňovat, pokud má být efektivní, reprodukci komprimované informace v požadované kvalitě. Pro komprimaci dat v současných informačních a komunikačních systémech hovoří tři základní důvody: rozsáhlé paměťové nároky multimediálních dat, relativně pomalá paměťová zařízení, která neumožňují přehrávání multimediálních dat v reálném čase, nedostatečná šířka pásma současných sítí pro přenos videa a často i zvuku v reálném čase.



Příklady použití

Předpokládejme barevnou videonahrávku s rámci o rozměru 620×560 pixelů s rozlišením 24 bitů na pixel. Pro uchování jednoho rámce by bylo potřeba asi 1 MB paměti. Pro plynulé přehrávání videa s frekvencí 30 fps to představuje celkem 30 MB paměti na sekundu videa. I v případě dostatečné paměťové kapacity pro uložení videa, nám rychlost přenosových médií neumožní přehrát video v reálném čase. Současné běžné technologie umožňují přenos přibližně 1,2 MB/s. Proto je zatím jedinou možností použití komprimačních metod. Pro různé typy formátů používáme různé komprimační algoritmy.



Komprese rastrového obrazu

Rastrové obrazy se vyznačují vysokou paměťovou náročností, která roste kvadraticky s jejich rozlišením. Na rozdíl od komprese obecných souborů lze vycházet z vlastností a charakteristických rysů konkrétního rastrového obrazu. Velký objem dat a zároveň specifický tvar obrazových informací jsou podnětem pro používání různých druhů kompresí. Na rozdíl od bezztrátové komprese běžných datových souborů, při které nesmí být žádná data ztracena či změněna, je u rastrových obrazů mnohdy žádoucí docílit co nejvyššího kompresního poměru i tím, že pozměníme barevné hodnoty pixelů a zhoršíme tak výsledný obraz použitím ztrátové komprese.



Používané kompresní metody

Kompresní metoda Run length encoding Huffmanovo kódování Lempel–Ziv–Welch Diskrétní kosinová transformace Fraktální komprese

Zkratka RLE CCITT LZW DCT FIF


Ztrátová ne ne ne ano ano


Příklad formátu PCX TIFF GIF JPEG FIF

Run length encoding Jednoduchá a pro velkou třídu obrázků i efektivní metoda vycházející z předpokladu, že v rastrovém obrázku, vzniklém jako kresba či skica, se opakují hodnoty sousedících pixelů. 1 0

čítač hodnota 10000000

hodnota hodnota

hodnota se opakuje 1 + čítač přímý zápis jediné 7-bitové neopakující se hodnoty zápis neopakující se hodnoty větší než binárně 10000000

Ve většině případů je kódování RLE prováděno v rámci jednoho řádku. V případě, že je obrázek tvořen mnoha vodorovnými čarami, je kódování velmi efektivní. Avšak tentýž obraz otočený o 90 ◦ je zapsán téměř beze změny. V případě, že kódovaný obrázek obsahuje neopakující se hodnoty v sousedních pixelech, dochází k záporné kompresi. Lze se setkat i se ztrátovou kompresí RLE, kdy se nejprve testují sousední pixely a pokud se liší jen nevýznamně, nahradí se hodnotou jednou. Metoda RLE je vhodná pro obrázky kreslené od ruky nebo pro ilustrace s většími stejnobarevnými plochami. Ing. Jan Přichystal, Ph.D.


Lempel–Ziv–Welch

Zcela obecná metoda, se kterou se setkáváme ve většině běžných kompresních programů. Princip spočívá v nahrazení vzorků vstupních dat binárními kódy proměnné délky. Vstupní vzorky se překládají pomocí slovníku, který je postupně doplňován o nové vzorky.



Komprese JPEG Pro velmi kvalitní obrazy s mnoha barevnými přechody se metody RLE a LZW nehodí. Metoda je vhodná především pro kódování fotografií, u nichž sousední pixely mají sice odlišné, ale přesto blízké barvy. Snižování kvality se projevuje potlačováním rozdílů v blízkých barvách. U metody DCT je kompresní poměr řízen požadavkem na výši kvality dekomprimovaného obrazu. V praxi se ukazuje, že snížení kvality na 75 % je pro většinu uživatelů nepozorovatelné, přitom kompresní poměr v takovém případě může být až 25:1. DCT je formou diskrétní Fourierovy transformace. Obrazová data jsou považována za barevné vzorky spojitých barevných signálů naměřené v diskrétní síti pixelů. Výsledkem kosinové transformace je pak nalezení sady parametrů kosinových funkcí, jejichž složením lze rekonstruovat původní obraz. Postup při kompresi sestává z 5 kroků. Ing. Jan Přichystal, Ph.D.


Postup JPEG komprimace 1

transformace barev – barvy je třeba převést do barevného modelu YCB CR . V další fázi jsou jasové složky Y a barevné složky CB , CR zpracovávány odděleně.

2

redukce barev – snižování objemu dat zprůměrováním barevných složek sousedních pixelů.

3

dopředná diskrétní kosinová transformace – obrazová data jsou rozdělena do čtverců 8 × 8. Každý čtverec je podroben diskrétní kosinové transformaci. Výsledkem je řídká matice s dominantním levým horním rohem.

4

kvantování koeficientů – zde se stanovuje kvalita (tedy i stupeň komprese) obrazu.

5

kódování – používá Huffmanovo nebo aritmetické kódování s využitím toho, že většina koeficientů v okolí pravého dolního rohu má nulovou hodnotu. Ing. Jan Přichystal, Ph.D.


Postup JPEG komprimace



Transformace barev

Nejprve je potřeba převést obrázek z RGB do YCB CR . Tento barevný model má tři složky Y, CB , CR : Y reprezentuje jas pixelu a CB , CR reprezentují barvu pixelu. Toto barevné schéma umožňuje aplikovat kompresi s lepším výsledkem při stejné kvalitě obrazu.

Y

= 0, 299R + 0, 587G + 0, 114B

Cb = −0, 1687R − 0, 3313G + 0, 5B + 128 Cr

= 0, 5R − 0, 4187G − 0, 0813B + 128



Redukce barev

Lidské oko je citlivější na změny jasu obrazu než na změny odstínů barev. Tohoto faktu se využívá ke zvýšení efektivity komprese obrazu. Je tak možné redukovat složky CB , CR . Redukcí barev lze ušetřit 33–50 % paměťového prostoru. Hodnota se vypočítá jako průměr buď ze dvou sousedních pixelů na řádku, nebo ze čtyř pixelů tvořících čtverec 2 × 2 pixely.



Rozdělení do bloků

Po redukci barev následuje rozdělení každého barevného kanálu obrazu na bloky o velikosti 8 × 8 pixelů. Na ty je následně aplikována diskrétní kosinová transformace (DCT).



Diskrétní kosinová transformace

  7 X 7 X 1 (2x + 1)uπ (2y + 1)uπ  F (u, v ) = C (u)C (v )  f (x, y ) cos cos 4 16 16 x=0 y =0



Kvantování koeficientů Lidské oko je citlivé na malé změny jasu v relativně velké oblasti. Nedokáže však odlišit přesnou hodnotu rozdílů odstínů vysokých frekvencí. Toho lze využít při redukci nesené informace u vysokofrekvenčních koeficientů. Kvantizace redukuje amplitudu koeficientů, které nepřispívají ke kvalitě obrazu. Účelem je také odstranění informace, která není pozorovatelná. Výsledkem je, že většina vysokofrekvenčních koeficientů je nulová.

kvantizační tab. Ing. Jan Přichystal, Ph.D.

kvantované koef. Komprese multimédií

Kódování Výsledkem předchozích kroků byly numerické úpravy čtvercové podoblasti vstupního obrazu, které zjednodušily tvar dat do podoby řídké matice s dominantním levým rohem. Tato matice je nyní zapisována do výstupního souboru postupem CIK-CAK. Při kódování je pak využíváno skutečnosti, že většina koeficientů má nulovou hodnotu. Pro zakódování se používá aritmetické nebo Huffmanovo kódování.

−26 −3 0 −3 −2 −6 2 −4 1 −4 1 1 5 1 2 −1 1 −1 2 0 0 0 0 0 −1 −1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00000000000000000 000000



Dekódování



Srovnání



Fraktální komprese

Moderní, teprve se rozvíjející metoda ztrátové komprese. Patří mezi nesymetrické kompresní postupy, čas komprese a dekomprese se významně liší. Je založena na principu vyhledávání podobností (tvarových, barevných) v různě velkých částech obrazu. Algoritmus FIF se nejprve snaží vhodně rozdělit obraz na menší, nestejně velké části (domény), a poté z nich pomocí různých transformací poskládat celý obraz. Celkově je kvalita výsledných obrázků lepší než při použití metody DCT. Jedinou nevýhodou zůstává delší doba komprese nutná pro analýzu obrazu.



Komprimace audio signálu

Kvalitní digitální stereozáznam používá vzorkovací frekvenci 44,1 kHz, což odpovídá datovému toku 176 400 bajtů za sekundu. Komprimace zvuku se uplatňuje v oblasti přenosu lidského hlasu, kde lze použít nižších vzorkovacích frekvencí a predikce chování akustického signálu. Druhou oblastí je hudební signál, kde se naopak využívají vysoké vzorkovací frekvence a uplatňuje se psychoakustický model sluchu.



Druhy MP3 MP3 spadá do skupiny kompresních algoritmů MPEG. MPEG (Moving Picture Experts Group) pracuje pod vedením International Standards Organization (ISO) a International Elektro-Technical Commission (IEC) a zabývá se kódováním videa a audia. MPEG standardy se dělí: MPEG 1 kódování videa a audia pro uložení na digitálních mediích, datový tok do 1.5Mbit/s MPEG 2 kódování při nižších datových tocích, poloviční vzorkovací frekvence MPEG 3 původně plánováno pro HDTV, později spojeno s MPEG 2 MPEG 4 kódování audiovizuálních objektů (např. pro media objects, syntézu zvuku)



Druhy MP3 Každý standard obsahuje několik částí, které popisují kódování audia, videa, synchronizačních dat a formáty uložení kódovaných dat. MPEG standard obsahuje několik vrstev Layer I-III, které popisují kódovací schémata. Od Layer I do Layer III roste komplexnost a efektivita komprese zvuků, ale klesá rychlost kódování a dekódování. Zvuková schémata se dělí: Layer I nejjednodušší schéma, původně je určeno pro Digital Compact Cassette (DCC) Layer II kompromis mezi kvalitou, rychlostí a kompresním poměrem Layer III od začátku vytvářeno pro nízké bitové proudy, vylepšené kódování



Formát MP3

Myšlenka vytvoření ztrátového kompresního algoritmu pro zvuková data se zrodila v roce 1987 ve Fraunhofer Institut Integrierte Schaltungen (IIS). Využívá se ve specifikaci MPEG 1 a 2 a označuje se jako Layer III (MP3). Záznam odpovídající kvalitě CD je možno získat při 112–128 kbps. Dosažený stupeň komprese je tedy 1:10–12. Kodér i dekodér velmi náročné na výpočetní výkon.



Layer-III (MP3) 1

Kódovaný zvuk se rozdělí na 32 frekvenčních pásem. Každé toto pásmo se kóduje zvlášť. Jednotlivá pásma jsou široká 625 Hz. Pásma jsou na nízkých frekvencích užší a na vyšších širší (kvůli citlivosti ucha na různé frekvence).

2

Je použita ztrátová komprese – kvantizace. Kvantizační koeficienty se vypočítávají dynamicky podle dosažené akustické hladiny zvuku tak, aby šum vzniklý použitím kvantizace byl pod rozlišovací schopností ucha. Využívá se psychoakustického modelu.

3

Kromě klasického psychoakustického modelu je využit temporal masking, který počítá s tím, že hlasitý tón zastíní blízké frekvence nejenom v době, kdy sám zní, ale i chvilku potom (asi 100ms). Zajímavé je, že díky jisté malé prodlevě při zpracování zvuku lidským uchem platí maskování frekvencí i 2–5 ms předem.

4

Vypočtený signál se kóduje Huffmanovým kódováním.

5

Výsledná kvalita je určena datovým tokem.



Psychoakustický model Umožňuje odstranění dat lidským sluchem nepostižitelných a tedy v signálu redundantních, bez znatelné újmy na kvalitě reprodukovaného signálu. 1

omezení frekvenčního rozsahu – využívá omezené citlivosti lidského ucha. Přenosového pásmo se omezuje na šířku 20 Hz až 20 kHz.

2

maskování frekvencí – využívá nelinearity citlivosti lidského sluchu. V přítomnosti silnějšího signálu nedokážeme vnímat slabší signál, který zaniká a není třeba jej tedy uvažovat.

3

časové maskování – využívá setrvačnosti lidského sluchu. I po zániku silnějšího signálu chvíli trvá, než začneme vnímat současně působící slabší signál.



Použití

Tento formát je doporučen „do terénuÿ – na reportáže, komentáře, atd. neboť exceluje na nejnižších bitrates. Pro vyšší kvalitu se hodí lépe Layer-II. Nicméně v současné době se nejčastěji používá právě Layer-III, zvláště pak pro grabování CD.



Ogg

Datový formát Ogg propagovaný nadací Xiph.org byl vytvořen jako výchozí materiál, který si klade za cíl vyvinout komponenty pro kódování a dekódování multimediálního obsahu, přičemž tyto komponenty budou svobodně dostupné a svobodně reimplementovatelné v softwaru. Ogg je jen kontejnerový formát. Vlastní audio nebo video zakódované kodekem bude uložené uvnitř Ogg kontejneru. Ogg kontejnery mohou obsahovat streamy zakódované s vícenásobnými kodeky, například, audio nebo video soubor může obsahovat data zakódovaná audio kodekem i video kodekem. Formát Ogg může uložit audio a video v různých formátech.



Ogg

Audio kodeky ztrátová komprese Speex: hlasová data v nízkém bitratu (8–32 kbps/kanál) Vorbis: hlavní zvuková data ve střední až vysoké úrovni proměnného bitratu (16–500 kbps/kanál)

bezeztrátová komprese FLAC: pro archivní a vysoce přesná zvuková data

Textový kodek Writ: textový kodek k vkládání titulků nebo popisků CMML: textový/aplikační kodek pro časová metadata, popisování, a formátování



Ogg

Video kodeky Theora: konkuruje formátu MPEG-4 a kodekům RealVideo, Windows Media Video. Tarkin: experimentální kodek využívající Diskrétní vlnkovou transformaci v třech dimenzích (šířka, výška a čas). Dirac: experimentální kodek vyvinutý BBC jako základ nového kodeku pro přenos videa přes internet. OggUVS: kodek pro ukládání nekomprimovaného videa.



Ogg Speex

Speex je svobodný zvukový kodek, který slouží ke kompresi lidské řeči. Jeho specializace mu umožňuje dosahovat velmi dobrých kompresních poměrů při zachování srozumitelnosti. Není primárně určen na kompresi telefonních hovorů, ale na VoIP. Speex byl navržen pro použití se třemi vzorkovacími frekvencemi 8 kHz, 16 kHz, a 32 kHz. Kvalita se nastavuje jako parametr od 0 do 10. CBR se nastavuje celočíselným parametrem, VBR reálným parametrem.



Ogg Speex Speex má několik zajímavých postupů, které jsou speciálně určeny pro kompresi lidské řeči: Voice Activity Detection (VAD) – detekce aktivity hlasu. Tato technologie má za úkol rozpoznat, zda řečník právě mluví, nebo dělá přestávku (mezi slovy, větami), nebo prostě jen čeká. V tom případě je produkováno jen velmi malé množství bitů, které stačí na generování šumu. Discontinuous Transmission (DTX) – rozšíření předchozí technologie, která detekuje delší odmlčení. V tom případě úplně zastavuje přenos dat. Perceptual enhancement – Snaží se zeslabit šum vytvořený kódováním/dekódováním. Objektivně (tedy měřením) tato technologie vzdaluje výstupní zvuk od originálu, ale subjektivně je zvuk lepší.



Ogg Vorbis

Vývoj kodeku se datuje do roku 1998, kdy Frauenhoferův institut ohlásil záměr zpoplatnit formát MP3. Umožňuje používat CBR, ABR a VBR. Cílem je získat zvuk lepší kvality při menší velikosti než MP3. Jde o dopředný, adaptivní monolitický kodek využívající DCT a psychoakustický model. Dekódování je výpočetně méně náročné než u MP3, je však náročnější paměťově.



Ogg Vorbis kvalita -q-2 -q-1 -q0 -q1 -q2 -q3 -q4 -q5 -q6 -q7 -q8 -q9 -q10

bitrate not available 45 kb/s 64 kb/s 80 kb/s 96 kb/s 112 kb/s 128 kb/s 160 kb/s 192 kb/s 224 kb/s 256 kb/s 320 kb/s 500 kb/s



Ogg Vorbis

Poslechové testy různých kodeků pro stejné datové toky (bitrates): Nízký bitrate (< 64 kbps): lepší kvalita než WMA Střední až nízký bitrate (< 128 kbps > 64 kbps): lepší kvalita než MP3 a WMA Střední bitrate (128kbps): stejný jako MP3, WMA Pro a QuickTime AAC Vysoké bitrates (> 128 kbps): znatelné rozdíly rozpozná jen školený posluchač, lepší než MP3



Windows Media Audio (WMA)

součástí programového vybavení Windows Media firmy Microsoft. zpočátku vyvíjen jako konkurence MP3. nabízí zvukovou kvalitu srovnatelnou s audio CD při datovém toku 64kbps, což představuje přibližně dvakrát účinnější kompresi oproti MP3. Ve spojení s ASF – Advanced Streaming Format může být WMA streamován. WMA formát podporuje celá řada přenosných hardwarových i softwarových přehrávačů.



AAC – Advanced Audio Coding

jedná se o nástupce MP3, není však zpětně kompatibilní lepší komprese při zachování srovnatelné kvality s MP3 (výsledkem jsou menší komprimované audio soubory), větší počet audio kanálů širší nabídku dostupných vzorkovacích frekvencí pro zajištění lepšího výsledného zvuku, součástí standardu MPEG-4. využíván firmou Apple, např. v přehrávačích iPod



ATRAC3 – Adaptive Transform Acoustic Coding 3

majetkem firmy Sony a představuje vylepšenou verzi formátu ATRAC, který je používán v přehrávačích MiniDisc. nabízí stejnou kompresi i zvukovou kvalitu jako MP3.



ePAC – Enhanced Perceptual Audio Coder

autorem firma Lucent Technologies při kompresním poměru 11:1 k nerozeznání od originálního CD (téměř na stejnou úroveň jako formát MP3) používá se pro přenosné MP3 přehrávače.



Real Audio

kompresním formátem pro streaming audio a video dat od RealNetworks po zvukové stránce při vyšším datovém toku (bitrate) srovnatelný s MP3



FLAC – Free Lossless Audio Codec

V současnosti nejrozšířenější bezztrátový audiokodek Navržen především pro kompresi zvukových dat (vzorky mají vysoký stupeň korelace)



FLAC – vlastnosti Rychlost – symetrický z hlediska kódování a dekódování Podpora hardware – podporován na přenosných přehrávačích, domácích audiosystémech i PC Přizpůsobitelnost – metadata mohou být modifikována přehrávacím zařízením nezávisle na zvukové stopě Prohledávatelnost – rychlé přeskakování ve skladbě Streamování – každý rámec je možné rozkódovat a přehrát nezávisle na ostatních Archivace – bezztrátová komprese umožňuje dekódování do stavu před kompresí Archivace CD – podporuje cue sheet, CD lze převést do jednoho souboru a skladby přehrávat jako na CD Odolný proti chybám – chybné rámce lze přeskakovat Neobsahuje DRM Ing. Jan Přichystal, Ph.D.


Postup – rozdělení do bloků

vstupní signál rozdělen na bloky, délka bloku ovlivňuje výsledný kompresní poměr, minimální velikost bloku je 16 vzorků maximální velikost bloku je 65535 vzorků výchozí velikost bloku je 4096 do budoucna se počítá s proměnnou délkou bloku stereo lze kódovat pomocí rozdílů



Postup – aproximace

signál je aproximován modelem zvuku po odečtení vzniká error signál, který vyžaduje méně bitů na kódování přenáší se i funkční parametry k aproximaci se používá polynomická a lineární predikce polynomická je rychlejší, ale ne tak přesná čím vyšší stupeň lineární predikce tím je proces pomalejší, ale přesnější



Postup – kódování zbytku

error signál je kódován Riceovým kódem (Huffman) každý výsledný rámec je uvozen hlavičkou se synchronizačním kódem, vzorkovací frekvencí a počtem bitů na vzorek rámec obsahuje i CRC kód pro kontrolu dat



Výsledný formát

Ve zkomprimovaném souboru jsou odděleny části zvuku a metadata. 4 B textový řetězec „fLaCÿ sloužící jako poznávací značka blok metadat STREAMINFO obsahující informace o vzorkování, počtu kanálů, min. a max. velikost rámců a MD5 otisk původních dat další metadata bloků (nepovinná část) s různými informacemi – např. PICTURE pro obal desky samotný komprimovaný audio záznam rozdělený do rámců



Apple Lossless

Apple Lossless, také známý jako Apple Lossless Encoder (ALE), nebo Apple Lossless Audio Codec (ALAC) je audio kodek, vyvinutý společností Apple Computer pro bezztrátovou kompresi hudby. Používá kontejner MP4. Není založen na AAC, ale používá lineární predikci podobně jako ostatní bezztrátové audio kodeky. Podle specifikace firmy Apple audio soubory komprimované pomocí ALAC potřebují přibližně polovinu velikosti nekomprimovaných dat. Testy však prokázaly, že soubory průměrně dosahují 60 % původní velikosti, podobně jako ostatní bezztrátové formáty. Na rozdíl od ostatních formátů, Apple Lossless není náročný na dekompresi a je tak použitelný i v přístrojích s omezeným zdrojem energie jako například iPod.



Zvukové artefakty

Aplikováním kompresních algoritmů se v někdy objevují charakteristické zvukové projevy znehodnocující výsledek. pre-echo – slabá kopie zvuku, který teprve zazní reverb – kovově znějící ozvěna trylkování zhrubnutí ...



Komprimace videa

Video je reprezentováno jako posloupnost rámců ve formátech RGB, YUV . . . . Vjem spojitého pohybu vzniká při přehrávání rámců frekvencí 15 fps a vyšších. Pro zobrazování videa v televizních formátech i ve formátech pro PC jsou různé avšak metody pro jejich komprimace jsou v podstatě stejné. Stejně jako při komprimaci audia i při komprimaci videa je potřeba vynucena nedostatečnou kapacitou přenosových médií.



Ideální metoda komprimace

přehrávání bez nutnosti použití drahých technických zařízení, přizpůsobit se (postupným snižováním kvality) při přetížení přenosové sítě anebo při použití na méně výkonném hardware, komprimace v reálném čase bez nutnosti použití nákladného hardware.



Formát MPEG Komprimace využívá vnitrorámcové, mezirámcové komprimace a metody odhadu pohybu pro snížení datového toku. Vnitrorámcová komprimace je založena na DCT. Rámce jsou kódovány do tří typů: rámce I – samostatné, nezávisle zobrazitelné, zakódovány pomocí DCT, rámce P – kódovány pomocí dopředného prediktivního kódování, je kódován vzhledem k vztahu k předchozímu rámci I nebo P, rámce B – zakódovány pomocí dvou referenčních rámců – předchozího a následujícího I nebo P. I B B P B B P B B P B B I



Závěr

Děkuji za pozornost Dotazy?



Komprese multimédií. Ing. Jan Přichystal, Ph.D. 7. října PEF MZLU v Brně

Recommend Documents