KÓDOVANIE OBRAZU VO VIDEOKOMUNIKÁCIACH JÁN MIHALÍK
OBSAH 1. ÚVOD............................................................................................................. 1 2. CHARAKTERISTIKY A MODELY OBRAZU............................................ 3 2.1. Deterministické charakteristiky obrazu.................................................... 3 2.2. Štatistické charakteristiky spojitého obrazu............................................. 6 2.3. Štatistické charakteristiky diskrétneho obrazu....................................... 10 2.4. Štatistické modely obrazu....................................................................... 14 3. ZÁKLADNÁ TEÓRIA KÓDOVANIA OBRAZU...................................... 18 3.1. Redukcia irelevancie obrazu................................................................... 19 3.2. Redukcia redundancie obrazu................................................................. 21 3.3. Analýza zdrojového kódovania obrazu................................................... 22 3.4. Kvantitatívne miery skreslenia kódovaného obrazu............................... 26 4. DISKRETIZÁCIA OBRAZU........................................................................ 29 5. INTERPOLÁCIA OBRAZU......................................................................... 38 6. SKALÁRNE KVANTOVANIE OBRAZU................................................... 44 6.1. Optimálne lineárne skalárne kvantovanie............................................... 45 6.2. Optimálne nelineárne skalárne kvantovanie........................................... 48 6.3. Nelineárne skalárne kvantovanie metódou kompandovania................... 50 6.4. Adaptívne skalárne kvantovanie............................................................. 53 7. VEKTOROVÉ KVANTOVANIE OBRAZU.............................................. 55 7.1 Základná teória vektorového kvantovania................................................ 55 7.2. Mriežkové vektorové kvantovanie.......................................................... 60 7.2.1. Druhy a vlastnosti mriežok............................................................ 61 7.2.2. Niektoré mriežkové vektorové kvantizátory................................. 64 7.3. Optimálne vektorové kvantovanie.......................................................... 67 8. ENTROPICKÉ KÓDOVANIE...................................................................... 70 9. VNÚTROSNÍMKOVÁ PREDIKCIA OBRAZU.......................................... 74 9.1. Optimálne nemenné algoritmy................................................................ 75 9.2. Suboptimálne nemenné algoritmy........................................................... 81 9.3. Adaptívne algoritmy................................................................................ 82 9.4. Vektorové algoritmy................................................................................ 85 10. MEDZISNÍMKOVÁ PREDIKCIA OBRAZU............................................ 87 10.1. Optimálne nemenné algoritmy............................................................ 87
10.2. Adaptívné algoritmy s pohybovou kompenzáciou............................. 89 10.2.1. Estimácia pohybu v obraze.............................................................90 10.2.2. Rýchle algoritmy estimácie pohybu v obraze................................ 94 11. DISKRÉTNE ORTOGONÁLNE TRANSFORMÁCIE OBRAZU............ 98 11.1. Jednorozmerné diskrétne ortogonálne transformácie.......................... 98 11.2. Mnohorozmerné diskrétne ortogonálne transformácie...................... 105 11.3. Štatistická analýza obrazu v transformovanom priestore.................. 110 12. HIERARCHICKÉ REPREZENTÁCIE OBRAZU.................................... 112 12.1. Pyramídová reprezentácia................................................................. 112 12.2. Subpásmová reprezentácia................................................................ 113 12.3. Waveletová reprezentácia.................................................................. 118 13. PREHĽAD METÓD KÓDOVANIA OBRAZU........................................ 122 14. PREDIKČNÉ KÓDOVANIE OBRAZU................................................... 125 14.1. Vnútrosnímkové predikčné kódovanie obrazu.................................. 127 14.2. Medzisnímkové predikčné kódovanie obrazu................................... 130 14.3. Zhodnotenie účinnosti a vlastnosti metód predikčného kódovania obrazu.............................................................................. 132 15. TRANSFORMAČNÉ KÓDOVANIE OBRAZU...................................... 134 15.1. Vnútrosnímkové transformačné kódovanie obrazu........................... 137 15.2. Medzisnímkové transformačné kódovanie obrazu............................ 143 15.3. Zhodnotenie účinnosti a vlastností metód transformačného kódovania obrazu.............................................................................. 145 16. HYBRIDNÉ KÓDOVANIE OBRAZU..................................................... 146 16.1. Vnútrosnímkové hybridné kódovanie obrazu................................... 150 16.2. Medzisnímkové hybridné kódovanie obrazu.................................... 154 16.3. Zhodnotenie účinnosti a vlastností metód hybridného kódovania obrazu............................................................................... 160 17. INTERPOLAČNÉ A EXTRAPOLAČNÉ KÓDOVANIE OBRAZU....... 161 18. KÓDOVANIE OBRAZU S POUŽITÍM JEHO HIERARCHICKÝCH REPREZENTÁCIÍ.................................................................................... 165 19. KÓDOVANIE OBRAZU POMOCOU VEKTOROVÉHO KVANTOVANIA ..................................................................................... 167 20. OBRYSOVÉ KÓDOVANIE OBRAZU.................................................... 170
21. MODELOVÉ KÓDOVANIE OBRAZU................................................... 172 22. ŠTATISTICKÉ A INÉ METÓDY KÓDOVANIA OBRAZU.................. 173 23. MEDZINÁRODNÁ ŠTANDARDIZÁCIA VIDEOKODEKOV.............. 175 24. ŠTANDARDNÉ VIDEOFORMÁTY........................................................ 178 25. OBRAZOVÝ KODEK JPEG..................................................................... 179 25.1. JPEG so stratovým kódovaním......................................................... 179 25.2. JPEG s bezstratovým kódovaním...................................................... 181 26. VIDEOKODEK H.261.............................................................................. 182 26.1. Videoformát a jeho hierarchické rozdelenie...................................... 183 26.2. Zdrojový kodér.................................................................................. 185 26.3. Entropický kodér............................................................................... 188 27. VIDEOKODEK H. 263............................................................................. 190 28. VIDEOKODEK MPEG-1.......................................................................... 195 28.1. Organizácia videosekvencie a spôsoby redukcie medzisnímkovej redundancie....................................................................................... 196 28.2. Proces kódovania MPEG-1............................................................. 199 28.3. Proces dekódovania MPEG-1.......................................................... 201 29. VIDEOKODEK MPEG–2......................................................................... 203 29.1. MPEG–2 bez škálovania...................................................................203 29.2. MPEG – 2 so škálovaním.................................................................206 30. VIDEOKODEK MPEG – 4........................................................................ 209 30.1. Syntax a štruktúra videokodeka MPEG-4.........................................212 30.2. Algoritmy kódovania tvaru videoobjektu.......................................... 214 30.3. Algoritmy estimácie a kompenzácie pohybu videoobjektu............... 215 30.4. Algoritmy kódovania textúr videoobjektu......................................... 217 30.5. Priestorové a časové škálovanie videoobjektov................................ 219 31. ZÁVER....................................................................................................... 221 LITERATÚRA ................................................................................................ 223 REGISTER....................................................................................................... 242
1. ÚVOD Priemyselný charakter sveta sa v súčasnosti postupne mení na informačný. V súvislosti s tým sa formuje a intenzívne rozvíja nový vedný odbor informatiky, ktorého obsahom je vytváranie, spracovanie, prenos, záznam a využívanie informácií. Pretože človek najviac informácií prijíma cez svoj zrakový orgán, prioritnou informáciou sa stáva obraz. S prudkým rozvojom technológie integrovaných obvodov VLSI, výpočtovej techniky, mikroelektroniky aj optoelektroniky sa uprednostňuje číslicové spracovanie, prenos a záznam obrazov [1,2,3]. Tak ako číslicové systémy spracovania obrazov [4] aj číslicové obrazové komunikačné systémy [5,6] vo všeobecnosti obsahujú na svojom vstupe a výstupe kódovacie a dekódovacie systémy (kodeky). Techniky úsporného kódovania obrazu [7] umožňujú značne redukovať bitovú rýchlosť na výstupe kodekov, pri zachovaní kvality kódovaného obrazu. Týmto sa znižuje požadovaná kapacita prenosového kanála na jeho prenos, čím sa dosahuje vysoká efektívnosť videokomunikácií, ale zároveň sa zmenšujú aj požiadavky na jeho záznam. Z tohto vyplýva aktuálnosť kódovania obrazu, pričom pri výbere jeho metód sa sleduje predovšetkým maximálna kompresia údajov, možnosť technickej realizácie s kódovaním v reálnom čase a odolnosť voči poruchám. Tieto metódy súčasne majú používať také algoritmy číslicového spracovania, ktoré sú vhodné aj pre iné úlohy, čo vedie k ich modulárnym štruktúram. Vo všeobecnosti videokomunikácie sa uskutočňujú nielen s prioritnou informáciou dynamického farebného obrazu (videom), ale integrovaným spôsobom včítane prídavných informácií ako sú statické obrazy, reč, text, počítačové údaje, atď. Tieto ďalej môžu byť symetrické s rovnako požadovaným prenosom obrazov aj prídavných informácií v obidvoch smeroch alebo nesymetrické, ktoré komunikujú s týmito informáciami len v jednom smere. Typickým príkladom symetrických videokomunikácií sú videokonferencie alebo videotelefónia a nesymetrických- televízia. Videokomunikácie možno jednotlivo realizovať v homogénnych sieťach a to buď telekomunikačných (konvenčných, ISDN, ATM, mobilných),terestriálnych alebo satelitných, ale aj v heterogenných sieťach (multimediálne videokomunikácie). Trvalo niekoľko desaťročí pokiaľ techniky kódovania obrazu prešli z čisto akademickej pôdy do komerčnej oblasti. Dostupné technológie číslicového kódovania obrazu s vysokou kompresiou údajov umožňovali nové aplikácie vo videokomunikáciach ako sú : videotelefónia, videokonferencie, video na požiadanie, číslicové TV a HDTV vysielanie, multimediálne služby (video) atď. Tieto technológie bezprostredne ovplyvňujú produktivitu práce, pretože umožňujú realizáciu flexibilných, mobilných a interoperabilných obrazových komunikačných systémov, ktoré zabezpečujú videokomunikáciu každého s každým na akomkoľvek mieste a v ľubovoľnom čase. Preto narastala požiadavka medzinárodnej štandardizácie obrazových (video) kodekov. Ich štandardizácia umožní ľahkú výmenu
kompresovaného videa pomocou pamäťových médií napr. CD-ROM, DVD alebo telekomunikačných sietí napr. ISDN, ATM a to na národnej aj medzinárodnej úrovni čím sa otvára veľký trh pre videokomunikačné zariadenia. Predkladaná monografia vznikla v Laboratóriu číslicového spracovania obrazov a videokomunikácií, Katedry elektroniky a multimediálnych telekomunikácií, FEI TU v Košiciach na základe dlhodobej vedeckej a pedagogickej činnosti autora v danej oblasti. Jej obsah je orientovaný najmä na techniky kódovania obrazu vhodné pre štandardné videokodeky, ktoré umožňujú realizáciu uvedených druhov videokomunikácií v homogennom aj heterogennom prostredí a zabezpečujú kompatibilitu komerčných zariadení pre tieto aplikácie od rôznych výrobcov. Nasledovné dve kapitoly pojednávajú o charakteristikách, modeloch a základnej teórii kódovania obrazu. Potom ďalších deväť kapitol je venovaných najviac používaným operáciam v procese kódovania obrazu ako je diskretizácia a interpolácia, skalárne a vektorové kvantovanie, entropické kódovanie, vnútrosnímková a medzisnímková predikcia, diskrétne ortogonálne transformácie a hierarchickým reprezentáciam obrazu. V 13.kap. sa uvádza prehľad metód kódovania obrazu a tieto sú hlbšie analyzované v kap.14 až 22. V nich sa pojednáva o princípoch, teórii a rôznych modifikáciach predikčných, transformačných, hybridných, interpolačných a extrapolačných metód kódovania obrazu ako aj metód s použitím hierarchických reprezentácií (pyramídovej, subpásmovej, waveletovej) alebo vektorového kvantovania obrazu, nakoniec aj obrysových, modelových, štatistických a iných metód kódovania obrazu. Ďalej kap.23 sa venuje medzinárodnej štandardizácii videokodekov a kap.24 štandardným videoformátom. Nasledovné kap.25 až 30 hlbšie popisujú jednotlivé štandardné videokodeky ako sú JPEG, H.261, H.262, H.263, MPEG-1, MPEG-2, MPEG-4. V záverečnej kap.31 sa vykonal chronologický (časový) vývoj jednotlivých metód kódovania obrazu a ich vyustenie do medzinárodných štandardných videokodekov. V zozname literatúry po jednotlivých kapitolách sa uvádzajú im zodpovedajúce referencie. Predkladaná monografia je určená pre študentov graduálneho (inžinierského aj bakalárskeho) a postgraduálneho (doktorandského) štúdia hlavne v odboroch telekomunikácií a elektroniky, ale aj iných príbuzných odboroch využívajúce informačné technológie. Okrem toho je určená vedeckým a odborným pracovníkom z odboru informatiky, ktorí sa zaoberajú danou oblasťou, ale aj širokej odbornej verejnosti pracujúcej všeobecne v odbore číslicového spracovania a telekomunikácií vzhľadom na univerzálny charakter niektorých techník kódovania obrazu aplikovateľných aj pre iné signály.
