ýESKÉ VYSOKÉ UýENÍ TECHNICKÉ V PRAZE Fakulta elektrotechnická
BAKALÁěSKÁ PRÁCE
2007
Autor Petr Rigoci
ýESKÉ VYSOKÉ UýENÍ TECHNICKÉ V PRAZE Fakulta elektrotechnická Katedra mČĜení
Použití standardu PEVQ pro mČĜení kvality video telefonie
Vedoucí práce Ing. OndĜej Tomíška
Autor Petr Rigoci Praha 2007
Prohlášení Prohlašuji, že jsem svou bakaláĜskou práci vypracoval samostatnČ a použil jsem pouze podklady (literaturu, projekty, SW atd.) uvedené v pĜiloženém seznamu. Nemám závažný dĤvod proti užití tohoto školního díla ve smyslu § 60 Zákona þ.121/2000 Sb., o právu autorském, o právech souvisejících s právem autorským a o zmČnČ nČkterých zákonĤ (autorský zákon).
V Praze dne 24.8.2007 podpis
Anotace
Cílem této bakaláĜské práce byla rešerše dostupných metod pro mČĜení video kvality. ZamČĜil jsem se proto k popisu celkového obrázku této problematiky, na mČĜení kvality, algoritmy, chyby a video formáty. V souþasné dobČ se rozvoj video telefonie velice rozšíĜil, aĢ už pomocí internetu þi mobilního telefonu. V budoucnu se bude jednat o jednu z nejvíce rozvíjejících se technologií v oblasti komunikace.
Annotation
The goal of these baccalaureate work was search accessible methods for video quality measurement. Therefore, I located to description of the total picture of those problems, to quality measurement, algorithms, degradation and video format. The developement of video telephony is very broadened at present, for example in internet or mobile phone. In the future it will go about most booming technology in communication.
1.ÚVOD................................................................................3 1.1. MOBILNÍ SÍTċ GPRS, EDGE A UMTS......................................................... 4 1.2. ANALOGOVÉ A DIGITÁLNÍ VYSÍLÁNÍ .............................................................. 5 1.2.1. Digitální technologie ................................................................................... 5 1.2.1.1. Digitální televize DVB.......................................................................................... 6
1.2.2. Analogová technologie................................................................................ 8 1.2.2.1. Analogová televize A-TV..................................................................................... 8
1.3. POROVNÁNÍ DIGITÁLNÍ A ANALOGOVÉ TECHNOLOGIE ..................................... 9 1.4. PAKETOVÝ PěENOS .................................................................................. 11
2. SUBJEKTIVNÍ A OBJEKTIVNÍ TESTOVÁNÍ .................13 2.1. SUBJEKTIVNÍ TESTOVÁNÍ........................................................................... 15 2.1.1. Obecné podmínky pro sledování subjektivního hodnocení v laboratorním prostĜedí.......................................................................................16 2.1.2. Obecné podmínky pro sledování subjektivního hodnocení v domácím prostĜedí. .............................................................................................................16 2.1.3. Metoda DSIS (The double-stimulus impairment scale)...............................18 2.1.4. Metoda DSCQS (The double-stimulus continuous quality-scale) ...............19
2.2. OBJEKTIVNÍ TESTOVÁNÍ ............................................................................ 20 2.2.1. Intrusive testing..........................................................................................21 2.2.2 Non-intrusive testing ...................................................................................22
3. ALGORITMY PRO OBJEKTIVNÍ TESTOVÁNÍ..............23 3.1. PRVNÍ OBJEKTIVNÍ ALGORITMY PRO MċěENÍ VIDEO KVALITY ......................... 23 3.1.1. PSNR ........................................................................................................26 3.1.2. CPqD.........................................................................................................26 3.1.3. Tektronix/Sarnoff .......................................................................................27 3.1.4. NHK/Mitsubishi Electric Corp .....................................................................27 3.1.5. KDD...........................................................................................................27 3.1.6. EPFL .........................................................................................................28 3.1.7. TAPESTRIES ............................................................................................28 3.1.8. NASA.........................................................................................................29 3.1.9. KPN/Swisscom CT ....................................................................................29 3.1.10 NTIA .........................................................................................................30 3.1.11. IFN...........................................................................................................31
3.2. PERCEPTUAL EVALUATION OF VIDEO QUALITY (PEVQ) ............................. 32 3.2.1. Struktura PEVQ algoritmu..........................................................................32 3.2.2. Podporované formáty.................................................................................33
3.3. VIDEO QUALITY MODEL OD NTIA ............................................................... 34 3.3.1 Spatial alignment ........................................................................................36 3.3.2. PVR (Processed Valid Region) ..................................................................38 3.3.3. Gain and offset ..........................................................................................39 3.3.4. Temporal alignment ...................................................................................40
4. CHYBY V OBRAZE PO PRģCHODU TESTOVANÝM ZAěÍZENÍM....................................................................42 5. VIDEO FORMÁTY .........................................................45 5.1 STANDARD H.263 ..................................................................................... 45 5.2 STANDARD H.264 (MPEG-4 AVC)............................................................ 46 5.3 MPEG ..................................................................................................... 46
-1-
5.3 ZÁKLADNÍ ÚDAJE STANDARDU ITU-R 601................................................... 47
6. ZÁVċR ...........................................................................48 7. SEZNAM LITERATURY.................................................49
-2-
1.Úvod UMTS sítČ s technologií 3G se v EvropČ stále více rozmáhají a jejich provozovatelé nemohou zĤstat jen u hlasových nebo bČžných datových služeb, nabízejí proto stále více videí a multimédií založených na službách jako: Video Telephony, Video Streaming a Video Messaging. Další zpĤsob video telefonie je pĜes internet. VČtšina dnešních uživatelĤ internetové telefonie volí Skype. NČkterým však nevyhovuje jeho uzavĜený proprietární protokol a tak zkoušejí jiné možnosti - Gizmo project, Teamspeak, Paltalk Video Chat Messenger, Woize, Jajah, SJphone, iPhox. Kvalita tČchto služeb je rozhodující pro zákazníka, protože pokud nebude zákazník s kvalitou spokojen, nebude tyto služby využívat. Z tohoto dĤvodu musí být rozvoj tČchto mČĜících algoritmĤ dostupný. V posledních deseti letech se do popĜedí dostal Opticom, díky jejich úspČchĤm, mezi nČž patĜí v souþasné dobČ nejlepší standardy ve zvukové kvalitČ jako napĜ.: PESQ (Perceptual Speech Quality Measure), PEAQ (Perceptual Evaluation of Audio Duality) a 3SQM (Single Sided Speech Quality Measure). OPTICOM nyní prezentuje nové mČĜení pro video kvalitu: PEVQ
(Perceptual Evaluation of Video Quality). Jde o objektivní mČĜící algoritmus, který se snaží napodobit HVS (Human Visual Systém). Další významná skupina je VQEG (Video Quality Experts Group), která spolupracuje s Opticomem na standardizaci PEVQ. VQEG je skupina expertĤ rĤzného vzdČlání a pĤvodu, pracující na hodnocení video kvality. Tato skupina byla založena v Ĝíjnu 1997. VČtšina expertĤ z této skupiny pĤsobí v ITU (International Telecommunication Union). Mezinárodní telekomunikaþní unie byla založena v roce 1993 jako nástupce Mezinárodního poradního výboru pro telegrafii a telefonii (CCITT) založeného již roku 1865. Význam telekomunikací v poslední dobČ znaþnČ vzrĤstá a je dĤležitý pro dodávání služeb v
bankovnictví,
nakupování,
dopravČ,
které
jdou
turistice, pĜes
informacích
hranice
státĤ.
on-line, Existují
elektronickém tĜi
sektory:
Unie – Radiokomunikace (ITU-R), Normalizace v telekomunikacích (ITU-T) a
Vývoj
telekomunikací
(ITU-D).
Každý
ze
tĜí
sektorĤ
ITU
pracuje
prostĜednictvím konferencí a zasedání, kde þlenové projednávají dohody
-3-
sloužící jako základ pro provoz globálních telekomunikaþních služeb. Studijní skupiny vytvoĜené z expertĤ z dĤležitých telekomunikaþních organizací na celém svČtČ zajišĢují technickou práci Unie a pĜipravují podrobné studie, které jsou základem pro vytvoĜení uznávaných doporuþení ITU. Video Quality Experts Group provádí mezinárodní standardizaci (v
oblasti
hodnocení
video
kvality),
zatímco
ITU-T
(International
Telecommunation Union - Telecommunication Standardization Sector) sleduje vývoj tČchto standardĤ. Nyní popíši základní vČci o mobilních sítích a poté o problematice analogového a digitálního vysílání.
1.1. Mobilní sítČ GPRS, EDGE a UMTS General Packet Radio Service (GPRS) je mobilní datová služba pĜístupná pro uživatele GSM mobilních telefonĤ. Je oznaþována jako „2.5G“, technologie mezi druhou (2G) a tĜetí (3G) generací mobilních telefonĤ. Poskytuje prĤmČrnou rychlost datových pĜenosĤ používáním TDMA kanálĤ v GSM síti. PĤvodní myšlenka byla vylepšit GPRS, aby pokrýval ostatní standardy, ale místo toho se tyto standardy nyní upravují, aby používaly standard GSM. Proto je GSM nyní jediné místo, kde se GPRS používá. GPRS byl poprvé zahrnut v GSM standardu Release 97 a novČjší. PĤvodnČ byl standartizován ETSI (European Telecommunications Standards Institute), ale nyní byla starost o nČj pĜedána 3GPP (The 3rd Generation Partnership Project). Enhanced Data rates for Global Evolution, nČkdy také jako Enhanced Data rates for GSM Evolution (EDGE) je dalším vývojovým stupnČm v technologii GSM po zavedení datových pĜenosĤ pomocí GPRS (General Packet Radio Services). Technologie EDGE nabízí nČkolik metod a vylepšení, které umožĖují dosáhnout efektivního pĜenosu dat a vysoké spektrální úþinnosti v tomto úzkopásmovém buĖkovém systému. Hlavní vylepšení spoþívá v použití modulace 8-PSK (osmistavová fázová modulace), která dovoluje pĜenést tĜi informaþní bity pomocí jednoho symbolu na rádiové vrstvČ. Naproti tomu modulace GMSK, která je použita u GSM/GPRS, dovoluje pĜenést pouze jeden informaþní bit na jeden symbol na rádiové vrstvČ.
-4-
Universal Mobile Telecommunication Systém (UMTS) je 3G systém standardu mobilních telefonĤ. UMTS byl koncipován jako nástupník systému GSM. UMTS používá pro pĜístup W-CDMA (Wideband Code Division Multiple Access) a je standardizován organizací 3GPP a je evropským standardem, který splĖuje požadavky ITU IMT-2000 pro mobilní buĖkové sítČ tĜetí generace. Mnohonásobný pĜístup pomocí W-CDMA u UMTS mĤže být dále kombinován s TDMA (Time Division Multiple Access) a FDMA (Frequency Division Multiple Access). [1]
1.2. Analogové a digitální vysílání PĜedevším je na místČ Ĝíci, že všechny druhy šíĜení televizního signálu, tak jak je dnes známe, mají své uplatnČní a opodstatnČní. Toto tvrzení platí zcela obecnČ, poþínaje analogovým pozemním vysíláním (A-TV), analogovým kabelovým vysíláním (CATV) a analogovým satelitním vysíláním pĜes digitální pozemní vysílání (DVB-T), digitální kabelové vysílání (DVB-C), digitální satelitní vysílání (DVB-S) po vysílání do mobilních zaĜízení (DVB-H) a vysílání pĜes internet (IPTV). Všechny tyto technologie mají své výhody a nevýhody a uživatel si je vybírá podle svých nárokĤ a potĜeb. Pokud je technologie správnČ zvolená a patĜiþnČ používána, pak uživateli pĜináší spokojenost.PĜenos televizního obrazu. AĢ už se jedná o jakýkoliv pĜenos televizního obrazu, jedno mají všechny spoleþné: pohyblivý obraz na televizní obrazovce je tvoĜen rychle se stĜídajícími nepohyblivými obrázky, které jsou složeny z pĜesnČ definovaného poþtu obrazových bodĤ uspoĜádaných do stanoveného poþtu ĜádkĤ.
1.2.1. Digitální technologie Co si pod tímto pojmem máme vlastnČ pĜedstavit? V þem spoþívá výhoda digitálního pĜenosu informací? Výhoda spoþívá právČ v tom, že se pĜenáší jen informace, a to jen v nezbytnČ nutném rozsahu. Digitální pĜenos informací je pĜenos údaje o hodnotČ, a to v podobČ þísla. V tomto pĜípadČ binárního þísla.
-5-
Pokud tuto definici vztáhnu na pĜenos obrazu, pak se nepĜenáší obraz samotný, ale pouze þíselný údaj o tom, jak má tento obraz vypadat. Jednotlivá þísla obsažená v pĜenášeném signálu nesou informaci o barvČ, jasu, velikosti a umístČní každého obrazového bodu. StejnČ tak se dČje i v pĜípadČ zvuku. V praxi je digitální pĜenos vysoce sofistikovaný technický proces a jeho detailní popis by zabral obrovský prostor. ýíslo je možné opatĜit opravným kódem, který má tu výhodu, že když se pĜi pĜenosu þást informace ztratí, pak pomocí tohoto opravného kódu je možné zjistit pĤvodní hodnotu tohoto þísla a informaci rekonstruovat. Schopnost pĜenést pĜíslušnou informaci v nezmČnČné podobČ, i v pĜípadČ chyby v pĜenosu, je samozĜejmČ omezena dokonalostí zabezpeþovacího kódu a nikdy není neomezená. Na tomto místČ je vhodné podotknout, že digitální technologie bČžnČ nepracuje s þísly v desítkové soustavČ, ale v soustavČ dvojkové (binární), kdy všechny potĜebné hodnoty þísla jsou tvoĜeny Ĝadou jedniþek a nul. To usnadĖuje pĜenos a zvyšuje odolnost proti chybám. V pĜípadČ analogové technologie takováto možnost neexistuje a poškozenou þást je nutné pĜenést celou znovu. Vzhledem k tomu, že A-TV bČží v reálném þase, není možné detekovat jednotlivé chyby pĜi pĜenosu k divákovi a poškozené sekvence znovu opakovat. Takový pĜenos by byl pouhým souþtem nepĜeberného množství chyb.
1.2.1.1. Digitální televize DVB
DVB muselo pĜekonat jednu velmi tČžkou pĜekážku. Tou byla potĜeba pĜenosu velkého množství dat pro stejnČ kvalitní obraz, jaký mČla v tu dobu A-TV. Tento problém vyĜešily až kompresní technologie MPEG (Motion Picture Experts Group) je to název skupiny standardĤ používaných na kódování audiovizuálních informací (napĜ. film, obraz, hudba) pomocí digitálního kompresního algoritmu.) a vícestavová modulace signálu. PĜi pokusech se ukázalo, že klasický televizní obraz obsahuje velké množství informací, které se ve výsledném obrazu vĤbec neuplatní, nebo je dokonce možné je bez vážného znehodnocení výsledného obrazu postrádat. Z tohoto dĤvodu se komprese MPEG nazývá „ztrátová“, neboĢ v prĤbČhu komprimování dochází k þásteþným
-6-
ztrátám obrazové informace. Další metoda úspory datového toku, která je obsažena v MPEGu, spoþívá v tom, že jen nČkteré snímky obsahují kompletní informaci o celém obrazu. Za takovýmto snímkem následuje nČkolik „snímkĤ“, které pĜenášejí jen informaci o rozdílech mezi dvČma po sobČ jdoucími snímky. Tímto zpĤsobem lze ušetĜit obrovské množství dat a dosáhnout tak velkého kompresního pomČru. Postupem þasu se kompresní algoritmy dále vyvíjely, a tak se dnes pro televizi používá MPEG-2 a MPEG-4. Standard MPEG-4 je novČjší, a umožĖuje tedy vyšší stupeĖ komprese. Své uplatnČní našel pĜedevším v HDTV. Kompresní technologie a metody modulace doznaly takového pokroku, že do 8MHz (u DVB-T) širokého televizního kanálu je dnes možné vtČsnat hned nČkolik televizních programĤ. Takovýto „balíþek“ se nazývá „multiplex.“ ZkrácenČ MPX nebo MUX. PrávČ poþet pĜenášených programĤ v jednom MPXu bývá hlavním problémem Ĝešeným v souvislosti s DVB. Vysoký stupeĖ komprese a snižování datového toku až na jednotky procent pĤvodní hodnoty s sebou nese samozĜejmČ i své nevýhody. Je velký rozdíl v tom, zda je obsahem pĜenášeného obrazu televizní hlasatelka þtoucí zprávy ve studiu, anebo sportovní pĜenos s rychlými zmČnami scény. Sportovní pĜenos má samozĜejmČ mnohem vyšší nároky na množství pĜenesených dat než obraz hlasatelky ve studiu. Pokud je datový prostor pro daný program v MPXu pĜíliš malý a potĜebná data není možné pĜenést dostateþnČ rychle a v patĜiþném množství, dojde v obraze k viditelné chybČ, která se projevuje tím, že se þást obrazu rozloží do viditelných þtvereþkĤ rĤzné velikosti a barvy. Tomuto jevu se Ĝíká “pixelizace“ a bývá þastým dĤvodem k zatracování technologie DVB. Pixelizací nebo také kostiþkováním se nazývá nežádoucí plošný rozklad obrazu na televizní obrazovce. Vada se projevuje viditelným rozdČlením obrazu na rĤznČ velké þtvercové nebo obdélníkové plochy stejné barvy. Samotná pixelizace má nČkolik podob a primárních pĜíþin.
-7-
Samotnou vadu je možno rozdČlit do tĜí kategorií:
zobrazovací - její podstatou je princip použitého displeje. Jedná se o zobrazovací vadu závislou na zpĤsobu vytváĜení obrazu: CRT, plazma, LCD atd. kompresní - podstatou je kompresní algoritmus a velikost komprese (MPEG). Má pĜímou souvislost s velikostí datového toku. pĜenosovou - jedná se o vadu pĜímo závislou na kvalitČ pĜijímaného signálu, má nepĜímou souvislost s velikostí datového toku.
1.2.2. Analogová technologie Jedná se o technologii pĜenosu pohyblivého obrazu starší více než tĜi þtvrtČ století. Málokterá technologie pĜežila tak dlouhou dobu s tak málo zmČnami. Jedinou zásadní zmČnou v A-TV bylo její „obarvení“. PotĜeba pĜenášet barevný obraz byla jediným velkým zásahem do této technologie.
1.2.2.1. Analogová televize A-TV
Pokud se na A-TV podíváme z technického hlediska, pak se jedná o amplitudovČ modulovaný obrazový signál vysílaný s jedním postranním pásmem s pĜidaným frekvenþnČ modulovaným zvukem. PotĜeba pĜenést informaci o barvČ znamenala pĜidání barvonosné složky, chytĜe umístČné „mezi Ĝádky“ þernobílého obrazu. To vše v 8MHz širokém kanálu. Podrobný popis této technologie se všemi vysvČtlivkami by zabral mnohahodinový výklad, který by ovšem byl mimo naše téma. Podstatnou vČcí u A-TV je však malé využití 8MHz širokého kanálu pĜi pĜenosu a pĜenos mnoha zbyteþných informací. Podíváme-li se na samotný videosignál pomocí osciloskopu, zjistíme, že mezi jednotlivými Ĝádky obrazu jsou volná místa, která jsou jen þásteþnČ vyplnČna barvonosným signálem. Dále jsou mezery mezi videosignálem a zvukovým doprovodem. Celá tato pĜenosová obálka tvoĜí jeden televizní kanál. UmístČní a rozteþ jednotlivých kanálĤ jsou voleny tak, aby nedocházelo k jejich vzájemnému rušení. PĜesto je v praxi problematické oddČlit dva
-8-
sousedící televizní kanály natolik, aby se navzájem neovlivĖovaly. Omezený poþet televizních kanálĤ tak limituje poþet pĜenášených programĤ na daném území. Tímto jsme se dostali k zásadní nevýhodČ A-TV: velmi omezený poþet pĜenášených programĤ. Tuto nevýhodu je zĜejmČ možné oznaþit za jeden z nejvážnČjších dĤvodĤ k ústupu od A-TV a vzniku digitální televize. A-TV má však ještČ další nevýhody. Jednou z nich je degradace obrazu následkem odrazĤ od terénu, tzv. „duchy.“ Touto degradací je zatížena drtivá vČtšina pĜíjmu. Není mnoho míst na území naší republiky, kde by TV signál nebyl
degradován
touto
vadou,
která
je
z
principu
neodstranitelná.
Nezanedbatelnou nevýhodou A-TV v dnešní dobČ je nemožnost pĜenosu HDTV (High-definition television - oznaþuje formát vysílání televizního signálu s výraznČ vyšším rozlišením). PĜenos širokoúhlého obrazu byl sice v minulosti vyĜešen soustavou PALplus (phase alternation line plus - je jeden ze standardĤ kódování barevného signálu pro televizní vysílání, ale pouze s rozlišením 625 ĜádkĤ). NicménČ se pĜíliš neujal. PĜesto, že jsem zdaleka nevyjmenoval všechny nevýhody a problematická místa A-TV, je z uvedeného zĜejmé, že u této technologie zĤstat nelze.
1.3. Porovnání digitální a analogové technologie Porovnání dvou technologií musíme brát v úvahu stejné podmínky pro digitální a analogovou technologii, tedy napĜ. stejná šíĜka kanálu, stejný výkon vysílaþe, stejné rozlišení obrazu atd. Kmitoþtové spektrum lépe využívá digitální technologie, a to dvČma zpĤsoby. Jednak dovoluje pokrytí velkého území pomocí jediného kanálu v SFN (Single Frequency Network) síti. Jednak umožĖuje pĜenést v jednom 8 MHz (7 MHz) širokém kanálu více programĤ než technologie analogová. ZnatelnČ menší výkon pro pĜenos jednoho programu potĜebuje technologie digitální. Celý multiplex se vysílá pĜibližnČ desetinovým výkonem v porovnání s analogovým vysíláním. V každém multiplexu je potom více než jeden program. Hodnota potĜebného výkonu na pĜenos jednoho programu je tak v Ĝádu jednotek procent v porovnání s analogovým vysíláním.
-9-
HDTV je možné efektivnČ pĜenášet pouze digitálnČ. V žádném pĜípadČ jej nelze umístit do 8MHz kanálu pĜi použití analogového pĜenosu. Pro analogové HDTV by bylo nutné použít kanál o šíĜce nejménČ 25 MHz. Provoz
služeb
jako
jsou
napĜ.:
EPG
(Electronic
Program
Guide - doplĖková služba, která zprostĜedkuje informace o vysílaných poĜadech), DD, AC3 (dolby digital) apod. pro efektivní pĜenos je opČt možný pouze digitálnČ. Provozovat napĜ. EPG u analogové televize je samozĜejmČ teoreticky možné, jenže pro pĜenos tČchto informací je potĜeba obsadit nČkteré obrazové Ĝádky. Ovšem už z provozu teletextu je naprosto zĜejmé, že pĜenos takovýchto informací v neviditelných obrazových Ĝádcích je zcela neefektivní. Na jakoukoliv informaci je nutné pĜíliš dlouho þekat. Provoz vícekanálového a vícejazyþného zvuku je pak u analogové televize naprosto vylouþený. I ten nejkvalitnČjší pĜenos analogové televize s pĜímou viditelností na vysílaþ je zatížený zkreslením obrazu vlivem odrazĤ signálu od okolního terénu. Tento fakt je z principu neodstranitelný a zpĤsobuje rozmazání obrazu. Vzhledem k tomu, že DVB-T používá pro pĜenos obrazu naprosto odlišný princip modulace, nedochází ke vzniku odrazĤ v obraze, a tím k jeho znehodnocení. Digitální technologie je tedy opČt lepší. Odolnost proti rušení signálu je celkem specifická záležitost. Každá z obou technologií má v tomto smČru svoje výhody a nevýhody. Absolutní odolnost vyjádĜená v dB je vČtší u DVB-T. Tam staþí pro bezchybný provoz odstup užiteþného signálu od rušení více než 25 dB. U analogové televize to je 40 dB. Odlišná situace nastává v okamžiku, kdy se rušení zaþne projevovat v obraze nebo zvuku. Zatím co analogovou televizi je možné sledovat ve zhoršené kvalitČ i za celkem intenzivního rušení, v pĜípadČ DVB-T je pĜíjem takového signálu zcela vylouþený. Zavedením DVB-T tedy dojde ke zmČnČ v charakteru akceptovatelného rušivého pozadí v radiovém spektru. V každém pĜípadČ je možné tvrdit, že pro naprosto nerušený pĜíjem je DVB-T o 10-15dB odolnČjší proti rušení než analogová televize. VČtší jasové a barevné rozlišení poskytuje digitální televize. PomČr mezi minimálním a maximálním jasem (kontrast 1:X) je v pĜípadČ analogové televize definovaný pomČrem S/N (signál/šum) a hloubkou modulace obrazového signálu. PomČr S/N je u analogové televize asi 40 dB. Efektivní hloubka modulace mezi þernou a bílou barvou je 55 procent. Kontrast 40 dB je pomČr - 10 -
1:10 000. 55 procent z 10 000 je 1:5 500. V pĜípadČ digitální televize je jasová složka vzorkovaná do 8 bitĤ. Osmibitové vzorkování poskytuje 48 dB S/N. Hloubka modulace je 100 procent. Maximální kontrast dosažitelný u DVB-T je tedy 1:63 000. To platí o jasové složce signálu. Pro barvonosnou složku signálu jsou
výsledky
pro
analogovou
televizi
mnohem
nepĜíznivČjší.
Poþet
barvotvorných ĜádkĤ v soustavČ PAL je asi 200, pĜiþemž barevný kontrast dosahuje jen zlomkové hodnoty kontrastu jasu, asi 1:500. Pro DVB-T platí plné barevné rozlišení stejnČ jako pro jasovou složku. StejnČ tak i dosažitelný kontrast je u barvy stejný jako u jasu, pĜiþemž nedochází k barevným zkreslením následkem kódování do barevné soustavy. DVB-T totiž nepoužívá barevné kódování (PAL (phase alternation line), SECAM (je analogový systém ve Francii), NTSC (National Television System(s) Committee)), ale pĜenáší všechny tĜi barevné složky nezávisle na sobČ. Je tedy zĜejmé, že i v tomto pĜípadČ je digitální televize lepší než analogová. SložitČjší po všech stránkách je bezpochyby digitální televize. Z toho také vyplývá, že celá technologie je i dražší. Na stranČ vysílatele je nepochybnČ mnohem více technicky složitČjších zaĜízení než u analogové televize. Na stranČ diváka to už není tak markantní. Set-top-box pro pĜíjem DVB-T není zdaleka tak drahý pĜístroj, jak by se mohlo na první pohled zdát. Integrací tuneru DVB-T pĜímo do televizního pĜijímaþe se rozdíl v cenČ mezi televizorem pro DVB-T a pro analogovou televizi dále snižuje. Z hlediska investic je nákladnČjší digitální televize. Z provozního hlediska už to tak docela neplatí. Nižší výkony vysílaþĤ a vyšší poþet programĤ na jednotku vyzáĜeného výkonu snižují provozní náklady DVB-T. [2]
1.4. Paketový pĜenos Protokol IP – Internet Protocol. Na jeho základČ internet vznikl a nyní je IP používán i v bČžných sítích, kde umožĖuje nezávislost na typu poþítaþe a operaþním systému. Jeho hlavním rysem je to, že data jsou sítí posílána po tzv. paketech.
- 11 -
Paket je menší shluk dat. Protokol IP jednoznaþnČ urþuje jeho strukturu, která obsahuje: •
adresu pĜíjemce a odesílatele
•
pole TTL (time to leave)
•
vlastní, zasílaná data
•
doplĖkové informace umožĖující detekovat pĜípadnou chybu pĜi pĜenosu dat po internetu
PĜenos dat probíhá následovnČ: na poþítaþi, z nČhož jsou data posílána, se nejdĜíve rozkouskují na jednotlivé pakety. Ke každému paketu je pĜipojena adresa poþítaþe, kam má paket dorazit a další potĜebné informace. Nyní již následuje samotné posílání paketĤ, jeden po druhém, k cílovému poþítaþi. Každý paket mĤže jít jinou cestou, z tohoto dĤvodu mohou pĜijít i v jiném poĜadí. Tato situace nevadí, neboĢ cílový poþítaþ je schopen je složit v informaci, která byla vyslána. [3]
- 12 -
2. Subjektivní a objektivní testování Zpracování videa a obrázku se obecnČ zabývá signály, které jsou urþeny pro lidskou spotĜebu, jako napĜíklad obrazy a videa pĜes internet. Video prochází mnoha stupni zpracování pĜedtím než je uvedeno uživateli. Každý stupeĖ zpracování mĤže zpĤsobit deformace, které by mohly snížit kvalitu koneþného zobrazení. NapĜíklad každá souþást kamery, která poĜizuje video záznam, mĤže zpĤsobit degradaci (napĜ.: optickou,hlukovou, barevnou, pohybovou, atd...). Video mĤže být dále zpracováváno napĜíklad komprimaþním algoritmem, který redukuje požadavky na šíĜku pásma pro ukládání a pĜenos. PodobnČ se mohou vyskytovat chyby bitĤ, které jsou zpĤsobené pĜenosem a mohou zpĤsobovat další deformace. Množství deformací, které mohly v tČchto stupních nastat, závisí vČtšinou na ekonomice a fyzických omezení pĜístrojĤ. Musíme se tedy zajímat o to, jak zmČĜit kvalitu videa a míru deformací, které mohly vzniknout bČhem poĜizování a zpracovávání videa. Jeden ze zpĤsobĤ urþování video kvality je subjektivní testování, tedy hodnocení þlovČka. Konec koncĤ tyto signály jsou urþené pro lidskou spotĜebu. NicménČ, taková metoda není pĜíliš vhodná kvĤli množství testovaného videa, ale také kvĤli tomu, že chceme být schopni vytvoĜit kvalitní mČĜící algoritmy, tak že jejich výstupní kvalita bude co nejlepší. Cílem
je
výzkum
objektivního
vyhodnocování
videa
a
vývoj
kvantitativního mČĜení, které mĤže samoþinnČ pĜedpovídat kvalitu videa. StruþnČ Ĝeþeno, objektivní mČĜení usiluje o urþování kvality videa pomocí algoritmĤ, které se budou podobat lidskému ohodnocení, což je považováno za cíl objektivního testování.
Video QA (quality assessment) algoritmy mohou být rozdČleny do tĜí kategorií: •
Full-Reference (FR) - metody, ve kterých má QA algoritmus pĜístup k „perfektní verzi“ videa, kterou pak mĤže srovnávat s zdeformovanou verzí. „Perfektní verze“ pak obecnČ pĜichází z vysoce kvalitního poĜizovacího zaĜízení, pĜed tím, než je zdeformovaná kompresí - 13 -
a pĜenosem. NicménČ, referenþní video obecnČ vyžaduje mnohem víc zdrojĤ než zdeformovaná verze, a z tohoto dĤvodu FR QA je obecnČ užívána jako nástroj pro navrhování video algoritmĤ v laboratorní zkoušce a proto nemĤže být použita jako aplikace.
zdroj zpracované video
objektivní model pro video kvalitu
model kvality videa
obr. 1 •
No-Reference (NR) - metody, ve kterých má QA algoritmus pĜístup jenom k zdeformovanému signálu a tím pádem musí odhadovat video kvalitu jen ze signálu bez jakékoli znalosti „perfektní verze“. Od NR metody se nevyžaduje referenþní informace, proto mĤže být tato metoda použita v aplikaci pro mČĜení video kvality.
zpracované video
objektivní model pro video kvalitu
model kvality videa
obr.2 •
Reduced-Reference (RR) – metody, ve kterých má QA algoritmus k dispozici þásteþnou informaci týkající se „perfektní verze“. RR QA algoritmy používají tuto þásteþnou referenþní informaci pro posuzování kvality zdeformovaného signálu. [4]
- 14 -
vyjmuté vlastnosti pro video kvalitu
zdroj
objektivní model pro video kvalitu
zpracované video
model kvality videa
obr. 3
2.1. Subjektivní testování Pro subjektivní testování je potĜeba mnoho lidí, kteĜí poslouchají testovaný zvuk nebo video. Pro subjektivní testování musí být vyrobeny speciální, oddČlené místnosti, kde každá hodnotící osoba musí mít vedle sebe ještČ zkušební osobu, která dohlíží na chod testu. Výsledek tohoto testování zabere ještČ mnoho dní pro potĜebnou statistiku. V nČkterých pĜípadech se subjektivní testování nedobere dobrých výsledkĤ a je tedy nevyhovující. Samotné subjektivní testování tedy zahrnuje jednu osobu, která je v místnosti, kde má na monitoru zobrazené video. Osoba pak hodnotí toto video podle stanovené stupnice kvality nazývané MOS (Mean Opinion Score), kde je nejvyšší kvalita ohodnocena stupnČm 5 a nejnižší kvalita stupnČm 1. Jednotlivé známky mĤžeme vidČt v tabulce 1. Jedná se o aritmetický prĤmČr poþítaný ze subjektivních hodnocení testovacích osob pro danou testovanou podmínku þi poškození. [5]
MOS 5 4 3 2
kvalita výborná dobrá uspokojivá špatná
zhoršení nepostĜehnutelné znatelné ale ne rušivé mírnČ rušivé rušivé
1
velmi špatná
velice rušivé
tab.1 - 15 -
2.1.1. Obecné podmínky pro sledování subjektivního hodnocení v laboratorním prostĜedí. Podmínky pro odhadce by mČli být uspoĜádaný tímto zpĤsobem: a, PomČr jasu neaktivní obrazovky k max. jasu:
ҏ0.02
b, PomČr jasu obrazovky pĜi zobrazení úplnČ þerné barvy k odpovídající bílé barvČ:
§ 0.01
c, Zobrazení jasu a kontrastu:
je stanoveno pĜes PLUGE (Picture Line Up Generation Equipment)
d, Maximální pozorovací úhel:
30°
e, PomČr jasu za obrazovkou k max. jasu obrazu:
§ 0.15
f, Barva pozadí:
D65
g, Pokojové osvČtlení:
malé
2.1.2. Obecné podmínky pro sledování subjektivního hodnocení v domácím prostĜedí. a, PomČr jasu neaktivní obrazovky k max. jasu:
ҏ0.02
b, Zobrazení jasu a kontrastu:
je stanoveno pĜes PLUGE
c, Maximální pozorovací úhel:
30°
- 16 -
d, Pro formát obrazu 4/3:
tento formát obrazu by mČl být vyhovující pro PVD (Prefered Viewing Distance)
e, Pro formát obrazu 16/9:
tento formát by mČl být také vyhovující pro PVD
f, Zpracování obrazu:
bez digitálního zpracování
g, Rozlišení obrazu:
kvalitní obrazovka by mČla vyhovovat požadavkĤm subjektivního testování
i, Max. Jas:
200 cd/m2
h, OsvČtlenost prostĜedí kolem obrazovky:
200 lux
Pozorovací vzdálenost a velikost obrazovky by mČla vyhovovat PVD. PVD je znázornČno v tab. 2 a obr. 4. Obr. 4 popisuje jak SDTV (Standard Definition TV) tak i HDTV (High Definiton TV), byly zde nalezeny jen malé rozdíly.
- 17 -
tab. 2
obr. 4
2.1.3. Metoda DSIS (The double-stimulus impairment scale) Metoda EBU (Double-Stimulus) je cyklická a odhadci nejprve uvede referenþní obraz a poté stejný obraz, ale zhoršený. Toto hodnocení trvá
- 18 -
nejménČ pĤl hodiny a odhadce sleduje sérii obrázkĤ v náhodném poĜadí s náhodnými zhoršeními. Odhadce metodu DSIS hodnotí stupnicí MOS (Mean Opinion Score) viz. tab. 1. Tuto metodu mĤžeme vidČt na obr. 5
obr. 5
2.1.4. Metoda DSCQS (The double-stimulus continuous quality-scale) Tato metoda je také cyklická a odhadce sleduje dvojici obrazĤ, která je ze stejného zdroje. Tento odhadce pak hodnotí oba obrazy. Stupnici hodnocení metody DSCQS je znázornČna na obr. 6 (jde vlastnČ o stupnici MOS, ale tato stupnice je rozdČlena do více úrovní).Tuto metodu mĤžeme vidČt na obr. 7
obr. 6
- 19 -
obr. 7
Existují i další metody pro subjektivní testování (napĜ.: Single-stimulus (SS), Stimulus-comparison, Single stimulus continuous quality evaluation (SSCQE) Simultaneous double stimulus for continuous evaluation (SDSCE), nejsou však tolik používané. [6]
2.2. Objektivní testování Objektivní algoritmy se vyvíjejí proto, aby nahradily subjektivní testy zejména kvĤli velké þasové a finanþní nároþnosti. Objektivní algoritmy také umožĖují reprodukovatelnost výsledkĤ þi testĤ. U subjektivních testĤ zaruþíte stejné výsledky pĜi opakovaném testovaní velice tČžko. NicménČ se snažíme dodržovat pravidla uvedená v normách abychom reprodukovatelnost výsledkĤ alespoĖ trochu zaruþili. Objektivní techniky video hodnocení jsou matematické modely, které se blíží výsledkĤm subjektivního testování. Objektivní metody jsou klasifikovány podle dostupnosti originálního video signálu, který je považován za velmi kvalitní (obecnČ nezkomprimovaný). Proto mohou být klasifikovány jako Full-Reference (FR), Reduced-Reference (RR) a No-Reference (NR) metody.
- 20 -
Nejvíce obvyklé zpĤsoby hodnocení kvality zpracovaného digitálního videa (napĜ.: video kodek jako DivX, XviD) jsou výpoþty SNR (Signal to noise ratio) a PSNR (Peak-signal-to-noise-ratio) mezi originálním video signálem a signálem, který projde skrz tento systém. NicménČ, hodnoty PSNR nekorelují s HVS, a z tohoto dĤvodu je nevhodné tuto metodu používat pro objektivní testování. Proto se v poslední dobČ vyvinuly komplikovanČjší algoritmy (viz. 3). Pro vlastní hodnocení dosažené kvality existují dvČ zcela odlišné mČĜicí metody. První je metoda intrusivní, založená na znalosti video vzorku pĜed vlastním pĜenosem sítí GSM a porovnáním se vzorkem po jeho prĤchodu sítí. Druhou metodou je metoda neintrusivní, která výslednou kvalitu urþuje pouze na základČ pasivního monitorování probíhajících spojení þi z analýzy pĜenesených vzorkĤ, bez znalosti jejich originální, nezkreslené verze. Výsledky získané metodou intrusivní budou jistČ daleko pĜesnČjší, avšak vlastní mČĜení mČní dané podmínky (testovacím videem se mČní zatížení sítČ) a navíc je nutno provést mnoho mČĜení, což zvyšuje celkové náklady na testování sítČ. Oproti tomu metoda neintrusivní do probíhajících spojení nezasahuje, pouze provádí „pasivní monitorování“ a je proto i levnČjší. V praxi se osvČdþilo výhody obou metod vhodným zpĤsobem kombinovat. Více se tČmto metodách budu vČnovat v kapitole 2.2.1 a 2.2.2.
[7]
2.2.1. Intrusive testing Intrusivní testování vkládá referenþní signál do testovaného zaĜízení (testované zaĜízení mĤže být cokoli, napĜ.: video kodek, bezdrátová síĢ.), a zatímco se tento signál zpracovává, je možné, že se poškozený soubor zaznamená na pĜijímací stranČ. Jako u subjektivního testování se používá video signál, který trvá typicky nČkolik
sekund.
Po
pĜenosu
videa
se
kvalita
analyzuje
porovnáním
zpracovaného a originálního signálu. Používáním reálného videa dosáhneme lepších výsledkĤ, než kdybychom používali „umČlé“ mČĜicí signály.
- 21 -
obr.8 typické intrusivní testování
2.2.2 Non-intrusive testing Metoda 'non-intrusive' je založená na monitorování bez generování zvláštní zprávy, což je vhodnČjší než metoda intrusive. Nevýhoda mČĜení non-intrusive spoþívá v tom, že chybí informace ze zdrojového signálu, a proto nebude tak spolehlivá a pĜesná jako metoda intrusive . Nejspíše metoda non-intrusive neodstraní intrusivní analýzu, nicménČ se do budoucna oþekává spojení tČchto dvou metod.
obr.9 Non-intrusive testovací metody mohou být použity v jakémkoli bodu sítČ. [5]
- 22 -
3. Algoritmy pro objektivní testování 3.1. První objektivní algoritmy pro mČĜení video kvality Tento odstavec popisuje rozsah þinnosti ohodnocení technických parametrĤ
objektivních
metod,
které
srovnávají
zdrojový
video
signál
a zpracovaný video signál, známý jako metoda "double-ended". (NicménČ, navrhovatelé mČli povoleno pĜispívat modely, které byly udČlány pĜedvídáním založeném jen na zpracovaném video signálu). Metody "double-ended používají úplnou informaci zdroje, mají velkou souvztažnost se subjektivními mČĜeními soustĜedČnými s DSCQS (Double Stimulus Continuous Quality Scale) metodou popsanou v ITU-R BT.500-8 [8]. Souþasné srovnání mezi zdrojovým video signálem a zpracovaným video signálem bylo vykonáno až po prostorovém a doþasném zarovnání videa, které kompenzují vertikální nebo horizontální posuny obrazu nebo oĜezávání videa bČhem zpracování. Navíc byl normalizaþní proces uskuteþnČn pro offset a zesílení na rozdíly v jasu a barevných kanálĤ. Testovací podmínky jsou znázornČny v tab. 3. Výstupní podmínky všech modelĤ, kromČ PSNR mají výstup hodnotící pomocí stupnice MOS, tedy snaží se pĜiblížit HVS.
- 23 -
tab. 3 stupnice HRC
- 24 -
Deset rĤzných navrhovatelĤ pĜedstavilo svĤj model pro vyhodnocení. VQEG také zahrnulo PSNR jako referenþní objektivní model: •
Peak signal-to-noise ratio (PSNR)
•
Centro de Pesquisa e Desenvolvimento (CPqD, Brazil, August 1998)
•
Tektronix/Sarnoff (USA, August 1998)
•
NHK/Mitsubishi Electric Corporation (Japan, August 1998)
•
KDD (Japan, model version 2.0 August 1998)
•
Ecole
Polytechnique
Féderal
Lausanne
(EPFL,
Switzerland,
August 1998) •
TAPESTRIES (Europe, August 1998)
•
National
Aeronautics
and
Space
Administration
(NASA,
USA,
August 1998) •
Royal
PTT
Netherlands/Swisscom
CT
(KPN/Swisscom
CT, The
Netherlands, August1998) •
National Telecommunications and Information Administration (NTIA, USA, model
•
Institut für Nachrichtentechnik (IFN, Germany, August 1998).
Tyto modely reprezentují stav techniky od srpna 1998. Mnoho navrhovatelĤ postupnČ vyvinulo nové modely, nejsou zde však ohodnocené. Jak je zde uvedeno, VQEG pĤvodnČ zaþalo s deseti modely, které byly navrhnuté, nicménČ je zde popsáno pouze 9 modelĤ s technickými parametry. Výsledky modelu IFN nejsou poskytnuté, protože hodnoty pro všechny zkušební podmínky nebyly dány VQEG. IFN uvedli, že jejich model smČĜuje k MPEG chybám, a proto jim nefungoval. KvĤli IFN rozhodnutí nesplnil jejich model požadavkĤm VQEG. Ze zbývajících devíti modelĤ, dva navrhovatelé (KDD a TAPESTRIES) oznámili, že byly jejich výsledky ovlivnČné technickými problémy. Nyní popíši deset navrhnutých modelĤ, vþetnČ PSNR.
- 25 -
3.1.1. PSNR PSNR jako reference je vypoþítána následující formulí:
3.1.2. CPqD CPqD model byl pĜedstaven VQEG na testech a byl doþasnČ pojmenovaný CPqD-IES (Image Evaluation based on Segmentation) verze 2.0. První verze tohoto modelu pro objektivní hodnocení video kvality (CPqD-IES v.1.0) byl systém navržený k tomu, aby poskytl dobré pĜedvídání pĜes soubor pĜeddeklarovaných scén. CPqD-IES
v.1.0
realizuje
video
hodnocení
na
používání objektivních parametrĤ, založených na þlenitosti obrazu. PĜirozené scény jsou rozdČleny do stupĖĤ (okraj a struktura oblasti) a souborĤ objektivních parametrĤ, které jsou pĜiĜazeny ke každé z
tČchto souvislostí.
Vnímavostní model, který pĜedpovídá subjektivní ohodnocení je definován jako výpoþet mezi objektivními mČĜeními a výsledky ze subjektivního odhadu, aplikovaný na soubor pĜirozených scén zpracovaný video systémem. V tomto modelu odpovídá vztah mezi každým objektivním parametrem a subjektivním zhoršením pĜibližnČ logaritmické kĜivce, vyplývající z charakteristiky. Finální výsledek je dosažený skrz kombinaci odhadovaného zhoršení, založeném na jeho statistické bezporuchovosti. Klasifikátor scény byl pĜidaný k CPqD-IES v.2.0 za úþelem dostat nezávislý hodnotící systém scény. Tento klasifikátor užívá prostorovou informaci (založenou na DCT analýze) a doþasnou informaci (založenou na segmentaþních zmČnách) vstupu pro získání parametrĤ modelu z dvanácti scén (525/60Hz) databáze. Tato metoda je vhodná pro všechny stupnice HRC.
- 26 -
3.1.3. Tektronix/Sarnoff Tektronix/Sarnoff je založený na vizuálním rozlišení modelu, který napodobuje lidské vizuální odezvy a vnímavostní amplitudy mezi rozdílem výstupu a mezi zdrojem a zpracovanou sekvencí. Z tČchto rozdílĤ je vypoþtena celková metrika rozlišitelnosti. Model byl navržen jako vysokorychlostní operace ve standardním zpracování hardware a tak reprezentuje relativnČ pĜímé, snadno vypoþitatelné Ĝešení. Tato metoda je vhodná pro celou stupnici HRC, kromČ HRC 15 a 16.
3.1.4. NHK/Mitsubishi Electric Corp Tento model napodobuje vizuální vlastnosti þlovČka používáním 3D filtrĤ, které jsou aplikovatelné na rozdíly mezi zdrojem a
zpracovaným signálem.
Charakteristiky filtrĤ jsou založeny na jasových úrovních. Výstupní kvalita je vypoþítaná jako suma mČĜení z filtru. Verze hardware je nyní k dispozici a mĤže mČĜit kvalitu obrazu v reálném þase a mĤže být použita v rĤzných vysílacích prostĜedích jako napĜíklad monitorování vysílacích signálĤ v reálném þase. Tento algoritmus se mĤže používat na jakýkoli formát.
3.1.5. KDD MSE je vypoþteno odþítáním testovaného signálu z referenþního signálu. MSE je posuzováno lidským vizuálním filtrováním F1, F2, F3 a F4. Tato metoda je vhodná pro celou stupnici HRC.
obr. 10
- 27 -
F1: Pixel založený na prostorovém filtrování F2: Blok založený na filtrování rušivého signálu F3: Filtrování obrazu F4: Filtrování sekvencí (pohybový vektor, objektivní þlenitost, atd.)
3.1.6. EPFL PDM (Perceptual distortion metric) pĜedložený EPFLem je založený na doþasnČ prostorovém modelu lidského vizuálního systému. Skládá se z þtyĜ stupĖĤ, skrz které prochází referenþní a zpracované sekvence. Zaprvé zpracuje vstup k protilehlým prostorovým barvám. Zadruhé se realizuje doþasné prostorové rozkládání do oddČlených vizuálních kanálĤ rĤzné doþasné frekvence, prostorové frekvence a orientace. ZatĜetí se modelují efekty ze vzoru simulaþními a tlumícími zaĜízeními podle modelu regulace zesílení kontrastu. Zaþtvrté se vypoþítává zkroucení mezi senzorem výstupu z reference a zpracovaným signálem. Tato metoda je vhodná pro celou stupnici HRC, kromČ HRC 15 a 16.
3.1.7. TAPESTRIES Tento model navrhuje oddČlené moduly, které jsou specificky ladČny do urþitého typu zkroucení, ten pak vybere jeden z výsledkĤ oznámený tČmito modely jako finální ohodnocení objektivní kvality. Tento pĜedložený model se skládá jen z vnímavostního modelu a z vlastností extraktoru. Vnímavostní model napodobuje lidský vizuální systém. Model zahrnuje kontrastní poþítání, prostorové filtrování a vnČjší zpracování. Vnímavostní model a extraktor vyhodnocuje celkovou kvalitu z HRC videa. Z tČchto dvou metod se pak vybere ta lepší. Pro nedostatek þasu je tento model neúplný, chybČjí zde zásadní elementy jako napĜíklad barva a pohyb.
- 28 -
3.1.8. NASA NASA navrhlo model nazývaný DVQ (Digital Video Quality) a jde o verzi 1.08b. Tato metrika se pokouší o vþlenČní aspektĤ lidského vizuálního systému do jednoduchého algoritmu pro zpracování obrazu. Jako cíl si dali jednoduchost a od toho by pak chtČli metriku, která by bČžela v reálném þase a zdroj, který by nemČl vysoké technické nároky. Jeden z nejvíce komplexních a
þasovČ
nároþných
elementĤ
jsou
prostorové
filtrující
operace
k vícenásobnému realizování, prostorové filtry s pásmovou propustí, které jsou charakteristické pro lidské vidČní. NASA urychluje tento krok použitím DCT (Discrete Cosine Transform) pro rozkládání prostorových kanálĤ. Vstup do metriky je sekvence barevného obrazu: reference a test. První krok se skládá z rĤzného vzorkování, oĜíznutí a barevného zobrazení. Tento stupeĖ také poþítá se vstupním prokládáním a gama korekcí. Sekvence jsou pak zablokovány a transformovány DST (Discrete Sinus Transform), výsledky jsou pak transformovány k lokálnímu kontrastu. Další krok je pak doþasné a prostorové filtrování. Nakonec se rozdíly dají dohromady a pĜes prostorovČ doþasný a chromatický rozmČr se vypoþítá kvalitní mČĜení. Tato metoda je vhodná pro celou stupnici HRC, kromČ HRC 1,11 a12.
3.1.9. KPN/Swisscom CT PVQM (Perceptual Video Quality Measure) vyvinutý KPN/Swisscom CT používá stejný pĜístup k mČĜení video kvality jako PSQM (Perceptual Speech Quality Measure). Tato metoda byla navržena k tomu, aby zvládala prostorové, doþasné zkroucení a aby lokalizovala zkroucení v chybových stavech. To využívá vstupní formát podle ITU - R 601 [10] a potom je pĜevzorkuje na 4:4:4 Y, Cb, Cr formát. ProstorovČ doþasné zarovnání jasu je obsaženo v tomto algoritmu. Protože jen globální zmČny jasu a kontrastu mají omezený vliv na subjektivní kvalitu, proto PVQM využívá speciální jas/kontrast k pĜizpĤsobování zdeformované video sekvence. ProstorovČ doþasný zarovnávací postup je uskuteþnČn zpĤsobem blokování odpovídající procedury. Analýza prostorového jasu je založena na okrajové detekci signálu Y, zatímco doþasná þást je
- 29 -
založena na rozdílných analýzách obrazu z Y signálu. Jak dobĜe víme, HVS (Human Visual System) je více citlivČjší na ostrost jasu než na barvonosné složky. KromČ toho, HVS má citlivost kontrastu, která se snižuje ve vysokých prostorových frekvencích. Tyto základy ( z HVS) se odrážejí v prvním stupni PVQM algoritmu. Ve druhém kroku se "hranatost" jasu Y vypoþítá jako reprezentaþní signál, který obsahuje nejdĤležitČjší aspekty z obrazu. Tato "hranatost" je vypoþítána pomocí lokálního gradientu jasového signálu v každém obrazu a potom prĤmČrována pĜes prostor a þas. Ve tĜetím kroku je chrominanþní chyba vypoþítána jako vážený prĤmČr pĜes chybu barvy obou Cb a Cr souþástí, s dĤrazem na Cr. V posledním kroku se tĜi rĤzné ukazatele zakreslují na jediný kvalitní indikátor, který používá vícenásobné lineární regrese, které dobĜe koreluje subjektivní video kvalitu.
3.1.10 NTIA Tento model video kvality využívá redukovanou šíĜku pásma, kterou vytáhl z prostorovČ doþasné (S-T) oblasti zpracovaného vstupu a výstupu video scény. Tyto vlastnosti charakterizují prostorový detail, pohyb a barvu obsaženou ve video sekvenci. Prostorové vlastnosti charakterizují þinnost okraje obrazu nebo prostorové gradienty. Digitální video systémy mohou pĜidat okraje (napĜ.: okrajový rušivý signál, blokování) nebo redukují okraje (napĜ.: rozmazávání). Doþasné vlastnosti charakterizují þinnost doþasných rozdílĤ nebo doþasných gradientĤ mezi následnými obrazy. Digitální video systémy mohou pĜidat pohyb (napĜ.: chybové bloky) nebo redukovaný pohyb (napĜ.: opakování obrazĤ). Vlastnosti chrominance charakterizují þinnost informace o barvČ. Digitální video systémy mohou pĜidat barevnou informaci (napĜ.:
nepĜíznivá
barva)
nebo
redukovanou
barevnou
informaci
(napĜ.: sub-vzorkovaná barva). Zesílení a ztrátové parametry jsou vypoþítány srovnáním dvou paralelních tokĤ obrazu, jeden ze vstupu a druhý z výstupu. Zesílení a ztrátové parametry jsou prozkoumány oddČlenČ pro každý pár vlastnosti toku obrazĤ, od té doby co mČĜí zásadnČ jiná hlediska z kvalitního vnímání.
- 30 -
Vlastnost srovnávací funkce využívá výpoþet pro zesílení a ztráty. Lineární kombinace parametrĤ je využívaná pro odhadování subjektivní kvality. Tato metoda je vhodná pro celou stupnici HRC.
3.1.11. IFN Tento model pĜedložil IFN (Institut für Nachrichtentechnik), Braunschweig technical University, NČmecko, zpracovává pouze degradované sekvence. Myšlenka užití tohoto modelu je online monitorování MPEG kódovaného videa. Proto model mČĜí kvalitní degradaci zpĤsobenou MPEG kódováním. Typické degradace MPEGu jsou rozmazání a blokování. Postup modelu se skládá ze þtyĜ základních krokĤ. První krok demoduluje kódování používané mĜížky. Druhý krok je založen na základní charakteristické informaci metody, která je pak poþítána. Výsledek je posuzovaný nČkterými faktory, které je nutné vzít v úvahu, jako napĜíklad zakrývání efektĤ video obsahu ve tĜetím kroku. KvĤli skuteþnosti, že model je urþený k monitorování kvality MPEG kódování, kde se základní provedení produkuje dvČma kvalitními vzorky za sekundu, jako SSCQE (Single Stimulus Continuous Quality Evaluation) metoda. PĜedložená verze produkuje jediné mČĜení pro stanovenou sekvenci za úþelem pĜedpovídat jednotlivé subjektivní ohodnocení DSCQS testu použitého v tomto ovČĜeném procesu. Aby se mohlo udČlat kvalitní zobrazení je vybrána nejhorší jednosekundová
perioda
jako
modelový
výstup
uvnitĜ
þtvrtého
kroku
zpracování. Fakta ukázala, že mohou být mČĜeny pouze MPEGy. Výsledky byly pĜedloženy VQEG, které je dále pĜedložilo HRC modelu. Všechny další HRC jsou ovlivnČny nČkolika rĤznými efekty jako analogový záznam na pásku, analogové kódování (PAL/NTSC). MPEG se vrství s prostorovými posuny, které vedou k rušení videa nebo ke konverzi formátu. Toto vede k rozmazání videa, které pak nemĤže být kvalitnČ odhadnuto. Tato metoda není vhodná pro HRC. [9]
- 31 -
3.2. Perceptual Evaluation of Video Quality (PEVQ) Tato kapitola se bude zabývat algoritmem pro mČĜení video kvality. Algoritmus je založený na výzkumu, který se provádČl v KPNlaboratoĜích panem A.P. Neostrou a panem J.Beerendsenem ). Opticom se snaží zlepšit tento algoritmus a podílí se také na standardizaci. KromČ Opticomu se také podílí konkurenþní VQEG (Viedo Quality Experts Group) a ITU-T (International Telecommunication Union- Telecommunication Standardization Sector ). PEVQ je stále v pĜedbČžném stavu a zatím není standardizované.
3.2.1. Struktura PEVQ algoritmu PEVQ je FR algoritmus pro video kvalitu. Základní struktura viz. obr.11.
obr.11
Algoritmus mĤže být rozdČlen do þtyĜ oddČlených blokĤ. První blok (pĜedzpracující proces) je zodpovČdný za prostorové a doþasné zarovnání referenþního a „poškozeného“ signálu. Tento proces zajistí porovnání tČchto dvou signálĤ. Z výsledkĤ analýzy pak mĤžeme Ĝíci, že chyby (napĜ.:þasové chyby nebo chyby rozmazání) možná vznikají kvĤli kódování.
- 32 -
Druhý
blok
zahrnuje vnímavostní
rozdíl
z uspoĜádaných
signálĤ.
Vnímavostní rozdíl je posuzován jako rozdíl mezi referenþním a „poškozeným“ signálem s dĤrazem na jejich výstup, který je patrný i pro bČžného pozorovatele. Model uvažuje o rozdílech mezi jasem a barevnou oblastí a odhaduje pro nČ kvalitu ukazatelĤ. KromČ toho rychlost pohybu v referenþním signálu poskytne další ukazatel reprezentující doþasnou informaci. Tento ukazatel je dĤležitý, pro vyhodnocení, zda série obrázkĤ s nízkým pohybem vnímavostních detailĤ je vyšší než série obrázkĤ s rychlejším pohybem. TĜetí blok viz. obrázek 3 klasifikuje pĜedchozí ukazatele a detekuje jakýsi typ pokĜivení. KoneþnČ, ve þtvrtém bloku se všechny shodné ukazatele nashromáždí a vyhodnotí koneþnou deformaci. Výstupy PEVQ jsou pak: MOS, Delay , Brightness, Contrast, PSNR, Jerkiness, Blur, Blockiness, Temporal and Spacial Activity, Effective Frame Rate. Aplikace PEVQ jsou: IPTV (Internet Protocol Television), streaming video, 3G, video telephony.
3.2.2. Podporované formáty Podporované obrazové formáty a jejich rozlišení: •
CIF (352x288 pixelĤ) - Common Intermediate Format
•
QCIF(176x144 pixelĤ) - Quarter Common Intermediate Format
•
VGA(640x480 pixelĤ) - Video Graphics Array
Podporované video formáty: •
Microsoft AVI (Audio Video Interleave) s RGB24 data
- 33 -
Podporované zobrazovací kmitoþty:
VČtšinou jsou všechny zobrazovací kmitoþty (30,25,15,12.5,8,5,2.5fps) podporované, avšak nejvíce doporuþovaná frekvence je 25fps. Referenþní a poškozený video soubor musí mít stejnou frekvenci. Jestliže budou mít jinou vzorkovací frekvenci, která bude nižší než požadovaná frekvence, je jisté že dojde ke ztrátČ informací. Aktuální verze PEVQ je optimalizovaná na CIF video formát. VGA a QCIF formáty budou také fungovat, ale nebudou tak pĜesné. [5]
3.3. Video quality model od NTIA NTIA (The National Telecommunications and Information Administration) má obecný model pro odhadování video kvality a jemu pĜidružené kalibraþní techniky, které byly nezávisle ohodnoceny VQEG (The Video Quality Experts Group) v jejich fázi 2 FR-TV (Full Reference Television) testování. Obecný model pro odhadování video kvality a jejich pĜidružených kalibrovacích technik se zabývá: (napĜ.: odhad a oprava
prostorového
zarovnání,
doþasné
zarovnání a
zesílení/offset).
Obecný vyvinut
model pro
byl
používání
široké rĤznorodosti video systémĤ dobĜe
a
tak
mohl
pracovat
pro
mnoho typĤ kódování a pĜenosĤ
obr. 12 VQM
(napĜ.:pĜenosová rychlost od 10 kbits/s do 45 Mbits/s, MPEG-1/2/4, digitální pĜenosové systémy s chybami, analogové
- 34 -
pĜenosové
systémy
využívající
prokládání
videa
a progresivnost videa). Obecný model využívá redukovanou referenþní technologii a poskytuje celkové odhady z video kvality. Redukovaný referenþní mČĜící systém využívá vlastnosti nízké šíĜky pásma, které jsou vytaženy ze zdroje a video „streamu“. Takovéto redukované referenþní systémy mohou být používané v reálném þase, tedy v prĤbČhu þinnosti mČĜení kvality (mohou poskytnout pomocná data schopné pĜenášet extrahované vlastnosti, mohou sledovat dĤležité atributy dynamických zmČn ve video kvalitČ, jehož výsledek je závislý na zmČnČ þasu (ve složité scénČ) a nebo na pĜenosovém systému). Obecný
model
využívá
redukované
referenþní
parametry,
které
jsou
extrahovány z optimálnČ tĜídČné prostorové oblasti video sekvence. Obecný model vyžaduje pomocná data s šíĜkou pásma 9,3% z dekomprimující video sekvence a další pĜidružené kalibrovací techniky, které požadují dalších 4,7%. Obecný model a jeho pĜidružené kalibraþní techniky zahrnují kompletní automatizované mČĜení objektivní video kvality, které mĤžeme vidČt na obrázku 12. Kalibrace originálního a zpracovávaného video obrázku obsahuje prostorové zarovnání, platnou odhadovou oblast, poþítání zesílení a offsetu a doþasné zarovnání. V dalších odstavcích popíšu základní popis každého procesu. VQM byl testován pro SDTV, CIF a QCIF (VQM nebyl zatím testován na HDTV). VČtšina video sekvencí byla testovaná v délce 8 až 10 sekund. VQM byl aplikován pro internet video streaming a ITU-T Recommendation P.910 [16]. VQM má výstupní hodnoty v rozsahu od 0 (žádné zhoršení) do 1 (max. zhoršení). Jde tedy o DMOS (Difference Mean Opinion Score-odvozený od MOS, liší se stupnicí). VQM byl navržený k používání Rec. 601 [10]. Další výstupy VQM modelu se skládají z následujících 7 parametrĤ: Parametr “si_loss”: detekuje snížení nebo ztrátu prostorových informací (napĜ.: blurring). Parametr “hv_loss”: detekuje posuny horizontálních a vertikálních okrajĤ. Parametr “hv_gain”: detekuje chyby tiling a blocking v horizontálních a vertikálních okrajích. Parametr “chroma_spread”: detekuje zmČny v šíĜení dvojrozmČrných barevných vzorkĤ.
- 35 -
Parametr “si_gain”: detekuje zlepšení výsledné kvality okrajových zaostĜení a zvČtšení. Parametr “ct_ati_gain”: detekuje množství prostorových detailĤ, doþasných informací a množství pohybu v S-T (Spatial-Temporal) zónČ. Parametr “chroma_extreme”: Detekuje lokální barevná zhoršení, která mohou nastat napĜíklad v digitálním pĜenosu (napĜ.: chyba flicker).
3.3.1 Spatial alignment Prostorový zarovnávací proces urþuje horizontální a vertikální prostorový posun
relativního
videa do originálního videa.
PĜesnost prostorového
zarovnávacího algoritmu je nejbližší k 0.5 pixelu pro horizontální posuny a nejbližší Ĝádek pro vertikální posuny. Po spoþítání prostorového zarovnání je prostorový posun odstranČn ze zpracovávaného video obrázku (napĜ.: zpracovaný obrázek, který byl posunut dolĤ je posunut zpČt). Prostorové zarovnání by mČlo být urþeno pĜed procesem platné oblasti (definována jako þást zpracovaného obrazu, která obsahuje platné informace obrazu), zesílením a offsetem, a doþasným zarovnáním. Jestliže zpracované video bylo prostorovČ posunuto s ohledem na originální video a prostorový posun nebyl opraven, potom by tyto kalibrovací techniky mohly být porušeny. Prostorové zarovnání nemĤže být správnČ urþeno jestliže nejsou známy metody: PVR, zesílení a offset a doþasné zarovnání. Poþítání prostorového zarovnání jednoho procesu vyžaduje znát PVR, gain, offset
a
nejbližší
vyhovující originální snímek. Avšak nedokážeme urþit tyto veliþiny pokud není prostorový posun nalezen. DĤkladné prozkoumání všech promČnných vyžaduje velké poþítání, když se zde vyskytnou velké nejistoty daných veliþin. ěešení spoþívá v opakovaném prohledávání nejbližšího shodného originálního obrazu pro každý proces. Zaþínající odhad pro vertikální posun, horizontální posun a doþasné zarovnání jsou vypoþítány pro jeden proces použitím více krokového hledání. První krok je založen na širokém hledání, pĜes velmi omezený prostorový posun, za úþelem najít správnČ se hodící originální obraz. Druhý krok je založen na širokém prohledávání pro pĜibližný prostorový posun, - 36 -
vykonaný použitím více omezeného rozsahu originálního obrazu. Velké prohledávání prostorových posunĤ pĜibližnČ pokrývá dva tucty tČchto posunĤ. TĜetí krok lokalizuje hledání prostorových a doþasných odhadĤ. Podmínka nultého posunu zahrnuje bezpeþnou kontrolu, která pomáhá pĜedejít odchýlení a konvergenci k lokálnímu minimu. Pro nČjaké procesy obrazu, mĤže tento algoritmus selhat. Obvykle, když je prostorové zarovnání špatnČ ohodnoceno pro daný obrazový proces, pak mĤže nastat dvojsmysl charakteristik scény. NapĜíklad mĤžeme uvažovat o progresivní digitální scénČ obsahující zábČr smČrem doleva. Protože je zábČr vytvoĜen poþítaþem, tato scéna mĤže mít horizontální zábČr pĜesnČ dva pixely na každý obraz. Z algoritmu pro prostorové zarovnaní mĤžeme vyvodit stanovisko, že by bylo nemožné rozlišit správný výpoþet prostorového zarovnání použitím shodného originálního obrazu. Pro další pĜíklad, mĤžeme uvažovat obraz skládající se s perfektnČ digitálních þerných a bílých vertikálních ĜádkĤ. Protože obraz neobsahuje žádné horizontální Ĝádky, vertikální posun je pak nejednoznaþný. Protože se vzor vertikálních ĜádkĤ opakuje, horizontální posun je nejednoznaþný (dva a více horizontálních posunĤ jsou dostateþnČ akceptovatelné). Proto by mČl být opakovací algoritmus vyhledávání aplikovaný na sekvenci
zpracovaných
obrazĤ.
Tento
algoritmus
shodnČ
produkuje
horizontální prostorové zarovnání, kde je dobrá pĜesnost blízko 0.5 pixelu (prostorové zarovnání k nejbližším 0.5 pixelĤm dostateþnČ staþí pro mČĜení kvality, zde popsané) . Prostorový posun mĤžeme odhadnout z vícenásobných sekvencí nebo scén s vČtšími odhady pro HRC (Hypothetical Reference Circuit), které jsou testované, domnívající se, že prostorový posun je vždy konstantní pro všechny scény procházející skrz HRC. Algoritmus popsaný výše vyžaduje docela velkou šíĜku pásma, kvĤli srovnávání pixelĤ originálního a zpracovaného obrazu. Mohl by nastat problém designu v prĤbČhu þinnosti kvalitního monitorování
aplikací. NaštČstí každá
þást pĜenosového zaĜízení (tj.: kodér, dekodér nebo analogový pĜenos) bude mít jedno konstantní prostorové zarovnání. Jestliže bude mít hardware mČnící nebo promČnlivé prostorové zarovnání, pak se bude jevit pĜenesené video pohybem nahoru a dolĤ, což je neakceptovatelná degradace, která by mohla být rychle adresována výrobci. - 37 -
3.3.2. PVR (Processed Valid Region) Video
vzorkované
podle
ITU-R
BT.601
[10]
(International
Telecommunication Union-Recommendation), má okraj pixelĤ a ĜádkĤ, které neobsahují platný obrázek. Digitální video systém, který využívá kompresi možná dále redukuje oblast obrázku za úþelem uložit pĜenášené bity. Jestliže se nepĜenesou pixely a Ĝádky v televizním obrázku, pak typický uživatel nezaznamená chybČjící Ĝádky a pixely. Jestliže se
tyto nepĜenesené pixely
a Ĝádky objeví v oblasti obrázku, pozorovatel možná uvidí þerný okraj kolem obrázku. Tyto anomálie, které mohou nastat by mohly ovlivĖovat (VQM) mČĜení, proto jsou tyto oblasti vyjmuty z tohoto mČĜení. Hlavní algoritmus zaþíná pĜedpokladem, že vnČjší okraj každého zpracovávaného obrázku obsahuje neplatné video. Rozsah této špatné oblasti je situován zkusmo, založen na pozorování aktuálního video systému. Pro 525 ĜádkĤ video vzorkování podle Rec. 601 [10] vyjme „defaultní!“neplatná oblast 6 pixelĤ/ĜádkĤ nahoĜe, vlevo a vpravo a 4 Ĝádky dole. PVR algoritmus zaþíná nastavením PVR k vyjmutí této neplatné defaultní oblasti. Pixely uvnitĜ aktuální neplatné oblasti jsou odhadnuty a pak prozkoumány. Pokud je prĤmČrná hodnota pixelu þerná nebo pokud se þerné blíží, pak se platná oblast odhadu snižuje podle velikosti. Opakováním této zkoušky se platná oblast zmenší. Zastavením podmínky mĤžeme zmást obsah scény. MĤže totiž dojít k tomu, že obrázek bude obsahovat opravdovou þernou barvu na levé stranČ obrázku, to pak zpĤsobí, že algoritmus nerozpozná, zda se jedná o chybu nebo o reálnou scénu. Z tohoto dĤvodu je algoritmus aplikován na vícenásobné zpracovávání obrázku ve video sekvenci. SouĜadnice PVR jsou transformovány pĜes výsledek prostorového zarovnání, proto také PVR specifikuje þást originálního videa, které zĤstává platné. Tento automatizovaný algoritmus pracuje dobĜe pro odhad platné oblasti pro vČtšinu scén díky nekoneþným možnostem, které mohou ve scénČ nastat, proto bere algoritmus konzervativní pĜístup pro odhad platné oblasti. Ruþní zkouška platné oblasti vede k tomu, že bychom si vybrali mnohem vČtší oblast. Konservativní oblast se odhaduje mnohem lépe pro automatizované mČĜení - 38 -
video kvality, protože vyjmutí malého množství videa, bude mít menší dopad na kvalitní odhad.
3.3.3. Gain and offset Nezbytným pĜedpokladem pro kalibraci zesílení a offsetu je, že originální a zpracovaný obrázek je prostorovČ zaĜazený. Originální a zpracovaný obrázek musí být také doþasnČ zaĜazený. Kalibrace zesílení a offsetu mĤže být vykonávaná buć snímkem nebo obrazem. Metoda, která je zde popisována má pĜedpoklad, že signály Y, CB a CR mají nezávislé zesílení a offset. Tento pĜedpoklad bude obecnČ staþit pro kalibraci složek video systému (napĜ.:Y, R-Y, B-Y). Avšak, složené nebo S-video systémy, mají sled fází barvonosných informaþních složek od dvou barvonosných složek, které jsou seskupeny v jeden komplexní vektorový signál s amplitudou a fází. Algoritmus, zde pĜedstavený nebude dĤkladnČ kalibrovat video systémy, které pĜedstavují sled fází jako informaci o barevném rozdílu (napĜ.: odstínová úprava na televizních pĜijímaþích). Navíc algoritmus pro odhad využívá nadmČrné zesílení, které zpĤsobí zkroucení pixelĤ a které zpĤsobí chyby
v odhadech,
pokud
není algoritmus
od
tČchto
efektĤ
modifikován. Platné oblasti originálního a zpracovaného snímku jsou rozdČleny do malých sub oblastí nebo blokĤ. Prostor [Y CB CR] je vzorkován pro každý odpovídající originál a zpracovanou sub oblast, která je vypoþítána speciálnČ pro sub vzorkované obrázky. SmČrodatná odchylka rĤzných obrázkĤ je vypoþítána pomocí sub vzorkovaného Y jasového snímku. V daném zpracovaném obraze vytvoĜila malá hodnota smČrodatné odchylky, která se vybrala jako nejlepší hodící se možnost, doþasný posun. První lineární Ĝád je vhodný pro výpoþet relativního zesílení a offsetu mezi sub vzorkovaným originálem a zpracovaným snímkem. Tento lineární výpoþet je vhodný aplikovat nezávisle na každý ze tĜí kanálĤ: Y, CB a CR. Algoritmus popsaný výše by mohl být aplikován na vícenásobný odpovídající originál a zpracovaný snímek rozdČlený do pravidelných intervalĤ skrz video sekvenci.
- 39 -
Aþkoli se zesílení a offset dá poþítat i pro CB a CR kanály, nejsou potĜebné pro další aplikace. Obecný model využívá pouze jas nebo zesílení a offset kanálu Y (jako korekþní faktory). ZmČny barev CB a CR by mohly zhoršit výsledky testování.
3.3.4. Temporal alignment Moderní digitální komunikaþní video systémy typicky požadují nČkolik desetin sekundy k procesu a pĜenosu videa z kamery k pĜijímacímu displeji. Velké zpoždČní má za následek zdržování efektivnosti v komunikaci. Proto objektivní metody pro mČĜení zpoždČní end-to-end metody jsou velice dĤležité pro uživatele na pĜijímací stranČ. ZpoždČní videa mĤže záviset na dynamických vlastnostech originální scény (napĜ.: prostorové detaily, pohyb) a na video systémech (napĜ.: pĜenosová rychlost). NapĜíklad, scéna s vysokým množstvím pohybu bude mnohem více trpČt zpoždČním než scéna s malým množstvím pohybu. NČkteré video pĜenosy poskytnou informaci o þasové synchronizaci (napĜ.: originální a zpracované snímky mohou být oznaþeny nČjakou þasovou informací).
ObecnČ,
þasová
synchronizace
mezi
originálním
a zpracovaným videem musí být zmČĜena. Tato þást je vČnována technice pro odhadování video zpoždČní založené na originálních a zpracovaných video snímcích. Tato technika je založená na korelaci obrázku s nižším rozlišením, na sub vzorkování v prostoru odkud se pak vytáhnou informace originálního a zpracovaného videa. Tato snímkovací technika odhaduje zpoždČní každého snímku nebo obrazu (pro prokládací video systémy). Tyto individuální odhady kombinují prĤmČrné zpoždČní ve video sekvenci. Redukovat
vlivy
zkroucení
doþasného
zarovnání,
originálního
a zpracovaného obrázku jsou nejdĜíve prostorovČ vzorkovány a potom normalizovány na jednotkovou zmČnu.
Na každý individuální zpracovaný
obrázek je potom použit algoritmus zesílení a offset (najít originální obrázek, který minimalizuje
smČrodatnou odchylku mezi originálními a zpracovanými
obrázky). Tyto situace jsou nejvíce podobné originálnímu obrazu pro každý zpracovaný obraz.
- 40 -
Avšak není to shodnost originálního obrázku, o který se zajímáme, ale spíše
relativní
zpoždČní
mezi
originálními
a
zpracovanými
obrázky
(napĜ.: v sekundách nebo ve snímcích). MČĜení zpoždČní obrazu je vloženo do histogramu, který se pak vyhladí. Jestliže je bin blízko jednoho konce histogramu, který obsahuje velký poþet þísel, pak by byla nejistota doþasného zarovnání velice malá a celý algoritmus by se mČl opakovat s vČtší nejistotou zarovnání. Jinak by maximální vyhlazený histogram obsahoval biny s nejlepším prĤmČrným doþasným zarovnáním ve scénČ. Toto þítací schéma obsahuje pĜesný odhad pro prĤmČrné zpoždČní ve video sekvenci. ZpoždČní zaznamenáno v posledním stupni algoritmu mĤže být odlišné od zpoždČní zaznamenané divákem (divák by mohl toto zpoždČní vidČt pĜi zarovnávacích scénách). Diváci se nejvíc soustĜedí na pohyb (zarovnávací vysoko pohyblivé þásti scény), a proto si algoritmus vybere nejþastČji pozorované zpoždČní (v prĤbČhu pohybu) a poté je prozkoumá. Toto celkové zpoždČní histogramu je pak prozkoumáno k urþení rozsahu a statistiky promČnného video zpoždČní prezentované v HRC.
- 41 -
[11]
4. Chyby v obraze po prĤchodu testovaným zaĜízením Významnou þást video informace niþí napĜíklad chyby v pĜenosu a kódování. Obrázek 13 ukazuje jednoduchý video obraz, který v tomto pĜípadČ pĜedstavuje þervené Ferrari Michaela Schumachera, jak opouští dráhu a Ĝítí se na trávník. Video obsah je nezkreslený a mĤže se zdát, že se Ferrari celé nerozbije. Schumacher vypadá být v poĜádku – živá informace pro každého fanouška, který scénu sleduje na mobilním telefonu.
obr.13 Na
obrázku
14
mĤžeme
vidČt
jednoduchý
video
obrázek
z dekódovaného signálu. Stejná scéna jako z obrázku 13, ale tentokrát, není vidČt zda je nebo není auto poškozené, protože kvĤli rozmazání a šumu došlo ke ztrátČ detailĤ. Obrázek nám tedy nedává reálný pohled na danou vČc, dokonce hĤĜ, dává špatnou informaci o výsledku scény.
obr.14 nám jasnČ ukazuje, že testování kvality je velice dĤležité pro úspČch v businessu. [5]
- 42 -
Nyní popíši základní video degradace: •
Blockiness: chyby zpĤsobené DCT (Discrete Cosinus Transform) komprimací.
•
Blur: chyba detailĤ a rozmazaných okrajĤ ve videu.
•
Jerkiness: tyto chyby mohou být zpĤsobeny: pĜetížením sítČ, ztrátou paketĤ, chybou kodéru nebo redukovaným obnovovacím kmitoþtem.
•
Edge noise: chyba okraje, mĤže vzniknout bČhem pĜenosu.
•
Flicker: chyba nastává pĜi ztrátČ paketĤ.
Na obr. 15, 16, 17 mĤžeme vidČt pĜíklady video degradací. Na dalším obrázku mĤžeme vidČt ztrátu PLR (Packet Loss Rate). [12]
obr. 15 chyba blur a jerkiness
- 43 -
obr. 16 Pokles PLR o 0%, 0.5% a 5%
obr. 17 chyba blockiness
- 44 -
5. Video formáty VČtšina metod pro objektivní mČĜení používá
video sekvence podle
standardu ITU-R 601 [10]. V tab. 4 mĤžeme vidČt rozlišení používaných formátĤ pro mČĜení video kvality.
Video Conferencing Formats 4:3 QCIF
176x144
QSIF
166x120
SIF
320x240
CIF
352×288
NTSC:4SIF
704x480 or 640x480
PAL:4CIF
704x576 (H.261 Annex D)
16CIF
1408 x 1152 tab. 4
5.1 Standard H.263 H.263 byl vyvinut s použitím zkušeností získaných z používání H.261, který tomuto kodeku pĜedcházel a využívá i nČkteré vČci z MPEG1 a MPEG2 standardĤ. Tento kodek je vhodný pro pĜenos videa, hlasu a dat v místech, kde není pĜíliš široké pásmo. Byl tedy navržen pro nízkokapacitní komunikace. Poþáteþní návrh specifikoval datový tok menší než 64 Kbits/s.H.263 podporuje pČt rozlišení: QCIF a CIF které byly podporovány v H.261, navíc ještČ je pĜidáno SQCIF, 4CIF, a 16CIF. [13]
- 45 -
tab. 5 PĜehled formátĤ H.263 komprese
5.2 Standard H.264 (MPEG-4 AVC) Standard H.264 nebo taky MPEG-4 AVC je momentálnČ nejpoužívanČjší ze všech moderních širokopásmových video formátĤ. Standardizován byl ITU pod názvem H.264 ve spolupráci s ISO/IEC MPEG, kde byl pojmenován MPEG-4 Part 10 (formálnČ jako ISO/IEC 14496-10). Tato dvojí identická standardizace má svĤj význam. H.264 se díky tomu dostává jak na mobilní telefony (jako formát 3GP), tak na další rádiové technologie. [14]
5.3 MPEG Ve svém pĤvodním významu je MPEG zkratka ( Moving Picture Expert Group ) skupiny, která vytvoĜila standarty pro kompresi zvukových a obrazových signálĤ. MPEG vznikla v roce 1988. Byly schváleny þtyĜi normy pro rĤzné použití, lišící se metodou a stupnČm komprese. •
MPEG 1 - byl navržen pro práci s videem o rozlišení 352x288 bodĤ a 25 snímkĤ/s pĜi datovém toku 1500kbit/s.
- 46 -
•
MPEG 2 - je schopen pĜi pĜenosových rychlostech do 15 Mbit/s pĜenos TV obrazu v diskrétní podobČ a v rĤzných rozlišeních, napĜ.: pro HDTV.
•
MPEG 3 - pro HDTV, þasem zaniklo a používá se MPEG 2
•
MPEG 4 - je urþen pro velmi nízké pĜenosové rychlosti a to v rozlišeních do 176x144x10 s pĜenosovou rychlostí mezi 4800 až 64000 bits/s. Tento nový standart mČl by být používán, napĜíklad ve videotelefonech [7]
5.3 Základní údaje standardu ITU-R 601 Kmitoþet vzorkování jasového signálu UY (Y): fY = 13,5 MHz. Kmitoþet vzorkování chrominanþních signálĤ CR ,CB: fCR = fCB = 6,75 MHz. Formát vzorkování: 4 : 2 : 2.(tento formát vzorkování znaþí, že chrominaþních (barevných) vzorkĤ je na Ĝádku pouze poloviþní poþet než vzorkĤ jasových). Kvantování všech vzorkĤ: lineární, ekvidistantní. Poþet kvantovacích úrovní signálĤ UY, CR ,CB 256 (8 bitĤ na vzorek). Pro TV normy 625/50 (pĜedevším Evropa) je na Ĝádku 864 vzorkĤ a na celém aktivní (viditelné) þásti Ĝádku 720 vzorkĤ jasového signálu. Pro TV normy 525/60 (pĜedevším zámoĜí) je na Ĝádku 858 vzorkĤ, na aktivním Ĝádku rovnČž 720 vzorkĤ jasového signálu. Ve vzorkovacím formátu 4 : 2 : 2 se poloha vzorkĤ chrominanþních složek kryje s lichými vzorky jasového signálu. [15]
- 47 -
6. ZávČr Vývoj technologií video komunikace mĤžeme z hlediska rychlosti smČle pĜirovnat k vývoji výpoþetní techniky. Komunikace jako taková je pro život þlovČka jedna z nejdĤležitČjších vČcí. Mnozí si jistČ pamatují na dobu pĜed 15-20 lety, kdy vlastnit mobilní telefon byla výsada nČkolika málo jednotlivcĤ. VždyĢ šlo o pĜístroje velikosti kufĜíku a váze nČkolik kilogramĤ. Signálem byla pokryta pouze hlavní mČsta a jedinou službou bylo uskuteþnČní nebo pĜijmutí hovoru. Video telefonie byla jen vize a sci-fi, kterou jsme mohli vidČt ve filmech. V dnešní dobČ u GSM sítí zatím hovory pĜevažují nad datovými pĜenosy. Avšak datové pĜenosy jsou stále více a více využívány, mezi nČž také patĜí video telefonie, která zažívá poþátek své existence. V budoucnosti, s postupným rozvojem UMTS, se však pomČr hlasových a datových pĜenosĤ obrátí jednoznaþnČ ve prospČch datových. Myslím, že není daleko doba, kdy mobilní telefon s videokamerou a pĜipojením k internetu, využívající vysokorychlostních datových pĜenosĤ bude zcela bČžná vČc. Proto je nesmírnČ dĤležité video kvalitu mČĜit, najít odpovídající objektivní algoritmy podobající se lidským rozhodovacím a pozorovacím vjemĤm. MČĜení lze tedy rozdČlit na objektivní a subjektivní, kde subjektivní mČĜení je velice nároþné, jak na poþet lidí tak poþet mČĜení. Existuje zde stupnice ohodnocení, nazývaná MOS (Mean opinion score). Objektivní mČĜení je z hlediska rozvijící se video komunikace velice dĤležité. Není totiž možné spoléhat se jen na ohodnocení þlovČkem, je to þasovČ i finanþnČ velice nároþné. Tyto standardizované algoritmy pro mČĜení videa kvality jsou prvním krokem pro úspČšnou video komunikaci, aĢ už pĜes internet, mobilní telefon nebo jiné komunikaþní systémy.
- 48 -
7. Seznam literatury [1]
http://cs.wikipedia.org
[2]
http://www.digizone.cz
[3]
http://www.pripojtese.cz
[4]
http://live.ece.utexas.edu
[5]
http://www.opticom.de
[6]
RECOMMENDATION ITU-R BT.500-11, Methodology for the subjective assessment of the quality of television Picture, 2002
[7]
http://en.wikipedia.org
[8]
ITU-R BT.500-8
[9]
ITU-T Study Group 9 : Final report from the video experts group on the validation of objective model of video quality assessment.
[10]
ITU-R BT.601
[11]
Pinson M, Wolf S.: A New Standardized Metod for Objectively Measuring
Video
Quality.
National
Telecommunications
and
Information Administration (NTIA) Technical Report TR-06-433a, July, 2006.
[12]
Video Quality of Service over IP, White paper, State of the art, October 2004
- 49 -
[13]
http://www.cmlab.csie.ntu.edu.tw/cml/dsp/training/coding/h263/h263.html
[14]
Special Session on Advances in the New Emerging Standard: H.264/AVC, August, 2004
[15]
http://www.urel.feec.vutbr.cz
[16]
ITU-T Recommendation P.910
- 50 -
