A digitális képkódolás fejlődési irányai FAZEKAS KÁLMÁN B M E Mikrohullámú Híradástechnika Tanszék
ÖSSZEFOGLALÁS A képi információ á t v i t e l e iránti i g é n y az u t ó b b i n é h á n y é v t i z e d b e n óriási m ó r t é k b e n m e g n ö v e k e d e t t , egész sor rendszer került kifejlesztésre a legkülönbfélébb alkalma zásokra. E z e n az igen széles körű t é m a t e r ü l e t e n az igen ö s s z e t e t t és sok e g y m á s n a k e l l e n t m o n d ó k ö v e t e l m é n y e k miatt jelenleg a hardware ésszerű m é r e t é t és a költség szintet tekintve nincs általános m e g o l d á s g a z d a s á g o s kódolási elrendezésre. E n n e k k ö v e t k e z t é b e n világszerte i n t e n z í v kutatás-fejlesztés folyik, amelynek jellegzete sebb i r á n y a i t érinti r ö v i d e n a cikk.
Bevezetés. A k é p i i n f o r m á c i ó á t v i t e l e i r á n t i i g é n y az u t ó b b i n é h á n y é v t i z e d b e n óriási m é r t é k b e n m e g n ö v e k e dett, egész sor rendszer k e r ü l t kifejlesztésre a leg k ü l ö n b f é l é b b a l k a l m a z á s o k r a . E z az igen széles k ö r ű t é m a t e r ü l e t felöleli t ö b b e k k ö z ö t t k é p e k d i g i t á l i s k ó d o l á s á t és á b r á z o l á s á t , digitális k ó d e k ( k ó d o l ó - d e k ó d o l ó ) b e r e n d e z é s e k e t , a videojelek á t v i t e l é r e és s z ó t o s z t á s á r a l é t r e j ö t t különféle rend szereket, m i n t p é l d á u l a v i d e ó konferencia rend szerek különféle v á l t o z a t a i , facsimile, videotext, teletext, H D T V rendszereket, v a l a m i n t a k ü l ö n féle i p a r i , orvosbiológiai é s speciális rendszereket. A d i g i t á l i s k é p á b r á z o l á s á h o z M x N k é p e l e m és B b i t / k é p e l e m e s e t é n M N B b i t szükséges. E z t a t ö m b ö t n e v e z z ü k a d i g i t a l i z á l t k é p kanonikus a l a k j á n a k feltételezve, hogy a 2 D m i n t a v é t e l i t é t e l t figyelembe v e t t ü k . A z M N B b i t igen nagy érték a k á r ábrázolásról, a k á r átvitelről (1. táblázat) v a n szó. A k é p k ó d o l á s feladata az eredeti k é p 1. táblázat C C I R 601 ajánlás (4:2:2 s z a b v á n y ) fő paraméterei 526 sor 60 félkép/s A minták száma a teljes sorban: Y R—Y, B—Y Mintavételi frekvencia: Y R—Y, B—Y Minták száma a digitálisan aktív sorban: Y R—Y, B—Y Jelszint és a kvantálási szintek kapcsolata: Y R—Y, B—Y Primér adatsebesség: Y R—Y, B—Y
KÁLMÁN
1962-ben szerzett villa mosmérnöki oklevelet a BME Villamosmérnöki Kar Híradástechnika Szakán, majd oktató lett a Vezetéknélküli Híradás technika Tanszéken. 1966tól a Mikrohullámú Hír adástechnika Tanszék ad junktusa. 1968-ban mér nök-tanári oklevelet szer zett. Több mint tíz éven át volt előadója az Impulzustechnika című tárgynak, jelenleg az Elektronikus áramkörök című tárgy társelőadója. A digitális képfeldolgozás és a video jelek digitális kódolása
témakörben fakultatív elő adásokat és mérnöktovább képző tanfolyamokat tar tott és tart. Videojel kó doló-dekódoló egységek ki dolgozásában vett és vesz részt. 1962 óta tagja a HTE-nek, 1980 óta az EUBASIP-nek (EXJROPEAN ASSOGIATION FOR SIGNAL PRO CESSING), 1986-ban tagja lett a SPIE-nek (THE INTERNATIO NAL SOOIETY FOR OPTIOAL ENGINEERING). Részt vesz az Interkozmosz Tanács Űr távközlési Szakbizottságá nak kutatómunkájában. Számos konferencia és szak cikk szerzője.
pontos megfelelőjének á b r á z o l á s á h o z é s vissza á l l í t á s á h o z szükséges b i t s z á m illetve á t v i t e l i adat sebesség l e h e t ő legnagyobb m é r t é k ű c s ö k k e n t é s e . A z e l é r h e t ő a d a t t ö m ö r í t é s é r t é k e a l a p j á n beszélünk első és m á s o d i k generációs k é p k ó d o l á s r ó l ( 1 . á b r a ) . A m o z g ó k é p e k (pl. T V m ű s o r ) e s e t é n azok nem s t a c i o n á r i u s viselkedése m i a t t az első generációs k é p k ó d o l á s m ó d s z e r e i k e r ü l t e k m e g v a l ó s í t á s r a ezidáig. A j ó v a l nagyobb a d a t t ö m ö r í t é s t a d ó m á s o d i k g e n e r á c i ó s k é p k ó d o l á s csak fekete-fehér álló k é p e k r e vonatkozik.
ió'morltest
625 sor 50 félkép/s
60
f
864 432
858 429 13,5 MHz 6,75 MHz
második 'generációs kodolds
ko 30
720 360
20
a 0-5-255 skálán (8 bit) 16 (fekete) - 2 3 5 (fehér 128 (nincs szín) ± 1 1 2 (16 — 240 teljes telítés) 108 Mb/s (54 + 54)Mb/s/
B e é r k e z e t t : 1987. I I I . 28. (H)
56
FAZEKAS
első
40
genervciős "kódolót
0
216 Mb/s 1. ábra. A t ö m ö r í t é s fejlődése
Híradástechnika
XXXIX.
évfolyam,
1988. 2. szám
A videojel digitális á t v i t e l é r e alkalmazott k é p k ó d o l á s i elrendezések k o m p l e x i t á s a függ a szolgál t a t á s fajtájától, v a l a m i n t az á t v i t e l i k ö l t s é g e k é s a hardware k i a d á s o k k ö z ö t t i k o m p r o m i s s z u m t ó l . A m ű s o r s z ó r ó televízió e s e t é n a nagy k é p m i n ő s é g a d ö n t ő . A digitális k á b e l T V - n é l az e g y s z e r ű hard ware realizáció, m i v e l a j á r u l é k o s k ö l t s é g e k e t a t e r m i n á l b e r e n d e z é s n é l kis é r t é k e n k e l l t a r t a n i . V i d e ó konferencia és k é p t e l e f o n s z o l g á l t a t á s n á l az á t v i t e l i a d a t s e b e s s é g c s ö k k e n t é s e a fontos. K i s a d a t s e b e s s é g ű á t v i t e l n é l (telefon ,rádiótelefon csa t o r n á k ) e x t r é m nagy a d a t t ö m ö r í t é s ( > 1 0 ) s z ü k séges. J e l l e m z ő p é l d a k é n t é r d e m e s m e g e m l í t e n i a jelenlegi COST 211 kodekre é p ü l ő e u r ó p a i v i d e ó konferencia rendszert, amelyet 10 e u r ó p a i o r s z á g k ö z ö s e n v a l ó s í t o t t meg és s z a b v á n y o s í t o t t . A z eu r ó p a i rendszert a 2 Mb/s a d a t s e b e s s é g és a m ű h o l d a l a p ú h á l ó z a t jellemzi.
2. A JD«
Algoritmus Netravali-
=d.r + e —-— Iísjes _,(x, dx
l+1
á
1. Mozgás kódolásban
hatásának
figyelembevétele
a
e = l/1024 Newton—
d
Iiaphson
dx
—áxi
B*Wk—i(x, y, Di)
B
2
{x, y, Di)
dx'CafferioRocca
dx
dx
=dxi + -
i + l
dx-
Rsktk-t (x, y, Di)
Rswk—! (x, y, 0)
?? = 100 2
Bergmann
dxi
— dxi —
+1
A
dx
3
l f
• i?»i**_i(a;, y, Di) 1
d*
!
li^k^k—\ a keresztkorrelációs f ü g g v é n y
kép3.
A z egyik l e g í g é r e t e s e b b fejlesztési i r á n y z a t a k é p e n belüli m o z g ó t á r g y a k m o z g á s á n a k l e í r á s á r a szol g á l ó m a t e m a t i k a i modell a l k a l m a z á s a . A T V k é p e k s z e k v e n c i á j á b a n egy m o z g ó t á r g y k é p r ő l k é p r e fényesség v á l t o z á s o k a t okoz. Ezek a fényesség v á l t o z á s o k h a s z n á l h a t ó k fel a m a t e m a t i k a i modell p a r a m é t e r e i n e k a becslésére. A m o z g á s t leíró m a t e m a t i k a i modellek teszik l e h e t ő v é a p r e d i k t í v , a t r a n s z f o r m á c i ó s és az i n t e r p o l a t í v k ó d o l á s s a l n y e r t a d a t t ö m ö r í t é s növelését. A k é p k ó d o l á s b a n a v a l ó s idejű feldolgozásból a d ó d ó i d ő k o r l á t és a becslő e l j á r á s o k n á l a s z á m í t á s i m ű v e l e t e k nagy s z á m a m i a t t eddig f ő k é n t csak a m o z g á s e l m o z d u l á s komponensét vizsgálták. A kódolási eljárások a modell a l a p j á n m e g h a t á r o z o t t e l m o z d u l á s v e k t o r t hasznosítják. A z e l m o z d u l á s (D) becslő algoritmusok k é t csoportja ismert, a r e k u r z í v - és a b l o k k - i l l e s z t ő . Ezek a m ó d s z e r e k a becslési p o n t o s s á g , a konver gencia sebesség é s a s z á m í t á s i k o m p l e x i t á s vonat k o z á s á b a n t é r n e k el e g y m á s t ó l . A r e k u r z í v e l m o z d u l á s becslő algoritmusokban egy Di kezdeti becslést h a s z n á l u n k fel az ú j D becsült érték meghatározásához
i + 1
A + i > A + ^« ahol az Ui az i. i t e r á c i ó k o r r e k c i ó s tagja. A z i t e r á c i ó k v é g r e h a j t h a t ó k k é p e l e m e n k é n t (pel) a le t a p o g a t o t t sor m e n t é n , sorról-sorra, v a g y k é p r ő l k é p r e . Ennek megfelelően ezek az e l j á r á s o k a h o r i z o n t á l i s , a v e r t i k á l i s , vagy az időbeli r e k u r z i ó v a l r e a l i z á l t p e l - r e k u r z í v becslő algoritmusok. A i s m e r e t é b e n m e g h a t á r o z h a t ó az elmozdult k é p k ü l ö n b s é g (DEDJ D F D ( a ; , í / , A ) = s {x,y)~ k
Híradástechnika
y, Di);
li
3
A z igen ö s s z e t e t t és sok e g y m á s n a k e l l e n t m o n d ó szempontot t a r t a l m a z ó k ö v e t e l m é n y e k m i a t t je lenleg a hardware ésszerű m é r e t é t é s a k ö l t s é g szintet t e k i n t v e nincs á l t a l á n o s m e g o l d á s g a z d a s á gos k ó d o l á s i elrendezésre. E n n e k k ö v e t k e z t é b e n világszerte intenzív kutatás-fejlesztés folyik, amelynek jellegzetesebb i r á n y a i t s z e r e t n é n k e cikk ben r ö v i d e n é r i n t e n i .
XXXIX.
s_ k
^x—dx^y—di/i)
évfolyam,
táblázat
elmozdulás becslés x komponense
dx
Robbins
+ 1
1988. 2. szám
táblázat
N o r m a l i z á l t keresztkorrelációs f ü g g v é n y M
N
^
n)sk—i(m + i, n +j)
m=1n=1
7?norm
M
N
M
N
,/
2
^4(™>™)^J m=l n= l
n+j)]
m= l n—1
Á t l a g o s - n é g y z e t e s hiba ^
MSE(i,
j)
JK
=jj^r ^
Jí
^
n
) ~
+ *» +J)V n
m= \ n=1
A k é p k ü l ö n b s é g abszolútértékének k ö z é p é r t é k e M
MA D(i,.j) = ^j-
^
N
2
' ^' Sk
m
^ ~ -i( Sk
m
>
+i
n
+•?') I
ahol s (x,y) egy m o z g ó t á r g y (x,y) p o n t j á b a n a fényesség é r t é k e a k. k é p e n . E z a f ü g g v é n y s z á m í tási kritériumként használatos D becslés e s e t é n . A 2. t á b l á z a t s z e m l é l t e t n é h á n y ismert e l j á r á s t . A s z ü k s é g e s s z á m í t á s i m ű v e l e t e k s z á m a csök k e n t h e t ő , ha a k é p e t felosztjuk f i x s z á m ú d e r é k szögű b l o k k r a és b l o k k o n k é n t v é g e z z ü k a b e c s l é s t . F e l t é t e l e z z ü k , hogy a b l o k k minden k é p e l e m é n e k az e l m o z d u l á s a azonos. í g y b l o k k o n k é n t csak egy e l m o z d u l á s v e k t o r t k e l l k i s z á m í t a n i . E z t az e l j á r á s t nevezik blokk-illesztő algoritmusnak. A z illesztés k r i t é r i u m a a D(i,j), az M S E ( i J ) vagy az MAD(i,j) m i n i m u m a (3. t á b l á z a t ) , amelyek a m i n i m á l i s t o r z í t á s i r á n y á t jelölik. A z i r á n y k e r e s é s r e t ö b b f é l e m ó d s z e r t (2D-logaritmikus keresés, m ó d o s í t o t t konjugált iránykeresés, három-lépéses keresés, k
l+1
57
MoOel) *
s
•
2 1t 4
H
1
/
3 * 2 y.3 ' 2 3 J3 3 —t
A
h
1
/
/ a t k
1
2
'% L
A
i
2
y+4 j
J-4 __,
.
1
1
1
'—
eo
80
no
J
4
ko
20
H336-3 3. ábra. Maszkoló f ü g g v é n y e k 4.
IH336-2 2: áfcro. H á r o m l é p é s e s keresés
Dmmu=
h—l
di +
]S}
/
i=0
Sí
táblázat
1
(e-ri) p{e)de 2
ahol di é s r% a döntési é s reprezentációs szintek p(e) az e hibajel valószínűség sűrűség f ü g g v é n y e
stb.) dolgoztak k i , ezek k ö z ü l s z e m l é l t e t é s k é n t a h á r o m - l é p é s e s k e r e s é s t m u t a t j a be a 2. á b r a . A k r i t é r i u m o k k ö z ü l az MAD(i,j) r e a l i z á l á s a a leg k ö n n y e b b , m i v e l szorzási é s o s z t á s i m ű v e l e t e k e t nem tartalmaz. A blokk-illesztő é s a r e k u r z í v e l m o z d u l á s becslő algoritmusok ö s s z e h a s o n l í t á s á n a k e r e d m é n y e , hogy a l e í r t blokk-illesztő algoritmusok becslési pontos s á g a 0,5 pel-re k o r l á t o z o t t . A r e k u r z í v a l g o r i t m u sok pontosabb becslést tesznek l e h e t ő v é egy bonyolultabb s z á m í t á s i eljárás á r á n . Azonban a blokk-illesztő e l j á r á s o k p o n t o s s á g a is j a v í t h a t ó j á rulékos interpolációval. A m o z g á s h a t á s á t figyelembe v e v ő k ó d o l á s i módszereket általában mozgás-kompenzált kódo l á s n a k nevezik. A m o z g á s - k o m p e n z á l t k ó d o l á s i el j á r á s o k jelentősége minden fajta k é p a n y a g k ó d o l á s á n á l egyre nagyobb, de f e l t é t l e n ü l k i e m e l e n d ő m e g h a t á r o z ó szerepe a kis b i t s e b e s s é g ű d i g i t á l i s k é p á t v i t e l e s e t é n (telefon, rádiótelefon). Meg k e l l m é g j e g y e z n ü n k , hogy a fent e m l í t e t t m ó d s z e r e k mellett l é t e z n e k olyanok is, amelyek a h á r o m d i m e n z i ó s merev testek m o z g á s - m o d e l l j e a l a p j á n az e l m o z d u l á s t és az elfordulást s z i m u l t á n becslik. T o v á b b i j a v u l á s t e r e d m é n y e z — t e r m é s z e tesen a m ó d s z e r b o n y o l u l t a b b á v á l á s a á r á n — vala m e l y i k jellemző p a r a m é t e r r e alapozott e l m o z d u l á s becslés (pl. az élek k i n y e r é s e u t á n , az élek el m o z d u l á s á n a k a becslése).
k—l
D = wmse
2^ i=0
I di
(e-r ) w(e)p(e)de i
i
ahol w(e) a lokális jelváltozás értéke vi
r
i+1
i=o di ahol v(e) a láthatósági sűrűség f ü g g v é n y
A DPOM átviteli adatsebesség redukciója jórészt a p r e d i k c i ó hiba k v a n t á l á s á v a l n y e r h e t ő . E g y f i x k ó d s z ó h o s s z ú s á g ú D P C M r e n d s z e r n é l az o p t i m á l i s k v a n t á l ó m é r e t e z é s a k v a n t á l á s i szintek m i n i m á l i s s z á m á t e r e d m é n y e z i és a t o r z í t á s o k l e h e t ő közel lesznek a l á t h a t ó s á g i k ü s z ö b h ö z . A n é z ő érzékelésé nek a k v a n t á l ó m é r e t e z é s é b e v a l ó b e v o n á s a n e h é z -
sóge m i a t t g y a k r a n e g y s z e r ű hiba definíciót hasz n á l n a k (4. t á b l á z a t ) . A v i z u á l i s s ú l y o z ó függvé n y e k k e l v a l ó m é r e t e z é s i m ó d s z e r e k h á t r á n y a , hogy a D P C M k v a n t á l á s i h i b a v i s s z a c s a t o l á s a nincs figyelembe v é v e , m i v e l a v i z u á l i s súlyozó függ v é n y e k e t a D P C M v a l ó d i k v a n t á l á s i h i b a patternje helyett a d d i t í v zajjal h a t á r o z t á k meg. A z első k í s é r l e t e t ebben az i r á n y b a n K r e t z v é g e z t e , a k i olyan s a j á t o s patternek láthatósági k ü s z ö b j e i t v i z s g á l t a , amelyek az 1 D — D P C M rend szerek k v a n t á l á s i h i b á i t i m i t á l j á k . A különféle teszt k é p e k v a l ó d i k v a n t á l á s i h i b a patternjeit g e n e r á l t a nem v a l ó s i d e j ű s z á m í t ó g é p e s D P C M s z i m u l á c i ó k k a l és h a s z n á l t a fel k ü s z ö b m é r é s e k r e E r d m a n n és Pirsch (3. á b r a ) . A l á t h a t ó s á g i k ü s z ö b ö k e t a P C M k é p és a D P C M á l t a l t o r z í t o t t k é p k ö z ö t t i s z u b j e k t í v ö s s z e h a s o n l í t ó tesztekkel h a t á r o z t á k meg. S a j á t o s k v a n t á l á s i k a r a k t e r i s z t i k á k és teszt k é p e k k i v á l a s z t á s á v a l k ü s z ö b ö k e t m é r t e k a s z u b j e k t í v tesztekben a t o r z í t á s o k különféle t í p u saira, m i n t amilyen a szemcse zaj, é l t o r z í t á s és a m e r e d e k s é g hiba. A m é r t láthatósági küszöb függvényt maszkoló f ü g g v é n y n e k n e v e z z ü k (a f ü g g v é n y é r t é k e i n é l kisebb t o r z í t á s o k nem l á t h a t ó k ) . A z egyszerű \D élektől eltérő jelpatterneknél a jelváltózás mérő s z á m á t definiáljuk, a m i t a k t i v i t á s f ü g g v é n y é n e k
58
Híradástechnika
2. Prediktív kódolás
XXXIX.
évfolyam,
1988. 2. szám
kvankalí • predikció Wiba
címek elmozdulás lH 336-4 4.
ábra.
Blokk-illesztő
be
)
„
mozgás-kompenzált kódoló
DPCM
S. táblázat a korreláció típusa
tömörí tési arány
a képtömörítés módja
színjelek a szín jelek szűrése és alukninta redundan vételezése ciája intenzitás f 2 : 1 arányú alulmintavételezés jel redundan- l mindkét fő irányban cíája 2D-cos transzformáció kép kihagyás és interpoláció uiuiuauuaja, feltételes feltöltés
2,5: 1 4: 1
{
6: 1 3 :1 8 :1
a teljes realizált tömörítési arány 1440 : 1
jonedíkció hfba
Q
adaptív predilctor
'
eíwolduios becslő
b 6 8 40
+. .« vezérlő
H336-5
5. á&ra. R e k u r z í v m o z g á s - k o m p e n z á l t D P C M kódoló
n e v e z ü n k . A z a k t i v i t á s f ü g g v é n y egy t i p i k u s p é l d á j a az a l á b b i : A=ma,x\di j \ i,\íDN ahol a s z o m s z é d o s pelek k ö z ö t t i k ü l ö n b s é g és DN a f e l h a s z n á l t pelek index k é s z l e t e . A t í p u s k é p e k r e m é r t m a s z k o l ó f ü g g v é n y e k és az a k t i v i t á s függvény értékei alapján realizálható hatásos adaptív kvantálás. 2.1. Adaptív
predikció
A képjel e r ő s e n n e m s t a c i o n á r i u s és e n n é l f o g v a a p r e d i k c i ó hiba c s ö k k e n t h e t ő a p r e d i k c i ó n a k a k é p j e l lokális t u l a j d o n s á g a i h o z v a l ó a d a p t í v v á t é t e l é vel. A z a d a p t í v p r e d i k c i ó c s ö k k e n t i a lehetséges p r e d i k c i ó hiba t a r t o m á n y á t . E n n e k k ö v e t k e z t é b e n a k é p m i n ő s é g j o b b lesz egy a d o t t k v a n t á l ó e s e t é n . A z a d a p t í v e l j á r á s o k az a l á b b i a k lehetnek: -— k o n t ú r p r e d i k c i ó * — a d a p t í v intra/interframe p r e d i k c i ó —- m o z g á s - k o m p e n z á l t p r e d i k c i ó . E helyen csak a m o z g á s - k o m p e n z á l t e l j á r á s s a l foglalkozunk. L é n y e g e s e n j a v í t j a az a d a p t í v predikciót a mozgó tárgyak képről-kópre való el m o z d u l á s á n a k a figyelembe v é t e l e . A 4. és 5. á b r á k a blokk-illesztő és a r e k u r z í v m ó d s z e r e k k e l r e a l i z á l t D P C M kódoló egyszerűsített blokkvázlatát mu t a t j á k . A 6. á b r a m u t a t j a a m o z g ó t á r g y a k á t v i t e l i a d a t s e b e s s é g é t a m o z g á s i sebesség f ü g g v é n y e k é n t h á r o m különböző prediktor esetén. A m o z g á s - k o m p e n z á l t p r e d i k c i ó egyik f a j t á j a b l o k k o n k é n t i „ f o r w a r d " m o z g á s becslést h a s z n á l . Híradástechnika
XXXIX.
évfolyam,
1988. 2. szám
* i
pel/frome
IH336-61 6. ábra. Entrópia/sebesség viszony
A blokk-illesztés az a d o t t é p p e n feldolgozás a l a t t i k é p b l o k k j a és az előző k é p b e l i elmozdult b l o k k k ö z ö t t i k o r r e l á c i ó m a x i m u m á n a k keresésével t ö r t é n i k . N e h é z s é g e t jelent e n n é l az e l j á r á s n á l a szét v á l a s z t á s m o z g ó t á r g y a k r a és „ h á t t é r r e " . N y i l v á n v a l ó a n a m o z g ó t á r g y a k h a t á r o l ó vonalai a b l o k k o n b e l ü l befolyásolják a becslést. H á t r á n y t jelent m é g , hogy az e l m o z d u l á s v e k t o r t á t k e l l v i n n i járulékosan. A járulékos információ n a g y s á g á n a k a c s ö k k e n t é s e é r d e k é b e n csak integer e l m o z d u l á s o k a t vesznek figyelembe. A p e l - r e k u r z í v e l m o z d u l á s becslésen a l a p u l ó á t v i t e l n é l nincs s z ü k s é g j á r u l é k o s i n f o r m á c i ó r a . S z á m í t ó g é p e s s z i m u l á c i ó k k i m u t a t t á k , hogy a fel t é t e l e s feltöltéses eljáráshoz k é p e s t a p e l - r e k u r z í v m ó d s z e r 30—70%-os b i t s z á m c s ö k k e n t é s t ered m é n y e z h e t . A d o t t esetben e l ő n y ö s lehet e predik tor kiválasztás (átkapcsolás) mozgás-kompenzált és m á s intra/interframe p r e d i k t o r o k k ö z ö t t . Sok esetben a „ f o r w a r d " becslő m o z g á s - k o m p e n z á l t p r e d i k c i ó nagy m o z g ó t á r g y a k pontosabb el m o z d u l á s a i t adja, m i n t a r e k u r z í v . A t é m a ú j szerűsége k ö v e t k e z t é b e n sem az ö s s z e h a s o n l í t á s , sem t ö b b m á s p a r a m é t e r v o n a t k o z á s á b a n nem is meretesek á l t a l á n o s é r v é n y ű e r e d m é n y e k .
3. Transzformációs kódolás A t r a n s z f o r m á c i ó s k ó d o l á s s a l kapcsolatos v i z s g á l a t o k az e l m ú l t é v e k b e n az a l á b b i t e r ü l e t e k r e k o n centrálódtak : — a d a p t í v k ó d o l á s (a k é p t a r t a l o m f ü g g v é n y é b e n kódolják és kvantálják a spektrális együtt hatókat) 59
G 4 4 4 6 6 2 2 2 &4 4 2 Z 4 2 4 7 2 2 2 2 2 1 2 2 2 2 2 0 2 2 0 0 0 8
6
1 2 2 2 2 2 2 2 2 0 2 0 0 0 0 0
2
9 6
2 0 0 0 0 0 0
6
4 4
2 2
2 0
2 2 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
4 4 2 4 2 2 2 0 0 2 0 0 2 0 0
0 0 0 0 0 0 0 0 D 0 0 0 0 0 D 0 0 0
tzimi TV
-I
Síines TVj'el
~.
TI
Sím es Síink rom processzor
r
X
Síi nkron
A/D
1
digitális
dújitah's interpolotor
J
H336-7 7. ábra. Bit-kiosztási t á b l á z a t o k
n rí—ruu =LFU= n_r~LrLr~=L _n_i u u ^1= ri_ruu
kep , rf\€<morio 6k kbyte
X
blokk
i-ef Kep hne mórja
X T
kép memória gin kbjj-tg
feltöltő
X
x x x .
blokk cím
ódat
ref. kép rrtemórja kbjfie
blokk {eltötto
kiválasíto
J
adat
1
Z 7 X L J blokk ci'nn
r" JDCT
E>CT L_ lec«o nagyság
visrcaatlit blokk , dekódoló
bjokk, ködoío rale buffer lt kbtjte
J~UU
71
twte buffor f kb Vg
raie , ve-gerles
a
J csatorna
mterface
adat
=u=y
n
adat
IH336-9I
9. ábra. Távkonferencia rendszer blokkvázlata
-— h i b r i d k ó d o l á s ( D P C M + transzformációs kódolás együtt) — ú j b á z i s f ü g g v é n y rendszerek v i z s g á l a t a — blokk-határok láthatóságának a csökkentése. A z a d a p t í v t r a n s z f o r m á c i ó n á l az e g y ü t t h a t ó k k v a n t á l á s á t és k ó d o l á s á t a k é p t a r t a l o m f ü g g v é n y é b e n ú g y v é g e z z ü k , hogy az irrelevancia r e d u k c i ó ered m é n y e k é n t létrejövő torzítások a láthatósági kü s z ö b a l a t t maradjanak. A n e h é z s é g e k e t a k é p t a r t a l o m e g y é r t e l m ű o s z t á l y o z á s a , v a l a m i n t az alkalmas k v a n t á l ó k é s k ó d o l ó k m é r e t e z é s e i jelen-
t i k . Sok t r a n s z f o r m á c i ó s b l o k k kiértékelése a l a p j á n n y e r t s p e k t r á l i s e g y ü t t h a t ó k s z ó r á s á n a k ismerete h a t á r o z z a meg az ú n . b i t - k i o s z t á s i vagy b i t - k i jelölő t á b l á z a t o k a t , amelyek t a r t a l m a z z á k m i n d egyik e g y ü t t h a t ó r a a k v a n t á l á s i lépcsők szükséges s z á m á t (7. á b r a ) . A z a d a p t í v eljárás a b i t - k i o s z t á s i táblázatok közötti átkapcsolást biztosítja. A különféle h i b r i d m ó d s z e r e k n é l is j e l e n t ő s j a v u l á s t az a d a t s e b e s s é g m i n i m á l i s a n szükséges é r t é k é ben a m o z g á s - k o m p e n z á l t k ó d o l á s jelent. A c i k k k o r l á t o z o t t terjedelme m i a t t a r é s z l e t e k t ő l el tekintünk. Ű j b á z i s f ü g g v é n y rendszert alkalmaz az M t r a n s z f o r m á c i ó . A z m - f ü g g v é n y rendszer b i n á r i s s z i m b ó l u m o k m s z e k v e n c i á j á n a k ciklikus eltolásá b ó l és az azt k ö v e t ő o r t h o n o r m a l i z á c i ó b ó l ered. A z m szekvencia egy visszacsatolt shiftregiszter m a x i m á l i s Tiosszúságú s z e k v e n c i á j a . A 8. á b r a N= 15 e s e t é n m u t a t j a az m f ü g g v é n y e k e t . Az M t r a n s z f o r m á c i ó nem e r e d m é n y e z n é h á n y t r a n s z f o r m á c i ó s e g y ü t t h a t ó r a k i t e r j e d ő energia k o n c e n t r á c i ó t és nem a pelek statisztikai függőségé b ő l a d ó d ó r e d u n d a n c i á t c s ö k k e n t i , hanem igen h a t á s o s irrelevencia r e d u k c i ó t ad az M t a r t o m á n y ban. A z a l a p f ü g g v é n y e k zajszerűek, e z é r t a k v a n t á l á s i h i b á k az inverz t r a n s z f o r m á c i ó u t á n zaj s z e r ű p a t t e r n t adnak, amire a szem k e v é s b é érzékeny, mint m á s pl. W H T transzformáció struktúrájára. I l l u s z t r á c i ó k é n t megadjuk a 9. á b r á n egy a leg u t ó b b i i d ő b e n kifejlesztett 56 kb/s k i m e n ő adat-
60
Híradástechnika
JU~L ju~in rri_n_njy=:
0
i
1
•••
1H 3 3 6 - 8 8. ábra. m f ü g g v é n y e k N = 15 esetén
XXXIX.
évfolyam,
1988. 2. szám
sebességű t á v k o n f e r e n c i a rendszer b l o k k v á z l a t á t . A z 5. t á b l á z a t b a n v a n b e m u t a t v a a rendszer á l t a l biztosított adatkompresszió értékének kialakítása. E z egy a kis a d a t s e b e s s é g ű á t v i t e l r e jellemző k i alakítás. Meg s z e r e t n é n k m é g jegyezni, hogy t ö b b e n e r e d m é n y e s e n a l k a l m a z z á k a forrás é s a csatorna kódolás kombinációját mind prediktív, mind t r a n s z f o r m á c i ó s e l j á r á s o k a t bevonva a k o m b i n á c i ó k b a . H a s o n l ó a n igen kiterjedten és e r e d m é n y e sen h a s z n o s í t j á k a v e k t o r k v a n t á l á s t is.
CXÍ,ÍJ,
kip
Ck-0- ,
elfogyott kép
|
5. „ S y n t h e t i c H i g h " rendszer
ko»hp«hiált interpoláció
intenzitás
elmordulni vektw
váltoiós detektor|H 336-101 10.
ábra.
M o z g á s - a d a p t í v kép
H íradástechnika
XXXIX.
11. ábra.
[H336^íll
Lineáris és m o z g á s - a d a p t í v k é p interpoláció
2D . . LP-SÍUI-O
S/H + durva
ildetek' tálas
20
dekódoló -»interpolál* •
kódoló
^ eredeti digitalizált kép 2D
elrnoidulcts vek-tor
vissioallitotK-JK
kc!dolt kép Uontur köVetes
kédclp
\
dekódoló
vt&waQttrtor szúró IH336-121
12. ábra. „ S y n t h e t i c H i g h " rendszer b l o k k v á z l a t a
-B H 336-131
E z a rendszer az első g e n e r á c i ó s eljárások k ö z é t a r t o z i k , a k é p e t s z é t b o n t j a kis frekvenciás és nagy frekvenciás ö s s z e t e v ő k r e . A kis f r e k v e n c i á s k é p
becslő
i
k. k é p
K i h a g y v a k é p e k e t az a d ó o l d a l o n és i n t e r p o l á c i ó v a l p ó t o l v a a k i h a g y o t t k é p e k e t a v e v ő o l d a l o n igen h a t á s o s m ó d s z e r r e a televíziós k ó d o l á s n a k , m i v e l ez m é g k o m b i n á l h a t ó m á s a d a t t ö m ö r í t ő eljárások k a l . Azonban k i m u t a t t á k , hogy a k é p visszaállító eljárások, m i n t p l . a k é p i s m é t l é s , a m o z g ó t á r g y a k ugrálását eredményezi a megjelenített képen, vagy a lineáris i n t e r p o l á c i ó az időbeli szűrésnél h o m á l y o s o d á s t okoz a m o z g á s t a r t o m á n y á b a n . Ezeknek a torzításoknak a láthatósága arányos a mozgás sebességével, e z é r t lineáris k é p i n t e r p o l á c i ó s el j á r á s o k a t csak o l y a n t e l e v í z i ó s k é p e k n é l alkalmaz nak, ahol lassú m o z g á s o k fordulnak elő. M o z g á s - a d a p t í v k é p i n t e r p o l á c i ó e s e t é n az adap t í v i n t e r p o l á t o r t m o z g á s detektor vezérli. Ez az eljárás megjavítja a k é p minőségét k é t különböző i n t e r p o l á c i ó s algoritmus k ö z ö t t i á t k a p c s o l á s s a l (az egyik a s t a c i o n á r i u s , a m á s i k a m o z g ó t a r t o m á nyokban). A h o m á l y o s o d á s elkerülésére k ö z e p e s ós gyors m o z g á s o k e s e t é n az i n t e r p o l á c i ó s algorit musnak „ k o m p e n z á l n i a " kell a t á r g y a k m o z g á s á t . E g y ilyen k ó d o l ó b l o k k v á z l a t á t m u t a t j a a 10. á b r a , m í g a 1 1 . á b r a a lineáris és m o z g á s - a d a p t í v k é p i n t e r p o l á c i ó t s z e m l é l t e t i . A fenti e l j á r á s o k á l t a l á ban 1 k é p k i h a g y á s á t teszik l e h e t ő v é l á t h a t ó t o r z í t á s o k n é l k ü l . Speciális esetekben — ahol a m o z g á s a k é p n e k csak igen k o r l á t o z o t t r é s z é b e n f o r d u l elő — t ö b b k é p k i h a g y á s a is lehetséges. T ö b b speciális a l k a l m a z á s b a n a k é p k i h a g y á s h a t á s á n a k észlelhetősége sem zavarja a szükséges i n f o r m á c i ó k i n y e r é s é t (pl. egyes felügyeleti rend szereknél).
elmozdulás
* \ ^ \ ^ , mozgás adaptív interpoláció
lineáris interpoláció V
4. Mozgás-adaptív k é p interpoláció
ihteníitás
N
interpolációs
évfolyam,
kódoló
1988. 2. szám
13. ábra. D P C M kodek b l o k k v á z l a t a
rész á l t a l á b a n a k ü l ö n b ö z ő t a r t o m á n y o k fényes ségét adja meg, m í g a nagy f r e k v e n c i á s k é p rész az éles élekre v o n a t k o z ó i n f o r m á c i ó t adja meg. A n a lóg f o r m á b a n ez egy i n f o r m á c i ó v e s z t e s é g n é l k ü l i e l j á r á s . A 2 D m i n t a v é t e l i t é t e l n e k megfelelően a kis f r e k v e n c i á s k é p igen k e v é s m i n t á v a l á b r á z o l h a t ó . Ezek a m i n t á k azok az ü z e n e t e k , amelyek a kis f r e k v e n c i á s k é p hiteles a l a k j á t jellemzik. A z ó l d e t e k t á l á s m e g v a l ó s í t h a t ó gradiens v a g y Laplace o p e r á t o r r a l . E g y n e m l i n e á r i s m ű v e l e t a k ü s z ö b k é p z ó s d ö n t i el, hogy a nagy f r e k v e n c i á s k é p b ő l egy é l p o n t fontos vagy sem. Ezzel az el61
7. A vizsgálati k u l t ú r a fejlődése
iv-as k i v á l a s z t ó
adat-sín alap cella
exdaí&in
olvasás kiValas'H'tö
H336-U
14. á&ra. CMOS R A M cella
j á r á s i n f o r m á c i ó t v e s z t ő lesz. V é g e r e d m é n y b e n a k i v á l a s z t o t t é l p o n t o k h e l y z e t é t és n a g y s á g á t k ó dolják. Egy 2D visszaállító szűrőt használnak a nagy f r e k v e n c i á s rósz s z i n t e t i z á l á s á r a az ólinformációból. A szűrőt egyértelműen meghatározza a kis f r e k v e n c i á s résznél h a s z n á l t aluláteresztő s z ű r ő . Ez a rendszer fokozottan k i h a s z n á l j a az emberi l á t á s t u l a j d o n s á g a i t . A 12. á b r a m u t a t j a a rendszer felépítését.
6. V L S I chipek k i a l a k í t á s a K ü l ö n f é l e m e g f o n t o l á s o k i n i c i a l i z á l t á k a szélessávú h í r k ö z l é s t s z á l o p t i k a i c s a t o r n á k o n . Ezek az új h í r k ö z l ő h á l ó z a t o k magukba foglalnak o l y a n szol g á l t a t á s o k a t , m i n t a T V s z é t o s z t á s , videotelefon, videokonferencia a n o r m á l telefon és adat szolgál t a t á s o k mellett. Ezekhez az ú j s z o l g á l t a t á s o k h o z s z ü k s é g e s v i d e ó kodekek v á r h a t ó igen nagy s z á m a m e g k ö v e t e l i az olcsó r e a l i z á l á s t . A V L S I technika fejlődése teszi l e h e t ő v é ennek a feladatnak a meg valósítását. Másrészről a d i g i t á l i s jelfeldologzás m ó d s z e r e i n e k igen erőteljes fejlődése ezek r e a l i z á l á s á t e l s ő s o r b a n V L S I chipek f o r m á j á b a n teszi l e h e t ő v é f ő k é n t , ha real t i m e a l k a l m a z á s o k a t t e k i n t ü n k . A v i d e ó k ó d o l ó - d e k ó d o l ó e g y s é g e k fokozott m ű k ö d é s i sebességi k ö v e t e l m é n y e i és az igen n a g y m e n n y i s é g ű feldolgozandó adat g y a k r a n teszik szükségessé a p á r h u z a m o s v a g y valamilyen m á s s z e r v e z é s ű (pipeline, szisztolós, stb.) jelfeldolgozást. A z i l y e n s t r u k t ú r á k h a t á s o s a n és a szükséges nagy meg b í z h a t ó s á g g a l csak V L S I chipekkel r e a l i z á l h a t ó k . Egy-egy s t r u k t ú r a k i a l a k í t á s á t a k e v é s b é i d ő i g é n y e s m ű v e l e t e k k e l (összeadás, k i v o n á s , m e m ó r i a t á b l á z a t o k ) célszerű megoldani. A fentiek s z e m l é l t e t é s é r e a 13. á b r á n a 2 fim. CMOS t e c h n o l ó g i á v a l 1 V L S I chipen r e a l i z á l t D P C M ködek funkcionáls b l o k k v á z l a t á t mutatjuk be ( S E L AQ). A szükséges k é s l e l t e t é s e k e t R A M m e m ó r i á k k a l realizálják. A 14. á b r a m u t a t egy i l y e n CMOS R A M cellát. 62
A videojelek d i g i t á l i s k ó d o l ó és d e k ó d o l ó egységei nek a m i n ő s í t é s e , az egyes e l j á r á s o k s z i m u l á l á s a , az á r a m k ö r i modellek k i p r ó b á l á s a m e g l e h e t ő s e n össze t e t t feladat és költséges h á t t é r b e r e n d e z é s e k e t i g é n y e l , e z é r t k e v é s fejlesztő és k u t a t ó hely v a n felkészülve erre. A k ó d o l á s i e l j á r á s o k s z á m í t ó g é p e s szimulációja m á r hosszabb ideje f o l y i k . I t t gondot okoz a v a l ó d i b e m e n ő k é p a n y a g hozzáférése. Ezen a t e r ü l e t e n igen j ó h a t á s f o k k a l lehet alkalmazni a m e s t e r s é g e s k é p e k e t (mozaik k é p e k ) , amelyek software segít ségével g e n e r á l h a t ó k és s p e k t r u m u k j ó l közelíti a v a l ó d i k é p e k é t . A m e s t e r s é g e s k é p e k 2—3 para m é t e r segítségével v á l t o z t a t h a t ó k , a l k a l m a z á s u k révén csökken a memória igény. K o m p l e t t rendszer a V T E (Digitalvideo Systemvertriebsgesellschaft M B H ) k é p s z i m u l á c i ó s rend szere, amely m i n d a digitális studio s z a b v á n y szerinti színes videojelet, m i n d a H D T V jelet digitilizálja és v i s s z a l a k í t j a a n a l ó g f o r m á b a . A sín r e n d s z e r é r e hostkomputer, o p t i k a i diszk, v i d e ó diszk v a g y k ü l s ő b e r e n d e z é s csatlakozhat. A z o p t i k a i diszk 1 G b y t e n a g y s á g r e n d ű k a p a c i t á s ú lemez zel m ű k ö d i k . A rendszer n é h á n y perces élő színes m ű s o r v i d e o j e l e t k é p e s t á r o l n i és teszi l e h e t ő v é ez á l t a l a real t i m e v i z s g á l a t o k a t és m i n ő s í t é s e k e t . 8. K ö v e t k e z t e t é s e k A z első generációs k é p k ó d o l á s n a k szinte minden eddigi m ó d s z e r e t o v á b b fejlődik a jelenlegi k u t a t á s o k n y o m á n és egyre g a z d a s á g o s a b b a l k a l m a z á sokat tesznek l e h e t ő v é . A d i g i t á l i s v i d e ó - és k é p technika t ö m e g e s elterjedése a k ö v e t k e z ő é v e k b e n v á r h a t ó . Í g y a k é p k ó d o l á s s a l kapcsolatos k u t a t á sok j e l e n t ő s é g e egyre n ő . A c i k k csak n é h á n y fontosabbnak t a r t o t t i r á n y zatot m u t a t be — teljességre nem is t ö r e k e d h e t e t t az a d o t t terjedelemben — azonban m i n d e n k é p p e n s z e r e t n é a hazai szakmai k ö r ö k f i g y e l m é t r á i r á n y í t a n i erre a r e n d k í v ü l i g y o r s a s á g g a l fejlődő, b ő v ü l ő fontos t é m a t e r ü l e t r e .
I R O D A L O M [1] Special Issue on Visual Communications Systems Proc. of the I E E E , Vol. 73, No. 4, April 1985. pp, 499—844. [2] A. £r. Tescher, J. A. Saghri: Adaptive Transform Coding and Image Quality. Optical Engineering, Vol. 26, No. 8, August 1986, pp. 979—983. [3] M. Bierling, B. Thoma: Motion Compensating Field Interpolation Using A Hierarchically Structured Displaeement Estimator Signal Processing, Vol. 11, No. 4, Dec. 1986, pp. 387—404. [4] Proc. of E U S I P C O — 8 6 Signal Processing I I I : Theory and Applications, (The Hague, the Netherlands, Sept. 2—5, 1986) Two Volumes, 1436 pages. [5] J. W. Modestino, D. 0. Daut: Combined SourceChannel Coding of Images. I E E E Trans. on Comm., Vol. COM—27, No. 11, Nov. 1979, pp. 1644—1678. [6] K. Fazekas: Digital Coding for Quasi-motion Colour Picture Transmission. S P I E Proceedings Vol. 594, (Dec. 4—6, 1985, Cannes). [7] Fazekas K.: K ó d o l ó struktúrák színes videojelek digitális kódolásánál. Híradástechnika, X X X V I I . évf., 12. sz., 1986.
Híradástechnika
XXXIX.
évfolyam,
1988. 2. szám
