• Spatial Processing – JPEG • Temporal Processing – Frame differencing – Motion Estimation dan Motion Compensation Prediction – Arsitektur Dasar Kompresi Video • Scalable Video Coding • Standar Kompresi Pengolahan Multimedia & Lab By : Muhtadin
2
Kompresi Video : Motivasi • Permasalahan : – Video dalam bentuk raw memerlukan data dalam jumlah yang sangat besar – Kemampuan media komunikasi dan media penyimpanan terbatas dan mahal • Contoh kasus HDTV : – 1280 x 720 pixel / frame, progresive scan, 60 frame / s : 1280 × 720 𝑝𝑖𝑥𝑒𝑙 𝑓𝑟𝑎𝑚𝑒
60 𝑓𝑟𝑎𝑚𝑒 𝑑𝑒𝑡𝑖𝑘
3 𝑤𝑎𝑟𝑛𝑎 𝑝𝑖𝑥𝑒𝑙
8 𝑏𝑖𝑡 = 1.3 𝐺𝑏/𝑠 𝑤𝑎𝑟𝑛𝑎
– Channel HDTV hanya memiliki bandwidth 20 Mb/s Memerlukan kompresi dengan faktor 70 (ekuivalen dengan 0.35 bit/pixel). Pengolahan Multimedia & Lab By : Muhtadin
3
Perbandingan Bandwidth Hasil Kompresi
Application
Data Rate Uncompressed
Video Conference 352 x 240 @ 15 fps CD-ROM Digital Video 352 x 240 @ 30 fps Broadcast Video 720 x 480 @ 30 fps HDTV 1280 x 720 @ 60 fps
Pengolahan Multimedia & Lab By : Muhtadin
Compressed
30.4 Mbps
64 - 768 kbps
60.8 Mbps
1.5 - 4 Mbps
248.8 Mbps
3 - 8 Mbps
1.33 Gbps
20 Mbps
4
Spatial & Temporal Domain
Pengolahan Multimedia & Lab By : Muhtadin
5
Cara Kompresi • Mengurangi redundancy dan irrelevancy • Redundancy berasal dari : – Temporal : Frame yang berdekatan mempunyai korelasi yang tinggi – Spatial : Pixel yang berdekatan biasanya saling berkorelasi – Color space : RGB Relatif lebih mudah untuk dilakukan • Irrelevancy – Informasi yang tidak penting secara perceptual Sulit untuk dimodelkan dan dilakukan
Pengolahan Multimedia & Lab By : Muhtadin
6
Redundancy
• • •
Bagaimana sebuah video dapat dikompresi? – Video memliki banyak redundancy spatial dan temporal Redundancy Spatial : Pixel yang berdekatan mempunyai kemiripan Temporal redundancy : Frame yang berdekatan biasanya memiliki banyak kemiripan Kompresi dilakukan dengan cara menangani redundancy spatial dan temporal yang dimiliki video
Pengolahan Multimedia & Lab By : Muhtadin
7
Sistem Kompresi secara Umum Sinyal Asli Representation
Quantization
Binary Encoding
Bitstream ter-kompres
• Sistem kompresi terdiri dari 3 blok utama: – Representation • Menghimpun informasi penting kedalam beberapa paramater – Quantization • Men-diskritkan parameter – Binary encoding • Mengolah statistik yang non-uniform dari parameter yang sudah ter-kuantisasi • Membuat bitstream untuk ditransmisikan Pengolahan Multimedia & Lab By : Muhtadin
8
Sistem Kompresi secara Umum (lanjutan) Sinyal Asli Representation
Quantization
Binary Encoding
Bitstream ter-kompres
• Lossy vs Lossless – Representation: Biasanya lossless – Quantization: Biasanya lossy – Binary Encoding: Biasanya lossless • Karena distorsi hanya ada pada quantization, memudahkan desain sistem
Pengolahan Multimedia & Lab By : Muhtadin
9
Sistem Kompresi secara Umum (lanjutan)
Bitstream ter-kompres
Sinyal Asli Representation
Quantization
Binary Encoding
Encoder Channel
Sinyal Hasil Rekonstruksi Representation
Invers Quantization
Binary Decoding
Decoder
• Decoder melakukan proses yang berkebalikan dengan encoder Pengolahan Multimedia & Lab By : Muhtadin
10
Sekilas tentang Image Compression Gambar Asli
RGB to YUV
Blok DCT
Quantisasi
Runlength & Huffman Coding
Image ter-kompres
• Proses coding sebuah image (single frame): – Konversi color space dari RGB to YUV – Melakukan partisi image dengan blok 8x8 pixel – 2-D DCT untuk masing-masing blok – Quantisasi masing-masing koefisien DCT – Runlength dan Huffman code untuk koefisien DCT yang sudah ter-kuantisasi Standar basic dari kompresi JPEG JPEG-2000 menggunakan transformasi wavelet dan arithmatic coding
Pengolahan Multimedia & Lab By : Muhtadin
11
JPEG Encoding
Sampling
Quantize
Zig-zag
011010001011101... Run-length Code
Huffman Code
Pengolahan Multimedia & Lab By : Muhtadin
12
JPEG Encoding DC component 139 144 150 159
144 151 155 161
149 153 160 162
153 156 163 160
original image 79
0 -2
-1
run-length code
AC components
-1 -1 0 0 -1
0 1 0 0 0 2 0
DCT
1260 -1 -12 -23 -17 -6 -11 -9 -2 -7 -2 0
79 -2 -1 -1 -1 -1 0
0 0 0 0 0 0 0
Huffman code
Pengolahan Multimedia & Lab By : Muhtadin
zigzag
-5 -3 2 1
Quantize
79 -2 -1 0
0 -1 -1 0
-1 0 0 0
10011011100011...
13
0 0 0 0
Hasil dari Encoding & Decoding
139 144 150 159
144 151 155 161
149 153 160 162
144 156 155 160
153 156 163 160
146 150 156 161
149 152 157 161
152 154 158 162
reconstructed block
original block -5 -4 -5 -1
-2 1 -1 0
0 1 1 2 3 5 1 -2
errors Pengolahan Multimedia & Lab By : Muhtadin
14
Contoh
Uncompressed (262 KB)
Compressed (50) (22 KB, 12:1)
Pengolahan Multimedia & Lab By : Muhtadin
Compressed (1) (6 KB, 43:1)
15
Kompresi Video • Video : serangkaian frame (image) yang memiliki relasi antar frame • Relasi tersebut ada sepanjang dimensi temporal – Menyebabkan adanya temporal redundancy • Merupakan kompresi tambahan disamping kompresi image – Temporal redundancy Video coder harus menangani permasalahan temporal redundancy ini
