Kompresi Citra dan Video. Muhtadin, ST. MT

Kompresi Citra dan Video

Muhtadin, ST. MT.

Pengolahan Multimedia & Lab By : Muhtadin

Temporal Processing


2

Temporal Processing • Video : serangkaian frame (image) yang memiliki relasi antar frame • Relasi tersebut ada sepanjang dimensi temporal – Menyebabkan adanya temporal redundancy • Merupakan kompresi tambahan disamping kompresi image – Temporal redundancy  Video coder harus menangani permasalahan temporal redundancy ini


3

Kompresi Temporal • Tujuan : Menangani temporal redundancy • Memprediksi frame berdasarkan frame yang sudah dikodekan sebelumnya • Tiga type frame : – I-frame: Intra-coded frame, dikodekan secara independen tanpa mempertimbangkan frame yang lain – P-frame: Predictively coded frame, dikodekan berdasarkan frame sebelumnya – B-frame: Bi-directional predictive frame, dikodekan berdasarkan frame sebelumya dan frame setelahnya

– n


4

Proses Temporal : Frame Differencing

• Cara paling sederhana adalah dengan menggunakan Frame Differencing : – Frame residu (berbeda) diperoleh dengan membandingkan frame dengan frame sebelumnya – Energi yang hilang terdapat pada residual frame dan dikirim ke decoder untuk memprediksi sebuah frame


5

Proses Temporal : Motion Compensated Prediction • Cara sederhana yaitu menggunakan frame differencing akan menemui kegagalan jika ada pergerakan • Harus dapat menangani pergerakan  Motion-compensated prediction • Motion-compensated prediction secara umum memberikan perbaikan yang signifikan • Pertanyaan: – Bagaimana melakukan estimasi pergerakan? – Bagaimana melakukan Motion-compensated prediction ?


6

Proses Temporal: Motion Estimation • Kondisi ideal: – Melakukan partisi video terhadap obyek yang bergerak – Mendeskripsikan pergerakan obyek  secara umum sangat sulit dilakukan • Pendekatan praktis: Block-Matching Motion Estimation – Melakukan partisi frame menjadi blok, misalnya 16x16 pixel – Mendeskripsikan pergerakan masing-masing blok  Tidak memerlukan indentifikasi obyek  Memiliki performa yang bagus


7

Motion Estimation: Block-Matching

•

Asumsi: – Perpindahan pergerakan blok:

𝑓(𝑛1 , 𝑛2 , 𝑘𝑐𝑢𝑟𝑟 ) = 𝑓(𝑛1 − 𝑚𝑣1 , 𝑛2 − 𝑚𝑣2 , 𝑘𝑟𝑒𝑓 )

– Semua pixel dalam blok memiliki pergerakan (arah&besar) yang sama

•

Algoritma ME: 1) 2)

•

frame dibagi kedalam blok N1xN2 non-overlaping Untuk masing-masing blok, temukan blok yang paling cocok pada frame referensi

Algoritma MC-Prediction: – Menggunakan blok yang cocok pada frame referensi untuk memprediksi blok pada current frame


8

Block Matching: Menentukan Best Matching Blok • Untuk semua blok pada current frame, dilakukan pencarian terhadap blok yang cocok pada refference frame – Kandidat blok: Semua blok disekitarnya, misalkan (32, 32) luasan pixel – Strategi pencarian untuk menemukan blok yang cocok: • Full search: menguji semua kandidat blok yanga ada • Partial (fast) search: menguji subset tertentu • Estimasi pergerakan dengan best matching blok: “Motion Vector”


9

Contoh partial searching

– Tujuan: mengurangi jumlam proses pencarian – Contoh: area pencarian (7, 7) – Pencarian dilakukan dengan 3 tahap(coarse-to-fine):

– Best match ditemukan tiap step – Step berikutnya: melakukan pencarian disekitar best match sebelumnya


10

Motion Vector dan Motion Vector Field • Motion vector – Menunjukkan offset relatif secara horizontal dan vertikal, atau pergerakan dari sebuah blok pada sebuah frame terhadap frame yang lain – Setiap blok memiliki motion vektornya masing-masing • Motion vector field – Sekumpulan dari motion vector untuk semua blok dalam frame


11

Contoh


12

Contoh


13

Contoh


14

Prediksi Motion Compensated Bi-Directional

• Prediksi MC secara Bi-Directional digunakan untuk memperkirakan blok pada current frame dengan blok pada: 1) Frame sebelumnya 2) Frame setelahnya 3) Rata-rata dari blok pada frame sebelumnya dan frame setelahnya 4) Tidak termasuk diatas, dikodekan tanpa adanya prediksi Pengolahan Multimedia & Lab By : Muhtadin

15

P dan B frame Contoh dari motion compensated berbasis blok adalah P-frame dan B-frame


16

Contoh I-,P-,B- frame: MPEG Group of Pictures (GOP)

Tanda panah menunjukkan keterkaitan prediksi antar frame


17

Arsitektur Dasar Kompresi Video • Penanganan terhadap redundancy: – Temporal: MC-prediction (P dan B frame) – Spatial: Blok DCT – Warna: Konversi Color space • Kuantisasi skalar dari koefisien DCT • Zigzag scanning, runlength dan Huffman coding pada koefisien DCT nonzero


18

Contoh Video Encoder


19

Contoh Video Decoder


20

Practical Assignment

• Implementasikan Kode Optimal Linear Prediction. – “Still Image and Video Compression with Matlab”, hal 309-310


21

Scalabel Coding : Motivation • •

•

  • 1. 2. 3.

Situasi yang umum dijumpai : Penerima yang beragam, melakukan request terhadap video yang sama – Berbeda dalam hal bandwidth, resolusi spasial, frame rates, kemampuan komputasi Network yang heterogen, serta tidak adanya pengetahuan (a priori) terhadap kondisi network – Wire, Wireless links ketika coding dilakukan, anda tidak tahu kondisi client serta situasi dalam network yang digunakan serta kondisinya di waktu yang akan datang Kemungkinan menemui berbagai situasi yang berbeda, memerlukan kompresi bitstream yang berbeda Solusi yang mungkin : Kompres & simpan BANYAK versi untuk satu video Real-time transcoding (misalkan: decode/ re-encode) Scalabel Coding


22

Scalabel Video Coding • Scalable Coding: – Membuat video dalam beberapa layer prioritas – Layer dikodekan dalam base bitstream dan enhancement bitstream – Menggabungkan satu atau lebih bitstream untuk menghasilkan kualitas level video dalam tingkatan yang berbeda • Contoh: Scalabel coding dengan dua enhancement layer: 1. Base layer 2. Base + Enh1 layer 3. Base + Enh1 + Enh2 layer

• Scalability berkorelasi terhadap : Spasial dan temporal resolution, bit rate computation, memory


23

Contoh Scalabel Coding • Encode gambar / video kedalam tiga layer:

• Penerima dengan bandwidth yang kecil : Hanya mengirimkan Base Layer

• Penerima dengan bandwidth yang medium: Mengirimkan Base Layer dan Enh1 layer

• Penerima dengan bandwidth yang tinggi: Mengirimkan semua layer


24

Scalable Video Coding • Meliputi 3 Dimensi yang berbeda: – Temporal Scalability – Spatial scalability – SNR (quality) scalability • Dapat dilakukan penggabungan untuk menghasilkan scalability multi dimensi


25

Scalabel Coding: Temporal Scalability • Berbasis pada B-frame untuk memperhalis temporal resolution – B-frame tergantung dengan frame yang lain – Namun, tidak ada frame yang tergantung dengan B-frame – Masing-masing B-frame dapat dihilangkan tanpa ada efek bagi frame yang lain

– .


26

Scalable Coding: Spatial Scalability • Berbasis pada penghalusan spatial resolution – Base layer merupakan resolusi paling rendah dari video – Disebut juga: Pyramid Coding


27

Scalable Coding: SNR (Quality) • Berbasis pada quantizer


28

Standar Kompresi yang umum digunakan


29

H.261 (1990) • Goal: real-time, two-way video communication • Ciri utama : – Low delay (150 ms) – Low bit rates (p x 64 kb/s) • Detail Teknis: – Uses I- and P-frames (no B-frames) – Full-pixel motion estimation – Search range +/- 15 pixels


30

H.263 (1995) • Goal: komunikasi melalui jaringan telepon analog konvensional (< 33.6 kb/s) • Enhancements to H.261 – Algorithmic enhancements – Half-pixel motion estimation with larger motion search range – PB-frame mode


31

MPEG-1 dan MPEG-2 • MPEG-1 (1991) – Goal : kompresi vidio kedalam digital storage media, CD-ROM – Menyamai kualitas VHS video dengan audio pada~1.5 Mb/sec ?? • MPEG-2 (1993) – Perkembangan dari MPEG-1 untuk mendukung bit rate yang lebih tinggi, resolusi lebih tinggi, gambar interleaced – Original goal: mendukung interlaced video pada TV konvensional. Pada akhirnya juga dikembangkan untuk mendukung HDTV – Menyediakan field-based coding dan scalability tools


32

Practical Assignment • Dengan menggunakan VLC, perhatikan performa masingmasing standar kompresi


33

-: TERIMA KASIH :-


34

Kompresi Citra dan Video. Muhtadin, ST. MT

Recommend Documents