Penggunaan Standard ITU-T G.1070 Untuk Estimasi Quality of Experience Layanan Video Pada Simulasi Jaringan 1)

Penggunaan Standard ITU-T G.1070 Untuk Estimasi Quality of Experience Layanan Video Pada Simulasi Jaringan 1) A. A. N. Ananda Kusuma2), Dedy Irawan2) 1

Karya tulis ini bagian dari Riset Insentif SINas RT-2014-0200 “Pengembangan Tool Simulasi Analisa Kinerja Layanan Multimedia berbasis Model Korelasi QoS/QoE” 2 Pusat Teknologi Informasi dan Komunikasi (PTIK) Badan Pengkajian dan Penerapan Teknologi (BPPT) Gedung Teknologi 3, Lt 3, Kawasan Puspiptek Serpong Telepon (021) 75791260 ext 3113 e-Mail : [email protected], [email protected] Bandung, 1 - 2 Oktober 2014 ABSTRAK Pesatnya bisnis dan ketatnya kompetisi pada layanan komunikasi multimedia menyebabkan perlunya penjaminan kualitas layanan. Tren riset terkini menunjukkan bahwa selain nilai QoS (Quality of Service) yang disediakan oleh penyedia layanan, perlu juga diperhatikan kualitas layanan dari sudut pandang pengguna yang dapat bersifat subyektif, yang disebut dengan QoE (Quality of Experience). Terdapat beberapa usulan model yang mengkorelasikan nilai QoS dan QoE, tergantung jenis layanan dan konteks penggunanya. Salah satu model korelasi yang tersedia adalah yang berbasis pada standard ITU-T G.1070. Perencanaan dan optimisasi jaringan yang menyertakan model korelasi QoS/QoE ideal untuk dilakukan pada kerangka kerja simulasi, sehingga tidak mengganggu operasional dari infrastuktur jaringan riil. Penelitian ini melaporkan penggunaan standard ITU-T G.1070 pada jaringan yang disimulasikan menggunakan tool FOSS (Free Open Source Software), seperti ffmpeg, ns3, qoe-monitor. Kontribusi penelitian ini adalah dalam pengembangan modul ekstensi pada qoe-monitor untuk mendukung estimasi nilai QoE layanan video menggunakan standard ITU-T G.1070, dan komparasinya dengan metric standard PSNR dan SSIM pada topologi jaringan point-to-point. Kata Kunci : QoS/QoE, kualitas video, simulasi, ns3,qoe-monitor, psnr, ssim, ITU-T G.1070

I. PENDAHULUAN Tantangan dalam desain dan analisa kinerja jaringan komunikasi multimedia adalah adanya faktor konvergensi yang mengarahkan berbagai bentuk informasi (voice, video, dan data) yang disalurkan melalui infrastruktur jaringan (misalnya berbasis Internet Protocol) dengan konstrain batasan biaya dan reliabilitas, dari dan ke berbagai jenis pengguna dengan persepsi dan ekspektasi kualitas yang berbeda-beda. Kompleksitas seperti ini memerlukan kehandalan dan kualitas penjaminan, baik yang terukur secara nyata dalam bentuk QoS (Quality of Service) jaringan dan aplikasi, maupun yang terukur secara subyektif atas apa yang dirasakan oleh pengguna dalam bentuk QoE (Quality of Experience).

Konsep QoS (aplikasi dan jaringan) sudah tergolong matang, sedangan QoE masih digolong dalam tahap awal dan topik yang sedang aktif diteliti. Konsep QoS terkait dengan kualitas layanan yang diberikan oleh suatu infrastruktur jaringan komunikasi, dan dapat diukur secara kuantitatif. Mekanisme QoS dapat diklasifikasikan menjadi 2, yaitu Application QoS dan Network QoS, sebagaimana ditunjukkan pada Gambar 1. Untuk Application QoS, sebagai contoh terdapat parameter-parameter QoS seperti resolution, frame rate, video/audio codec yang terkait dengan aplikasi video, ataupun parameter lainnya untuk aplikasi yang berbeda. Untuk Network QoS, terdapat parameter-parameter QoS seperti packet loss, delay, jitter, dsb. yang umumnya diukur dan

dikonfigurasi untuk memaksimalkan kinerja transport pada jaringan. Konsep QoE masih tergolong baru khususnya pada layanan multimedia, karena disadari adanya kesenjangan antara kualitas layanan yang disediakan oleh operator dengan apa yang dirasakan oleh pengguna, khususnya kalau jenis penggunanya sangat bervariasi sehingga persepsi mereka pun akan bervariasi [8].

II. STANDARD ITU-T G.1070 Standard ITU-T G.1070 merupakan formulasi dari model matematika empiris, dan menggunakan parameter-parameter obyektif untuk mendapatkan prediksi nilai persepsi subyektif. Model ini tergolong model parametric planning, dan ideal digunakan untuk perancangan sistem dan jaringan multimedia [8]. Keluaran dari ITU-T G.1070 adalah kualitas speech, kualitas video, dan kualitas multimedia, dan pada karya tulis ini fokus hanya pada pengukuran kualitas video. Estimasi kualitas video ditentukan oleh modul perhitungan video quality yang dipengaruhi oleh faktor-faktor seperti coding distortion, packet loss robustness factor, dan koefisien-koefisien dari hasil pengamatan yang telah tersimpan pada database (Gambar 2).

Gambar 1. Model Layering QoS dan QoE. Pengukuran kualitas untuk formulasi nilai QoE sulit dilakukan karena faktor subyektivitasnya, dan juga karena perlunya data yang besar dari hasil survey pengguna agar nilainya bermakna secara statistik [9]. Oleh karena itu, umum diperlukan suatu teknik kuantitatif yang bersifat obyektif sebagai pendekatan atas teknik subyektif yang dapat dipertanggungjawabkan. Untuk itu, perlu adanya suatu kerangka kerja yang dapat disepakati oleh pihak-pihak yang melakukan pengukuran ataupun pengguna, dan diformalkan dalam bentuk standar-standar industri. Salah satu yang tersedia adalah ITU-T G.1070, yang metric pengukurannya tergolong no-reference sehingga selain untuk desain juga bermanfaat untuk monitoring kualitas. Tantangan dalam riset ini adalah dalam hal pemilihan metode korelasi QoS/QoE untuk layanan video, dan bagaimana model korelasi ini dapat disertakan pada kerangka kerja pengujian kualitas video pada jaringan yang disimulasikan. Organisasi karya tulis ini adalah sebagai berikut: bagian 2 dan 3 menjelaskan standard ITU-T G.1070 dan kerangka kerja simulasi sebagai fondasi metode pemecahan masalah, bagian 4 dan 5 memaparkan skenario simulasi dan diskusi hasilhasil, dan ditutup dengan bagian 6 sebagai kesimpulan dan rencana riset selanjutnya.

Gambar 2. Nilai Koefisien pada ITU-T G.1070 Disesuaikan dengan Implementasi Codec [4]. Formula-formula untuk menghitung kualitas video adalah sbb. : - Perhitungan Video Quality (Vq). Vq dihitung berdasarkan masukan parameter kualitas video di atas, sbb.:

Di mana Icoding adalah basic video quality yang dipengaruhi oleh coding distortion (yang dipengaruhi oleh video bit rate (Brv [kbit/s] dan video frame rate (Frv [fps]) dan packet loss robustness factor DppIV yang mengekspresikan degree of video quality robustness karena packet loss (Pplv [%]). - Basic Video Quality Dipengaruhi oleh Coding Distortion (Icoding)

Di mana Ofr adalah optimal frame rate yang memaksimalkan video quality pada tiap video bit rate (Brv) dan dinyatakan sbb.:

untuk encoding dan decoding video.

Di mana jika Frv = Ofr, maka Icoding = IOfr, yang mana IOfr merepresentasikan maximum video quality pada tiap video bit rate (Brv) yang dinyatakan sbb.: Gambar 3. Kerangka Kerja Simulasi [7]. Di mana DFrV merepresentasikan degree of video quality robustness disebabkan oleh frame rate (Frv), dan dinyatakan sbb.: Di mana koefisien v1,v2,…, dan v7 tergantung kepada tipe codec, video format, key frame interval dan video display size, dan diperoleh dari coefficient lookup database. - Packet Loss Robustness Factor (DPplV)

Di mana Pplv adalah packet loss rate, dan koefisien v8,v9,…, dan v12 tergantung kepada tipe codec, video format, key frame interval dan video display size, dan diperoleh dari coefficient lookup database. Pada karya tulis ini digunakan codec H.264 yang mengacu ke kolom no 5 pada tabel koefisien standard ITU-T G.1070 [4]. III. KERANGKA KERJA SIMULASI Penggunaan simulator penting untuk memudahkan kustomisasi parameter-parameter jaringan dan aplikasi untuk mendapatkan target kinerja penjaminan QoS dan QoE, tanpa risiko disrupsi apabila dilakukan pada jaringan riil operasional. Gambar 3 menunjukkan kerangka kerja evaluasi dengan QoE-Monitor [7], di mana cloud jaringannya adalah jaringan yang disimulasikan dengan ns3 [5]. Filosofi pengujian kualitas video pada Gambar 3 adalah menggunakan full-reference metrics yang didasarkan atas perbedaan (variasi) antara original (reference) video dan received video (yang mana turut menyertakan faktor codec). Untuk itu, pada kerangka kerja perlu diperhatikan bagian terkait pemrosesan codec video (transmit dan receive), bagian jaringan pada ns3, dan pada bagian interface antar bagian-bagian tersebut. QoEmonitor menyediakan PSNR dan SSIM [3] sebagai full-reference metrics dan utilisasi ffmpeg [1]

Dari Gambar 3, terlihat bahwa dimungkinkan untuk mengembangkan QoE-Monitor untuk menyertakan model korelasi QoS/QoE lainnya, salah satunya penggunaan standard ITU-T G.1070 yang tergolong no-reference metrics. Dalam hal ini, diperlukan suatu probe untuk mengukur packet loss untuk frame-frame video yang dilewatkan pada ns3, dan informasi video bit rate dan frame rate di sini penerima.

III. DESAIN CLASS DAN REVISI MODUL Tahapan implementasi standard ITU-T G.1070 pada qoe-monitor mencakup revisi source code eksisting qoe-monitor dan desain class untuk ITUT G.1070 metric. Qoe-monitor eksisting memiliki beberapa kekurangan, di antaranya class PsnrMetric dan SsimMetric belum menyediakan pemetaan nilai PSNR dan SSIM ke format MOS (Mean Opinion Score). Untuk itu, source code direvisi untuk menyertakan informasi pemetaan pada Tabel 1. Dalam hal resolusi, PsnrMetric dan SsimMetric eksisting hanya dapat digunakan untuk video dengan resolusi cif, sehingga source code perlu direvisi untuk probing variable width dan height dari AVContext dari library libavcodec pada ffmpeg. Tabel 1. Pemetaan PSNR dan SSIM ke MOS (Mean Opinion Score) [11].

Class Metric pada qoe-monitor dirancang untuk full-reference metric yang menggunakan informasi file source dan destination video. Qoe-monitor

belum menyediakan class tersendiri untuk melakukan coding dan decoding, dan tahapan ini dilakukan oleh ffmpeg yang dijalankan via shell. Untuk desain class, dirancang class NRMetric yang memerlukan file video yang diterima, dan network QoS sebagai input parameter untuk evaluasi QoE. Class ini bisa diturunkan untuk class ITUG1070, dan class untuk metode lainnya yang tergolong NRMetric. Fungsi untuk menghitung MOS seperti di bagian 2 diimplementasikan sebagai member function dari class ITUG1070. Fungsi untuk penyimpanan data mengacu ke fungsi yang serupa pada class PsnrMetric dan SsimMetric. IV. SKENARIO SIMULASI Skenario simulasi adalah pada jaringan point-topoint seperti pada Gambar 4, di mana tiap node menggunakan IP protocol (topologi serupa digunakan di [7]). Bandwidth dari point-to-point link adalah 2 Mbps dan delay 2 ms. MTU dari packet yang dikirim adalah 1400, dan packet error rate menggunakan distribusi uniform dengan nilai rata-rata yang divariasikan, yaitu 0.001, 0.005, 0.01, 0.05.

Gambar 4. Topologi Jaringan Point-to-Point. Untuk sumber video, dipilih beberapa reference video [2], dengan jumlah frame lebih besar dari 1500. Tabel 2 menunjukkan reference video yang digunakan. Tabel 2. Reference Video. Jumlah Bit Rate Frame Rata-Rata (kbps) Bridge_close 2000 1435 Highway 1832 2006

V. HASIL-HASIL DAN PEMBAHASAN Gambar 5 menunjukkan trace estimasi nilai MOS untuk tiap frame dari video yang dialirkan, untuk video bridge-close dengan packet loss 0.005. Terlihat adanya konsistensi fluktuasi nilai MOS antara PSNR dan SSIM, dan pola memburuknya kualitas video yang terlihat seragam, yang menunjukkan dampak random packet loss dengan distribusi uniform pada rentang frame 1-2000. Terlihat juga hasil dari PSNR lebih pesimistik dari SSIM, dan secara rata-rata juga ditunjukkan pada Gambar 6 dan 7, dan semakin memburuk dengan meningkatnya packet loss. Dampak packet loss pada PSNR makin terlihat untuk penggunaan video bit rate yang lebih besar, dan dalam hal ini bit rate Highway yang mendekati kapasistas link.

Gambar 5. MOS vs number of video frames (bridge-close packet loss 0.005) Gambar 6 dan 7 menunjukkan nilai rata-rata MOS yang diperoleh pada packet loss rata-rata dan video rate menggunakan sumber video dengan bit rate berbeda.

Frame Rate 25 25

Pada tahapan simulasi, dilakukan perbandingan atas penggunaan standard ITU-T G.1070 dengan metric PSNR dan SSIM, menggunakan format yang sama, yaitu MOS (Mean Opinion Score). Gambar 6. MOS vs Packet Loss (bridge-close)

- Dampak variasi parameter MTU, bandwidth, dan buffer size pada packet error rate, dan konsekuensinya pada estimasi MOS. - Kuantifikasi waktu komputasi untuk tiap metric pengukuran. - Dampak mixed traffic dan variasi distribusi random error pada jalur komunikasi terhadap estimasi MOS.

Gambar 7. MOS vs Packet Loss (highway)

[1] [2]

Perhitungan MOS dengan ITU-T G.1070 menggunakan nilai rata-rata dari video bit rate, video frame rate, dan percentage dari packet loss, sebagai cara yang umum digunakan untuk perencanaan jaringan. Terlihat bahwa perubahan nilai MOS dari ITU-T berkorelasi cukup baik dengan hasil dari PSNR dan SSIM, dan estimasi oleh ITU-T G.1070 lebih baik untuk pada Highway (bit rate lebih tinggi). Yang menjadi catatan di sini untuk penggunaan ITU-T G.1070, estimasi MOS tidak mempertimbangkan karakteristik konten dari kualitas video. Hal ini terlihat dari deviasi nilai MOS dari ITU-T G.1070 dengan nilai MOS dari SSIM pada Gambar 6 dan 7. Namun dengan waktu komputasi yang jauh lebih cepat, standard ITU-T G.1070 ideal digunakan untuk simulasi, perlu dikaji lebih lanjut penggunaan versi penyempurnaan (enhanced) dari standard ITU-T G.1070

[3]

VI. KESIMPULAN Modul menggunakan standard ITU-T G.1070 telah disertakan pada qoe-monitor, dan dapat digunakan untuk estimasi MOS layanan video pada jaringan yang disimulasikan. Modul ini memiliki kelebihan dalam efisiensi waktu komputasi, dan estimasi MOS yang berkorelasi cukup baik dengan hasilhasil dari full-reference metric seperti PSNR dan SSIM. Pengembangan modul simulator ini masih dalam tahap awal, dan diperlukan penelitian lanjutan dalam hal: - Penggunaan standard ITU-T G.1070 untuk estimasi MOS dari traffic trace (pcap) pada simulasi jaringan. Untuk monitoring MOS pada traffic trace jaringan riil, standard ITU-T G.1070 digunakan pada tool proprietary RadVision [6].

[4]

[5] [6] [7]

[8]

[9]

[10] [11]

DAFTAR PUSTAKA Ffmpeg: http://www.ffmpeg.org H264 YUV CIF EvalVid Reference Videos, EvalVid Project, http://www2.tkn.tuberlin.de/ research/evalvid/cif.html A. Hore, D. Ziou, “Image Quality Metrics: PSNR vs SSIM”, in Proc. 20th International Conference on Pattern Recognition (IPCR), pp. 2366-2369, 2010. ITU-T Recommendation G.1070: Opinion Model for Video-Telephony Applications, 2012. Ns-3: http://www.nsnam.org Radvision, VQ Monitor User Guide Version 2.7, 2012. D. Saladino, A. Paganelli, M. Casoni, “A Tool for Multimedia Quality Assessment in NS3: QoE Monitor”, Simulation Modelling Practice and Theory, vol. 32, pp. 30-41, 2013 A. Takahashi, D. Hands, V. Barriac, “Standardization Activities in the ITU for a QoE Assessment of IPTV”, IEEE Communications Magazine, pp. 78-84, February 2004. S. Winkler, P. Mohandas, “The Evolution of Video Quality Measurement: from PSNR to Hybrid Metrics, IEEE Trans. Broadcasting, 54(3), 2008. x264 H.264/AVC encoder: http://www. videolan.org/developers/x264.html T. Zinner, O. Abboud, O. Hohlfeld, T. Hossfeld, P. Tran-Gia, “Towards QoE Management for Scalable Video Streaming”, 21th ITC Specialist Seminar on Multimedia Applications – Traffic, Performance and QoE, Japan, March 2010.