1
EVALUASI KUALITAS SUARA PADA LAYANAN VOICE CALL TELEPON SELULAR DENGAN METODE QUALITY OF EXPERIENCE (QoE) Try Rahadi Sulistomo1, dan Dr. Dhany Arifianto, ST., M.Eng2 Jurusan Teknik Fisika, Fakultas Teknologi Industri, Institut Teknologi Sepuluh Nopember, ITS Jl. Arief Rahman Hakim, Surabaya 60111 E-mail:
[email protected],
[email protected]
Abstrakβ Saat ini standard kualitas suara pada layanan GSM "Voice Call" menggunakan standard Quality of Service (QoS). Sesuai dengan Per-men Kominfo tahun 2008, kualitas yang dijamin adalah Endpoint Service Availability, namun tidak pada kualitas suara yang dihasilkan. Pada penelitian ini diusulkan metode QoE untuk mengukur kualitas suara, sehingga tidak hanya menjamin ketersediaan layanan saja tapi juga kenyamanan dalam berkomunikasi dengan cara Subjektif dan Objektif. Pengukuran subjektif digunakan dalam mengukur tingkat 'Speech Intelligibility' dan tingkat penurunan kualitas suara digunakan nilai Percent Correct Words dan Degradation Mean Opinion Score (DMOS). Pada pengukuran objektif menggunakan nilai Perceptual Evaluation of Speech Quality (PESQ). Waktu pengambilan data pada jam sibuk (PermenKominfo), untuk mendapatkan gangguan paling besar. Dilihat dari tren keduanya nilai DMOS dan PESQ berbanding lurus dengan koefisien korelasi=0.82. Berdasarkan nilai 'Speech Intelligibility' (Percent Correct Words), penurunan kualitas suara(DMOS) dan PESQ. Kualitas kedua operator masih dalam kategori baik (ada penurunan kualitas yang tidak mengganggu) sekalipun dalam jam sibuk. Kata Kunciβ QoE, DMOS, PESQ
I. PENDAHULUAN aat ini hampir semua Jaringan Telepon Seluler di Indonesia telah menggunakan generasi ke-3 (3G) dalam melayani pelang-gannya baik untuk pertukaran data (data transfer) maupun percakapan biasa (voice call). Badan Regulasi Telekomunikasi Indonesia yang kemudian disingkat BRTI, sebagai regulator resmi pemerintah telah memiliki standard kualitas pelayanan berdasarkan Quality of Service (QoS). BRTI menggunakan QoS sebagai penjamin kualitas layanan kepada konsumen dengan tolok ukur ketersediaan layanan untuk sambungan panggilan (Endpoint Service Availability).[1] Pada tahun 2011, Hertiana,dkk melakukan penelitian tentang deteksi dini penyakit tenggorok dengan komunikasi nirkabel. Dalam penelitian ini alat komunikasi yang digunakan adalah jaringan 3G yang telah memenuhi QoS, namun suara hasil transmisi dari telepon seluler ke yang lainnya kualitasnya dinilai buruk. Energi sinyal suara mengalami penurunan, terdapat derau latar, dan ada beberapa sampel yang datanya tidak utuh [2]. Kemudian penelitian dilanjutkan oleh Januar, dengan tema perbaikan kualitas suara pada komunikasi nirkabel. Dan hasil dari penelitian ini adalah terjadi peningkatan kualitas suara berdasarkan uji objektif yaitu dengan Mean Square Error (MSE) dan Preceptual Evaluation of Speech Quality (PESQ).[3]
S
Pada hakikatnya percobaan Objektif seperti PESQ dan MSE adalah model pendekatan percobaan Subjektif dimana hasil yang didapat adalah estimasi. Kemudian saat ini sedang berkembang metode yang disebut Quality of Experience, sebuah metode yang menitik beratkan penilaian pada manusia itu sendiri sebagai pemakai produk. Dengan QoE kita dapat mengukur sebuah kualitas jaringan dengan tepat dan menjaga hak setiap konsumen terhadap kualitas telepon yang baik. QoE sampai saat ini belum menjadi sebuah sistem standar yang harus dipakai, karena memang sampai saat ini metode QoE seperti apa yang dianggap bisa diterima oleh semua kalangan tanpa terkecuali masih terus dikembangkan. [4] II. TINJAUAN PUSTAKA A. Quality of Service (Qo)S & Quality of Experience (QoE) Saat mekanisme Quality of Service (QoS) di terapkan dalam sistem jaringan, dengan mudah kita akan mengasumsikan bahwa penggunanya secara otomatis akan men-dapatkan pelayanan yang baik. Namun dalam kenyataannya QoS tidak benar-benar berimplikasi pada kualitas pelayanan yang dirasakan oleh pengguna. Sehingga saat ini berkembang sebuah konsep dimana pengalaman pengguna (User Experience) lebih penting dari mekanisme teknik yang ada dalam jaringan yang dapat mempengaruhi pengguna dengan pelaku bisnisnya. Dan muncullah istilah Quality of Experience (QoE) disamping QoS yang telah lama diterapkan.
Gambar 1. Terminologi QoE berdasarkan definisinya, lingkaran merah QoE dan lingkaran biru QoS[4] Pada kasus layanan dasar telepon genggam yaitu telepon dibuat beberapa hal yang penting untuk diamati dalam metode QoE yaitu, lokasi dimana pengguna bisa membuat dan
2 menerima panggilan, kejernihan atau kejelasan suara telepon kemudian kemungkinan telepon berhasil dan kemungkinan telepon tidak terputus tiba-tiba. Selain itu karakter dan bahasa dari masyarakat juga sangat berpengaruh dalam penilaian QoE. B. Presepsi Suara Perseptual suara sendiri adalah tanggapan dari penerimaan panca indera suara atau telinga. Setiap orang memiliki perseptual yang berbeda-beda meskipun suara yang didengar adalah sama. Sebagai contoh, seorang pecinta musik Rock akan nyaman mendengar musik dengan SPL 100dB namun jika ia hanya menyukai musik klasik SPL dengan nilai 100dB akan terasa tidak nyaman. Atau dengan Frekuensi dan SPL yang sama ada orang yang bisa mendengarnya dan adapula yang tidak bisa mendengarnya. Seperti yang dijelaskan diatas bahwa menganalisa perseptual suara yang didengar oleh manusia cukup kompleks. Namun untuk mempermudahnya analisa suara percakapan biasanya didasarkan pada pitch. C. Kualitas Suara Dalam sebuah percakapan, terdapat tahap-tahap yang menjelaskan bagaimana pesan dari pengirim pesan dapat tersampaikan kepada si pendengar. Salah satunya adalah 'Intelligibility' yaitu bagaimana kejelasan suara yang diucapkan dalam penyampaian pesan.
Gambar 3. Skematis representasi tes subjektif [5] Selain Intelligibility, faktor lain adalah kenyamanan. Jika infromasi yang diterima baik, maka selanjutnya kualitas suara yang diuji adalah tingkat kenyamanannya. Tingkat kenyamanan bergantung dari presepsi manusia dan nilainya berbentuk kualitatif, sedangkan dalam pengukuran data yang dibutuhkan adalah data kuantitatif. Sehingga dibutuhkan cara atau metode untuk mengkuantifikasikan data dari kualitatif menjadi kuantitatif atau terukur. Dalam skala kuantifikasi data-data yang didapat dikategorikan, biasanya dibuat dalam 5 kategori. Dan disinilah pentingnya pengukuran QoE dilakukan.[6] D. Percent Correct Words Dalam tes subjektif selain DMOS ada pula Percent Correct Words. Penilaian Percent Correct Words didasari pada seberapa banyak (dalam presentase) kata yang bisa ditulis kembali setelah didengarkan Perolehan nilai kemudian di cocokan dengan grafik hubungan Percent Correct Words dengan Articulation Index sesuai dengan ANSI S3.5 1969
untuk mengetahui tingkat Speech Intelligibility.[7] Dari sini dapat dilihat seberapa baik pesan yang diterima oleh pendengar, semakin sedikit kata yang salah maka semakin baik kualitas suara dari sisi pesan yang diterima. Oleh karena itu jenis kata yang diberikan harus diperhatikan betul semisal kata-kata yang diberikan adalah kata-kata umum.
Gambar 4. Grafik Hubungan Percent Correct Word dengan Articulation Index.[7] E. Degradation Mean Opinion Score (DMOS) Degradation mean Opinion Score (DMOS) adalah pengukuran pada tingkat perubahan suara antara sumber suara dengan suara yang dihasilkan berdasarkan penilaian telinga manusia yang telah menjadi standar internasional (ITU-T). Untuk mengukur DMOS diperlukan 2 data suara, yang pertama adalah suara sebelum masuk jaringan dan yang kedua adalah suara setelah melewati jaringan. Skor DMOS dilakukan dengan mengukur kualitas suara langsung dari Mobile Stasion dalam hal ini telepon selular. Kemudian dibandingkan perubahannya dengan menggunakan kemampuan pendengaran manusia. Setelah mendengar yang pertama dan yang kedua pendengar diminta untuk mengisi skor dari 1-5 sesuai dengan tabel 1.[8] Tabel 1. Parameter penelaian uji DMOS[8] Parameter Score Parameter Kualitas Sangat baik 5 Degradasi tidak terdengar Baik 4 Degradasi terdengar namun tidak mengganggu Cukup baik 3 Degradasi sedikit mengganggu Buruk 2 Degradasi Mengganggu Sangat buruk 1 Degradasi sangat meng-ganggu F. Perceptual Evaluation Speech Quality (PESQ) Perceptual Evaluation Speech Quality (PESQ) merupakan suatu teknik pengevaluasian kualitas sinyal suara. Dalam perhitungannya (lihat Gambar 6.) sinyal asli dan sinyal hasil pemrosesan terlebih dahulu disamakan levelnya ke standard level pendengaran, kemudian difilter dengan respon
3 seperti headset telepon seluler. Selanjutnya diolah melalui sebuah transformasi dari pendengaran untuk mendapatkan spektrum loudnessnya. Perbedaan loudness antara sinyal asli dengan hasil olahan dihitung dan dirata-rata dari waktu ke waktu dan frekuensi untuk mendapatkan prediksi kualitas subjektif. Nilai PESQ berkisar antara -0,5 sampai 4,5 dimana pada nilai PESQ 4,5 sinyal suara yang diproses sama dengan sinyal suara asli.[9]
Gambar 6. Pemodelan PESQ[9] G. Perbandingan penilaian objektif dan subjektif Koefisien korelasi adalah parameter statistika yang bertujuan untuk menilai 2 atau lebih metode yang digunakan untuk 1 tujuan yang sama. Koefisien Korelasi dapat dihitung dengan persamaan Pearson, yaitu:
ππ = Dimana, ππ ππ π ππ π
π π =1
ππβπ (ππβπ )
π (ππ βπ )2 π =1
(2.1)
π (ππβπ )2 π =1
= Koefisien korelasi = Skor subjektif tiap kalimat n = Rata-rata skor subjektif seluruh kalimat = Skor Objektif tiap kalimat n = Rata-rata skor subjektif seluruh kalimat
Nilai Koefisien Korelasi biasanya dihitung dari sebaran rata-rata masing-masing metode (Subjektif dan Objektif). Semakin nilainya mendekati 1 maka antara metode subjektif dengan objektif semakin dekat kesesuaiannya. Kemudian untuk mengetahui perbedaan nilai dalam angka antara tes subjektif dengan objektif, digunakan perhitungan residual error. Dari residual error dapat diketahui pula seberapa banyak error tersebut terjadi. Persamaan matematis residual error adalah sebagai berikut:
ππ = ππ β ππ Dimana,
(2.2)
ππ = Nilai error tiap data n ππ = Skor subjektif tiap kalimat n ππ = Skor Objektif tiap kalimat n
Karena adanya perbedaan skala antara DMOS dengan PESQ maka perlu dilakukan normalisasi. Normalisasi ini membuat skala DMOS 1-5 dan PESQ (-0.5) - 4.5 menjadi 0-1, agar perhitungan correlation coefficient dengan residual error menjadi adil. Selain itu dengan normalisasi kita juga bisa melihat tren perubahan dari PESQ terhadap DMOS.
III METODOLOGI PENELITIAN Dari Speaker (pembicara) mengirim sinyal akustik berupa 180 kalimat stimulus kedalam Telepon seluler pengirim (Tx) untuk kemudian dikirim melewati jaringan GSM ke penerima (Rx). Diwaktu yang bersamaan, pada masing-masing telepon seluler sinyal akustik tersebut direkam kedalam bentuk format digital yaitu ".amr". Setelah itu data disimpan kedalam komputer untuk diperdengarkan kembali ke listener atau pendengar (tes subjektif) dan diolah kedalam bentuk nilai PESQ (tes obejktif). Dari pengambilan data baik subjektif dan objektif diolah lagi dalam komputer untuk menampilkan hasilnya baik dalam grafik maupun tabel. A. Pembuatan Stimulus Stimulus atau kalimat uji adalah suara hasil rekaman dari layanan voice call yang ada pada telepon selular penelpon dan telepon selular penerima. Kalimat direkam pada hari kerja (senin-jumat) pada rentang pukul 09.00-12.00 WIB dan 13.0015.00WIB. Total keseluruhan kalimat ada 180 kalimat yang direkam sebagai stimulus. Kalimat yang digunakan adalah bahasa Indonesia baku yang digunakan dalam kehidupan sehari-hari, tidak ada istilah teknis atau khusus sehingga sembarang naracoba dapat mengerti tanpa melihat latar belakangnya. Pelafalan kalimat tersebut oleh pembicara tidak menggunakan intonasi (nada datar). Arti dari kalimat 1 dengan lainnya tidak saling berhubungan. Rata-rata 1 kalimat terdiri dari 7 kata, dan ratarata durasinya adalah 3 detik. Contoh kalimatnya adalah, "Kecelakaan kereta api itu terjadi tengah malam".
Gambar 8. Proses pembuatan stimulus
Setelah telepon selesai kemudian hasil rekaman yang dijadikan kalimat stimulus nanti juga dalam bentuk format β.amrβ sehingga tidak ada perbedaan kualitas sinyal dari aslinya dengan rekaman.
Gambar 9. Waveform suara terekam dalam bentuk ".amr" B. Evaluasi subjektif Pengambilan data disini hanya untuk metode subjektif, pada PESQ langsung bisa diolah dengan Matlab. Untuk metode Subjektif pengambilan data dilakukan dengan
4 menggunakan manusia sebagai naracoba. Naracoba yang digunakan adalah mahasiswa Teknik Fisika ITS yang berusia rata-rata 22 tahun, diasumsikan memiliki pendengaran normal karena tidak ada catatan medis perlu ataupun pernah menggunakan "hearing impairment". Naracoba bersedia untuk memberikan penilaian sesuai pendengaran dan presepsi mereka dengan mengikuti prosedur yang ditetapkan.
berdasarkan poin AI. Untuk mendapatkan AI, pada penelitian ini digunakan teknik Percent Correct Words yang nantinya akan di hubungkan dengan grafik AI sesuai dengan ANSI S3.5 1969. Pada Tabel 4.1 ditunjukan data Percent Correct Words pada setiap naracoba per operator, Dari kedua tabel diatas dapat kita ketahui bahwa rentang nilai antar naracoba sangat kecil, sehingga nilai Percent Correct Words operator 1 dan 2 tidak akan mengalami perubahan yang signifikan jika jumlah naracoba ditambah lagi. Setelah itu dibandingkan nilai rata-rata operator 1 dan operator 2 dan didapatkan hasil bahwa operator 2 nilai Percent Correct Wordsnya lebih tinggi0.36% dari operator 1 (lihat Gambar 11.).
Percent Correct Words Tiap Operator Percent Correct Words
100
Op. 1 Op. 2
80 60
Gambar 10. Naracoba sedang melakukan tes subjektif Metode QoE yang dipakai adalah penilaian penurunan kualitas suara (Degradation Mean Opinion Score) dari ITU-T dan Speech Intelligibility (Percent Correct Words). Setiap naracoba hanya mengevaluasi 1 jenis penilaian dan 1 operator. Sehingga dalam penelitian ini jumlah naracoba sebanyak 55 orang dengan rincian: Tabel 2. Jumlah naracoba per penelaian per operator
Jenis penilaian Percent Correct Words DMOS
Operator
Jumlah Naracoba
1
12 orang
2
11 orang
1
16 orang
2
16 orang
C. Pengolahan dan analisa data Pengolahan data Subjektif dilakukan dengan menggunakan rumus statistika rata-rata. Pada DMOS, setiap kalimat dirata-rata skornya sehingga didapatkan nilai DMOS per kalimat. Setelah itu dibuat rata-rata lagi dari keseluruhan nilai tiap orang untuk mendapatkan nilai DMOS per operator. Untuk Percent Correct Words, nilai dirata-rata dari setiap orang pada masing-masing operator. Yang nantinya akan menghasilkan nilai Percent Correct Words pada masingmasing operator. IV. PEMBAHASAN A. Speech Intelligibility Seperti yang disebutkan sebelumnya, Speech Intelligibility adalah parameter kualitas suara yang dapat mengetahui seberapa baik informasi dari pengirim pesan diterima oleh penerima. Speech Intelligibility dapat dilihat dari Articulation Index (AI) yang memiliki kategori-kategori
40
98.9
98.54
20 0 Op. 1
Operator
Op. 2
Gambar 11. Perbandingan Percent Correct Words Operator 1&2 Setelah mendapatkan nilai Percent Correct Words tiap operator, kemudian nilai tersebut dimasukan ke dalam grafik ANSI S3.5 1969 untuk mendapatkan nilai AI. Karena perbedaan Percent Correct Words 1&2 sangat kecil, maka dianggap sama. Pada Gambar 12. didapatkan nilai AI kedua operator sebesar 1.0. Berdasarkan ANSI S3.5 1969, tiap operator memiliki tingkat Intelligibility yang sempurna. Atau tidak terjadi penurunan Speech Intelligibility yang signifikan. Nilai Intelligibility hanya menggambarkan seberapa baik informasi dapat di dengar, namun tidak dapat mengukur tingkat kenyamanannya. Setelah mengukur tingkat Intelligibility maka pengukuran berikutnya adalah tingkat kenyamanan yang didasarkan dari nilai DMOS (Subjektif) dan PESQ(Objektif). B. Degradasi Kualitas Suara (Subjektif) Nilai DMOS adalah nilai rata-rata dari setiap subjek yang melakukan percobaan. Terdapat 16 orang naracoba yang melakukan penilaian DMOS ini dan ada 180 kalimat yang diuji. Lalu masing-masing kalimat di buat nilai rata-ratanya. Setelah didapatkan tren distribusi nilai DMOS, maka nilai-nilai tersebut dapat dimasukan dalam kategori-kategori yang mewakili nilai DMOS agar dapat diketahui kualitas suara tersebut. Apakah tidak ada perubahan, tidak mengganggu atau cukup mengganggu.
5
5
DMOS Rata-rata Tiap Operator 4.2
4.5
Op.1 Op.2
DMOS
4 3 2 1
Op.1 Operator Op.2 Gambar 16. Grafik nilai DMOS rata-rata Operator 1&2 Untuk mengetahui nilai DMOS pada masing-masing operator secara keseluruhan diperlukan nilai rata-rata. Sehingga dengan 1 parameter yaitu nilai rata-rata kita dapat mem-bandingkan kualitas suara operator 1 dengan 2 terhadap layanan "voice call" secara eksak. Maka, nilai rata-rata pada operator 1 adalah 4.2 dan nilai rata-rata pada operator 2 adalah 4.5. Sehingga ditinjau dari nilai DMOS keseluruhan operator 2 memiliki kualitas lebih baik dari operator 1. C. Degradasi kualitas suara (Objektif) Pada penilaian ini nilai yang dipakai adalah PESQ, karena memakai model matematis dan perhitungan berdasarkan parameter yang dibuat sesuai dengan pendekatan telinga manusia yang terlatih sehingga nilainya absolut. Keuntungan dari penilaian ini hanya dibutuhkan 1 kali perhitungan setiap operator dengan jumlah kalimat 180 kalimat. Dengan menggunakan software Matlab dengan program yang digunakan adalah PESQ buatan Loizou, didapatkan nilai PESQ pada tiap jenis kalimat. Setelah dibuat rata-rata PESQ tiap operator, grafiknya adalah sebagai berikut:
PESQ OPERATOR 1 &2 4.5 3.5
3.17
3.44
2.5 1.5 0.5 -0.5 1
2
Gambar 17. Nilai PESQ masing-masing operator Nilai PESQ rata-rata tiap operator adalah 3.17 untuk operator 1 dan 3.44 untuk operator 2. Nilai PESQ pada operator 2 memiliki nilai rata-rata yang lebih besar 0.27 poin dari operator 1. Pada PESQ cara membaca hasil penilaian adalah jika 3 keatas dan dibawah 4 masuk dalam kategori cukup baik. Dan yang perlu diingat adalah skala pada PESQ yaitu (-0.5)-4.5, tidak seperti DMOS yang memiliki skala 1-5. Maka jika ingin membandingkan nilai PESQ dengan nilai DMOS diperlukan normalisasi terlebih dahulu.
D. Subjektif & Objektif Pada dasarnya penilaian objektif adalah pendekatan dari subjektif sehingga biasanaya di setiap penelitian yang meneliti kualitas suara dengan menggunakan objektif membandingkannya dengan subjektif. Di penelitian ini dipakai 2 pendekatan perbandingan, yang pertama adalah Coefficient Correlation dan kedua adalah error residual. Untuk coefficient correlation digunakan persamaan pearson (persamaan 2.1), dan error residual menggunakan pengurangan biasa pada tiap kalimat antara DMOS dengan PESQ (persamaan 2.2). Sebelum dibandingkan terlebih dahulu dilakukan normalisasi agar skala dari DMOS dan PESQ sama dengan skala 0-1. Untuk mengetahui setiap perubahan DMOS dengan PESQ dilakukan perhitungan residual errornya. Dengan mengetahui nilai residual error tiap kalimat kita dapat melihat tren dari kedua jenis penilaian ini. Residual error DMOS dengan PESQ memiliki rentang -0.14 sampai 0.37. Dari rentang ini dapat diketahui bahwa nilai residual error antara DMOS dengan PESQ tidak terlalu jauh. E. Penerapan Quality of Experience Presepsi suara sangat bergantung pada masyarakat dan bahasa yang didengarkan. Untuk korelasi nilai PESQ selama ini belum pernah diuji pada bahasa Indonesia, beberapa bahasa yang telah diuji adalah Inggris, Perancis dalam ITU-T kemudian Jepang dan Jerman dalam beberapa jurnal. Hal ini dapat menjadi pintu gerbang dalam mengembangkan metode Quality of Experience (QoE). QoE cukup relevan jika ingin dijadikan standard disamping QoS yang sudah lebih dahulu ada. Karena QoE dapat menjaga hak dari konsumen terhadap layanan operator yang dipakainya tidak hanya segi "Service Availability" namun juga kualitas kenyamanan suara. Selain menjaga hak konsumen QoE juga harus adil dan dapat menguntungkan pihak penyelenggara layanan (operator) dengan cara mengkuantifikasikan nilai kualitatif dan menyesuaikan standar QoE dengan kondisi masyarakat Indonesia. Pada operator kita bisa lihat bagaimana respon masyarakat terhadap gangguan yang ada di layanan mereka. Seberapa besar gangguan yang ditoleransi oleh masyarakat, sehingga nantinya operator bisa dengan efisien menentukan desain layanan mereka. Seperti yang dijelaskan sebelumnya, parameter fisis kualitas suara dibagi menjadi 2 yaitu frekuensi dasar dan SPL. Berikut adalah contoh pada salah satu stimulus yang diplot dalam bentuk spektogram dengan menampilkan frekuensi dasar. Nilai DMOS dari Gambar 4.10 adalah 3.6 atau artinya terdapat gangguan yang cukup mengganggu. Bagian yang dilingkari adalah bagian yang berubah dari suara pengirim ke penerima, sehingga dapat dibuktikan memang terjadi penurunan kualitas.
6 dalam mengevaluasi kualitas suara pada layanan "Voice call" telepon seluler. DAFTAR PUSTAKA [1]
Gambar 19. Spektogram suara pengirim (atas) dan Spektogram suara penerima (bawah), DMOS=3.6 Nilai DMOS dari Gambar 4.10 adalah 3.6 atau artinya terdapat gangguan yang cukup mengganggu. Bagian yang dilingkari adalah bagian yang berubah dari suara pengirim ke penerima, sehingga dapat dibuktikan memang terjadi penurunan kualitas.
[2]
[3]
[4]
[5] [6]
[7] [8]
[9] Gambar 20. Spektogram suara pengirim (atas) dan spektogram suara penerima (bawah), DMOS=4.6 Jika dibandingkan dengan gambar 4.10, pada gambar diatas (Gambar 4.11, lingkaran merah) juga terlihat mengalami penurunan sinyal. Namun nilai DMOSnya jauh berbeda, dan gambar 4.10 nilainya 3.6 (penurunan kualitas cukup mengganggu). Inilah yang dimaksudkan dapat menguntungkan konsumen dan penyedia jasa layanan. Di satu sisi konsumen mendapatkan kenyamanan mereka di sisi lain operator dapat mengetahui batas toleransi dari penurunan kualitas layanan mereka dan pemerintah dapat membuat standar yang mengacu pada kondisi masyarakatnya. V. KESIMPULAN Pada penelitian ini telah dilakukan evaluasi kualitas suara pada layanan "voice call" dengan metode Quality of Experience. Berdasarkan nilai Intelligibility (%Correct Words), penurunan kualitas suara (DMOS) dan PESQ operator 2 memiliki kualitas yang lebih baik dari operator 2. Namun kualitas kedua operator masih dalam kategori baik, ada penurunan kualitas yang tidak mengganggu. Untuk perbandingan penilaian secara objektif dan subjektif, dalam penelitian ini memiliki korelasi yang cukup dekat karena PESQ dengan DMOS memiliki koefisien korelasi sebesar 0.82. Sehingga Metode QoE yang diusulkan dapat digunakan
Menteri Komunikasi Dan Informatika-RI, 2008, "Standar Kualitas Pelayanan Jasa Teleponi Dasar Pada Jaringan Bergerak Selular", PermenKominfo 12/PER/M. KOMINFO/04/2008 Bertaningtyas D.K. Hertiana, 2011, "Analisis Sinyal Suara Melalui Jaringan Nirkabel Dengan Metode Wavelet Transform Untuk Deteksi Gejala Kelainan Pita Suara", Thesis Teknik Fisika - ITS Januar Alif, 2012, "Penerapan Metode Sinusoidal Modelling and Synthesis untuk Perbaikan Sinyal Suara pada Komunikasi Nirkabel", Tugas Akhir Teknik Fisika - ITS Kilkki Kalevi, 2008 ,"Quality of Experience in Communications Ecosystem", Journal of Universal Computer Science vol.14, no.5 Raake Alexander, 2006 "Speech Quality of VoIP", John Wiley&Sons, Ltd, England Brooks Peter, et al., 2010 "User Measures of Quality of Experience Why Being Objective and Quantitative Is Important", IEEE Network March/April ANSI, 1969 ,"American National Standard Method for Calculate Articulation Index", ANSI S3.5 ITU-T, 1996 ,"Methods For Subjective Determination Of Transmission Quality", ITU-T P800 Rix Antony W., et al., 2001,"Perceptual Evaluation Of Speech Quality (PESQ) - A New Method For Speech Quality Assesment Of Telephone Networks And Codecs", 0-7803-7041-41/01 IEEE