yang digunakan tidak hanya satu jenis latihan, akan tetapi sejumlah latihan yang berhubungan satu latihan dengan latihan yang lain. Penelitian ini akan mencari opini mahasiswa tentang variasi latihan-latihan soal yang mereka dapatkan di kelas Listening dan menggunakan data opini mahasiswa melalui kuesioner yang dibagikan setiap minggu selama tiga kali berturut-turut. Penelitian tentang Listening juga banyak yang menggunakan perhitungan statistik dalam mengolah data. Xiao-Lei & Tajaroensuk (2012) meneliti efek pre-task planning mode pada kelas Listening di Cina. Xiao-Lei & Tajaroensuk (2012) menggunakan uji Chi-square pada SPSS untuk mengolah data tentang perbedaan opini siswa berbeda signifikan atau tidak. Kemudian penelitian oleh Ching & Chang (2009) menggunakan metode Cronbach’s Alpha dan koefisien korelasi Pearson untuk mengukur reliabilitas dan validitas kuesioner tentang hasil tes Listening siswa. Pada penelitian ini menggunakan analisis varian. Analisis varian multivariat merupakan alat analisis yang tepat untuk menguji ada tidaknya perbedaan nyata tentang pengaruh perlakuan terhadap variabel respon lebih dari satu. Pada analisis multivariat, observasi yang dilakukan berkali-kali pada responden yang sama dan dalam waktu yang berbeda dapat dianalisis dengan membandingkan rata-rata setiap respon dengan respon lainnya pada setiap minggunya menggunakan
repeated measures (Johnson and
Wichern, 2007). Metode repeated measures pernah digunakan untuk penelitian pada bidang pendidikan. Mansyur (2011) menggunakan repeated measures untuk menemukan cara mengembangkan model assessment for learning pada pembelajaran matematika. Dalam menggunakan metode repeated measures, Mansyur (2011) melakukan lima kali pengukuran selama tiga bulan. Untuk membandingkan setiap respon dengan respon lainnya dapat menggunakan metodepaired comparisons. Seperti yang dilakukan oleh Abbas & Aslam (2012), mereka membandingkan beberapa obat penghilang rasa sakit menggunakan metode paired comparisons dengan distribusi Cauchy. Penelitian tentang penggunaan metode paired comparisons untuk mengolah data skala likert dilakukan oleh Dittrich dkk (2007) dengan pendekatan metode paired comparisons untuk menganalisis beberapa data pada respon skala likert. Pada penelitian tersebut menjabarkan beberapa keuntungan-keuntungan yang didapatkan dalam
Pritasari, N.,F, Parhusip H.A, Susanto,B,2013. Analisis Respon Mahasiswa Kelas Listening Menggunakan metode Paired Comparison, prosiding Seminar Nasional Matematika VII UNNES 26 Oktober 2013, ISBN 978-602-14724-7-7.
menggunakan metode paired comparisons untuk mengolah data skala 1-5 (skala likert) sebagai skala untuk menyatakan berturut-turut sangat tidak setuju hingga sangat setuju. Selanjutnyadalam makalah ini, masalah yang diangkat adalah mencari perbedaan respon mahasiswa kelas Listeningantar dua minggu yang berbeda dalam tiga minggu. Adapun tujuan dari penelitian ini adalah mengetahui perbedaan respon mahasiswa kelas Listeningterhadap pertanyaan yang diteliti dalam tiga minggu menggunakan paired comparisons. Program aplikasi R 2.15.1 digunakan sebagai alat bantu untuk melakukan analisis data.
A. 1 Repeated Measuresuntuk Studi Respon Mahasiswa Repeated measures adalah pengukuran yang dilakukan dalam sekelompok orang atau partisipan dan menerima perlakuan setiap periode waktu yang berturut-turut. Pada penelitian ini, yang dimaksud dengan pengulangan pengukuran adalah sebagai berikut: Responden di setiap kelas mengisi kuesioner berdasarkan perlakuan yang diberikan. Isian tersebut menyatakan respon mahasiswa terhadap pertanyaan yang diajukan pada kuesioner mengenai persepsi mahasiswa tentang variasi latihan pada kelas Listening.Isian yang diberikan adalah dalam bentuk skala 1-5 dan tiap nilai menunjukkan rentang sangat tidak setuju hingga sangat setuju. Pada penelitian Rahandika A (2013), variasi latihan dalam mengajar kelas Listening yang digunakan dosen-dosen FBS merupakan sebuah kegiatan yang berulang pada setiap pertemuan. Ada tiga tahapan latihan dalam kelas Listening yaitu pre-task, during task dan yang terakhir post-task. Yang pertama untuk membuka kelas adalah pre-task. Pada pre-task mahasiswa diberi latihan yang sifatnya membuat mahasiswa berekspektasi tentang materi yang akan diajarkan hari itu. Pada pre-task, latihan-latihan yang digunakan sangat simpel dan mudah, seperti pelabelan gambar, membuat daftar kemungkinan, melengkapi sebuah kalimat, dll. Yang kedua adalah during task. Fungsi dari during task adalah untuk membantu mahasiswa mendeskripsikan pesan pada sesi Listening. Beberapa latihan yang digunakan pada during task adalah pilihan ganda, mengikuti petunjuk arah sesuai yang disampaikan, mengisi kata sesuai yang disampaikan, benar/salah, dll. Latihan yang terakhir adalah post-task. Post-task adalah latihan terakhir yang biasanya sebelum kelas usai. Fungsi
post-task adalah untuk
Pritasari, N.,F, Parhusip H.A, Susanto,B,2013. Analisis Respon Mahasiswa Kelas Listening Menggunakan metode Paired Comparison, prosiding Seminar Nasional Matematika VII UNNES 26 Oktober 2013, ISBN 978-602-14724-7-7.
memperluas topik materi dan mentransfer materi yang telah dipelajari ke dalam konteks lain. Pada latihan ini biasanya dosen akan mengambil nilai untuk hasil belajar pada pertemuan
tersebut.
Contoh
latihannya
adalah
menyimpulkan
percakapan,
mengidentifikasi hubungan pembicara, dll. Pada setiap minggunya, dosen-dosen FBS memberikan pola yang sama. Walaupun disetiap minggunya mahasiswa belajar materi yang berbeda, pola latihan-latihan yang digunakan selalu sama. Setelah itu responden memberikan respon pada daftar pertanyaan yang diberikan pada skala 1-5. Hal tersebut dilakukan secara sama pada tiap minggu setiap kelas.
B.2 Perbandingan Berpasangan (Paired Comparisons) Paired comparisons adalah teknik dimana responden menyatakan persepsi atau sikapnya dengan mengambil pilihan di antara dua obyek. Kegunaan teknik ini adalah mengukur relative importance, yaitu semacam pembobotan untuk menggambarkan kepentingan relatif beberapa obyek (Web 1). Menurut Sarwono (2012), penghitungan ini dilakukan dengan cara mencari perbedaan antara nilai-nilai dua variabel untuk masingmasing kasus dan kemudian mengujinya apakah terdapat perbedaan rata-rata di atas nilai 0. Pada kasus respon tunggal (univariat), 𝑋1𝑗 menunjukkan respon untuk perlakuan 1 (atau respon sebelum perlakuan) dan 𝑋2𝑗 menunjukkan respon setelah perlakuan 2 (atau respon setelah perlakuan) untuk percobaan ke-𝑗. Perbedaan ke- 𝑗 adalah 𝐷𝑗 = 𝑋1𝑗 − 𝑋2𝑗 ,
𝑗 = 1,2, … , 𝑛.
(1)
Penambahan notasi dibutuhkan dalam prosedur perbandingan berpasangan pada kasus multivariat (banyaknya variabel (p) lebih dari dua). Pola data yang digunakan dapat dilihat pada Gambar 1.
Pritasari, N.,F, Parhusip H.A, Susanto,B,2013. Analisis Respon Mahasiswa Kelas Listening Menggunakan metode Paired Comparison, prosiding Seminar Nasional Matematika VII UNNES 26 Oktober 2013, ISBN 978-602-14724-7-7.
Gambar 1. Skema pola data respon mahasiswa sebagai hasil survey oleh Rahandika A (2013)
Misalkan 𝑋𝑖𝑗𝑘 =variabel respon ke-i pada pertanyaan ke-j pada perlakuan ke-k dengan
i = 1, …, 29; j = 1, …, 13; k = 1, 2, 3.
Definisikan𝑫𝑗′ = 𝐷1𝑗 , 𝐷2𝑗 , … , 𝐷𝑝𝑗 dengan 𝐷1𝑗 = 𝑋11𝑗 − 𝑋21𝑗 𝐷2𝑗 = 𝑋12𝑗 − 𝑋22𝑗 ⋮⋮ 𝐷𝑝𝑗 = 𝑋1𝑝𝑗 − 𝑋2𝑝𝑗 ,
𝑗 = 1, 2, … , 𝑛.
(2)
Misalkan pula 𝐸 𝐷𝑗 = 𝛿 = 𝛿1 𝛿2 ⋯ 𝛿𝑝
′
dan 𝐶𝑜𝑣 𝐷𝑗 = 𝛴𝑑 ,
(3)
serta 1
𝐷=𝑛
𝑛 𝑗 =1 𝐷𝑗
1
dan 𝑆𝑑 = 𝑛 −1
𝑛 𝑗 =1
𝐷𝑗 − 𝐷
′
𝐷𝑗 − 𝐷 .
(4)
Teorema 1 (Johnson and Wichern, 2007, hal.275)Jika𝐷1, 𝐷2, … , 𝐷𝑛 merupakan sampel acak dari populasi normal𝑁𝑝 𝛿, 𝛴𝑑 maka 𝑇 2 = 𝑛 𝐷 − 𝛿 ′ 𝑆𝑑−1 𝐷 − 𝛿
Pritasari, N.,F, Parhusip H.A, Susanto,B,2013. Analisis Respon Mahasiswa Kelas Listening Menggunakan metode Paired Comparison, prosiding Seminar Nasional Matematika VII UNNES 26 Oktober 2013, ISBN 978-602-14724-7-7.
berdistribusi sebagai sebuah variabel acak 𝑛 − 1 𝑝 𝑛 − 𝑝 𝐹𝑝,𝑛−𝑝 asalkan nilai 𝛿 dan 𝛴𝑑 sudah diketahui.Jika nilai 𝑛 dan 𝑛 − 𝑝 keduanya besar, 𝑇 2 didistribusikan chi-kuadrat 𝜒𝑝2 . Nilai𝑛 − 𝑝 dikatakan besar jika lebih besar dari 25 atau 30. (Web 2) Kondisi 𝛿 = 0 equivalen dengan “tidak ada perbedaan rata-rata antara 2 perlakuan”. Untuk variabel ke-𝑖, 𝛿𝑖 > 0secara tidak langsung menyatakan bahwa perlakuan rata-rata ke-2 lebih tinggi daripada perlakuan ke-1. Secara umum, kesimpulan tentang 𝛿 dapat digunakan menggunakan Teorema 1. Selanjutnya Teorema tersebut diaplikasikan pada data observasi. Vektor perbedaan yang diobservasi adalah 𝑑𝑗′ = 𝑑1𝑗 , 𝑑2𝑗 , … , 𝑑𝑝𝑗 , 𝑗 = 1, 2, … , 𝑛. Uji statistik disusun sebagai berikut: 𝐻𝑜: 𝛿 = 𝟎 (tidak ada perbedaan respon) dibandingkan dengan 𝐻1 : 𝛿 ≠ 𝟎 (ada perbedaan respon). Kriteria pengujiannya tolak 𝐻𝑜 jika 𝑇 2 = 𝑛𝑑 ′ 𝑆𝑑−1 𝑑 >
𝑛 −1 𝑝 𝑛−𝑝
𝐹𝑝,𝑛−𝑝 𝛼 .
(5)
Daerah konfidensi 95% untuk 𝛿 yaitu: ′
𝑛 −1 𝑝
𝑑 − 𝛿 𝑆𝑑−1 𝑑 − 𝛿 ≤ 𝑛
𝑛 −𝑝
𝐹𝑝,𝑛−𝑝 𝛼 .
(6)
B. Metode Penelitian Data Data yang digunakan adalah data hasil penyebaran kuesionerRahandika, A (2013)dengan 13 pertanyaan yang sama di setiap minggu untuk 29 mahasiswa pada 2 kelas Listening FBS-UKSW selama tiga kali pertemuan. Isi kuesioner mengenai persepsi mahasiswa tentang variasi latihan pada kelas Listening. Jenis data adalah data skala 1-5 (skala likert).
Langkah-langkah dalam analisis data 1. Menentukan perbedaan dari respon mahasiswa terhadap pertanyaan pada minggu ke-1 dengan minggu ke-2, minggu ke-1 dengan minggu ke-3, dan minggu ke-2 dengan minggu ke-3. Contoh: Pritasari, N.,F, Parhusip H.A, Susanto,B,2013. Analisis Respon Mahasiswa Kelas Listening Menggunakan metode Paired Comparison, prosiding Seminar Nasional Matematika VII UNNES 26 Oktober 2013, ISBN 978-602-14724-7-7.
Dengan melihat Gambar 1, untuk mencari perbedaan respon mahasiswa terhadap pertanyaan, misalkan akan menghitung untuk kelas A minggu ke-1 dengan minggu ke-2. Q1 minggu 1 setiap mahasiswa dikurangi Q1 minggu 2 setiap mahasiswa, sampai Q13 minggu 1 setiap mahasiswa dikurangi Q13 minggu 2 setiap mahasiswa. Minggu yang lain serta kelas B dapat dihitung secara analog. 𝑑 , mencari rata-rata dari perbedaan 𝑑
2. Setelah diperoleh perbedaannya
dan
matriks kovarian 𝑆𝑑 dengan menggunakan persamaan (4). 3. Menentukan statistik uji 𝑇 2 berdasarkan persamaan (5). 4. Setelah nilai 𝑇 2 diperoleh, dibandingkan dengan
𝑛 − 1 𝑝 𝑛 − 𝑝 𝐹𝑝,𝑛−𝑝 𝛼
dengan 𝛼 = 0.05.𝐹𝑝,𝑛−𝑝 𝛼 yang digunakan yaitu 𝐹13,16 0.05 = 2.406. 5. Menghitung daerah konfidensi menggunakan persamaan (6).
C. Hasil Penelitian dan Pembahasan Kasus 1: pengujian untuk kelas A Statistik 𝑇 2 untuk pengujian 𝐻0 ∶ 𝛿 ′ = 𝛿1 , 𝛿2 = 0, 0 (tidak ada perbedaan respon mahasiswa terhadap semua pertanyaan di kelas A) dibentuk dari observasi pasangan perbedaan. Akan diuji perbandingan berpasangan untuk semua pertanyaan pada minggu pertama dengan minggu kedua, minggu pertama dengan minggu ketiga, dan minggu kedua dengan minggu ketiga. Jadi yang diobservasi adalah perbedaan nilai tiap mahasiswa untuk semua pertanyaan pada setiap minggu yang akan diuji. Dari perbedaan yang sudah diperoleh, kita menghitung 𝑑 dan 𝑆𝑑 sesuai dengan persamaan (4). Sehingga setelah diperoleh 𝑑 dan 𝑆𝑑 dapat menghitung nilai 𝑇 2 . Sehingga dapat diperoleh hasil pada Tabel 1.
Tabel 1. Hasil analisa paired comparisonspada kelas A Yang diobservasi
𝑇2
Respon minggu ke-1 dan ke-2
96.173
54.737
𝐻0 ditolak
Respon minggu ke-1 dan ke-3
38.049
54.737
𝐻0 diterima
Respon minggu ke-2 dan ke-3
85.745
54.737
𝐻0 ditolak
𝑛 − 1 𝑝 𝑛 − 𝑝 𝐹𝑝,𝑛−𝑝 0.05
Analisa
Pritasari, N.,F, Parhusip H.A, Susanto,B,2013. Analisis Respon Mahasiswa Kelas Listening Menggunakan metode Paired Comparison, prosiding Seminar Nasional Matematika VII UNNES 26 Oktober 2013, ISBN 978-602-14724-7-7.
Untuk respon minggu ke-1 dengan minggu ke-2 dan minggu ke-2 dengan minggu ke-3 𝐻0 ditolak karena 𝑇 2 > 54.737, artinya ada perbedaan respon mahasiswa terhadap semua pertanyaan untuk minggu ke-1 dengan minggu ke-2 dan minggu ke-2 dengan minggu ke-3. Pada respon minggu ke-1 dengan minggu ke-3 𝑇 2 = 38.049 < 48.23, maka 𝐻0 diterima. Artinya tidak ada perbedaan respon mahasiswa terhadap semua pertanyaan untuk minggu ke-1 dan minggu ke-3. Langkah selanjutnya, dari persamaan (6) akan diperoleh daerahkonfidensi95% untuk perbedaannya. Daerah konfidensi ini ditunjukkan pada Tabel 2. Tabel 2. Daerah konfidensi 95% untuk 𝛿 Yang diobservasi Respon minggu ke-1 dan ke-2 Respon minggu ke-1 dan ke-3 Respon minggu ke-2 dan ke-3
Daerah konfidensi
𝑛 − 1 𝑝 𝑛 𝑛 − 𝑝 𝐹𝑝,𝑛−𝑝 0.05
3.316
1.888
1.312
1.888
2.957
1.888
Analisa 𝐻0 ditolak 𝐻0 diterima 𝐻0 ditolak
Dari Tabel 2 dapat dilihat bahwa daerah konfidensi 95% untuk respon minggu ke1 dengan minggu ke-2 dan minggu ke-2 dengan minggu ke-3 menolak 𝐻0 , artinya ada perbedaan respon mahasiswa terhadap semua pertanyaan untuk minggu ke-1 dengan minggu ke-2 dan minggu ke-2 dengan minggu ke-3. Sedangkan pada minggu ke-1 dengan minggu ke-3 𝐻0 diterima, artinya tidak ada perbedaan respon mahasiswa terhadap semua pertanyaan untuk minggu ke-1 dan minggu ke-3. Jadi hasil yang diperoleh konsisten dengan hasil pengujian 𝑇 2 yang sudah diperoleh pada Tabel 1.
Kasus 2: pengujian untuk kelas B Statistik 𝑇 2 untuk pengujian 𝐻0 ∶ 𝛿 ′ = 𝛿1 , 𝛿2 = 0, 0 (tidak ada perbedaan respon mahasiswa terhadap semua pertanyaan di kelas B) dibentuk dari observasi pasangan perbedaan. Akan diuji perbandingan berpasangan untuk semua pertanyaan Pritasari, N.,F, Parhusip H.A, Susanto,B,2013. Analisis Respon Mahasiswa Kelas Listening Menggunakan metode Paired Comparison, prosiding Seminar Nasional Matematika VII UNNES 26 Oktober 2013, ISBN 978-602-14724-7-7.
pada minggu pertama dengan minggu kedua, minggu pertama dengan minggu ketiga, dan minggu kedua dengan minggu ketiga. Jadi yang diobservasi adalah perbedaan nilai tiap mahasiswa untuk semua pertanyaan pada setiap minggu yang akan diuji. Dari perbedaan yang sudah diperoleh, kita menghitung 𝑑 dan 𝑆𝑑 sesuai dengan persamaan (4). Sehingga setelah diperoleh 𝑑 dan 𝑆𝑑 dapat menghitung nilai 𝑇 2 . Sehingga dapat diperoleh hasil pada Tabel 3.
Tabel 3. Hasil analisa paired comparisonskelas B Yang diobservasi
𝑇2
Respon minggu ke-1 dan ke-2
239.538
54.737
𝐻0 ditolak
Respon minggu ke-1 dan ke-3
88.652
54.737
𝐻0 ditolak
Respon minggu ke-2 dan ke-3
51.282
54.737
𝐻0 diterima
𝑛 − 1 𝑝 𝑛 − 𝑝 𝐹𝑝,𝑛−𝑝 0.05
Analisa
𝐻0 ditolak untuk pengujianrespon minggu ke-1 dengan minggu ke-2 dan minggu ke-1 dengan minggu ke-3 pada kelas B karena 𝑇 2 > 54.737, artinya ada perbedaan respon mahasiswa terhadap semua pertanyaan untuk semua minggu. Tetapi pada respon minggu ke-2 dengan minggu ke-3 𝐻0 diterima karena 𝑇 2 = 51.282 < 54.737 maka tidak ada perbedaan respon mahasiswa terhadap semua pertanyaan untuk minggu ke-2 dengan minggu ke-3. Langkah selanjutnya, dari persamaan (6) akan diperoleh daerahkonfidensi95% untuk perbedaannya. Daerah konfidensi ini ditunjukkan pada Tabel 4. Tabel 4. Daerah konfidensi 95% untuk 𝛿 Yang diobservasi Respon minggu ke-1 dan ke-2 Respon minggu ke-1 dan ke-3 Respon minggu ke-2 dan ke-3
Daerah konfidensi
𝑛 − 1 𝑝 𝑛 𝑛 − 𝑝 𝐹𝑝,𝑛−𝑝 0.05
8.260
1.888
3.057
1.888
1.768
1.888
Analisa 𝐻0 ditolak 𝐻0 ditolak 𝐻0 diterima
Pritasari, N.,F, Parhusip H.A, Susanto,B,2013. Analisis Respon Mahasiswa Kelas Listening Menggunakan metode Paired Comparison, prosiding Seminar Nasional Matematika VII UNNES 26 Oktober 2013, ISBN 978-602-14724-7-7.
Dari Tabel 4 dapat dilihat bahwa daerah konfidensi 95% untuk respon minggu ke1 dengan minggu ke-2 dan minggu ke-1 dengan minggu ke-3 𝐻0 ditolak yang artinya ada perbedaan respon mahasiswa terhadap semua pertanyaan untuk minggu ke-1 dengan minggu ke-2 dan minggu ke-1 dengan minggu ke-3. Sedangkan pada respon minggu ke2 dengan minggu ke-3 𝐻0 diterima, artinya tidak ada perbedaan respon mahasiswa terhadap semua pertanyaan untuk minggu ke-1 dan minggu ke-3. Jadi hasil yang diperoleh juga konsisten dengan hasil pengujian 𝑇 2 yang sudah diperoleh pada Tabel 3.
D. Penutup Kesimpulan Pada makalah ini telah dibahas studi tentang respon mahasiswa dengan metode paired comparisons untuk dua kelas Listening FBS-UKSW. Berdasarkan statistik 𝑇 2 dapat disimpulkan bahwa: Pada kelas A minggu ke-1 dengan minggu ke-3 tidak ada perbedaan respon mahasiswa terhadap semua pertanyaan. Tetapi pada minggu ke-1 dengan minggu ke-2 dan minggu ke-2 dengan minggu ke-3 ada perbedaan respon mahasiswa terhadap semua pertanyaan. Pada kelas B tidak ada perbedaan respon mahasiswa terhadap semua pertanyaan pada minggu ke-2 dengan minggu ke-3, tetapi pada minggu ke-1 dengan minggu ke2 dan minggu ke-1 dengan minggu ke-3 ada perbedaan respon mahasiswa terhadap semua pertanyaan. Hal ini juga diperkuat dengan hasil analisa penghitungan daerah konfidensi 95%.
ACKNOWLEDGEMENT Terima kasih kepada Anangga Rahandika yang telah mengijinkan menggunakan dan mempublikasikan data penelitiannya.
DAFTAR PUSTAKA
Pritasari, N.,F, Parhusip H.A, Susanto,B,2013. Analisis Respon Mahasiswa Kelas Listening Menggunakan metode Paired Comparison, prosiding Seminar Nasional Matematika VII UNNES 26 Oktober 2013, ISBN 978-602-14724-7-7.
Abbas N & Aslam M. 2012. Are Certain Pain-Killers Equally Efficient? A Statiscal Study Through The Paired Comparison Models. Pakistan Journal of Statistics, Vol. 28(2), 189-204. Ching A & Chang S. 2009. Listening Strategies of L2 Learners With Varied Test Tasks. TESL Canada Journal, Vol. 25, No.2, 933-940. Dittrich R, Francis B, Hatzinger R & Katzenbeisser W. 2007. A Paired Comparison Approach for the Analysis of Sets of Likert-scale Responses. Statistical Modelling, Vol. 7(1), 3-28. Johnson RA & Wichern DW. 2007. Applied Multivariate Statistical Analysis,6th ed. Prentice Hall. New Jersey. Mansyur. 2011. Pengembangan Model Assessment for Learning pada Pembelajaran Matematika di SMP. Jurnal Penelitian dan Evaluasi Pendidikan, Vol. 15, No. 1, 71-91. Rahandika A. 2013. The Students Perceptions toward Different Task Types in Public Listening Class. Skripsi. Program Studi Pendidikan Bahasa Inggris, Fakultas Bahasa dan Sastra, Universitas Kristen Satya Wacana. Salatiga. Sarwono J. 2012. Prosedur-Prosedur Populer Statistik Untuk Mempermudah Riset Skripsi. Jakarta: Elex Media Komputindo. Xiao-lei D & Tajaroensuk S. 2012. Effects of the Pre-Task Planning Mode on the Listening Comprehensions of Chinese EFL Learners. Sino-US English Teaching, Vol. 9, No.6, 1197-1203. Web 1:http://www.ut.ac.id/html/suplemen/adbi4410/Pairedcomparisonmethod.htm.Di akses tanggal 1 Maret 2013 pukul 10.03 WIB. Web 2: http://www.math.hkbu.edu.hk/~hpeng/stat3710/Lecture_note3.pdf. Diakses tanggal 30 Agustus 2013 pukul 20.18 WIB.
Pritasari, N.,F, Parhusip H.A, Susanto,B,2013. Analisis Respon Mahasiswa Kelas Listening Menggunakan metode Paired Comparison, prosiding Seminar Nasional Matematika VII UNNES 26 Oktober 2013, ISBN 978-602-14724-7-7.