Analisisi Data (Reliabilitas)
Metode Penelitian Kuantitatif ©Aswad 2015
Reliabilitas (reliability) adalah sejauh mana hasil suatu proses pengukuran dapat dipercaya. Reliabilitas dapat pula disebut dengan konsistensi, keterandalan, keterpercayaan, kestabilan, keajegan, dan sebagainya. Hasil suatu pengukuran akan dapat dipercaya hanya apabila dalam beberapa kali pelaksanaan tes (pengukuran) terhadap kelompok subjek yang sama diperoleh hasil yang relatif sama, selama aspek yang diukur dalam diri subjek memang belum berubah. Apabila perbedaan yang terjadi sangat besar dari waktu ke waktu maka hasil pengukuran tersebut tidak dapat dipercaya dan dikatakan tidak reliabel. Pengukuran yang hasilnya tidak reliabel tentu saja tidak dapat dikatakan akurat karena konsistensi menjadi sayarat bagi akurasi. Metode Penelitian Kuantitatif ©Aswad 2015
Validitas berasal dari kata validity yang berarti sejauhmana akurasi suatu tes atau skala dalam menjalankan fungsi pengukurannya. Pengukuran dikatakan mempunyai validitas yang tinggi apabila pengukuran tersebut menghasilkan data yang secara akurat memberikan gambaran mengenai variabel yang diukur apakah sudah seperti yang dikehendaki oleh tujuan pengukuran tersebut atau belum. Akurat dalam hal ini berarti tepat dan cermat sehingga apabila tes (pengukuran) menghasilkan data yang tidak relevan dengan tujuan pengukuran maka dikatakan sebagai pengukuran yang memiliki validitas rendah.
Metode Penelitian Kuantitatif ©Aswad 2015
Misalkan, suatu tes yang dirancang untuk mengungkap atribut A dan kemudian menghasilkan informasi mengenai atribut A maka tes tersebut dikatakan sebagai alt ukur yang hasilnya valid. Sebaliknya, suatu tes yang dirancang untuk mengukur atribut A tetapi menghasilkan data mengenai atribut A1 atau B, dikatakan alat ukur tersebut tidak valid untuk mengukur atribut A tetapi valid untuk mengukur atribut A1 dan B.
Metode Penelitian Kuantitatif ©Aswad 2015
Dalambidang pengukuran fisik, untuk dapat mengetahui berat suatu cincin emas maka harus digunakan alat penimbang berat emas agar hasilnya valid yaitu memberikan gambaran berat yang tepat dan cermat. Sebuah alat penimbang badan memang juga tepat untuk megukur variabel berat AKAN TETAPI tidaklah cukup cermat untuk untuk menimbang berat cincin emas dikarenakan perbedaan berat yang sangat kecil (tapi penting) pada berat emas tidak dapat terlihat pada alat ukur penimbang badan tersebut.
Metode Penelitian Kuantitatif ©Aswad 2015
Dalambidang pengukuran fisik, untuk dapat mengetahui berat suatu cincin emas maka harus digunakan alat penimbang berat emas agar hasilnya valid yaitu memberikan gambaran berat yang tepat dan cermat. Sebuah alat penimbang badan memang juga tepat untuk megukur variabel berat AKAN TETAPI tidaklah cukup cermat untuk untuk menimbang berat cincin emas dikarenakan perbedaan berat yang sangat kecil (tapi penting) pada berat emas tidak dapat terlihat pada alat ukur penimbang badan tersebut.
Metode Penelitian Kuantitatif ©Aswad 2015
Metode Penelitian Kuantitatif ©Aswad 2015
Tinggi rendahnya reliabilitas dan validitas pengukuran dunyatakan
secara empirik oleh suatu koefisien dalam hal ini koefisien reliabilitas dan koefisien validitas. Secara teoritik, koefisien reliabilitas dan validitas berkisar dari 0,0 sd 1,0, dengan mengabaikan tanda negatif dari hasil perhitungan. Koefisien reliabilitas dan validitas akan sulit untuk mencapai angka maksimal 1,0. Dbanding dengan reliabilitas, koefisien validitas yang tinggi sangatlah jauh lebih sulit untuk dicapai.
Metode Penelitian Kuantitatif ©Aswad 2015
RELIABILITAS
Metode Penelitian Kuantitatif ©Aswad 2015
Berdasarkan prosedur yang dilakukan dan sifat koefisien yang dihasilkan, ada 3 macam reliabilitas yaitu: 1. Metode tes-ulang / retest 2. Metode bentuk paralel 3. Metode penyajian tunggal
Metode Penelitian Kuantitatif ©Aswad 2015
Metode Tes-Ulang / Retest Metode ini dilakukan dengan menyajikan satu tes pada satu
kelompok subjek sebanyak dua kali dengan tengganng waktu yang cukup diantara kedua penyajian tersebut. Reliabilitas pengukuran diperlihatkan oleh koefisien korelasi antara distribusi skor subjek pada pemberian tes yang pertama dan distribusi skor pada pemberian tes yang kedua. Koefisien reliabilitas yang diperoleh merupakan indikator kestabilan pengukuran yang dilakukan oleh tes dari waktu ke waktu.
Metode Penelitian Kuantitatif ©Aswad 2015
No 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
Subjek A B C D E F G H I J K L M N O P Q R S T U V
X1 15 15 9 5 5 11 11 10 12 5 7 15 15 9 5 5 11 11 10 12 5 7
X2 16 7 8 9 14 12 9 7 5 8 7 16 7 8 9 14 12 9 7 5 8 7
Metode Penelitian Kuantitatif ©Aswad 2015
Korelasi Pearson / Product Moment digunakan untuk data rasio atau interval. Korelasi Tau-Kendall digunakan untuk data ordinal. Korelasi Spearman digunakan untuk data ordinal
Metode Penelitian Kuantitatif ©Aswad 2015
Metode Penelitian Kuantitatif ©Aswad 2015
Metode Bentuk Paralel Metode ini dilakukan dengan memberikan sekaligus dua bentuk tes
yang paralel / kembar kepada kelompok subjek. Apabila jumlah item dalam tes tidak terlalu banyak, kedua tes yg paralel dapat digabungka terlebih dahulu sehingga seakan-akan hanya merupakan satu bentuk tes saja. Setelah seluruh tes selesai dikerjakan, barulah dikembalikan ke bentuk semula untuk diperiksa dan diberi skor sehingga diperoleh dua distribusi skor X1 dan X2. Apabila penggabungan kedua tes tidak dimungkinkan karena masing-masing tes terdiri dari banyak item, maka kedua tes hendaknya diberikan berturut-turut dengan waktu yang relatif singkat.
Metode Penelitian Kuantitatif ©Aswad 2015
No 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
Subjek A B C D E F G H I J K L M N O P Q R S T U V
X1 125 117 120 122 122 100 111 100 115 110 117 125 117 120 122 111 111 111 115 115 115 125
X2 120 118 117 119 103 102 100 107 110 108 117 116 118 117 115 103 102 100 107 110 108 116
Metode Penelitian Kuantitatif ©Aswad 2015
Tes yang akan dihitung reliabilitasnya harus tersedia paralelnya yaitu tes lain yang sama tujuan ukurnya, dan setara itemnya baik secara kualitas maupun kuantitas. Dengan kata lain, tersedia dua tes yang kembar. Tes X1 dikatakan paralel/kembar dengan tes X2 apabila mean skor dan variansnya setara. Selain itu (optional) koefisien korelasi dengan suatu variabel ketiga juga harus setara.
Perhatikan bahwa: Mean X1 = 115,7273 relatif sama dengan mean X2 = 110,5909. Demikian pula varians X1 = 49,351 relatif sama dengan varians X2 = 47,491. Sehingga kedua tes dikatakn paralel. Tidak perlu dicek kesetaraan koefisien korelasi masingmasing dengan ukuran lain.
Metode Penelitian Kuantitatif ©Aswad 2015
Metode Penyajian Tunggal Metode ini biasa disebut dengan pendekatan konsistensi internal. Data skor diperoleh melalui prosedur satu kali tes kepada
sekelompok individu sehingga lebih praktis dan efisien dibandingkan dengan bentuk tes ulang dan bentuk paralel. Karena hanya satu distribusi skor yang diperoleh, maka perhitungan koefisien reliabilitasnya harus dilakukan melalui analisis terhadap distribusi skor item atau kelompok item, BUKAN melalui analisis terhadap skor tes secara keseluruhan sebagaimana 2 metode sebelumnya. Ada banyak rumus yang dapat digunakan misalnya dengan formula Spearman-Brown, Alpha Cronbach, Rulon, Kuder-Richardson, Hoyt, dsb.
Metode Penelitian Kuantitatif ©Aswad 2015
Subjek A B C D E F G H I J
1 1 0 0 2 2 0 1 0 2 1
2 1 0 0 2 2 0 0 0 2 1
3 2 2 2 1 1 2 1 2 0 1
Metode Penelitian Kuantitatif ©Aswad 2015
4 2 0 0 2 1 1 2 0 0 1
5 2 1 1 1 2 1 2 1 0 1
Item 6 7 2 2 0 0 2 0 1 2 2 2 1 1 1 2 2 2 2 1 1 1
8 2 0 2 1 2 2 0 0 0 0
9 2 1 0 0 0 1 0 0 2 0
10 11 12 2 1 2 2 2 2 0 1 2 1 2 2 1 1 0 2 2 0 1 0 0 1 0 1 2 2 2 0 0 0
Metode Penelitian Kuantitatif ©Aswad 2015
Metode Penelitian Kuantitatif ©Aswad 2015
Seberapa Tinggi Nilai Reliabilitas? Nilai koefisien reliabilitas hanya berlaku bagi skor kelompok subjek
yang dijadikan dasar perhitungan itu saja. Tes standar yang taruhannya tinggi serta disusun secara profesional harus memiliki koefisien r = 0,90, sedangkan yg tidak begitu tinggi taruhannya harusnya memiliki koefisien r antara 0,80 sd 0,85. Untuk tes yg digunakan di kelas hendaknya paling kecil memiliki koefisien r 0,70. Skala Guilford:
Metode Penelitian Kuantitatif ©Aswad 2015
Dalam kaitannya dengan konsep penelitian analisis isi, konsep reliabilitas terbagi menjadi 3 yaitu 1. Stabilitas 2. Reproduksibilitas 3. Akurasi
Metode Penelitian Kuantitatif ©Aswad 2015
Jenis
Definisi
Stabilitas
Derajat sejauh mana alat ukur menghasilkan temuan yg tidak berbeda sepanjang waktu
Reproduk sibilitas (Inter coder) Akurasi
Desain Uji
Kekuatan
Kepraktisan
Tesretes
Kuat
Mudah
Derajat sejauh mana sebuah alat ukur dapat menghasilkan temuan yg sama dalam berbagai keadaan yg berbeda, dilokasi yg berbeda-beda, dan menggunakan pengkode/coder yang berbeda-beda
Tes-tes
Sedang
Sedang
Derajat sejauh mana sebuah alat ukur mamapu menghasilkan temuan yg tidak berebda dengan standar yg telah dikenal, atau menghasilkan apa yg memang dituntut untuk dihasilkan.
Tesstandar
Lemah
Sulit
Metode Penelitian Kuantitatif ©Aswad 2015
Stabilitas Penilai (coder) diberikan dua kali tes yakni tes dan retest. Hasilnya
dibandingkan kemudian dilihat apakah ada perbedaan atau tidak. Alat ukur disebut reliabel apabila dari dua kali pengukuran tidak ditemukan adanya perbedaan hasil. Stabilitas biasa juga disebut dengan intracoder reliability karena data yang dibandingkan adalah data dari coder yang sama. Bukan dengan membandingkan data hasil beberapa coder. Stabilitas adalah jenis reliabilitas yang paling lemah sehingga sebaiknya tidak digunakan untuk menguji reliabilitas dari suatu alat ukur.
Metode Penelitian Kuantitatif ©Aswad 2015
Reproduksibilitas Penilai (coder) terdiri dari dua orang atau lebih. Alat ukur dinayatakan reliabel apabila alat ukur tersebut dinilai oleh
beberapa coder dan dalam waktu yang berbeda, dan ternyata menghasilkan temuan yang sama. Reproduksibiltas biasa juga disebut dengan intercoder reliability atau reliabilitas antar coder. Hal ini karena reliabilitas jenis ini melihat kecocokan hasil pemeriksaan coder ketika diperbandingkan satu sama lain. Apabila terjadi ketidak cocokan, hal tersebut menunjukkan inkonsistensi intrakoder sekaligus ketidakcocokan intercoder.
Metode Penelitian Kuantitatif ©Aswad 2015
Akurasi Pengukuran disebut mempunyai akurasi (reliabel) apabila hasil
pengukruan yg dilakukan tidak berbeda dengan hasil tes standar. Akurasi menggabungkan tiga hal sekaligus yakni inkonsistensi intracoder, ketidakcocokan antar-coder, dan penyimpangan dari bentk standar. Sehingga akurasi merupakan jenis reliabilitas yang paling kuat. HANYA SAJA, akurasi membutuhkan sebuah “data standar” sebagai pembanding.
Metode Penelitian Kuantitatif ©Aswad 2015
Stabilitas
Reproduksibiltas
Akurasi
√
√
√
√
√
Pengujian Alat Ukur Alat ukur menghasilkan temuan yg sama dari waktu yg berbeda Alat ukur menghasilkan temuan yg sama oleh orang yg berbeda Alat ukur menghasilkan temuan yg sama dari bentuk standar
√
Kesalahan yang Dinilai Inkonsistensi intracoder Ketidakcocokan intercoder Penyimpangan dari standar
Metode Penelitian Kuantitatif ©Aswad 2015
√
√
√
√
√ √
Pengukuran disebut mempunyai akurasi (reliabel) apabila hasil
pengukruan yg dilakukan tidak berbeda dengan hasil tes standar. Akurasi menggabungkan tiga hal sekaligus yakni inkonsistensi intracoder, ketidakcocokan antar-coder, dan penyimpangan dari bentk standar. Sehingga akurasi merupakan jenis reliabilitas yang paling kuat. HANYA SAJA, akurasi membutuhkan sebuah “data standar” sebagai pembanding. Hal ini menyebabkan, konsep reliabilitas ini jarang digunakan. Reproduksibiltas merupakan konsep reliabilitas yang paling sering digunakan. Konsep ini biasa disebut dengan reliabilitas antar coder. Berikut diberikan beberapa formula untuk melihat derajat reliabilitas dari suatu alat ukur.
Metode Penelitian Kuantitatif ©Aswad 2015
Persentase Persetujuan (Percent Agreement) Perhitungan reliabilitas yang paling sederhana. Formulanya adalah sebagai berikut:
A N Dengan A = jumlah persetujuan dari dua orang coder, N = jumlah unit yang dites. Instrumen dikatakan reliabel apabila nilai reliabilitas antar-coder-nya tidak lebih kecil dari 0,8. Reliabilitas Antar-Coder
Metode Penelitian Kuantitatif ©Aswad 2015
Misalkan diberikan hasil dari coding atas 10 berita dari dua coder berikut: Berita
Coder A
Coder B
Setuju (S) atau Tidak Setuju (TS)
1
1
1
S
2
2
2
S
3
2
3
TS
4
1
3
TS
5
3
3
S
6
1
1
S
7
2
2
S
8
3
3
S
9
2
1
TS
10
2
2
S Total S = 7, Total TS = 3.
Reliabilitas = 7/10 = 0,70 (70%). Metode Penelitian Kuantitatif ©Aswad 2015
Formula Holsti Formulanya adalah sebagai berikut:
2M N1 N 2 Dengan M adalah jumlah coding yang sama, N1 adalah jumlah coding yang dibuat oleh coder 1, N2 adalah jumlah coding yang dibuat oleh coder 2. Instrumen dikatakan reliabel apabila nilai reliabilitasnya tidak kurang dari 0,70. Reliabilitas Antar-Coder
Metode Penelitian Kuantitatif ©Aswad 2015
Misalkan diberikan hasil dari coding atas 10 berita dari dua coder berikut: Berita
Coder A
Coder B
Setuju (S) atau Tidak Setuju (TS)
1
2
2
S
2
3
1
TS
3
2
2
S
4
1
1
S
5
1
1
S
6
3
2
TS
7
2
2
S
8
2
2
S
9
3
3
S
10
1
1
S Total S = 8, Total TS = 2.
Reliabilitas = 2M/(N1+N2) = 2(8)/(10+10) = 0,8 (80%). Metode Penelitian Kuantitatif ©Aswad 2015
Formula Scott (Scott Pi) Formulanya adalah sebagai berikut:
%persetujuan % persetujuan Reliabilitas yg diamati yg diharapkan Antar-Coder 1 % persetujuan yg diharapkan Dengan M adalah jumlah coding yang sama, N1 adalah jumlah
coding yang dibuat oleh coder 1, N2 adalah jumlah coding yang dibuat oleh coder 2. Instrumen dikatakan reliabel apabila nilai reliabilitasnya tidak kurang dari 0,70.
Metode Penelitian Kuantitatif ©Aswad 2015
Misalkan diberikan hasil dari coding atas 10 berita dari dua coder berikut: Berita
Coder A
Coder B
Setuju (S) atau Tidak Setuju (TS)
1
1
2
TS
2
2
2
S
3
4
4
S
4
5
5
S
5
3
3
S
6
2
2
S
7
2
1
TS
8
3
3
S
9
1
2
TS
10
4
4
S Total S = 7, Total TS = 3.
Persetujuan = 7/10 = 0,70 (70%). Metode Penelitian Kuantitatif ©Aswad 2015
Selanjutnya, tabel persetujuan yang diharapkan adalah sebagai berikut: Frekuensi Kategori
Coder Coder A B
Total (A + B)
Proporsi dari Seluruh Kategori
1
2
1
3
3/20 = 0,15
2
3
4
7
7/20 = 0,35
3
2
2
4
4/20 = 0,20
4
2
2
4
4/20 = 0,20
5
1
1
2
2/20 = 0,10
20
1,00
Jumlah
Metode Penelitian Kuantitatif ©Aswad 2015
Persetujuan yang diharapkan adalah (0,15)2 + (0,35)2 + (0,20)2 + (0,20)2 + (0,10)2 = 0,24. Sehingga:
%persetujuan % persetujuan Reliabilitas yg diamati yg diharapkan Antar-Coder 1 % persetujuan yg diharapkan 0,70 0,24 0,61 1 0,24
Metode Penelitian Kuantitatif ©Aswad 2015
Formula Cohen (Cohen Kappa)
Formulanya adalah sebagai berikut:
persetujuan persetujuan Reliabilitas yg diamati yg diharapkan Antar-Coder 1 persetujuan yg diharapkan
Metode Penelitian Kuantitatif ©Aswad 2015
Misalkan diberikan hasil dari coding atas 10 berita dari dua coder berikut: Berita
Coder A
Coder B
Setuju (S) atau Tidak Setuju (TS)
1
3
3
S
2
4
4
S
3
2
2
S
4
2
1
TS
5
1
1
S
6
3
3
S
7
3
3
S
8
4
3
TS
9
5
5
S
10
5
5
S Total S = 8, Total TS = 2
Persetujuan = 8/10 = 0,80 (80%). Metode Penelitian Kuantitatif ©Aswad 2015
Selanjutnya, tabel persetujuan yang diharapkan adalah sebagai berikut: Frekuensi Kategori
Coder Coder A B
Total (A X B)
1
1
2
2
2
2
1
2
3
3
4
12
4
2
1
2
5
2
2
4
Jumlah
10
10
22
Metode Penelitian Kuantitatif ©Aswad 2015
Jadi, persetujuan yang diharapkan adalah: = (1/102)(2+2+12+2+4) = (1/100)(22) = 0,22
Telah diperoleh oersetujuan yang diamati = 0,80, dan persetujuan yang diharapkan = 0,22.
persetujuan persetujuan Reliabilitas yg diamati yg diharapkan Antar-Coder 1 persetujuan yg diharapkan 0,80 0,22 1 0,22 0,74
Metode Penelitian Kuantitatif ©Aswad 2015
Sumber: Eriyanto, 2011. Analisis Isi, Prenada Media Group:
Jakarta. Saifuddin Azwar. 2013. Reliabiltas & Validitas, Edisi Keempat. Pustaka Pelajar: Yogyakarta.
Metode Penelitian Kuantitatif ©Aswad 2015
NEXT: Analisis Data: Validitas
Metode Penelitian Kuantitatif ©Aswad 2015