Psikometri Modul ke:
Analisis Item 3 Fakultas
Psikologi
Program Studi
Psikologi
www.mercubuana.ac.id
Arie Suciyana S., S.Si., M.Si.
Analisis Item dengan SPSS: Reliabilitas
…the consistency of score obtained by the same persons when they are reexamined with the same test on different occasions, or with different sets of equivalent, or under other variable examining conditions (Anastasi & Urbina, 1997)
3
RELIABILITY
Teknik Pengukuran Reliabilitas dikaitkan dengan Jumlah Form dan Pengambilan Tes Testing Session Required
Test-Forms Required One
Two
One
Split-Half, KR, Alternate-Form Cronbach Alpha (Immediate)
Two
Alternate-Form (Delayed)
Test-Retest
4
• Test-Retest Reliability • Alternate-Form Reliability • Split-Half Reliability • Kuder-Richardson Reliability and Coefficient Alpha • Scorer Reliability
5
TIPE-TIPE RELIABILITAS
TIPE-TIPE RELIABILITAS yang ada di SPSS
• Split-half. This model splits the scale into two parts and examines the correlation between the parts. • Guttman. This model computes Guttman's lower bounds for true reliability. • Parallel. This model assumes that all items have equal variances and equal error variances across replications. • Strict parallel. This model makes the assumptions of the parallel model and also assumes equal means across items.
6
• Alpha (Cronbach). This is a model of internal consistency, based on the average inter-item correlation.
Interpretasi Hasil Uji Reliabilitas • Koefiesien Reliabilitas yang paling baik Î mendekati nilai 1 • Nilai Cronbach’s Alpha: Reliabilitas Minimum: 0,60 (bisa diterima) Reliabilitas Sedang: 0,61 – 0,8 Reliabilitas Baik: > 0,8 7
• Apabila jawaban peserta tes peserta tes masih berbentuk pilihan jawaban (misal tes menggunakan bentuk pilihan ganda) maka harus dicoding terlebih dahulu, yaitu apabila peserta tes: • menjawab sesuai dengan kunci jawaban maka diberi coding 1, dan • menjawab tidak sesuai kunci jawaban atau tidak menjawab diberi coding 0.
• Ubah tipe variabel (di variable view): String Æ Numeric
8
Sebelum melakukan perhitungan…
Sebelum melakukan perhitungan… skala 1 s.d. 6) maka item unfavorable harus dicoding terlebih dahulu, yaitu 1Æ6; 2Æ5, 3Æ4; 4Æ3; 5Æ2; dan 6Æ1
9
• Apabila tes berbentuk Likert Scale (misal dengan
Dari menu pilih: Transform Recode Into Same/Different Variables... Æ Pilih variabel (item) yang akan di-coding ÆKlik Old and New Values ÆKetik Old Value dan New Value sesuai kunci jawaban >> Klik Add ÆKlik Continue >> OK
10
Melakukan Coding
Melakukan Coding • Untuk pilihan Into Different Variables perlu variable (hasil coding) Æ Change Æ
Pilih variabel (item) yang akan di-coding
ÆKlik Old and New Values ÆKetik Old Value dan New Value sesuai kunci jawaban >> Klik Add ÆKlik Continue >> OK
11
dilakukan pemberian nama dan label dari output
Melakukan Coding
12
Into Same Variables… hasil coding diberikan di kolom yang sama.
Into Different Variables… hasil coding diberikan di kolom yang berbeda, di kolom paling kanan dari data.
13
Melakukan Coding
Melakukan Coding
Warning!! sehingga perlu file awal (raw data) untuk disimpan. Untuk keperluan Analisis Item kelak, file awal yang akan digunakan
15
• Tidak ada menu UNDO untuk proses recode,
Sebelum melakukan penghitungan koefisien korelasi terlebih dahulu dibuat skor untuk: • Skor Tes ke-1 dan Tes ke-2 • Skor Tes Form-1 dan Form-2 • Skor Tes Half-1 dan Half-2 (dapat juga Odd dan Even)
16
TEST-RETEST RELIABILITY, ALTERNATEFORM RELIABILITY, dan SPLIT HALF RELIABILITY
Koefisien reliabilitas (rtt) dengan tipe ini secara sederhana adalah korelasi antara skor tes yang didapatkan oleh orang yang sama pada dua kali pengadministrasian tes. Dari menu pilih: Analyze Correlate Bivariate... Æ Pilih dua variabel (skor tes) Æ Klik OK
17
TEST-RETEST RELIABILITY dan ALTERNATE-FORM RELIABILITY
18
Hasil uji Korelasi (Pre-test vs Post-test)
• Nilai korelasi (RXY) = 0,589 • Terdapat korelasi yang ‘cukup’ antara skor hasil ‘test 1’ dan ‘test 2’ Æ Reliabilitas alat tes cukup baik digunakan dalam pengukuran karena hasil tes yang dilakukan 2 kali dengan menggunakan alat ukur yang sama memiliki skor yang mendekati sama Æ kedua administrasi alat tes mengukur konstruk yang sama
19
• Pada dasarnya mirip dengan tipe Test-Retest dan Alternate-Form Reliability, yaitu korelasi antara skor tes yang didapatkan oleh orang yang sama pada dua belahan tes. Dari menu pilih: Analyze Correlate Bivariate... Æ Pilih dua variabel (skor belahan tes) Æ Klik OK
20
SPLIT HALF RELIABILITY
21
Hasil Uji korelasi (Split half)
• Nilai korelasi (RXY) = 0,699 • Terdapat korelasi yang ‘cukup’ antara ‘skor item ganjil’ dan ‘skor item genap’ Æ Reliabilitas alat tes cukup baik digunakan dalam pengukuran karena hasil perbandingan item-item ganjil terhadap item-item genap pada 1x administrasi tes memiliki total skor yang mendekati sama Æ baik item-item ganjil maupun item-item genap mengukur konstruk yang sama
22
• This is a model of internal consistency, based on the average inter-item correlation (SPSS.com) Dari menu pilih: Analyze Scale Reliability Analysis... Æ Pilih item-itemnya Æ Klik OK
23
Alpha (Cronbach)
24
Hasil uji Reliabilitas menggunakan nilai Alpha Cronbach
• Nilai Cronbach’s Alpha= 0,767 • Reliabilitas alat ukur baik Æ keseluruhan item pada alat ukur mengukur konstruk yang sama 25
Analisis Item
• Apabila jawaban peserta tes peserta tes masih berbentuk pilihan jawaban (misal tes menggunakan bentuk pilihan ganda) maka harus dicoding terlebih dahulu, yaitu apabila peserta tes: • menjawab sesuai dengan kunci jawaban maka diberi coding 1, dan • menjawab tidak sesuai kunci jawaban atau tidak menjawab diberi coding 0.
• Kemudian ubah tipe variabel (di variable view): String Æ Numeric
27
Sebelum melakukan perhitungan…
Sebelum melakukan perhitungan… skala 1 s.d. 6) maka item yang unfavorable harus dicoding terlebih dahulu, yaitu 1Æ6; 2Æ5, 3Æ4; 4Æ3; 5Æ2; dan 6Æ1
28
• Apabila tes berbentuk Likert Scale (misal dengan
Kunci Jawaban Persepsi terhadap Statistika
29
• Item Favorable: semua kecuali item no 3 • Item Unfavorable: item no3
• Items can be analyzed qualitatively, in term of their content and form, and quantitatively, in terms of their statistical properties (Anastasi and Urbina, 1997) • Dalam panduan ini hanya akan dibahas analisis item secara kuantitatif saja
30
ITEM ANALYSIS
• This is a model of internal consistency, based on the average inter-item correlation (SPSS.com) Dari menu pilih: Analyze Scale Reliability Analysis... Æ Pilih item-itemnya Æ Klik OK
31
Alpha (Cronbach)
32
Hasil uji Analisis Item dengan Alpha Cronbach Statiscs makes me cry My friends will think I'm stupid for not being able to cope with SPSS Standard deviations excite me I dream that Pearson is attacking me with correlation coefficients I don't understand statistics I have little experience of computers All computers hate me I have never been good at mathematics My friends are better at statistics than me Computers are useful only for playing games I did badly at mathematics at school People try to tell you that SPSS makes statistics easier to understand but it doesn't I worry that I will cause irreparable damage because of my incompetenece with computers Computers have minds of their own and deliberately go wrong whenever I use them Computers are out to get me I weep openly at the mention of central tendency I slip into a coma whenever I see an equation SPSS always crashes when I try to use it Everybody looks at me when I use SPSS I can't sleep for thoughts of eigen vectors I wake up under my duvet thinking that I am trapped under a normal distribtion My friends are better at SPSS than I am
Item-Total Statistics Scale Mean if Scale Item Deleted Variance if Item Deleted 55.63 72.823
Corrected Item-Total Correlation .495
Squared Multiple Correlation .371
Cronbach's Alpha if Item Deleted .749
56.38
81.587
-.117
.188
.781
55.42
88.509
-.453
.395
.808
55.22
70.964
.541
.385
.744
55.28 55.78 55.08 55.77 55.16
72.018 70.050 68.816 72.291 81.215
.462 .490 .573 .502 -.101
.291 .427 .469 .490 .213
.749 .745 .739 .747 .791
55.72
74.360
.356
.197
.756
55.75
71.470
.555
.530
.744
54.84
71.490
.528
.424
.745
55.55
70.543
.569
.450
.742
55.13
70.494
.538
.393
.743
55.24
71.503
.468
.344
.748
55.12
71.334
.539
.463
.744
55.54
71.029
.584
.493
.742
55.43 55.71 54.38
69.027 84.617 74.582
.593 -.263 .271
.492 .208 .270
.738 .797 .761
54.83
70.818
.526
.453
.744
55.11
82.210
-.148
.140
.788
• Item: 2, 3, 9, 19, 22 memiliki nilai “Cronbach’s Alpha if item deleted” yg lebih tinggi dari nilai Cronbach’s Alpha di tabel “Reliability Statistics “Æ indikasi item tersebut dapat dibuang untuk meningkatkan reliabilitas
33
Interpretasi Hasil Uji Reliabilitas • Nilai Cronbach’s Alpha: Reliabilitas Minimum: 0,60 (bisa diterima) Reliabilitas Sedang: 0,61 – 0,8 Reliabilitas Baik: > 0,8
34
• … the difficulty of an item is defined in terms of the percentage (or proportion) of persons who answer it correctly. • The easier the item, the larger this percentage will be
35
ITEM DIFFICULTY
Menghitung DIFFICULTY INDEX 36
Dari output SPSS, difficulty index adalah persentase yang menjawab 1 (kunci jawaban) nb: persentase dijadikan proporsi
Menghitung DIFFICULTY INDEX 37
• Ubah (coding) jawaban peserta tes dengan aturan yang menyetujui (endorse) menjadi 1 dan yang tidak menyetujui menjadi 0 • Apabila pilihan jawaban skalanya berjumlah ganjil, misal 5, maka pilihan yang berada di tengah (pilihan 3) tidak dihitung nb: coding hanya menghasilkan skala nominal
38
39
40
• Setelah dicoding, hitung proporsi peserta tes yang meng-endorse (menyetujui) item tersebut (dengan cara yang sama dengan menghitung difficulty index)
41
Menghitung DIFFICULTY INDEX pada Typical Performance Test (proportion of endorsement)
DIFFICULTY INDEX difficulty index yang tinggi atau memiliki proportion endorsement yang tinggi gunakan referensi.
42
• Untuk menentukan apakah suatu item memiliki
Item Difficulty
• Ubah jawaban peserta tes dari huruf (string) ke angka (numeric) sesuai dengan kunci jawaban
43
Dari file Latihan Analisis Item.sav:
Analyze >> Descriptive Statistics >> Frequencies masukkan semua itemnya >> OK
44
Menghitung DIFFICULTY INDEX
45
Hasil uji analisis item dengan Item Difficulty • Item RQ_01 dan RQ_03 memiliki tingkat kesulitan yg tinggi, karena lebih dari 70% partisipan memberikan respon tidak sesuai dengan yang diharapkan • Item RQ_12 memiliki tingkat kesulitan sedang Æ 50-70% partisipan memberikan respon yang tidak sesuai • Item RQ_20 memiliki tingkat kesulitan yang rendah dimana lebih dari 50% partisipan memberikan respon yang sesuai yang diharapkan
46
ITEM DISCRIMINATION tes, yaitu membedakan individu yang memiliki kemampuan tinggi (atau karakteristik kuat) dengan individu yang memiliki kemampuan rendah (atau karakteristik lemah) • Untuk itu perlu diketahui kriteria dalam membedakan kemapuan/karakteristik individu
47
• Fungsi item pada dasarnya sama dengan fungsi
Cara Menghitung ITEM DISCRIMINATION
• Extreme group method, dan • Correlation indices method
48
… dapat dilakukan dengan dua cara:
EXTREME GROUP METHOD
• Pembagian kelompok ini didasarkan pada total skor • Anastasi &Urbina (1997) menyarankan pembagian kelompoknya antara 25% s.d. 33% (dengan demikian sebenarnya ada kelompok ‘middle’)
49
• Peserta tes dibagi menjadi (setidaknya) dua kelompok yaitu upper dan lower
Membuat Extreme Group
• Misal kalau akan diambil 25% maka: Persentil 25 ke bawah merupakan lower group Persentil 75 ke atas merupakan upper group • Bila jumlah subyek sedikit bisa digunakan nilai median dalam membagi kelompoknya
50
• Bila jumlah subyek besar (>350) dapat digunakan 25%-33%
• Apabila ada sejumlah subyek mendapatkan nilai yang sama dengan nilai median, (misal dalam data Tes Pengetahuan Umum.sav setelah diurutkan nilainya orang ke-41 sampai ke-55 (15 orang) sama-sama mendapatkan skor 55) Æ solusi: umumnya digunakan randomisasi untuk menempatkan 10 orang ke lower group dan 5 orang ke upper group.
51
Masalah dalam pembagian Upper dan Lower
D = pU - pL Dimana: D = item discrimination pU = proportion correct di upper group pL = proportion correct di lower group
52
Menghitung Item Discrimination D
Menghitung D di SPSS pengelompokkan (upper dan lower) misal: beri coding 1 untuk lower group dan coding 2 untuk upper group
53
• Buat satu variabel (kolom) yang isinya
Menghitung D di SPSS
54
• Mencari pU Data >> Select Cases>> If condition is satisfied>> Klik IF Masukkan variabel pengelompokkan Æ ketik coding upper group>> Continue>> OK
• Perhatikan nomor subjek yang bukan merupakan bagian dari upper group dicoret, artinya pengolahan berikutnya hanya dari nomor yang tidak dicoret (selected) • Kemudian cari proportion correct Analyze >> Descriptive Statistics >> Frequencies masukkan semua itemnya >> OK • Difficulty Index yang dihasilkan adalah pU
55
Menghitung D di SPSS
Menghitung D di SPSS
56
• Mencari pL Data >> Select Cases>> If condition is satisfied>> Klik IF Masukkan variabel pengelompokkan ketik coding lower group>> Continue>> OK
• Perhatikan nomor subjek yang bukan merupakan bagian dari lower group dicoret, artinya pengolahan berikutnya hanya dari nomor yang tidak dicoret (selected) • Kemudian cari proportion correct Analyze >> Descriptive Statistics >> Frequencies masukkan semua itemnya >> OK • Difficulty Index yang dihasilkan adalah pL
57
Menghitung D di SPSS
Menghitung D di SPSS
D = pU - pL
58
• Hitung D (secara manual) dengan rumus
Menghitung Item Discrimination dengan Internal Consistency (rIT) consistency dilakukan dengan mengkorelasikan skor item dengan skor total yang sudah dikurangi dengan skor item yang akan dilihat diskriminasinya (corrected item-total correlation)
59
• Analisis item discrimination dengan teknik internal
Item Discrimination dengan Dari menu pilih: Analyze>> Scale>> Reliability Analysis... ÆPilih item-itemnya ÆKlik Statistics pilih Scale dan Scale if item deleted Æ Klik Continue>> OK
60
rIT
61
Item Discrimination dengan rIT correlation merupakan item discrimination dengaN menggunakan rIT
62
• Dari output, kolom corrected item-total
Hasil uji analisis item dengan Item Discrimination Statiscs makes me cry My friends will think I'm stupid for not being able to cope with SPSS Standard deviations excite me I dream that Pearson is attacking me with correlation coefficients I don't understand statistics I have little experience of computers All computers hate me I have never been good at mathematics My friends are better at statistics than me Computers are useful only for playing games I did badly at mathematics at school People try to tell you that SPSS makes statistics easier to understand but it doesn't I worry that I will cause irreparable damage because of my incompetenece with computers Computers have minds of their own and deliberately go wrong whenever I use them Computers are out to get me I weep openly at the mention of central tendency I slip into a coma whenever I see an equation SPSS always crashes when I try to use it Everybody looks at me when I use SPSS I can't sleep for thoughts of eigen vectors I wake up under my duvet thinking that I am trapped under a normal distribtion My friends are better at SPSS than I am
Item-Total Statistics Scale Mean if Scale Item Deleted Variance if Item Deleted 55.63 72.823
Corrected Item-Total Correlation .495
Squared Multiple Correlation .371
Cronbach's Alpha if Item Deleted .749
56.38
81.587
-.117
.188
.781
55.42
88.509
-.453
.395
.808
55.22
70.964
.541
.385
.744
55.28 55.78 55.08 55.77 55.16
72.018 70.050 68.816 72.291 81.215
.462 .490 .573 .502 -.101
.291 .427 .469 .490 .213
.749 .745 .739 .747 .791
55.72
74.360
.356
.197
.756
55.75
71.470
.555
.530
.744
54.84
71.490
.528
.424
.745
55.55
70.543
.569
.450
.742
55.13
70.494
.538
.393
.743
55.24
71.503
.468
.344
.748
55.12
71.334
.539
.463
.744
55.54
71.029
.584
.493
.742
55.43 55.71 54.38
69.027 84.617 74.582
.593 -.263 .271
.492 .208 .270
.738 .797 .761
54.83
70.818
.526
.453
.744
55.11
82.210
-.148
.140
.788
• Item: 2, 3, 9, 19, 22 memiliki nilai corrected item-total correlation negatif (-) Æ indikasi sebaiknya item tersebut di-reverse menjadi unfavourable item atau dibuang
63
DISTRACTOR POWER dimana pilihan jawaban belum dicoding menjadi jawaban benar (1) atau salah (0) • Analyze>> Descriptive Statistics>> Frequencies kemudian masukkan seluruh itemnya kemudian Klik OK
64
• Data yang akan digunakan adalah data original
65
DISTRACTOR POWER Power(ADP) dalam bentuk frekuensi dan persentase
66
• Output yang muncul adalah Actual Distractor
Hasil uji analisis item dengan Distractor Power • Item 1 merupakan item yang baik karena sebagian besar partisipan menjawab sesuai dengan respon yang diinginkan • Item 2 kurang baik, karena ‘neither’ atau netral merupakan respon yang paling banyak dipilih
• Item 3 kurang baik, karena hampir semua respon dipilih oleh jumlah partisipan yang sama Æ indikasi partisipan tidak dapat mengerti dengan baik kalimat atau respon yang diinginkan dari item tersebut
67
Daftar Pustaka Cohen, R. J., & Swerdlik, M. E. (2010). Psychological testing and assessment: An introduction to test and measurement. (7th ed.). Boston: McGraw Hill. Field, A. (2009). Discovering statistics using SPSS. (3rd ed.). New York: SAGE Publications, Ltd. Kaplan, R.M. & Saccuzzp, D.P. (2009). Psychological testing: Principles, applications, and issues. California: Wadsworth Cengage Learning Urbina, S. (2004). Essentials of psychological testing. New York: John Wiley & Sons, Inc.
Terima Kasih Arie Suciyana S., S.Si., M.Si.
