PENERAPAN TEORI UJI KLASIK DAN TEORI RESPON BUTIR DALAM MENGEVALUASI BUTIR SOAL (Studi Kasus : Soal Ujian Akhir Semester Tingkat Persiapan Bersama Institut Pertanian Bogor Mata Kuliah Fisika Tahun Ajaran 2008/2009)
ARIE ANGGREYANI
DEPARTEMEN STATISTIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2009
RINGKASAN ARIE ANGGREYANI. Penerapan Teori Uji Klasik dan Teori Respon Butir dalam Mengevaluasi Butir Soal (Studi Kasus : Soal Ujian Akhir Semester Tingkat Persiapan Bersama Institut Pertanian Bogor Mata Kuliah Fisika Tahun Ajaran 2008/2009) dibimbing oleh BUDI SUSETYO dan INDAHWATI. Kegiatan penilaian atau evaluasi hasil belajar peserta didik merupakan salah satu tugas penting yang harus dilakukan oleh pendidik. Salah satu upaya evaluasi hasil belajar adalah memberikan ujian pada tengah dan akhir semester. Namun, terkadang soal-soal yang diberikan oleh pendidik belum merepresentasikan kemampuan peserta didik. Sehingga perlu disusun soal yang mampu menggambarkan karakteristik soal dan kemampuan peserta didik. Penelitian ini bertujuan untuk menerapkan model teori respon butir (Item Response Theory, IRT) satu (1PL), dua (2PL), dan tiga (3PL) parameter logistik, membandingkan model IRT dengan indikator pada teori uji klasik (Classical Test Theory) dan memilih model IRT yang sesuai untuk menggambarkan butir-butir soal dan kemampuan peserta didik. Data yang digunakan adalah soal Ujian Akhir Semester Tingkat Persiapan Bersama Institut Pertanian Bogor (UAS TPB IPB) mata kuliah Fisika tahun ajaran 2008/2009. Tahapan yang dilakukan adalah pemeriksa asumsi, pendugaan karakteristik butir soal dan kemampuan peserta, dan pemeriksa kesesuaian model. Persentase butir soal yang yang dapat digambarkan oleh model IRT 1PL, 2PL, dan 3PL adalah 37,14%; 74,29%; dan 82,86%. Berdasarkan hasil tersebut, model yang sesuai untuk menggambarkan karakteristik butir soal adalah model teori respon butir 3 parameter logistik. Butir soal yang baik adalah soal nomor 2, 4, 7, 12, 19, 23, 32, dan 33. Soal yang cukup baik adalah nomor 5, 6, 8, 9, 10, 11, 13, 16, 17, 18, 21, 22, 24, 25, 26, 27, 28, 29, 30, 34 dan 35. Sedangkan butir soal yang belum dapat digambarkan model IRT 3PL adalah nomor 1, 3, 14, 15, 20, dan 31. Kata kunci: Teori Tes Klasik, Teori Respon Butir
PENERAPAN TEORI UJI KLASIK DAN TEORI RESPON BUTIR DALAM MENGEVALUASI BUTIR SOAL (Studi Kasus : Soal Ujian Akhir Semester Tingkat Persiapan Bersama Institut Pertanian Bogor Mata Kuliah Fisika Tahun Ajaran 2008/2009)
ARIE ANGGREYANI
Skripsi Sebagai salah satu syarat untuk memperoleh gelar Sarjana Statistika Pada Departemen Statistika
DEPARTEMEN STATISTIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2009
Judul
Nama NRP
: Penerapan Teori Uji Klasik dan Teori Respon Butir dalam Mengevaluasi Butir Soal (Studi Kasus : Soal Ujian Akhir Semester Tingkat Persiapan Bersama Institut Pertanian Bogor Mata Kuliah Fisika Tahun Ajaran 2008/2009) : Arie Anggreyani : G14052452
Menyetujui : Pembimbing I
Pembimbing II
Dr. Ir. Budi Susetyo, MS NIP. 19621130 198603 1 003
Ir. Indahwati, M.Si NIP. 19650712 199003 2 002
Mengetahui : Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor
Dr. drh. Hasim, DEA NIP. 19610328 198601 1 002
Tanggal Lulus :
RIWAYAT HIDUP Penulis dilahirkan di Bandar Lampung pada tanggal 28 Mei 1988 dari pasangan Budiman dan Lili Suryani. Penulis dibesarkan di kota Pagaralam, Sumatera Selatan. Penulis adalah putri pertama dari lima bersaudara. Penulis menyelesaikan pendidikan dasar di SD Methodist V Pagaralam pada tahun 1999, kemudian menyelesaikan pendidikan menengahnya di SLTP Negeri 1 Pagaralam dan SMA Negeri 1 Pagaralam berturut-turut pada tahun 2002 dan 2005. Penulis diterima sebagai mahasiswa di Institut Pertanian Bogor pada tahun 2005 melalui jalur Undangan Seleksi Masuk IPB (USMI). Setelah satu tahun mengikuti perkuliahan di Tingkat Persiapan Bersama (TPB), pada tahun 2006 penulis diterima sebagai mahasiswa Departemen Statistika, Fakultas Matematika dan Ilmu Pengetahuan Alam. Selama mengikuti perkuliahan, penulis pernah menjadi asisten mata kuliah Analisis Data Kategorik untuk mahasiswa Sarjana (S1) pada semester ganjil pada tahun ajaran 2008/2009. Pada bulan Februari sampai Maret 2009, penulis menjalani praktek lapang di Lingkaran Survei Indonesia (LSI). Penulis juga aktif dalam kepengurusan Himpunan Profesi Statistika Gamma Sigma Beta (GSB) sebagai staf Departemen Keilmuan pada masa kepengurusan 2006/2007 dan staf Departemen Database dan Komputasi pada masa kepengurusan 2007/2008 serta aktif dalam berbagai kepanitiaan dalam berbagai acara yang diselenggarakan Himpunan Profesi GSB.
KATA PENGANTAR Alhamdulillahirabbil’alamin, puji syukur penulis panjatkan kehadirat Allah SWT atas berkah, rahmat, dan karuniaNya sehingga penulis dapat menyelesaikan penyusunan karya ilmiah dengan judul “Penerapan Teori Uji Klasik dan Teori Respon Butir dalam Mengevaluasi Butir Soal (Studi Kasus : Soal Ujian Akhir Semester Tingkat Persiapan Bersama Institut Pertanian Bogor Mata Kuliah Fisika Tahun Ajaran 2008/2009)”. Karya ilmiah ini disusun sebagai salah satu kewajiban akademik yang harus dipenuhi dan merupakan salah satu syarat kelulusan mahasiswa untuk mendapatkan gelar Sarjana Statistika (S. Stat) pada Departemen Statistika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Penulis mengucapkan terima kasih yang sebesar-besarnya kepada Bapak Dr. Ir. Budi Susetyo, MS dan Ibu Ir. Indahwati, M.Si selaku pembimbing yang selalu memberi saran, kritik, dan masukan kepada penulis dalam penyusunan karya ilmiah ini. Terima kasih juga penulis sampaikan kepada semua pihak yang telah turut serta membantu dalam penyusunan karya ilmiah ini, antara lain : 1. Bapak Sidik, seluruh dosen dan staf Departemen Fisika yang telah mengizinkan penulis menggunakan data ujian Fisika, dan telah memberikan kesempatan untuk mempresentasikan hasil penelitian. 2. Bapak Anang Kurnia, MS yang telah memberi masukan dan menjadi penguji dalam skripsi penulis. 3. Bapak Drs. Agus Santoso, M.Si yang telah memberi masukan dan memberikan literatur mengenai penelitian penulis. 4. Bapak Farit Mochamad Afendi, S.Si, M.Si yang memberi masukan dan literatur mengenai penelitian penulis. 5. Trizar sebagai tempat bertukar pikiran dan berdiskusi, serta Mbak Wenny sebagai teman satu bimbingan. 6. Kak Sigit STK 38 yang telah meminjamkan buku mengenai penelitian penulis. 7. Kak Mukafi yang telah memberikan literatur mengenai penelitian penulis. 8. Dimas dan Angga yang telah menjadi pembahas dalam seminar penulis. Terima kasih atas segala sarannya. 9. Mama, Papa, Adek Merry, Adek Dayat, Adek Lia, Adek Andika, dan Nenekku tersayang atas cinta, kasih sayang, doa, dukungan dan semangat yang diberikan. 10. Melisa, Yuk Fey, Yuk Sinta, Yuk Apen, Kak Imam, Wina, teman-teman dan adik-adik kelas dari satu almamater atas semangat dan dukungannya. 11. Dini, Nunung, Miu, Viar, Tanzil, Nadya, Indah dan teman-teman STK’42 atas dukungan dan kebersamaannya selama tiga tahun ini. 12. Bapak Supriyanto dan Ibu Yani atas kasih sayang yang diberikan serta keluarga besar Pondok Ginastri atas semangat, dukungan, dan kebersamaannya. Semoga bantuan yang telah diberikan kepada penulis mendapat balasan dari Allah SWT. Penulis menyadari bahwa tulisan ini jauh dari sempurna. Oleh karena itu, Penulis memohon maaf atas segala kekurangan dan kesalahan yang terdapat di salam penyusunan karya ilmiah ini. Semoga karya ilmiah ini dapat bermanfaat bagi pihak yang membutuhkan.
Bogor, Agustus 2009
Penulis
vii
DAFTAR ISI Halaman DAFTAR GAMBAR .............................................................................................................. viii DAFTAR LAMPIRAN ........................................................................................................... viii PENDAHULUAN ...................................................................................................................... 1 Latar Belakang ...................................................................................................................... 1 Tujuan ................................................................................................................................... 1 TINJAUAN PUSTAKA ............................................................................................................. 1 Teori Uji Klasik .................................................................................................................... 1 Teori Respon Butir ............................................................................................................... 2 Model Teori Respon Butir .................................................................................................... 3 Pendugaan Parameter ........................................................................................................... 3 Kurva Karateristik Butir ....................................................................................................... 4 Kesesuaian Model ................................................................................................................ 4 Pemilihan Model .................................................................................................................. 5 Kriteria Butir Soal ............................................................................................................... 5 BAHAN DAN METODE .......................................................................................................... 5 Bahan .................................................................................................................................... 5 Metode .................................................................................................................................. 5 HASIL DAN PEMBAHASAN .................................................................................................. 6 Eksplorasi Data ..................................................................................................................... 6 Teori Uji Klasik .................................................................................................................... 6 Asumsi-asumsi dalam Model IRT ........................................................................................ 7 Model Teori Respon Butir Satu Parameter Logistik (IRT 1PL) ........................................... 7 Model Teori Respon Butir Dua Parameter Logistik (IRT 2PL) ........................................... 8 Model Teori Respon Butir Tiga Parameter Logistik (IRT 3PL) ........................................... 8 Perbandingan dan Pemilihan Model ..................................................................................... 9 KESIMPULAN ........................................................................................................................ 10 DAFTAR PUSTAKA .............................................................................................................. 10 LAMPIRAN ............................................................................................................................. 12
viii
DAFTAR TABEL
1. 2. 3. 4. 5. 6. 7.
Halaman Kriteria butir soal................................................................................................................... 5 Statistik skor mahasiswa UAS TPB IPB mata kuliah Fisika ................................................ 6 Statistik parameter kemampuan peserta ujian mata kuliah Fisika pada model IRT 1PL ..... 7 Statistik parameter kemampuan peserta ujian mata kuliah Fisika pada model IRT 2PL ...... 8 Statistik parameter kemampuan peserta ujian mata kuliah Fisika pada model IRT 3PL....... 8 Pengklasifikasian kriteria butir soal pada teori uji klasik dan teori respon butir ................... 9 Indeks pemilihan model ...................................................................................................... 10
DAFTAR GAMBAR
1. 2. 3. 4.
Halaman Kurva karakteristik butir dengan bermacam-macam asimtot dan kemiringan ..................... 4 Scree plot hasil analisis faktor .............................................................................................. 7 Kurva karakteristik butir 10 pada model IRT 3PL ............................................................... 8 Kurva karakteristik butir 20 pada model IRT 3PL ................................................................ 9
DAFTAR LAMPIRAN Halaman 1. Nilai tingkat kesukaran, daya pembeda, dan sebaran jawaban peserta ujian Fisika ........... 13 2. Nilai parameter butir soal ujian akhir Fisika untuk IRT 1PL, IRT 2PL, dan IRT 3PL........ 14 3. Kurva karakteritik butir soal 1-35 mata kuliah Fisika untuk Model IRT 1PL, IRT 2PL, dan IRT 3PL ....................................................................................................................... 16 a. Kurva karakteritik butir soal 1-35 mata kuliah Fisika untuk Model IRT 1PL ............... 16 b. Kurva karakteritik butir soal 1-35 mata kuliah Fisika untuk Model IRT 2PL ............... 16 c. Kurva karakteritik butir soal 1-35 mata kuliah Fisika untuk Model IRT 3PL ............... 16
1
PENDAHULUAN
TINJAUAN PUSTAKA
Latar Belakang Dalam bidang pendidikan, kegiatan penilaian atau evaluasi hasil belajar peserta didik merupakan salah satu tugas penting yang harus dilakukan oleh pendidik. Evaluasi hasil belajar peserta didik dilakukan untuk mengetahui kemajuan peserta didik terhadap kurikulum yang telah diajarkan. Salah satu upaya evaluasi hasil belajar peserta didik adalah memberikan ujian pada tengah semester dan akhir semester. Namun, terkadang pemberian soal yang terlalu susah atau terlalu mudah menyebabkan pendidik sulit membedakan kemampuan peserta didik. Oleh karena itu, diperlukan analisis terhadap soal ujian dengan harapan hasil ujian merepresentasikan kemampuan peserta didik. Banyak metode yang dikembangkan dalam bidang psikometrika yang digunakan untuk menganalisis butir soal dari pendekatan secara klasik hingga modern. Pendekatan secara klasik yang digunakan adalah teori uji klasik (classical test theory) sedangkan pendekatan modern dengan item response theory (IRT) atau teori respon butir. Teori uji klasik merupakan suatu teori yang mudah dalam penerapannya namun memiliki banyak kelemahan. Oleh karena itu, banyak peneliti mencoba mengembangkan metode modern. Aspek yang diperhatikan dalam teori uji klasik adalah setiap butir soal ditelaah menurut (1) tingkat kesukaran butir; (2) daya pembeda butir; (3) penyebaran pilihan jawaban, dan (4) reliabilitas skor tes (Safari, 2000). Teori respon butir merupakan teori pengukuran modern yang biasanya digunakan dalam analisis butir soal. Dalam teori ini digunakan model matematis untuk menghubungkan karakteristik butir soal dengan kemampuan responden. Hubungan tersebut digambarkan melalui kurva karakteristik butir.
Teori Uji Klasik Teori uji klasik merupakan satu dari masalah yang disampaikan oleh ahli psikologi Belanda Charles Spearman dengan konsep korelasi (Crocker & Algina, 1986). Beberapa aspek yang diperhatikan dalam teori uji klasik yaitu tingkat kesukaran butir, daya pembeda butir, penyebaran pilihan jawaban, dan reliabilitas skor tes (Safari, 2000). a. Tingkat Kesukaran Butir (p) Tingkat kesukaran soal adalah peluang untuk menjawab benar suatu soal pada tingkat kemampuan tertentu yang biasanya dinyatakan dalam bentuk indeks. Indeks tingkat kesukaran ini pada umumnya dinyatakan dalam bentuk proporsi yang besarnya berkisar 0,00 – 1,00. Perhitungan indeks tingkat kesukaran ini dilakukan untuk setiap nomor soal. Rumus di bawah ini dipergunakan untuk soal pilihan ganda (Nitko, 1996).
Tujuan Tujuan yang ingin dicapai dalam penelitian ini adalah : 1. Menerapkan teori uji klasik dan teori respon butir untuk memeriksa butir soal pada soal Ujian Akhir Semester Tingkat Persiapan Bersama Institut Pertanian Bogor (UAS TPB IPB) mata kuliah Fisika tahun ajaran 2008/2009. 2. Mencari model yang sesuai untuk menggambarkan butir-butir soal pada soal UAS TPB IPB untuk mata kuliah Fisika.
p=
Jumlah peserta yang menjawab benar Jumlah seluruh peserta tes
Semakin besar nilai p yaitu semakin besar proporsi peserta tes dalam menjawab benar, maka soal tersebut dianggap mudah. Semakin kecil nilai p maka soal tersebut dianggap sukar. Pada teori uji klasik, tingkat kesukaran butir soal bergantung kepada kemampuan peserta ujian. Bagi peserta ujian yang berkemampuan tinggi, butir soal menjadi mudah. Bagi peserta ujian yang berkemampuan rendah, butir soal menjadi sukar. Pada butir soal yang mudah, tampak kemampuan peserta ujian menjadi tinggi. Sedangkan pada butir soal yang sukar, maka kemampuan peserta ujian menjadi rendah. Oleh karena itu, tingkat kesukaran butir soal tidak sepenuhnya menggambarkan ukuran karakteristik butir soal sesungguhnya, akan tetapi lebih merupakan kemampuan rata-rata kelompok peserta ujian. Klasifikasi tingkat kesukaran soal dalam Nitko (1996) adalah: Jika nilai p di antara 0,00 – 0,30 soal tergolong sukar, Jika nilai p di antara 0,31 – 0,70 soal tergolong sedang, dan Jika nilai p di antara nilai 0,71 – 1,00 soal tergolong mudah.
2
b. Daya Pembeda (DP) Daya pembeda soal adalah nilai indeks yang menunjukkan kemampuan butir soal untuk membedakan kelompok peserta ujian yang berkemampuan tinggi dan berkemampuan rendah. Daya pembeda suatu butir soal ini didasarkan pada hasil tes suatu kelompok sehingga daya pembeda tersebut belum tentu berlaku pada kelompok yang lain. Indeks daya pembeda berkisar antara -1,00 sampai dengan 1,00. Semakin tinggi nilai daya pembeda soal, maka semakin baik soal tersebut. Daya pembeda soal untuk bentuk pilihan ganda dapat dihitung dengan rumus sebagai berikut : 2 ( BA BB ) DP N Keterangan : DP = daya pembeda soal, BA = jumlah jawaban benar pada kelompok atas BB = jumlah jawaban benar pada kelompok bawah N = jumlah siswa yang mengerjakan tes. Dalam Crocker & Algina (1986), daya pembeda soal diklasifikasikan sebagai berikut : Jika DP ≥ 0,4 maka butir soal baik/diterima, Jika 0,3 ≤ DP < 0,4 maka butir soal cukup baik, Jika 0,2 ≤ DP < 0,3 maka butir soal perlu diperbaiki, dan Jika DP < 0,2 maka soal ditolak. Pembagian kelompok diambil 25% dari urutan nilai terbaik sebagai kelompok atas dan 25% dari nilai terendah sebagai kelompok bawah. Hal ini terdapat dalam Anastasi & Urbina (1997) yang menyatakan bahwa secara umum persentase yang tepat antara 25%-33%. Selain rumus di atas, untuk mengetahui daya pembeda soal bentuk pilihan ganda dapat digunakan rumus korelasi point biserial (r pb) (Crocker & Algina, 1986). Semakin tinggi nilai korelasi point biserial maka semakin baik soal tersebut.
p r pb q Keterangan : rpb = koefisien point biserial, µ+ = rata-rata skor peserta ujian yang menjawab benar, µ = rata-rata skor peserta ujian,
σ p
= simpangan baku skor total, = proporsi jawaban benar terhadap semua jawaban siswa, q = proporsi jawaban salah terhadap semua jawaban siswa. c. Penyebaran Pilihan Jawaban Penyebaran pilihan jawaban dijadikan dasar dalam penelaahan soal. Hal ini dimaksudkan untuk mengetahui berfungsi tidaknya jawaban yang tersedia. Safari (2000) menyatakan bahwa suatu pilihan jawaban (pengecoh) dapat dikatakan berfungsi apabila : 1. Paling tidak dipilih oleh 5% peserta ujian, dan 2. Lebih banyak dipilih oleh kelompok siswa yang belum paham materi. d. Reliabilitas Skor Tes Tujuan utama menghitung reliabilitas skor tes adalah untuk mengetahui tingkat ketepatan (precision) dan kekonsistenan skor tes. Indeks reliabilitas berkisar antara 0-1. Semakin tinggi koefisien reliabilitas suatu tes (mendekati 1), makin tinggi pula ketepatannya. Reliabilitas dapat dihitung dengan koefisien alfa, dalam Crocker & Algina (1986) didefinisikan sebagai berikut : n n i 1 i2 1 n 1 x2 Keterangan : n = jumlah butir soal, i2 = ragam skor per butir soal, x2 = ragam skor total. Teori Respon Butir Teori respon butir merupakan teori pengukuran modern yang biasanya digunakan dalam analisis butir soal. Nama lain teori respon butir adalah latent trait theory (LTT) atau characteristics curve theory (CCT). Pengembangan teori respon butir didasarkan kepada dua postulat. Postulat pertama adalah bahwa kemampuan subyek (examinee) pada suatu butir dapat diprediksi oleh seperangkat faktor yang disebut traits, latent traits atau abilities. Trait adalah dimensi kemampuan seseorang seperti kemampuan verbal, kemampuan psikomotor, kemampuan kognitif, dan sebagainya. Postulat kedua adalah bahwa hubungan antara kemampuan peserta tes pada suatu butir dan perangkat kemampuan laten yang mendasarinya dapat digambarkan melalui item kurva karakteristik butir atau
3
characteristics curve (ICC) (Hambleton et al., 1991). Model-model karakteristik butir tergantung pada bentuk matematis fungsi karakteristik butirnya dan banyaknya parameter yang dilibatkan dalam model yang digunakan. Hal ini dikarenakan tidak semua model IRT cocok untuk perangkat data tes yang lain. Beberapa asumsi model teori respon butir dalam Hambleton et al. (1991) adalah sebagai berikut: 1. Asumsi pertama adalah satu dimensi (unidimensional). Asumsi ini sangat sulit dipenuhi dikarenakan banyaknya faktorfaktor yang mempengaruhi tes seperti kognitif, kepribadian, dan administrasi tes. Namun yang paling penting dari asumsi ini adalah adanya satu komponen yang dianggap dominan dalam menentukan kemampuan subyek. Menurut Hutten (1980) dalam Hattie (1985) bahwa unidimensional dapat diperiksa dengan akar ciri dalam analisis faktor. Asumsi unidimensional dapat dilihat dengan menghitung rasio antara akar ciri yang pertama dan kedua. Jika rasionya tinggi, maka model bersifat unidimensional. 2. Asumsi kedua dikenal dengan kebebasan lokal (local independence). Asumsi ini maksudnya adalah respon peserta tes terhadap suatu butir tidak berhubungan dengan butir lainnya dalam tes tersebut. Model Teori Respon Butir Model ogive normal pada awalnya adalah model yang paling dominan digunakan dalam pengembangan teori respon butir. Namun model tersebut saat ini sudah jarang digunakan dan digantikan dengan modelmodel logistik. Model logistik lebih sering digunakan karena prosedur komputasinya lebih mudah dan sederhana dibandingkan model ogive normal. Ada tiga model logistik yang sering digunakan saat ini (Hambleton et al., 1991) yaitu : 1. Model logistik satu parameter (model rasch) atau item response theory 1parameter logistic (IRT 1PL) yaitu untuk menganalisis data yang hanya menitikberatkan pada parameter tingkat kesukaran. Kurva karakteristik butir soal untuk model satu parameter diberikan oleh persamaan : e ( bi ) P i ( ) 1 e ( b i )
2. Model logistik dua parameter atau item response theory 2-parameter logistic (IRT 2PL) yaitu untuk menganalisis data yang hanya menitikberatkan pada parameter tingkat kesukaran dan daya pembeda soal. Kurva karakteristik butir soal untuk model dua parameter diberikan oleh persamaan :
Pi ( )
e Da i ( b i ) 1 e Da i ( b i )
3. Model logistik tiga parameter atau item response theory 3-parameter logistic (IRT 3PL) yaitu untuk menganalisis data yang menitikberatkan pada parameter tingkat kesukaran soal, daya pembeda soal, dan peluang menebak (guessing). Kurva karakteristik butir soal untuk model tiga parameter diberikan oleh persamaan : P i ( ) c i (1 c i )
e Da i ( b i ) 1 e Da i ( b i )
Keterangan : Pi(θ) = peluang bahwa peserta tes dengan kemampuan menjawab butir soal ke-i dengan benar, ai = parameter daya pembeda soal butir ke-i, = parameter tingkat kesukaran, yaitu bi satu titik pada skala ability dimana kemungkinan untuk menjawab benar sebesar 0,5. = peluang tebakan benar butir ke-i. ci θ = parameter kemampuan peserta tes, D = faktor penskalaan yang diikutkan untuk menjadikan fungsi logistik serupa mungkin dengan fungsi ogive normal (D = 1,702). Pendugaan Parameter Langkah pertama dan paling penting dalam aplikasi teori respon butir adalah pendugaan parameter, baik parameter kemampuan peserta uji maupun parameter karakteristik butir (Hambleton et al., 1991). Ada beberapa metode yang digunakan untuk menduga parameter pada model teori respon butir. Salah satu metode yang digunakan adalah metode kemungkinan maksimum (maximum likelihood estimation, MLE). Prinsip dasar dari metode MLE dalam Hogg et al. (1978) adalah jika terdapat contoh acak X1, X2, ..., Xn dari sebuah sebaran yang memiliki suatu fungsi kepekatan peluang f(x;Θ), ΘΩ. Fungsi kepekatan peluang bersama dari X1, X2, ..., Xn adalah f(x1;Θ), f(x2;Θ), ..., f(xn;Θ). Fungsi kepekatan peluang bersama ini dipandang sebagai fungsi dari Θ. Dengan definisi yang telah dijelaskan maka
4
fungsi nisbah kemungkinan (L) ( dapat dinotasikan sebagai berikut : L(Θ;x1, x2, ..., xn )=f(x1;Θ), ), f(x2;Θ), ..., f(xn;Θ) Hambleton et al. (1991) mendefinisikan fungsi likelihood untuk model teori respon butir adalah sebagai berikut : N
n
L ( x1 , x 2 ,..., x n | ) Pij ij Q ij x
1 xij
j 1 i 1
l ( X | ) ln L ( x1 , x 2 ,..., x n | ) N n x 1 x l ( X | ) ln Pij ij Q ij ij j 1 i 1
l ( X | ) x ij ln Pij (1 x ij ) ln Qij N
n
j 1 i 1
dengan
l 0 , Θ=(θ;a,b,c)
Dimana a, b, dan c adalah parameter butir soal, dan n θ adalah parameter kemampuan. (model model ini diasumsikan model IRT 3PL). Kurva Karakteristik Butir Kurva karakteristik butir dalam Hambleton et al. (1991) adalah suatu hubungan matematis yang berkaitan dengan peluang berhasil (misalnya, memberikan respon yang benar) pada butir soal yang diukur dengan melihat kemampuan ujian dan karakteristik butir soal. Semakin tinggi kemampuan seseorang, maka peluang untuk menjawab sebuah butir soal dengan benar akan semakin meningkat (Crocker & Algina, 1986).
Gambar 1 merupakan ilustrasi kurva karakteristik butir yang diambil dalam Embretson & Reise (2000) terdiri atas tiga butir soal. Soal nomor 1 dan nomor 2 memiliki liki tingkat kesukaran yang sama sebesar -11 tetapi memiliki nilai daya pembeda yang berbeda. Perbedaan erbedaan antara model IRT 1PL dan IRT 2PL terletak pada nilai daya pembeda. Pada model IRT 1PL diasumsikan nilai a (daya pembeda) setiap soal bernilai sama. Sedangkan pada model IRT 2PL, daya pembeda untuk setiap soalnya berbeda berbeda. Soal nomor 3 merupakan kan contoh model IRT 3PL dan terdapat peluang menebak sebesar 0,25. 0,25 Berdasarkan soal nomor 3, dapat dilihat seseorang yang memiliki kemampuan tinggi memiliki peluangg untuk menjawab salah dan sebaliknya seseorang yang memiliki kemampuan rendah masih memiliki peluang untuk menjawab benar. Kesesuaian Model Kesesuaian model IRT adalah untuk menguji karakteristik butir soal setelah direspon oleh berbagai kemampuan peserta pesert tes. Uji kesesuaian (goodness goodness of fit test test) model IRT dilakukan untuk setiap butir soal yang direspon. Pengujian menggunakan statistika ( Zij2 yang berdistribusi khi kuadrat (chi-square) (Hambleton et al.,, 1991) dengan rumus sebagai berikut :
dengan
1 3
Peluang
2
Kemampuan Keterangan : soal 1 (b=-1;a=1) soal 2 (b=-1;a=0,5) soal 3 (b=1;a=1;c=0,25) Gambar 1. Kurva karakteristik butir dengan bermacam-macam macam asimtot dan kemiringan
pij E ( pij )
z ij
E ( pij )[1 E ( pij )] N ij m j 1
Z ij2 m2 k
Keterangan : pij = proporsi jawaban benar pada butir ke-ii dalam kelompok kemampuan ke-j, E(pij) = nilai harapan , Nij = banyaknya peserta tes yang merespon butir ke-ii dalam kelompok kemampuan ke-j, ke k = banyaknya yaknya parameter dalam model, model m = banyaknya kategori kemampuan yang bergantung pada pe pendugaan kemampuan peserta tes. Hipotesis nol dalam pengujian ini menyatakan bahwa kurva karakteristik sesuai untuk data respon butir ke-i. i. Kesesuaian model untuk suatu butir ditunjukkan tunjukkan oleh nilai khi kuadrat empiris butir yang tidak melebihi nilai khi kuadrat teoritis.
5
Pemilihan Model Analisis yang digunakan untuk memilih model adalah likelihood ratio test (LRT). LRT merupakan suatu uji yang membandingkan nilai fungsi likelihood untuk dua model yang akan diuji. Statistik uji LRT didefinisikan dalam Wiberg (2007) sebagai berikut :
l (a ) 2 ln[ l ( a ) l ( c )] (2m ) G 2 ln l (c) 2
Keterangan : l(a) = nilai fungsi likelihood dari model augmented, l(c) = nilai fungsi likelihood dari model compact, m = selisih jumlah parameter antara model augmented dan model compact. Selain menggunakan menggunakan LRT, pemilihan model dapat dilihat dari indeks reliabiltas. Semakin tinggi nilai reliabilitas maka modelnya semakin baik. Kriteria Butir Soal Pemilihan kriteria butir soal dilihat berdasarkan uji kesesuaian model dan besarnya nilai parameter butir soal yaitu daya pembeda, tingkat kesukaran dan peluang menebak. Menurut Lord (1980) dalam teori respon butir, soal yang ideal adalah soal yang memiliki daya pembeda berkisar 1 (satu) dan peluang menebak mendekati nol. Dalam Hambleton et al. (1991), nilai b yang mendekati -2,00 menandakan bahwa butir soal mudah, dan nilai b yang mendekati +2,00 berarti butir soal tersebut tergolong sukar untuk kelompok tersebut. Sehingga disimpulkan sebagai berikut (secara ringkas disajikan pada Tabel 1) : 1. Soal yang baik adalah model setiap soal yang sesuai dengan model jika nilai khi kuadrat empiris butir yang tidak melebihi nilai khi kuadrat teoritis (nilai p > 0,05), memiliki nilai daya pembeda berkisar 1, peluang menebak kecil, dan tingkat kesukaran berada di antara nilai -2, 00 sampai dengan +2,00. 2. Soal yang cukup baik adalah soal yang sesuai model jika nilai khi kuadrat empiris butir yang tidak melebihi nilai khi kuadrat teoritis (nilai p > 0,05) dan salah satu kriteria soal yang baik tidak terpenuhi. 3. Soal yang belum dapat digambarkan adalah soal yang tidak sesuai dengan model yang digambarkan jika nilai khi kuadrat empiris butir lebih besar nilai khi kuadrat teoritis (nilai p <0,05).
Tabel 1. Kriteria butir soal Kriteria Model
Belum dapat digambarkan Nilai p < 0,05 (uji chisquare)
Baik
Cukup Baik
IRT 1PL
Nilai p> 0,05; -2≤b≤2
Nilai p > 0,05; b<-2 atau b>2
IRT 2PL
Nilai p> 0,05; a ≥ 0.5; -2≤b≤2
Jika salah satu kriteria soal baik tidak terpenuhi.
Nilai p < 0,05
IRT 3PL
Nilai Jika salah p > 0,05; satu a ≥ 0,5; kriteria -2
Nilai p <0,05
BAHAN DAN METODE Bahan Penelitian ini menggunakan data yang diperoleh dari hasil jawaban UAS Fisika TPB IPB yang dilaksanakan pada tanggal 25 Juni 2009. Jumlah peserta ujian sebanyak 1596 siswa. Jumlah butir soal sebanyak 35 butir soal pilihan ganda. Setiap soal memiliki lima pilihan jawaban yaitu A, B, C, D, dan E. Penilaian dilakukan dengan pemberian skor 1 untuk jawaban benar dan 0 untuk jawaban salah. Soal UAS TPB IPB mata kuliah Fisika terdiri dari tiga bagian yaitu : 1. Soal nomor 1 sampai dengan nomor 24, memilih satu dari lima jawaban tersedia. 2. Soal nomor 25 sampai dengan nomor 30, analisis hubungan antar hal. 3. Soal nomor 31 sampai dengan 35, asosiasi berganda. Metode Tahapan-tahapan yang dilakukan pada penelitian ini adalah : 1. Penyiapan data berupa penginputan jawaban peserta UAS TPB IPB untuk mata kuliah Fisika pada tahun ajaran 2008/2009. 2. Penerapan teori uji klasik a. Menghitung indeks tingkat kesukaran, b. Menghitung daya pembeda,
6
c.
Menghitung sebaran pilihan jawaban dan reliabilitas soal. 3. Penerapan teori respon butir dengan menggunakan model IRT 1PL, IRT 2PL, dan IRT 3PL. a. Pengujian asumsi model IRT b. Menghitung parameter karakteristik butir soal (daya pembeda, tingkat kesukaran, dan peluang menebak) untuk setiap model, c. Menghitung parameter kemampuan untuk setiap model, d. Mencari model ICC yang sesuai dari setiap soal dalam setiap model, e. Mencari model yang paling sesuai untuk menggambarkan setiap soal. Software yang digunakan pada penelitian ini adalah Epidata 3.1, ITEMAN dan Bilog MG. Program Epidata 3.1 digunakan untuk menginput data. Program ITEMAN digunakan untuk analisis teori tes klasik. Program Bilog MG digunakan untuk menganalisis model IRT 1PL, IRT 2PL, dan IRT 3PL. HASIL DAN PEMBAHASAN Eksplorasi Data Nilai statistik skor mahasiswa dalam UAS TPB IPB mata kuliah Fisika dapat dilihat pada Tabel 2. Skor maksimum yang diperoleh peserta ujian adalah 34 soal, skor minimum peserta ujian adalah 4 soal, dan rata-rata peserta dapat menjawab soal dengan benar sebanyak 16 soal. Tabel 2. Statistik skor mahasiswa UAS TPB IPB mata kuliah Fisika Statistik Skor Nilai Mahasiswa Rataan Skor 15,951 Standar Deviasi 4,911 Nilai Minimum 4 Nilai Maksimum 34 Median 16 Teori Uji Klasik Beberapa aspek yang diperhatikan dalam teori uji klasik yaitu tingkat kesukaran butir, daya pembeda butir, penyebaran pilihan jawaban, dan reliabilitas skor tes. Tingkat kesukaran butir, daya pembeda butir, dan penyebaran pilihan jawaban setiap soal disajikan pada Lampiran 1. Tingkat kesukaran adalah proporsi peserta ujian menjawab benar butir-butir soal. Berdasarkan klasifikasi tingkat kesukaran soal dalam Nitko (1996), persentase soal tergolong sukar, sedang dan
mudah sebesar 28,7%; 60%; dan 11,4%. Soal yang sukar adalah soal nomor 2, 6, 7, 17, 24, 28, 29, 30, 33, dan 35. Soal-soal tersebut memiliki tingkat kesukaran di antara 0 - 0,3. Artinya kurang dari 30% peserta tes yang dapat menjawab soal-soal tersebut dengan benar. Soal yang tergolong sedang adalah soal nomor 1, 3, 4, 9, 10, 11, 12, 13, 14, 15, 16, 18, 19, 20, 21, 22, 23, 25, 26, 27, dan 32. Soal yang tergolong sedang memiliki tingkat kesukaran di antara 0,31 - 0,70. Artinya hampir 31% sampai 70% peserta tes yang dapat menjawab soal-soal tersebut dengan benar. Soal yang tergolong mudah adalah 5, 8, 31, dan 34. Soal mudah adalah soal yang hampir semua peserta tes dapat menjawab tersebut dengan benar. Daya pembeda soal dapat dihitung dengan nilai korelasi point biserial atau daya pembeda dengan mengambil data 25% dari atas dan 25% dari bawah. Nilai korelasi point biserial dan daya pembeda memiliki nilai korelasi yang tinggi, sehingga kedua indeks ini dapat dijadikan sebagai pembanding dalam menentukan tingkat pembeda soal. Persentase soal yang tergolong baik, cukup baik, perlu diperbaiki, dan soal yang belum bisa membedakan sebesar 17,1%; 37,1%; 25,7%; dan 20%. Soal yang baik adalah 1, 3, 15, 19, 20, dan 31. Soal-soal tersebut memiliki daya pembeda lebih dari 0,4. Artinya soal-soal tersebut lebih banyak dijawab oleh peserta tes berkemampuan tinggi daripada peserta yang berkemampuan rendah. Soal yang cukup baik adalah 2, 4, 5, 11, 12, 13, 14, 16, 22, 23, 26, 32, dan 33. Soal yang perlu diperbaiki adalah soal nomor 6, 7, 8, 9, 18, 21, 24, 28, dan 34. Soal yang belum dapat membedakan antara kedua kelompok adalah 10, 17, 25, 27, 29, 30, dan 35. Soal-soal ini adalah soal yang nilai daya pembedanya sangat kecil. Sehingga, antara peserta berkemampuan tinggi dan berkemampuan rendah tidak dapat dibedakan. Berdasarkan sebaran pilihan jawaban yang disajikan pada Lampiran 1, setiap pilihan jawaban dipilih oleh peserta ujian sehingga dapat disimpulkan bahwa pilihan jawaban berfungsi sebagai pengecoh. Namun ada beberapa soal yang proporsi setiap pilihan jawaban hampir merata yaitu soal nomor 2, 6, 7, 9, 17, 22, 24, 28, 29, 30, 33, dan 35. Hal ini mengindikasikan adanya peluang menebak. Reliabilitas skor tes dilihat menggunakan koefisien alfa. Nilai koefisien alfa yang diperoleh dari hasil ITEMAN sebesar 0,711 menunjukkan tingkat ketepatan dan kekonsistenan peserta dalam menjawab soal sudah cukup baik.
7
Akar ciri
Asumsi-asumsi sumsi dalam M Model IRT Ada beberapa asumsi si yang harus dipenuhi dalam model IRT yaitu unidimensional unidi dan kebebasan lokal.. Salah satu cara yang digunakan untuk mengetahui asumsi unidimensional dapat dilihat dari analisis faktor. Analisis faktor yang digunakan dalam penelitian ini menggunakan matriks korelasi tetrachoric. Korelasi tetrachoric digunakan untuk mendapatkan hubungan antar peubah dari peubah-peubah biner atau peubah yang berskala dikotomik tomik yaitu jika benar diberi nilai 1 dan jika salah diberi nilai 0. 0 Metode yang digunakan dalam analisis faktor adalah metode iterated principal axis. axis
Jumlah faktor Gambar 2. Scree plot hasil analisis faktor Hasil analisis faktor dapat dap dilihat pada Gambar 2. Faktor pertama rtama memiliki akar ciri sebesar 5,097. Akar ciri pada faktor kedua sebesar 1,164. Faktor-faktor or lainnya memiliki akar ciri kurang dari satu. Dalam Hattie (1985), Hutten (1980) menaksir asumsi unidimensional berdasarkan pada rasio akar ciri pertama dan akar ciri kedua. Jika nilai perbandingan akar ciri tinggi mengindikasikan unidimensional. Berdasarkan hasil analisis faktor, perbandingan akar ciri pertama dengan akar ciri kedua lebih cukup besar yaitu 4. 4 Hal ini sudah cukup kup menyatakan bahwa ada satu faktor yang dominan atau asumsi unidimensional terpenuhi. Berdasarkan hasil analisis faktor, soal nomor 20, 31, 23, 32, 15, 19, 11, dan 21 memberikan nilai faktor pembobot yang besar untuk faktor pertama. Soal-soal tersebut merupakan rupakan soal-soal soal yang dapat diselesaikan, jika peserta tes memiliki daya ingat, kemampuan puan komputasi, dan ketelitian yang cukup baik. Sehingga daya ingat, kemampuan komputasi, dan ketelitian
menjadi faktor yang dominan dalam mengerjakan soal. Asumsi kedua yaitu kebebasan lokal ditunjukkan dengan tidak ada satupun soal yang memberikan petunjuk menjawab untuk soal yang lain. Model Teori Respon Butir Satu Parameter Logistik (IRT 1PL) Hasil pendugaan parameter karakteristik butir setiap soal ujian mata kuliah Fisika menggunakan model IRT 1PL ((Lampiran 2) menunjukkan bahwa soal-soal soal mata kuliah Fisika mempunyai nilai b yang cukup beragam. Pada model 1PL nilai a untuk setiap soalnya dianggap sama yaitu 0,345. Nilai b (tingkat kesukaran) berkisar di antara -4,885 sampai 2,921. Statistik nilai dugaan parameter kemampuan peserta ujian pada ada Tabel 3 menunjukkan rata-rata rata kemampuan peserta ujian sebesar 0,0083 dengan rentang nilai dari -3,0491 sampai 3,3110. Tabel 3. Statistik parameter kemampuan peserta ujian mata kuliah Fisika pada model IRT 1PL Nilai Statistik Kemampuan Peserta Ujian Rataan 0,0083 Ragam 1,0255 Standar Deviasi 1,0127 Minimum -3,0491 Maksimum 3,3110 Berdasarkan uji kesesuaian model yang dapat disajikan pada Lampiran 2 dan kurva karakteristik butir pada Lampiran 33a menunjukkan sebesar 62,86% 86% butir soal belum sesuai (belum belum dapat digambarkan oleh model) dan 37,14% butir soal yang sesuai (dapat digambarkan oleh model) model). Kriteria butir soal berdasarkan Tabel 1 dibedakan menjadi tiga yaitu soal yang baik, cukup baik, dan belum dapat digambarkan. soal soal-soal yang digolongkan tipe soal yang baik aik adalah soal nomor 9, 11, 16, 18, 21, 22, 24, 26 dan 34. Soal-soal yang tergolong soal oal yang cukup baik adalah soal nomor 6, 7, 28, dan 35. Sedangkan soal-soal yang belum dapat digambarkan adalah soal nomor 1, 2, 3,4 5, 8, 10, 12, 13, 14, 15, 17, 19, 20, 23, 25, 27, 29, 30, 31, 32 dan 33. Berdasarkan hasil analisis di atas, lebih dari 50% butir soal yang belum sesuai (tidak dapat digambarkan oleh model) sehingga model IRT 1PL belum dapat menggambarkan butir-butir butir soal ujian Fisika.
8
Tabel 4. Statistik parameter kemampuan peserta ujian mata kuliah Fisika pada model IRT 2PL Nilai Statistik Kemampuan Peserta Ujian Rataan 0,0153 Ragam 1,0494 Standar Deviasi 1,0244 Minimum -3,1029 Maksimum 3,4897 Hasil kesesuaian model yang disajikan pada Lampiran 2 dan kurva karakteristik butir pada Lampiran 3b menunjukkan sebesar 25,71% butir soal yang belum sesuai dan 74,29% soal yang sesuai dengan model. Persentase soal yang sesuai lebih banyak daripada soal yang tidak sesuai sehingga disimpulkan model IRT 2PL sudah cukup baik untuk menggambarkan butir-butir soal ujian Fisika. Hal ini menunjukkan parameter daya pembeda berpengaruh dalam model. Berdasarkan Tabel 1, tipe soal dibedakan menjadi tiga yaitu soal yang baik, cukup baik, dan belum dapat digambarkan. Butir soal yang belum dapat digambarkan adalah butir soal nomor 1, 3, 11, 13, 15, 19, 20, 31, dan 33. Soal yang cukup baik adalah 2, 5, 6, 7, 8, 9, 10, 12, 14, 16, 17, 18, 21, 22, 24, 25, 26, 27, 28, 29, 30, 34, dan 35. Tipe butir soal yang baik adalah nomor 4, 23 dan 32. Model Teori Respon Butir Tiga Parameter Logistik (IRT 3PL) Statistik dugaan parameter karakteristik butir dapat dilihat pada Lampiran 2. Nilai a (daya beda) berkisar di antara 0,346 sampai dengan 1,346. Nilai b (tingkat kesukaran) berada di antara -2,980 sampai dengan 3,186. Sedangkan statistik nilai dugaan parameter kemampuan disajikan pada Tabel 5. Rataan kemampuan peserta ujian sebesar -0,0760 dengan kemampuan di antara -3,4655 sampai dengan 3,4339.
Tabel 5. Statistik parameter kemampuan peserta ujian mata kuliah Fisika pada model IRT 3PL Nilai Statistik Kemampuan Peserta Ujian Rataan -0,0760 Ragam 1,2501 Standar Deviasi 1,1181 Minimum -3,4655 Maksimum 3,4339 Berdasarkan Tabel 1, tipe soal dibedakan menjadi tiga yaitu soal yang baik, cukup baik, dan belum dapat digambarkan. Soal yang baik tersebut adalah 2, 4, 7, 12, 19, 23, 32, dan 33. Soal yang cukup baik adalah 5, 6, 8, 9, 10, 11, 13, 16, 17, 18, 21, 22, 24, 25, 26, 27, 28, 29, 30, 34, dan 35. Butir soal yang belum dapat digambarkan adalah 1, 3, 14, 15, 20 dan 31. Berdasarkan hasil uji kesesuaian model yang disajikan pada Lampiran 2 dan kurva karakteristik butir pada Lampiran 3c menunjukkan bahwa sebesar 17,14% butir soal belum dapat digambarkan dengan model dan 82,86% soal yang dapat digambarkan dengan model. Persentase soal yang sesuai lebih banyak daripada soal yang tidak sesuai sehingga disimpulkan model IRT 3PL sudah cukup baik untuk menggambarkan butir-butir soal ujian Fisika. Hal ini menunjukkan parameter daya pembeda dan peluang menebak berpengaruh dalam model. Nilai c (peluang menebak) berkisar antara nilai 0,073 sampai dengan 0,416. Soal yang memiliki peluang menebak yang lebih dari 0,2 adalah 9, 10, 11, 13, 16, 17, 18, 22, 25, 27, dan 29. Peluang menebak tertinggi terdapat pada soal nomor 10 sebesar 0,416 (Gambar 3). Artinya untuk soal nomor 10 peserta ujian dengan kemampuan rendah dapat menebak jawaban benar dengan peluang 0,416. Item Characteristic Curv e: SOAL10 a = 0.923
b = 3.186
c = 0.416
1.0
0.8
P robabi l i ty
Model Teori Respon Butir Dua Parameter Logistik (IRT 2PL) Hasil pendugaan parameter karakteristik soal untuk model IRT 2PL dapat dilihat pada Lampiran 2. Nilai a (daya beda) berkisar dari nilai 0,115 sampai dengan 0,804. Nilai b (tingkat kesukaran) berkisar dari nilai -3,188 sampai dengan 4,982. Statistik nilai dugaan parameter kemampuan peserta ujian (Tabel 4) menunjukkan nilai kemampuan tertinggi adalah 3,4897 dan kemampuan terendah adalah -3,1029.
0.6 c
0.4
0.2 b 0
-3
-2
-1
0
1
2
3
Ability
Gambar 3. Kurva karakteristik butir 10 pada model IRT 3PL
9
Peluang menebak terendah terdapat pada soal nomor 20 sebesar 0,078 (Gambar 4). Artinya untuk soal nomor 20 peserta ujian dengan kemampuan rendah dapat menebak jawaban benar dengan peluang 0,073. Soal nomor 20 adalah soal yang belum dapat digambarkan. Pada Gambar 4 tersebut dapat dilihat ada beberapa amatan yang diamati berada di luar selang kepercayaannya. Item Characteristic Curv e: SOAL20 a = 0.713
b = -0.406
c = 0.073
1.0
P robabi l i ty
0.8
0.6
0.4
c
0.2
b 0
-3
-2
-1
0
1
2
3
Ability
Gambar 4. Kurva karakteristik butir 20 pada model IRT 3PL Perbandingan dan Pemilihan Model Berdasarkan hasil klasifikasi kriteria butir soal pada Tabel 6 menunjukkan terdapat beberapa soal yang belum dapat dimodelkan dengan baik. Nilai khi kuadrat empiris butir yang diperoleh pada model IRT 1PL, IRT 2PL, dan IRT 3PL lebih besar nilai khi kuadrat teoritis (nilai p < 0,05). Soal-soal tersebut berdasarkan model IRT 3PL adalah soal nomor 1, 3, 14, 15, 20 dan 31. Pada saat dimodelkan dengan model IRT 1PL dan IRT 2PL, soal-soal tersebut tidak menunjukkan kriteria yang lebih baik. Walaupun berdasarkan kriteria teori uji klasik memiliki nilai daya pembeda yang cukup baik. Berdasarkan model IRT 3PL, butir soal yang baik adalah soal nomor 2, 4, 7, 12, 19, 23, 32, dan 33. Berdasarkan hasil teori uji klasik, beberapa soal tersebut adalah soal yang sukar. Soal-soal tersebut adalah soal yang belum dapat dimodelkan dengan baik pada model IRT 1PL. Namun, setelah dimodelkan dengan model IRT 3PL terdapat beberapa soal yang menjadi baik. Hal ini dapat menyimpulkan bahwa parameter daya pembeda dan peluang menebak berpengaruh terhadap model. Soal yang cukup baik berdasarkan model IRT 3PL adalah adalah 5, 6, 8, 9, 10, 11, 13, 16, 17, 18, 21, 22, 24, 25, 26, 27, 28, 29, 30, 34 dan 35. Soal-soal tersebut merupakan soal yang setelah dimodelkan dengan IRT 1PL,
IRT 2PL, dan IRT 3PL belum menunjukkan kriteria yang lebih baik. Tabel 6. Pengklasifikasian kriteria butir soal pada teori uji klasik dan teori respon butir Kriteria Butir Klasik Modern Soal IRT IRT IRT TK DP 1PL 2PL 3PL 1
Se
B
KB
KB
KB
2 3
Su Se
CB B
KB KB
CB KB
B KB
4
Se
CB
KB
B
B
5
M
CB
KB
CB
CB
6 7
Su Su
P P
CB CB
CB CB
CB B
8 9
M Se
P P
KB B
CB CB
CB CB
10 11
Se Se
BB CB
KB B
CB KB
CB CB
12 13
Se Se
CB CB
KB KB
CB KB
B CB
14 15
Se Se
CB B
KB KB
CB KB
KB KB
16 17
Se Su
CB BB
B KB
CB CB
CB CB
18 19
Se Se
P B
B KB
CB KB
CB B
20 21
Se Se
B P
KB B
KB CB
KB CB
22 23
Se Se
CB CB
B KB
CB B
CB B
24
Su
P
B
CB
CB
25
Se
BB
KB
CB
CB
26 27
Se Se
CB BB
B KB
CB CB
CB CB
28
Su
P
CB
CB
CB
29
Su
BB
KB
CB
CB
30
Su
BB
KB
CB
CB
31
M
B
KB
KB
KB
32 33
Se Su
CB CB
KB KB
B KB
B B
34
M
P
B
CB
CB
35
Su
BB
CB
CB
CB
10
Keterangan : TK = Tingkat kesukaran DP = Daya Pembeda M = Soal yang bertipe mudah Se = Soal yang bertipe sedang Su = Soal yang bertipe sukar B = Soal yang bertipe baik CB = Soal yang bertipe cukup baik KB = Soal yang bertipe belum dapat digambarkan P = Soal yang bertipe harus diperbaiki BB = Soal yang belum dapat membedakan antara kedua kelompok Berdasarkan hasil uji kesesuaian model yang disajikan pada Lampiran 2, model teori respon butir 2PL merupakan model yang lebih baik dari model teori respon butir 1PL. Hal ini dapat dilihat dari jumlah soal yang sesuai untuk model teori respon butir 2PL lebih banyak dari teori respon butir 1PL. Selain itu, dapat disimpulkan bahwa parameter daya pembeda berpengaruh terhadap model. Perbandingan antara model teori respon butir 2PL dan teori respon butir 3PL juga menunjukkan bahwa model teori respon butir 3PL memiliki jumlah butir soal yang sesuai dan tipe soal yang baik lebih banyak dari model teori respon butir 2PL. Hal ini menunjukkan bahwa parameter menebak berpengaruh terhadap model. Analisis lain yang digunakan untuk memilih model adalah likelihood ratio test (LRT) dan indeks reliabilitas. Perbandingan model pertama dilakukan antara model IRT 1PL dan IRT 2PL. Kemudian dilakukan perbandingan antara model IRT 2PL dan model IRT 3PL. Tabel 7. Indeks pemilihan model Model Nilai Indeks -2 log Likelihood Reliabilitas IRT 1PL 66739,927 0,705 IRT 2PL 66103,864 0,771 65984,011 0,781 IRT 3PL Hasil likelihood ratio test antara model IRT 1PL dan IRT 2PL sebesar 636,063 dengan db = 35 diperoleh nilai p < 0,005 sehingga disimpulkan model IRT 1PL dan IRT 2PL berbeda. Sedangkan hasil likelihood ratio test antara model IRT 2PL dan IRT 3PL sebesar 119,853 dengan db = 35 diperoleh nilai p < 0,005 sehingga dapat disimpulkan juga model IRT 2PL berbeda dengan model IRT 3PL.
Pemilihan model dapat juga dilihat dari indeks reliabilitas pada Tabel 7. Model IRT 3PL memiliki indeks reliabilitas lebih tinggi dari model IRT 1PL dan IRT 2PL. Hasil analisis di atas menunjukkan bahwa model yang sesuai untuk menggambarkan butir soal mata kuliah Fisika adalah IRT 3PL. KESIMPULAN Berdasarkan hasil analisis, terdapat perbedaan parameter daya pembeda dan tingkat kesukaran pada metode teori uji klasik dan teori respon butir. Daya pembeda dan tingkat kesukaran pada teori uji klasik dipengaruhi oleh kemampuan kelompok sedangkan pada teori respon butir dipengaruhi oleh kemampuan individu. Model yang paling sesuai untuk menggambarkan butir-butir soal pada soal ujian mata kuliah Fisika adalah model teori respon butir tiga parameter logistik. Butir soal yang baik adalah soal nomor 2, 4, 7, 12, 19, 23, 32, dan 33. Soal yang cukup baik adalah soal nomor 5, 6, 8, 9, 10, 11, 13, 16, 17, 18, 21, 22, 24, 25, 26, 27, 28, 29, 30, 34 dan 35. Butir soal yang belum dapat digambarkan dalam permodelan IRT 3PL adalah 1, 3, 14, 15, 20, dan 31. DAFTAR PUSTAKA Anastasi, A & S. Urbina. 1997. Psychological Testing. Seventh Edition. Prentice Hall International Inc, New Jersey. Crocker, L. & J. Algina. 1986. Introduction to Classical and Modern Test Theory. Holt, Rinehart and Winston, Inc. New York. Embretson, S. E & S. P. Reise. 2000. Item Response Theory for Psychologists. Lawrence Erlbaum Associates, New Jersey. Hambleton, R. K., Swaminathan, H. & H. J. Rogers. 1991. Fundamentals of Item Response Theory. Sage Publications, The International professional Publishers. California. Hattie, J. 1985. Methodology Review : Assessing Unidimensionality of Tests and Applied Psychological Items. Measurement. 9:139-164.
11
Hogg, R. V., McKean, J. W., & A. T. Craig. 1978. Introduction to Mathematical Statistics 4th Ed. Macmillan Publishing, New York. Lord, M. L. 1980. Application of item response theory to practical testing problems. Lawrence Erlbaum Assosiates, Publisher, New Jersey. Nitko, A. J. 1996. Educational Assessment of Students, Second Edition. Merill an imprint of Prentice Hall Englewood Cliffs, Ohio. Safari. 2000. Panduan Analisis Butir Soal. http://www.dikmenum.go.id/dataapp/kurik ulum/5.%20PERANGKAT%20PENILAI AN%20KTSP%20SMA/6.%20ANALISIS %20BUTIR%20SOAL/PANDUAN%20A NALISIS%20BUTIR%20SOAL.doc [22 Mei 2009] Wiberg, M. 2007. Measuring and Detecting Differential Item Functioning in CriterionReferenced Licensing Test : A theoretic comparison of methods. EM No. 60.
LAMPIRAN
13
Lampiran 1. Nilai tingkat kesukaran, daya pembeda, dan sebaran jawaban peserta ujian Fisika Nomor soal
Tingkat Kesukaran
Koefisien point biserial
Daya Pembeda
1
0,551
0,425
2
0,229
0,327
3
0,474
4
0,450
Sebaran Pilihan Jawaban D
E
Tidak Menjawab
A
B
C
0,6869
0,551
0,049
0,083
0,146
0,165
0,006
0,4545
0,120
0,135
0,115
0,229
0,395
0,006
0,511
0,8232
0,053
0,177
0,474
0,278
0,017
0,001
0,394
0,6364
0,170
0,450
0,174
0,102
0,100
0,004
5
0,754
0,314
0,4444
0,112
0,047
0,081
0,754
0,006
0,000
6
0,184
0,220
0,3081
0,573
0,065
0,038
0,140
0,184
0,000
7
0,236
0,296
0,4293
0,236
0,368
0,042
0,232
0,118
0,004
8
0,938
0,224
0,1869
0,021
0,938
0,020
0,012
0,008
0,001
9
0,396
0,295
0,4242
0,230
0,396
0,137
0,164
0,063
0,010
10
0,430
0,120
0,2222
0,136
0,162
0,430
0,063
0,208
0,001
11
0,612
0,313
0,4848
0,163
0,059
0,041
0,123
0,612
0,002
12
0,358
0,383
0,5909
0,180
0,150
0,177
0,131
0,358
0,004
13
0,493
0,375
0,6667
0,179
0,172
0,117
0,493
0,036
0,003
14
0,628
0,363
0,5758
0,237
0,050
0,027
0,057
0,628
0,001
15
0,581
0,426
0,6616
0,089
0,581
0,140
0,115
0,070
0,005
16
0,546
0,309
0,5202
0,053
0,546
0,217
0,091
0,091
0,002
17
0,276
0,162
0,2273
0,293
0,246
0,276
0,127
0,056
0,002
18
0,387
0,250
0,3889
0,161
0,387
0,184
0,113
0,152
0,003
19
0,461
0,425
0,6818
0,461
0,329
0,134
0,049
0,025
0,002
20
0,624
0,434
0,6869
0,127
0,108
0,116
0,023
0,624
0,002
21
0,499
0,271
0,4596
0,499
0,123
0,088
0,148
0,141
0,001
22
0,346
0,311
0,5101
0,474
0,032
0,069
0,346
0,075
0,004
23
0,632
0,393
0,5707
0,083
0,127
0,632
0,042
0,116
0,000
24
0,263
0,240
0,3333
0,217
0,293
0,097
0,263
0,129
0,001
25
0,539
0,192
0,2778
0,252
0,145
0,032
0,539
0,032
0,000
26
0,568
0,314
0,4949
0,044
0,167
0,083
0,568
0,138
0,000
27
0,425
0,141
0,2172
0,425
0,081
0,160
0,195
0,137
0,002
28
0,230
0,216
0,2929
0,236
0,032
0,129
0,372
0,230
0,001
29
0,217
0,131
0,2222
0,261
0,232
0,204
0,217
0,083
0,003
30
0,186
0,176
0,1970
0,412
0,222
0,075
0,186
0,101
0,004
31
0,757
0,402
0,5657
0,032
0,036
0,756
0,100
0,076
0,000
32
0,532
0,388
0,5909
0,138
0,532
0,180
0,044
0,103
0,003
33
0,269
0,368
0,5556
0,269
0,338
0,185
0,130
0,069
0,009
34
0,716
0,278
0,4192
0,118
0,050
0,716
0,038
0,076
0,002
0,168
0,159
0,062
0,215
0,001
35 0,168 0,149 0,1869 0,395 Catatan : Kotak berwarna abu-abu adalah kunci jawaban
Lampiran 2. Nilai parameter butir soal ujian akhir Fisika untuk IRT 1PL, IRT 2PL, dan IRT 3PL
Soal
Deskripsi Soal
b
Model IRT1PL chiNilai p square 43,8 0,0000
1
Suhu dan kalor
-0,383
2
Suhu dan kalor
2,220
19,4
0,0007
3
Suhu dan kalor
0,192
119,3
0,0000
4
Suhu dan kalor
0,369
29,3
0,0000
5
Termodinamika
-2,052
11,9
0,0362
6
Termodinamika
2,718
2,9
0,5668
KB
0,545
KB
0,697
0,202
Model IRT3PL chic Nilai p square 0,176 13,4 0,0197
KB
0,429
1,847
8,2
0,0857
CB
0,926
1,751
0,124
3,7
0,6006
KB
0,804
0,093
10,1
0,0384
KB
0,935
0,270
0,078
10,6
0,0309
KB
KB
0,500
0,268
6,0
0,1991
B
0,696
0,678
0,154
9,4
0,9260
B
KB
0,426
-1,719
4,4
0,4877
CB
0,478
-1,157
0,191
8,7
0,1200
CB
CB
0,263
3,466
8,8
0,0655
CB
1,006
2,360
0,140
4,6
0,3274
CB
Kriteria
a
Model IRT2PL chib Nilai p square -0,272 10,5 0,0324
Kriteria
a
b
Kriteria B
KB
7
Termodinamika
2,150
8,1
0,8840
CB
0,377
1,993
3,0
0,5534
CB
0,835
1,876
0,134
1,6
0,8963
B
8
Termodinamika
-4,885
17,7
0,0034
KB
0,574
-3,188
5,1
0,2801
CB
0,576
-2,980
0,169
9,1
0,1040
CB
9
Medan listrik
0,776
6,4
0,2720
B
0,300
0,875
10,1
0,0729
CB
0,727
1,557
0,261
2,1
0,8347
CB
10
Muatan listrik
0,514
37,6
0,0000
KB
0,115
1,441
8,6
0,1257
CB
0,923
3,186
0,416
2,8
0,7374
CB
-0,838
7,8
0,1663
B
0,340
-0,851
13,2
0,0213
KB
0,585
0,501
0,349
4,2
0,5265
CB
1,070
28,0
0,0000
KB
0,468
0,829
4,2
0,3806
CB
0,698
1,127
0,134
5,4
0,3648
B
11
Potensial listrik
12
Medan listrik
13
Listrik dinamik
0,049
30,2
0,0000
KB
0,450
0,035
10,3
0,0363
KB
0,664
0,628
0,202
4,2
0,5199
CB
14
Listrik dinamik
-0,965
17,8
0,0032
KB
0,458
-0,768
8,8
0,1164
CB
0,508
-0,389
0,131
11,6
0,0413
KB
15
Listrik dinamik
-0,603
51,8
0,0000
KB
0,589
-0,403
14,5
0,0127
KB
0,644
-0,165
0,095
17,1
0,0043
KB
16
Listrik dinamik
-0,345
4,1
0,5365
B
0,330
-0,360
2,4
0,7952
CB
0,425
0,438
0,203
5,0
0,4127
CB
17
Medan magnet
1,772
16,9
0,0047
KB
0,175
3,332
2,4
0,6707
CB
1,149
2,455
0,248
2,8
0,7356
CB
18
Induksi electromagnet Medan magnet
0,848
1,4
0,9257
B
0,239
1,178
1,0
0,9614
CB
0,840
1,885
0,304
2,6
0,7673
CB
19 20
0,289
53,1
0,0000
KB
0,572
0,188
10,2
0,0373
KB
0,677
0,453
0,102
9,9
0,0768
B
-0,935
63,7
0,0000
KB
0,659
-0,577
23,7
0,0001
KB
0,713
-0,406
0,073
38,4
0,0000
KB
0,002
6,2
0,1850
B
0,271
0,003
8,6
0,0729
CB
0,339
0,774
0,168
9,6
0,0870
CB
14
21
Induksi elektromagnet Fisika modern
Lampiran 2. Nilai parameter butir soal ujian akhir Fisika untuk IRT 1PL, IRT 2PL, dan IRT 3PL (Lanjutan)
Soal
Deskripsi Soal
b
22
Fisika modern
1,166
23
Fisika modern
-0,994
Model IRT1PL chiNilai p square 5,2 0,2627 29,8
0,0000
Kriteria
a
B
0,336
KB
0,552
Model IRT2PL chib Nilai p square 1,192 1,5 0,8216 -0,689
4,1
0,3954
Kriteria
a
b
CB
0,767
1,609
B
0,626
-0,358
Model IRT3PL chic Nilai p square 0,216 1,5 0,9144
Kriteria
0,129
B
4,2
0,3793
CB
24
Fisika modern
1,888
8,2
0,1462
B
0,262
2,416
2,3
0,6854
CB
0,714
2,236
0,180
0,4
0,9949
CB
25
Suhu dan kalor
-0,294
12,9
0,0244
KB
0,171
-0,558
1,1
0,9538
CB
0,338
1,945
0,373
0,2
0,9994
CB
26
Termodinamika
-0,509
4,9
0,4238
B
0,355
-0,498
1,0
0,9114
CB
0,447
0,210
0,192
9,0
0,1109
CB
27
Medan listrik
0,556
40,4
0,0000
KB
0,122
1,477
7,9
0,1634
CB
1,039
3,133
0,413
2,4
0,7974
CB
28
Listrik dinamik
2,213
7,7
0,1044
CB
0,245
3,018
1,5
0,8344
CB
0,713
2,509
0,165
2,0
0,8530
CB
29
Medan magnet
2,350
25,3
0,0000
KB
0,154
4,982
6,1
0,1921
CB
1,346
2,677
0,202
5,1
0,4016
CB
30
Fisika modern
2,695
10,9
0,0281
KB
0,221
4,041
0,9
0,9273
CB
0,725
2,866
0,142
3,2
0,6621
CB
31
Suhu dan kalor
-2,083
59,2
0,0000
KB
0,708
-1,208
18,1
0,0029
KB
0,798
-0,895
0,155
17,5
0,0036
KB
32
Termodinamika
-0,238
25,9
0,0001
KB
0,521
-0,177
4,6
0,3300
B
0,717
0,292
0,173
8,2
0,1470
B
33
Muatan listrik
1,830
36,5
0,0000
KB
0,493
1,362
10,9
0,0278
KB
0,995
1,426
0,130
3,0
0,6923
B
34
Listrik dinamik
-1,701
8,0
0,1548
B
0,328
-1,779
3,7
0,5870
CB
0,361
-1,071
0,195
4,6
0,4675
CB
35
Fisika modern
2,919
6,8
0,1489
CB
0,197
4,898
2,3
0,6797
CB
0,950
3,138
0,152
0,8
0,9762
CB
Nilai maksimum Nilai minimum
2,919
0,804
4,982
1,346
3,186
0,416
-4,885
0,115
-3,188
0,338
-2,980
0,073
Keterangan : B CB KB
= Soal yang bertipe baik = Soal yang bertipe cukup baik = Soal yang bertipe belum dapat digambarkan 15
16
Lampiran 3. Kurva karakteritik butir soal 1-35 mata kuliah Fisika untuk Model IRT 1PL, IRT 2PL, dan IRT 3PL a. Kurva karakteritik butir soal 1-35 mata kuliah Fisika untuk Model IRT 1PL Matrix Plot of Item Characteristic Curv es
1-6
7 - 12
13 - 18
19 - 24
25 - 30
31 - 35
b. Kurva karakteritik butir soal 1-35 mata kuliah Fisika untuk Model IRT 2PL Matrix Plot of Item Characteristic Curv es
1-6
7 - 12
13 - 18
19 - 24
25 - 30
31 - 35
c. Kurva karakteritik butir soal 1-35 mata kuliah Fisika untuk Model IRT 3PL Matrix Plot of Item Characteristic Curv es
1-6
7 - 12
13 - 18
19 - 24
25 - 30
31 - 35
