Juair - 2007
1
MENDESAIN TEST DENGAN CALIBRATION ITEM BANKING
I.
PENDAHULUAN.
Test merupakan sehimpunan pertanyaan-pertanyaan atau pernyataan yang harus dijawab atau dipilih atau tugas-tugas yang harus dilakukan oleh peserta test dengan tujuan untuk mengukur perilaku atau suatu apek tertentu dari peserta test (Depdiknas, 2003). Secara umum teknik pengukuran yang digunakan adalah tes berbentuk tes tertulis. Dalam tes tertulis, tes diberikan dalam bentuk bahan tulisan. Respon yang diberikan dapat berbagai bentuk. Bisa berupa kalimat, gambar, diagram atau yang lainnya. Dalam dunia pendidikan, penilaian terhadap proses belajar mengajar sangat diperlukan. Test (Depdiknas, 2003) sebagai bagian dari penilian mempunyai tujuan: Mendiagnosa kemampuan dan kelemahan siswa Menilai kemampuan yan berupa keterampilan, pengetahuan maupun pemahaman siswa; Menyeleksi Monitoring standar pendidikan. Achievement test atau test prestasi belajar adalah test dilakukan untuk mengetahui tingkat capaian siswa dalam menyerap materi (Stanley dan Kenneth, 1978). Test bisa dilakukan ditengah berlangsungnya kegiatan belajar mengajar (formatif) maupun di akhir kegiatan (sumatif). Dengan test prestasi, guru dapat melihat tingkat kemajuan siswa dalam mennyerap materi. Sehingga diketahui kelemahan siswa, apakah siswa sudah menguasai atau harus dilakukan remidi. Test yang baik adalah test yang telah terstandarisasi. Sehingga masingmasing item soal telah diketahui karakteristiknya. Untuk mengetahui mutu dari tiap item soal diperlukan analisisi test. Tujuan dari analisisi ini adalah agar dapat memberikan informasi tentang karakteristik internal baik buruknya soal berdasarkan analisis kuantitatif (Depdikbud, 1998). Analisis secara kuantitatif dilakukan dengan dua cara yakni secara Classical Theory Test, analisis soal berdasarkan sistem klasik maupun Item Respon Theory, analisis butir soal berdasarkan teori modern. Analisis secara klasik dilakukan dinataranya dengan bantuan shoftware Iteman, sedangan IRT dengan Bigstep. Penggunaan konsep IRT dalam mendesain lebih utama dibandingkan dengan konsep CTT. Dalam IRT pengkuruan dilakukan telah memperhitungkan karakter butir soal. Selain itu statistik soal telah dimasukkan dalam skala yang sama dengan tingkat kemampuan siswa (Hambleton, et. all, 1991). II. TUJUAN DESAIN TEST. Tujuan dari kegiatan desain test adalah: Melakukan perakitan butir soal sesuai dengan indikator sebagai manifestasi dari kompetensi dasar maupun standar kompetensi; Melakukan analisis butir soal secara klasik mapun modern; Melakukan kalibrasi terhadap item soal dengan model Rasch
Juair - 2007
2
Membangun item bank soal berdasarkan konsep modern sesuai dengan kompetensi dasar. III. TEKNIK ANALISIS SOAL. Test yang didesain dalam penugasan ini adalah Test Matematika Kelas III MTs berbentuk. Sebelum dilakukan analisis kuantitatif, terlebih dahulu dilakukan analisis kualitatif. Butir soal ditelaah terlebih dahulu agar sesuai dengan standar kompetensi atau dasar kompetensi dan indikatornya. Tahap analisis soal dilakukan dengan tahapan 1. Analisis Kualitatif. Dalam pembuatan butir soal harus memenuhi kaidah penulisan (Depdiknas, 2003) sebagai berikut: 1.1. Aspek Materi. Soal harus sesuai dengan indikator, yakni menanyakan materi yang sesuai dengan tuntutan indikator. Pilihan jawaban bersifat homogen dan logis. Yaitu semua piliha jawaban berasal dari materi yang sama dengan pokok soal, setara penulisannya dan semua jawaban berfungsi dengan baik Mempunyai 1 jawaban yang benar atau paling benar dalam tiap butir soal 1.2. Aspek Konstruksi. Pokok soal harus jelas dan tegas, tidak menimbulkan pengertian atau penafsiran yang berbeda. Rumusan soal dan pilihan jawaban berupa pernyataan yang diperlukan saja Pokok soal jangan memberikan petunjuka ke arah jawaban yang benar. Pokok soal tidak mengandung jawaban yang negatif. Panjang rumusan pilihan jawaban relatif sama. Pilihan jawaban yang berbentuk angka disusun berurutan dari kecil – besar atau sebaliknya. Soal dalam bentuk grafik, gambar, tabel atau diagram dapat berfungsi dengan jelas. Butir jawaban soal tidak tergantung pada jawaban soal sebelumnya. 1.3. Aspek Bahasa. Bahasa yang digunakan dalam tiap butir soal sesuai dengan kaidah bahasa Indonesia Tidak menggunakan bahasa yang hanya berlaku di lokal melainkan bersifat umum Pilihan jawaban merupakan satu kesatuan pengertian dengan butir soal. 2. Analisis Kuantitatif. Langkah selanjutnya adalah dengan mengujicobakan soal. Uji coba ini dilakukan untuk mengetahui gambaran karakteristik butir soal yang telah dibuat secara empiris. Sehingga dengan demikian akan diteketua respon siswa terhadap soal yang telah dibuat. Hasil jawaban dari siswa ini selanjutnya dianalisa secara kuantitatif.
Juair - 2007
3
2.1. Analisis Klasik. `Dalam menganalisa butir soal secara klasik, respon jawaban siswa diolah dengan menggunakan Iteman. Karakteristik tiap butir soal dilihat berdasarkan tingkat kesulitan dan daya beda soal. Tingkat Kesulitan (proportion correct), yakni proporsi banyaknya jawaban benar siswa dengan banyaknya jawaban yang salah Daya Beda (poin biserial), kemampuan butir soal dalam membedakan peserta tes yang berkemampuan tinggi dan rendah. Distructor power, kemampuan pilihan jawaban sebagai pengecoh. Dalam iteman, makin kecil indeks tingkat kesulitan, maka makin sulit butir soal tersebut. Di dalam IRT sebaliknya, makin besar indeks tingkat kesulitan, artinya makin sulit butir soal tersebut. 2.2. Analisa IRT. Dalam IRT pembuatan item banking dengan sistem Rasch Model, dilakukan dengan menggunakan satu parameter logistic (1 PL). Dengan metode IRT, telah dilakukan penyempurnaan terhadap metode klassik dalam mengestimasi kemampuan siswa. Rasch Model mengestimasi respon testee terhadap butir soal berdasarkan tingkat kesulitan dan kemampuan (ability) yang dimiliki. Item yang sulit akan makin sedikit yang merespon jawaban dengan benar demikian pula sebaliknya (Hula, et all. 2006) Estimasi parameter b (tingkat kesulitan) relatif paling stabil dari pengaruh banyak item (n) soal maupun jumlah examine (N). Hal ini seperti yang diungkapkan oleh Dodeen (2004) bahwa parameter b pada model 1 PL maupun 3PL adalah hampir sama. Analisa ini dilakukan dengan bantuan software Bigstep. Sehingga butir soal akan lebih tepat dalam mengestimasi ability siswa sesuai dengan kemampuannya. Tingkat kesulitan soal tidak tergantung pada kelompok yang mengerjakan, melainkan dimanapun akan sama sesuai dengan kemampuan siswa. Model logistik dengan 1 parameter (1 PL) e (θ-bi) Pi(θ) = --------------1 + e (θ-bi) i = 1,2,3, ...,n Dimana: Pi(θ) = probabilitas seorang subjek yang memiliki abilitas θ untuk menjawab item i dengan benar θ = tingkat kemampuan (abilitas) bi = parameter tingkat kesukaran item i n = banyaknya item dalam tes e = angka trasendental yang bernilai 2,718
Juair - 2007
4
Parameter bi adalah titik skala kemampuan probabilitas menjawab benar sebesar 0,5. Jadi semaki besar bi maka semakin besar pula dibutuhkan kemampuan subyek makin besar untuk menjawab dengan benar. Karena hanya satu paremeter maka item yang mempengaruhi subyek, maka dalam model ini semua item dalam test memiliki daya beda yang sama (Azwar, 1999). IV.
PEMBUATAN ITEM BANKING Uji coba pembuatan item banking ini dilakukan pada mata pelajaran kelas Matematika untuk Kelas III MTs. Oleh pihak sekolah diijinkan dilakukan pada kelas III sekaligus sebagai latihan UN. Langkah-langkah dalam pembuatan bank soal dengan konsep IRT, dilakukan pentahapan sebagai berikut: Gambar 1 SK / KD
Indikator
Menulis soal Mereview Uji Coba Analisa Soal (Iteman) Kalibrasi Soal (Bistep) Kalibrasi Item (Bank) Design Test
Kisi-kisi Soal
Juair - 2007
5
1. Pembuatan Kisi-kisi soal Berdasarkan Standar Kompetensi dan Kompetensi Dasar dibuat indikator dan kisi-sisi butir soal (dalam lampiran) 2. Penulisan Item Soal Menulis item soal yang sesuai dengan indikator dari kompetensi dasar yang telah ditentukan sebanyak 40 butir soal. 3. Review Soal Mereview item soal yang telah dibuat dengan guru matematika (kawan mahasiwa) dan pihak madrasah 4. Uji Coba Soal Uji coba soal dilakukan pada Tahap I: tanggal 23 Maret 2007 dengan soal paket I Tahap II: tanggal 2 April 2007 dengan soal paket II Tahap III: tanggal 9 April 2007 dengan soal paket III Setelah melakukan ujicoba I dipilihlah anchor item sebanyak 5 butir yang mewakili isi materi untuk dimasukkan ke dalam paket II dan III. Sebagai anchor item ditetap butir soal nomor 27, 33, 36, 37 dan 39 5. Analisa Iteman Iteman digunakan untuk seleksi awal guna mengetahui item soal yang baik. Dengan kriteria tingkat kesulitan bahwa item soal yang diterima adalah item soal yang mempunyai TK > 0,15 yang dinyatakan lolos (pengarahan dan kesepakatan dosen dan mahasiswa dikelas). 6. Kalibrasi soal dengan Bigstep. Hasil analisa iteman yang dinyatakan lolos diolah dengan Bigstep. 7. Kalibrasi Item (Bank) Hasil measure pada pengolahan bigstep dikalibrasi dengan measure anchor item yang telah di tentukan dari bank soal. Maksudnya agar ketiga paket soal tersebut berada dalam skala yang sama. 8. Perakitan (Desain) Soal Merakit soal sesuai dengan hasil bank soal yang telah dikalibrasi sesuai dengan indikator pada Standar komptensi yang telah ditentukan. V. PREMINALARY ITEM BANKING. 1. Analisa Iteman Soal diujicobakan pada kelas III sekaligus sebagai try out. Uji coba dilakukan di MTsN Mranggen Demak Jawa Tengah. Peserta uji coba adalah 41 siswa. Hasil LJK selanjutnya diolah secara klasik dengan iteman Hasil analisa iteman yang dinyatakan lolos untuk proses selanjutnya seperti yang telah disampaikan diatas adalah yang mempunyai tingkat kesulitan di atas 0,15, sebagai berikut : Tabel 1. Tingkat Kesulitan berdasarkan Iteman Tingkat Kesulitan No Item Soal Paket Soal I Paket Soal II Paket Soal III 1 0,585 0,659 0,683 2 0,683 0,683 0,683 3 0,683 0,732 0,659 4 0,659 0,659 0,317 5 0,585 0,512 0,341 6 0,488 0,683 0,634 7 0,683 0,927 0,366 8 0,659 0,512 0,683
Juair - 2007
9 0,683 0,390 10 0,537 0,317 11 0,683 0,659 12 0,439 0,683 13 0,488 0,317 14 0,683 0,341 15 0,659 0,585 16 0,488 0,610 17 0,659 0,659 18 0,683 0,634 19 0,829 0,683 20 0,878 0,683 21 0,317 0,610 22 0,780 0,634 23 0,683* 0.683*) 24 0,634 0,317 25 0,634 0,415 26 0,634 0,854*) 27 0,561 0,610 28 0,390 0,293*) 29 0,610 0,659 30 0,512 0,878 31 0,707 0,659 32 0,585 0,659 33 0,537 0,659 34 0,659 0,512 35 0,854 0,763 36 0,512 0,585 37 0,561 0,683 38 0,585 0,683 39 0,512 0,659 40 0,659 0,683 Keterangan: *) didrop karena TK < 0,15 atau chek the key
0,610 0,683 0,976*) 0,683 0,634 0,463 0,585 0,317 0,683 0,683 0,585 0,927 0,585 0,634 0,951 0,659 0,634 0,146*) 0,659 0,951 0,659 0,634 0,146*) 0,683 0,683 0,634 0,683 0,683 0,683 0,683 0,659 0,683
2. Analisa Bigstep. Dalam menjalankan Bigstep (Hari Setiadi), 4 tahap yang harus dilalui masing-masing paket soal adalah sebagai berikut: Gambar 2: Tahapan Analisa Bigstep Pra Bigstep Hasil Iteman Bigstep Run I Drop Orang Run II Drop Item
6
Juair - 2007
7
Run III
Selipkan Anchor Item
Run IV
Masukkan dalam Bank Soal
2.1. Tahap I (Run I) Pada tahap I, dilakukan untuk mengestimasi kemampuan peserta test sesuai dengan tingkat kesulitan test. Berdasarkan hasil analisan iteman dilakukan dropping item soal pada paket soal sebagai berikut : Tabel 2. Item Soal yang didrop No Urut Nomo Item Soal Didrop Paket I Paket II Paket III 1 23, chek the key 23 11 2 28 26 3 31 Selanjutnya dimasukkan dalam control file sebagai IDFILE (Item Delete File) Kemudian dilakukan Run I program Bigstep 2.2. Tahap II (Run II) Pada tahap II, dilakukan seleksi person yang tidak fit dengan model. Pada tabel measure person yang tidak memenuhi kriteria didrop untuk selanjutnya dilakukan run pada tahap III. Ketentuan yang dirop: outfit yang > + 2. dan nilai point bierial – (negatif) Berdasarkan hasil ouput pada tahap I, data person yang didrop dimasukkan dalam control file PDFILE (Person Delete File). pada tahap II yang data person yang didelete adalah sebagai berikut: Tabel 3. Person yang Didrop No Urut Nomor Person/Peserta Didrop Paket I Paket II Paket III 1 7 27 26 2 18 6 27 3 2 16 24 4 21 5 4 6 32
Juair - 2007
8
2.3. Tahap III (Run III) Pada tahap III, dilakukan untuk menyeleksi item soal yang tidak sesuai dengan model. Yakni yang mempunyai nilai out fit : outfit yang > + 2. dan nilai point bierial – (negatif) didrop dari paket soal. Item soal yang didrop dimasukkan dalam control file ID
No Urut 1 2 3
Tabel 4. Item Soal yang didrop Nomo Item Soal Didrop Paket I Paket II Selesai 14 belum ada anchor
Paket III 4
2.4. Tahap IV (Run IV) Pada tahap IV, dilakukan analisis anchor item. Sehingga soal-soal yang baru berada pada skala yang sama di bank soal. Item yang telah ditetapkan sebagai bank soal adalah item nomor 27, 33, 36, 37 dan 39. Masure hasi item tersebut diperoleh berdasarkan hasil run pada Bigstep soal Paket I Item Measure 27 0,51 33 0,51 36 0,67 37 0,35 39 0,82 Sehingga hasil akhirnya mengalami pergerseran menyesuaikan skala pada anchor item. Rekap selengkapnya dari 50 item soal per paket, item yang lolos hasil kalibrasi sebagai berikut: Tabel 5. Jumlah Item Soal hasil Kalibrasi Paket Soal Peserta Jml Soal terpakai Jml Soal didrop I
41
38
2
II
41
34
6
III
41
36
3
109
11
Jumlah
3. Hasil Out Put Measure Item Bigstetp Kalibrasi item soal dengan Bigstep akan memperoleh informasi yang berkaitan dengan skor yang diperoleh, berupa estimasi tingkat kesulitan dan kalibrasi soal, indeks standar error, kecocokan data dengan model, daya beda. Berdasarkan kalibarasi pada Bigstep, dengan memasukkan anchor item pada paket II dan III, diperoleh hasil sebagai berikut.
Juair - 2007
9
3.1. Paket Soal I (A) Gambar 3. Map Person dan Item MEASURE 4.0
3.0
2.0
1.0
.0
-1.0
-2.0
-3.0
MAP OF PERSONS AND ITEMS | MEASURE --------------------- PERSONS-+- ITEMS --------------------X + 4.0 | | | XX | + 3.0 X | | | X | X + X 2.0 X | XXXXXX | X | X | XXX + X 1.0 | XXX | XXXXXXX XX | X XX | X XXXX + XX .0 X | XXXXXXX XX | XXXX XX | XXXX X | X X + -1.0 X | X XX | X | | X + XX -2.0 | | | | + -3.0 --------------------- PERSONS-+- ITEMS ---------------------
Dari gambar tersebut, secara umum menunjukkan adanya match antara measure person orang (sebelah kiri) dengan measure dari item soal (sebelah kanan). Tabel 6 Summary Measure Person dan Item TABLE 3.1 UJI COBA SOAL TRY OUT MATEMATIKA PAKET-A “BIGSTEPS" RASCH ANALYSIS VER. 2.30 May 15 19:54 2007 INPUT: 41 PERSONS 40 ITEMS 38 ITEMS 2 CATEGORIES ---------------------
ANALYZED:
35 PERSONS
SUMMARY OF 35 MEASURED (NON-EXTREME) PERSONS +-----------------------------------------------------------------------------+ | SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT | |-----------------------------------------------------------------------------| | MEAN 22.7 38.0 .63 .44 .99 -.1 1.04 .0 | | S.D. 8.9 .0 1.41 .14 .11 1.2 .26 .9 | |-----------------------------------------------------------------------------| | RMSE .46 ADJ.S.D. 1.34 PERSON SEP 2.93 PERSON SEP REL. .90 | +-----------------------------------------------------------------------------+ SUMMARY OF 38 MEASURED (NON-EXTREME) ITEMS +-----------------------------------------------------------------------------+ | SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT | |-----------------------------------------------------------------------------| | MEAN 20.9 35.0 .00 .42 .99 -.1 1.04 -.1 | | S.D. 5.0 .0 .89 .04 .24 1.1 .52 .9 | |-----------------------------------------------------------------------------| | RMSE .42 ADJ.S.D. .78 ITEM SEP 1.83 ITEM SEP REL. .77 | +-----------------------------------------------------------------------------+
Juair - 2007 10
Dari tabel tersebut, terdapat 41 orang peserta uji coba, dengan 40 item soal. Adapun yang dianalisa terdapat 35 orang dan 2 item didrop karena tidak macth dengan model pada tahap 1-3. Pada tabel summary person, menunjukkan bahwa rata-rata skor mentah adalah 22,7 dari 38 item soal. Rata-rata kemampuan peserta adalah 0,63 logit, dengan mean error 0,44. Pada tabel summary item, menunjukkan bahwa koefisian reliabilitasnya 0,77 sehingga test tersebut termasuk baik, dengan kesalahan pengukuran rata-rata 0,42. standar error ini lebih kecil dibandingkan dengan standar error pada ’person’. Tabel 7 : ITEMS STATISTICS: ENTRY ORDER +---------------------------------------------------------------------------------------------------+ | NUM SCORE COUNT MEASURE ERROR|MNSQ INFIT|MNSQ OUTFT|PTBIS| NAME | |-----------------------------------+----------+----------+-----+-----------------------------------| | 1 18 35 .50 .40|1.14 .6|1.23 .6| .36| 01-MATEMATIKA bilangan bulat | | 2 22 35 -.14 .41|1.17 .7|1.06 .1| .35| 02-MATEMATIKA bilangan pecahan | | 3 23 35 -.31 .41| .99 .0| .90 -.2| .46| 03-MATEMATIKA perbandingan ope | | 4 22 35 -.14 .41| .97 -.1| .84 -.4| .49| 04-MATEMATIKA aritmatika sosia | | 5 22 35 -.14 .41|1.09 .4|1.09 .2| .40| 05-MATEMATIKA aljabar | | 6 15 35 .99 .41| .61 -2.0| .54 -1.6| .74| 06-MATEMATIKA himpunan bagian | | 7 26 35 -.85 .44| .97 -.1|2.22 1.4| .42| 07-MATEMATIKA irisan 2 himpuna | | 8 22 35 -.14 .41| .90 -.5| .83 -.4| .53| 08-MATEMATIKA gabungan 2 himpu | | 9 24 35 -.48 .42| .97 -.1| .88 -.2| .46| 09-MATEMATIKA diagram ven | | 10 17 35 .66 .40| .88 -.6| .84 -.5| .56| 10-MATEMATIKA persamaan linier | | 11 25 35 -.66 .43|1.13 .5|2.34 1.6| .29| 11-MATEMATIKA pemetaan | | 12 13 35 1.32 .42|1.14 .6|1.02 .0| .42| 12-MATEMATIKA nilai fungsi | | 13 16 35 .82 .40|1.12 .5|1.48 1.2| .45| 13-MATEMATIKA grafik fungsi li | | 14 25 35 -.66 .43| .87 -.6| .74 -.5| .52| 14-MATEMATIKA persamaan linier | | 15 22 35 -.14 .41| .95 -.3| .82 -.4| .51| 15-MATEMATIKA gradien dan pers | | 16 17 35 .66 .40|1.21 .9|1.11 .3| .35| 16-MATEMATIKA sifat bangun dat | | 17 25 35 -.66 .43| .80 -.9| .58 -.8| .59| 17-MATEMATIKA luas, keliling b | | 18 24 35 -.48 .42|1.19 .8|1.24 .4| .30| 18-MATEMATIKA garis singgung l | | 19 29 35 -1.49 .49|1.00 .0| .85 -.2| .35| 19-MATEMATIKA teorema pithagor | | 20 31 35 -2.04 .57| .88 -.3| .59 -.4| .38| 20-MATEMATIKA sifat sudut | | 21 9 35 2.07 .45|1.45 1.4|2.61 2.0| .07| 21-MATEMATIKA besar sudut | | 22 28 35 -1.25 .47|1.05 .2| .73 -.4| .38| 22-MATEMATIKA unsur bagun ruan | | 23 DELETED | | | | 23-MATEMATIKA jaring-jaring | | 24 DELETED | | | | 24-MATEMATIKA luas dan volume | | 25 21 35 .02 .40| .81 -.9| .69 -.8| .61| 25-MATEMATIKA kesebangunan | | 26 22 35 -.14 .41|1.55 2.2|2.08 1.8| .05| 26-MATEMATIKA kongruensi | | 27 18 35 .51 .40| .66 -1.8| .56 -1.5| .73| 27-MATEMATIKA rentang data | | 28 11 35 1.68 .43|1.39 1.4|1.55 1.0| .17| 28-MATEMATIKA ukuran tendensi | | 29 20 35 .18 .40| .75 -1.3| .68 -.9| .66| 29-MATEMATIKA tafsiran data | | 30 16 35 .82 .40| .72 -1.4| .74 -.8| .66| 30-MATEMATIKA suku ke-n | | 31 25 35 -.66 .43|1.00 .0|1.13 .2| .41| 31-MATEMATIKA operasi aljabar | | 32 21 35 .02 .40|1.46 1.9|1.41 .9| .15| 32-MATEMATIKA persamaan linier | | 33 18 35 .51 .40| .63 -2.0| .53 -1.6| .75| 33-MATEMATIKA suku ke-n | | 34 24 35 -.48 .42| .87 -.6| .79 -.4| .53| 34-MATEMATIKA ukuran tendensi | | 35 31 35 -2.04 .57| .90 -.2| .56 -.4| .38| 35-MATEMATIKA suku ke-n | | 36 17 35 .67 .40| .62 -2.0| .51 -1.7| .77| 36-MATEMATIKA operasi aljabar | | 37 19 35 .35 .40| .73 -1.4| .63 -1.2| .69| 37-MATEMATIKA perbandingan ope | | 38 18 35 .50 .40|1.18 .8|1.13 .3| .36| 38-MATEMATIKA suku ke-n | | 39 16 35 .82 .40| .73 -1.3| .63 -1.2| .67| 39-MATEMATIKA garis singgung l | | 40 22 35 -.14 .41|1.24 1.0|1.22 .5| .30| 40-MATEMATIKA ukuran tendensi | +---------------------------------------------------------------------------------------------------+
Dari tabel tersebut, diketahui bahwa item soal yang didelete 2 item yakni item 23 dan 24. Selanjutnya item yang ditetapkan sebagai anchor item yakni nomor 27, 33, 36, 37 dan 39. Jadi pada paket soal I, item soal yang dapat dimasukkan ke dalam item banking sebanyak 38 item. Item tersebut disajikan pada tabel berikut (sesuai dengan urutan tingkat soalnya):
Juair - 2007 11
Tabel 8. Item Banking dari Paket I (A) No Urut
PAKET
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38
I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A)
NO ITEM 20 35 19 22 7 11 14 17 31 9 18 34 3 2 4 5 8 15 26 40 25 32 29 37 1 38 27 33 10 16 36 13 30 39 6 12 28 21
TK -2.04 -2.04 -1.49 -1.25 -0.85 -0.66 -0.66 -0.66 -0.66 -0.48 -0.48 -0.48 -0.31 -0.14 -0.14 -0.14 -0.14 -0.14 -0.14 -0.14 0.02 0.02 0.18 0.35 0.50 0.50 0.51 0.52 0.66 0.66 0.67 0.82 0.82 0.82 0.99 1.32 1.68 2.07
MATERI sifat garis sejajar dan sudut suku ke-n deret geometri teorema phytagoras unsur bangun ruang irisan dua himpunan aturan pemetaan persamaan linier 2 variabel luas dan keliling bangun datar opr aljabar diagram venn garis singgung lingkaran ukuran tendensi (mean, median, modus) perbandingan bil bulat & pecahan opr hitung bil pecahan aritmatika sosial opr aljabar gabungan dua himpunan gradien kongruensi ukuran tendensi (mean, median, modus) bangun datar persamaan linier 2 variabel menyajikan dan menafsirkan tabel perbandingan bil bulat & pecahan opr hitung bil bulat ukuran tendensi (mean, median, modus) anchor item - rentang data anchor item - suku ke-n deret aritmatika persamaan linier 1 variabel sifat bangun datar anchor item - opr aljabar grafik fungsi linier suku ke-n deret aritmatika anchor item - garis singgung lingkaran himpunan bagian nilai fungsi ukuran tendensi (mean, median, modus) besar dan jenis sudut
Juair - 2007 12
GRAFIK TK ITEM BANK DARI PAKET I (A) 2.50 2.00 1.50
TK ITEM
1.00 0.50 0.00
TK ITEM
-0.50 -1.00 -1.50 -2.00
20 35 19 22 7 11 14 17 31 9 18 34 3 2 4 5 8 15 26 40 25 32 29 37 1 38 27 33 10 16 36 13 30 39 6 12 28 21
-2.50
NO ITEM
Item soal yang paling mudah adalah item nomor 20 dengan Tingkat Kesulitan (TK) – 2,04 (paling kiri) dan item paling sulit adalah item nomor 21 dengan TK 2,07. 3.2. Paket Soal II (B) Pada gambar map person berikut ini, secara umum menunjukkan adanya match antara measure person orang (sebelah kiri) dengan measure dari item soal (sebelah kanan).
Juair - 2007 13
Gambar 4: Map Person dan Item Soal pada Paket B (II) TABLE 1.1 UJI COBA SOAL TRY OUT MATEMATIKA PAKET-B RASCH ANALYSIS VER. 2.30 May 15 17:40 2007 INPUT: 41 PERSONS 40 ITEMS 34 ITEMS 2 CATEGORIES
MEASURE 4.0
3.0
2.0
1.0
.0
-1.0
-2.0
-3.0
“BIGSTEPS” ANALYZED:
37 PERSONS
MAP OF PERSONS AND ITEMS | MEASURE --------------------- PERSONS-+- ITEMS --------------------X + 4.0 | XX | | X | + 3.0 | XX | XX | XX | XXXXX + X 2.0 XX | XXXXXXX | X | XXX | X + 1.0 | XXX XXXX | XXXXXX | XXXXXXXX XX | XXXXXXXX XX + X .0 XX | X | | | X + -1.0 | | | X XX | + -2.0 | | X | | + -3.0 --------------------- PERSONS-+- ITEMS ---------------------
Tabel 9 Summary Person dan Item May 15 17:40 2007 INPUT: 41 PERSONS 40 ITEMS ANALYZED: 37 PERSONS 34 ITEMS 2 CATEGORIES -----------------------------------------------------------------------SUMMARY OF
37 MEASURED (NON-EXTREME) PERSONS
+-----------------------------------------------------------------------------+ | SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT | |-----------------------------------------------------------------------------| | MEAN 21.2 34.0 1.22 .45 .99 .0 1.00 .0 | | S.D. 7.8 .0 1.30 .10 .12 .8 .27 .7 | |-----------------------------------------------------------------------------| | RMSE .46 ADJ.S.D. 1.21 PERSON SEP 2.66 PERSON SEP REL. .88 | +-----------------------------------------------------------------------------+ MAXIMUM EXTREME SCORE: 1 PERSONS
Juair - 2007 14
SUMMARY OF 34 MEASURED (NON-EXTREME) ITEMS +-----------------------------------------------------------------------------+ | SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT | |-----------------------------------------------------------------------------| | MEAN 23.1 37.0 .53 .42 1.00 -.1 1.00 -.1 | | S.D. 4.9 .0 .88 .07 .21 1.0 .30 1.1 | |-----------------------------------------------------------------------------| | RMSE .42 ADJ.S.D. .77 ITEM SEP 1.82 ITEM SEP REL. .77 | +-----------------------------------------------------------------------------+
Dari tabel tersebut, terdapat 41 orang peserta uji coba, dengan 40 item soal. Adapun yang dianalisa terdapat 37 orang dan 6 item didrop karena tidak macth dengan model pada tahap 1-4. Pada tabel summary person, menunjukkan bahwa rata-rata skor mentah adalah 21,2 dari 37 item soal. Rata-rata kemampuan peserta adalah 1,22 logit, dengan mean error 0,45. Pada tabel summary item, menunjukkan bahwa koefisian reliabilitasnya 0,77 sehingga test tersebut termasuk baik, dengan kesalahan pengukuran rata-rata 0,42. standar error ini lebih kecil dibandingkan dengan standar error pada ’person’. Tabel 10 : ITEMS STATISTICS: ENTRY ORDER +---------------------------------------------------------------------------------------------------+ | NUM SCORE COUNT MEASURE ERROR|MNSQ INFIT|MNSQ OUTFT|PTBIS| NAME | |-----------------------------------+----------+----------+-----+-----------------------------------| | 1 24 37 .45 .40| .50 -3.0| .40 -2.9| .85| 01-MATEMATIKA bilangan bulat | | 2 24 37 .45 .40|1.01 .0|1.02 .1| .46| 02-MATEMATIKA bilangan pecahan | | 3 27 37 -.06 .43| .54 -2.3| .38 -2.3| .81| 03-MATEMATIKA perbandingan ope | | 4 24 37 .45 .40| .75 -1.3| .63 -1.5| .65| 04-MATEMATIKA aritmatika sosia | | 5 18 37 1.34 .38| .98 -.1|1.03 .1| .42| 05-MATEMATIKA aljabar | | 6 26 37 .12 .42| .93 -.3| .89 -.4| .51| 06-MATEMATIKA himpunan bagian | | 7 35 37 -2.40 .78|1.23 .3| .87 -.1| .18| 07-MATEMATIKA irisan 2 himpuna | | 8 18 37 1.34 .38|1.17 1.0|1.05 .2| .32| 08-MATEMATIKA gabungan 2 himpu | | 9 DELETED | | | | 09-MATEMATIKA diagram ven | | 10 10 37 2.55 .41|1.13 .6|1.20 .4| .23| 10-MATEMATIKA persamaan linier | | 11 24 37 .45 .40| .92 -.4| .83 -.6| .53| 11-MATEMATIKA pemetaan | | 12 25 37 .29 .41|1.11 .5|1.10 .3| .39| 12-MATEMATIKA nilai fungsi | | 13 DELETED | | | | 13-MATEMATIKA grafik fungsi li | | 14 DELETED | | | | 14-MATEMATIKA persamaan linier | | 15 22 37 .76 .39|1.38 1.7|1.50 1.8| .17| 15-MATEMATIKA gradien dan pers | | 16 22 37 .76 .39|1.30 1.4|1.37 1.4| .24| 16-MATEMATIKA sifat bangun dat | | 17 25 37 .29 .41| .86 -.7|1.39 1.1| .55| 17-MATEMATIKA luas, keliling b | | 18 23 37 .61 .39| .83 -.9| .71 -1.3| .60| 18-MATEMATIKA garis singgung l | | 19 26 37 .12 .42|1.17 .7|1.20 .6| .34| 19-MATEMATIKA teorema pithagor | | 20 26 37 .12 .42|1.24 1.0|1.36 1.0| .26| 20-MATEMATIKA sifat sudut | | 21 23 37 .61 .39| .96 -.2| .84 -.6| .50| 21-MATEMATIKA besar sudut | | 22 23 37 .61 .39| .81 -1.0| .75 -1.1| .60| 22-MATEMATIKA unsur bagun ruan | | 23 DELETED | | | | 23-MATEMATIKA jaring-jaring | | 24 10 37 2.55 .41|1.02 .1| .89 -.3| .35| 24-MATEMATIKA luas dan volume | | 25 14 37 1.92 .38|1.21 1.2|1.64 1.8| .21| 25-MATEMATIKA kesebangunan | | 26 DELETED | | | | 26-MATEMATIKA kongruensi | | 27 22 37 .51A .40| .99 -.1| .93 -.3| .51| 27 anchor item - 1 | | 28 DELETED | | | | 28-MATEMATIKA ukuran tendensi | | 29 24 37 .45 .40| .90 -.5| .85 -.6| .54| 29-MATEMATIKA tafsiran data | | 30 25 37 .29 .41| .98 -.1|1.00 .0| .47| 30-MATEMATIKA suku ke-n | | 31 33 37 -1.50 .59|1.04 .1|1.15 .2| .29| 31-MATEMATIKA operasi aljabar | | 32 24 37 .45 .40| .86 -.7| .76 -1.0| .57| 32-MATEMATIKA persamaan linier | | 33 24 37 .51A .40| .80 -1.0| .68 -1.4| .61| 33 ANCHOR ITEM - 2 | | 34 24 37 .45 .40|1.03 .1| .91 -.3| .44| 34-MATEMATIKA ukuran tendensi | | 35 18 37 1.34 .38|1.00 .0| .93 -.3| .43| 35-MATEMATIKA suku ke-n | | 36 21 37 .67A .39| .97 -.2| .90 -.4| .52| 36 anchor item - 3 | | 37 25 37 .35A .40| .74 -1.3| .61 -1.6| .65| 37 anchor item - 4 | | 38 25 37 .29 .41| .99 .0|1.41 1.2| .46| 38-MATEMATIKA suku ke-n | | 39 24 37 .82A .39|1.48 2.2|1.48 1.7| .07| 39 anchor item - 5 | | 40 26 37 .12 .42|1.23 .9|1.28 .8| .31| 40-MATEMATIKA ukuran tendensi | +---------------------------------------------------------------------------------------------------+
Dari tabel tersebut, diketahui bahwa item soal yang didelete 6 item yakni item. Selanjutnya item yang ditetapkan sebagai anchor item yakni nomor 27, 33, 36, 37 dan 39 berfungsi dengan baik. Sehingga displace tidak terlalu mencolok.
Juair - 2007 15
Item soal pada Paket II, yang dapat dimasukkan ke dalam item banking sebanyak 34 item. Item tersebut disajikan pada tabel berikut (sesuai dengan urutan tingkat soalnya): Tabel 11. Item Banking dari Paket II (B) No Urut
PAKET
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B) II (B)
NO ITEM 7 31 3 6 19 20 40 12 17 30 38 37 1 2 4 11 29 32 34 27 33 18 21 22 36 15 16 39 5 8 35 25 10 24
TK -2.40 -1.50 -0.06 0.12 0.12 0.12 0.12 0.29 0.29 0.29 0.29 0.35 0.45 0.45 0.45 0.45 0.45 0.45 0.45 0.53 0.54 0.61 0.61 0.61 0.67 0.76 0.76 0.82 1.34 1.34 1.34 1.92 2.55 2.55
MATERI irisan dua himpunan opr aljabar perbandingan bil bulat & pecahan himpunan bagian teorema phytagoras sifat garis sejajar dan sudut ukuran tendensi (mean, median, modus) nilai fungsi luas dan keliling bangun datar suku ke-n deret aritmatika ukuran tendensi (mean, median, modus) perbandingan bil bulat & pecahan opr hitung bil bulat opr hitung bil pecahan aritmatika sosial aturan pemetaan menyajikan dan menafsirkan tabel persamaan linier 2 variabel ukuran tendensi (mean, median, modus) anchor item - rentang data anchor item - suku ke-n deret aritmatika garis singgung lingkaran besar dan jenis sudut unsur bangun ruang anchor item - opr aljabar gradien sifat bangun datar anchor item - garis singgung lingkaran opr aljabar gabungan dua himpunan suku ke-n deret geometri bangun datar persamaan linier 1 variabel luas permukaan dan volume bangun datar
Juair - 2007 16
TK ITEM BANK DARI PAKET II (B) 3.00
2.00
TK
1.00
0.00
TK ITEM
-1.00
-2.00
7 31 3 6 19 20 40 12 17 30 38 37 1 2 4 11 29 32 34 27 33 18 21 22 36 15 16 39 5 8 35 25 10 24
-3.00
NO ITEM
Item soal yang paling mudah adalah item nomor 7 dengan Tingkat Kesulitan (TK) – 2,40 (paling kiri) dan item paling sulit adalah item nomor 24 dengan TK 2,55. 3.3. Paket Soal III (C) Dari gambar map person dan item berikut, secara umum menunjukkan adanya match antara measure person orang (sebelah kiri) dengan measure dari item soal (sebelah kanan). Gambar 5: MAP OF PERSONS AND ITEMS MEASURE --------------------6.0
5.0
4.0
3.0
2.0
1.0
.0
-1.0
-2.0
-3.0 ---------------------
| MEASURE PERSONS-+- ITEMS --------------------+ 6.0 | | | X + 5.0 | | X | + X 4.0 X | XX | | XXXX + 3.0 XX | X X | XXX | XXXXXX + 2.0 XX | XX | X XXX | XXX XXX + XXXXX 1.0 XXXX | XXXXXXXXXXX X | XXXXXXXXX X | X + .0 | | XXX | + -1.0 | X | | + -2.0 | | | X + X -3.0 PERSONS-+- ITEMS ---------------------
Juair - 2007 17
Tabel 12: Summary Person dan Iten TABLE 3.1 UJI COBA SOAL TRY OUT MATEMATIKA PAKET-C "BIGSTEPS" RASCH ANALYSIS VER. 2.30 May 17 8:56 2007 INPUT: 41 PERSONS 40 ITEMS ANALYZED: 38 PERSONS 36 ITEMS 2 CATEGORIES ---------------------------------------------------------------------------------SUMMARY OF 38 MEASURED (NON-EXTREME) PERSONS +-----------------------------------------------------------------------------+ | SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT | |-----------------------------------------------------------------------------| | MEAN 22.6 36.0 1.72 .46 1.00 .1 .94 -.1 | | S.D. 8.2 .0 1.43 .14 .15 .9 .26 .8 | |-----------------------------------------------------------------------------| | RMSE .48 ADJ.S.D. 1.35 PERSON SEP 2.83 PERSON SEP REL. .89 | +-----------------------------------------------------------------------------+ SUMMARY OF 36 MEASURED (NON-EXTREME) ITEMS +-----------------------------------------------------------------------------+ | SCORE COUNT MEASURE ERROR MNSQ INFIT MNSQ OUTFIT | |-----------------------------------------------------------------------------| | MEAN 23.8 38.0 .96 .42 1.00 .0 .94 -.3 | | S.D. 5.6 .0 1.03 .11 .19 1.2 .30 1.4 | |-----------------------------------------------------------------------------| | RMSE .44 ADJ.S.D. .93 ITEM SEP 2.13 ITEM SEP REL. .82 | +-----------------------------------------------------------------------------+ MINIMUM EXTREME SCORE: 1 ITEMS
Dari tabel tersebut, terdapat 41 orang peserta uji coba, dengan 40 item soal. Adapun yang dianalisa terdapat 38 orang dan 3 item didrop karena tidak macth dengan model pada tahap 1-4 dan 1 item sangat mudah (esktrem). Pada tabel summary person, menunjukkan bahwa rata-rata skor mentah adalah 22,6 dari 36 item soal. Rata-rata kemampuan peserta adalah 1,72 logit, dengan mean error 0,46. Pada tabel summary item, menunjukkan bahwa koefisian reliabilitasnya 0,82 sehingga test tersebut termasuk baik, dengan kesalahan pengukuran rata-rata 0,42. standar error ini lebih kecil dibandingkan dengan standar error pada ’person’. Tabel 13: ITEMS STATISTICS: ENTRY ORDER +---------------------------------------------------------------------------------------------------+ | NUM SCORE COUNT MEASURE ERROR|MNSQ INFIT|MNSQ OUTFT|PTBIS| NAME | |-----------------------------------+----------+----------+-----+-----------------------------------| | 1 26 38 .67 .41|1.22 1.3|1.01 .0| .34| 01-MATEMATIKA bilangan bulat | | 2 26 38 .67 .41| .68 -2.3| .53 -2.7| .70| 02-MATEMATIKA bilangan pecahan | | 3 26 38 .67 .41|1.30 1.8|1.10 .4| .27| 03-MATEMATIKA perbandingan ope | | 4 13 38 2.62 .40|1.33 2.0|1.33 1.5| .23| 04-MATEMATIKA aritmatika sosia | | 5 13 38 2.62 .40|1.11 .7|1.20 .9| .38| 05-MATEMATIKA aljabar | | 6 24 38 .99 .39|1.11 .8|1.14 .7| .39| 06-MATEMATIKA himpunan bagian | | 7 13 38 2.62 .40| .86 -1.0| .71 -1.6| .52| 07-MATEMATIKA irisan 2 himpuna | | 8 27 38 .50 .42| .85 -1.0| .65 -1.7| .58| 08-MATEMATIKA gabungan 2 himpu | | 9 24 38 .99 .39|1.25 1.7|1.24 1.2| .30| 09-MATEMATIKA diagram ven | | 10 27 38 .50 .42| .90 -.6| .82 -.8| .53| 10-MATEMATIKA persamaan linier | | 11 DELETED | | | | 11-MATEMATIKA pemetaan | | 12 26 38 .67 .41|1.04 .3| .99 -.1| .44| 12-MATEMATIKA nilai fungsi | | 13 DELETED | | | | 13-MATEMATIKA grafik fungsi li | | 14 DELETED | | | | 14-MATEMATIKA persamaan linier | | 15 23 38 1.14 .39| .97 -.2| .84 -1.0| .50| 15-MATEMATIKA gradien dan pers | | 16 12 38 2.78 .41| .99 .0| .85 -.7| .45| 16-MATEMATIKA sifat bangun dat | | 17 26 38 .67 .41|1.12 .8|1.37 1.5| .37| 17-MATEMATIKA luas, keliling b | | 18 27 38 .50 .42|1.12 .7|1.05 .2| .39| 18-MATEMATIKA garis singgung l | | 19 22 38 1.29 .38|1.00 .0| .92 -.5| .48| 19-MATEMATIKA teorema pithagor | | 20 38 38 -3.56 1.45| MINIMUM ESTIMATED MEASURE | 20-MATEMATIKA sifat sudut | | 21 23 38 1.14 .39|1.24 1.7|1.48 2.4| .31| 21-MATEMATIKA besar sudut | | 22 25 38 .84 .40| .69 -2.4| .52 -2.9| .70| 22-MATEMATIKA unsur bagun ruan | | 23 37 38 -2.82 1.05| .77 -.4| .13 -1.1| .35| 23-MATEMATIKA jaring-jaring | | 24 26 38 .67 .41| .82 -1.2| .79 -1.0| .59| 24-MATEMATIKA luas dan volume | | 25 24 38 .99 .39|1.04 .3|1.03 .2| .44| 25-MATEMATIKA kesebangunan | | 26 6 38 3.96 .50|1.09 .4|1.23 .5| .24| 26-MATEMATIKA kongruensi |
Juair - 2007 18
| 27 26 38 .51A .42|1.11 .7|1.10 .4| .43| 27 anchor item - 1 | | 28 27 38 .50 .42|1.00 .0| .85 -.7| .47| 28-MATEMATIKA ukuran tendensi | | 29 25 38 .84 .40|1.21 1.4|1.12 .6| .32| 29-MATEMATIKA tafsiran data | | 30 21 38 1.44 .38|1.05 .4|1.25 1.4| .41| 30-MATEMATIKA suku ke-n | | 31 24 38 .99 .39|1.00 .0| .79 -1.2| .48| 31-MATEMATIKA operasi aljabar | | 32 27 38 .50 .42|1.03 .2|1.15 .6| .43| 32-MATEMATIKA persamaan linier | | 33 27 38 .51A .42| .61 -2.7| .44 -3.1| .75| 33 ANCHOR ITEM - 2 | | 34 24 38 .99 .39|1.11 .7|1.08 .4| .39| 34-MATEMATIKA ukuran tendensi | | 35 27 38 .50 .42| .75 -1.6| .58 -2.1| .64| 35-MATEMATIKA suku ke-n | | 36 27 38 .67A .41| .65 -2.6| .49 -2.9| .70| 36 anchor item - 3 | | 37 27 38 .35A .43| .79 -1.3| .58 -1.9| .66| 37 anchor item - 4 | | 38 27 38 .50 .42|1.08 .5|1.19 .8| .41| 38-MATEMATIKA suku ke-n | | 39 26 38 .82A .40| .95 -.4| .93 -.4| .48| 39 anchor item - 5 | | 40 26 38 .67 .41|1.15 .9|1.20 .9| .35| 40-MATEMATIKA ukuran tendensi | +---------------------------------------------------------------------------------------------------+
Item soal pada Paket III, yang dapat dimasukkan ke dalam item banking sebanyak 36item. Item tersebut disajikan pada tabel berikut (sesuai dengan urutan tingkat soalnya): No Urut
PAKET
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C) III (C)
Tabel 14 Item Banking dari Paket III (C) NO TK MATERI ITEM 20 -3.56 sifat garis sejajar dan sudut 23 -2.82 model kerangka dan jaring-jaring' 37 0.35 perbandingan bil bulat & pecahan 8 0.50 gabungan dua himpunan 10 0.50 persamaan linier 1 variabel 18 0.50 garis singgung lingkaran 28 0.50 ukuran tendensi (mean, median, modus) 32 0.50 persamaan linier 2 variabel 35 0.50 suku ke-n deret geometri 38 0.50 ukuran tendensi (mean, median, modus) 27 0.55 anchor item - rentang data 33 0.56 anchor item - suku ke-n deret aritmatika 1 0.67 opr hitung bil bulat 2 0.67 opr hitung bil pecahan 3 0.67 perbandingan bil bulat & pecahan 12 0.67 nilai fungsi 17 0.67 luas dan keliling bangun datar 24 0.67 luas permukaan dan volume bangun datar 40 0.67 ukuran tendensi (mean, median, modus) 36 0.67 anchor item - opr aljabar 39 0.82 anchor item - garis singgung lingkaran 22 0.84 unsur bangun ruang 29 0.84 menyajikan dan menafsirkan tabel 6 0.99 himpunan bagian 9 0.99 diagram venn 25 0.99 bangun datar 31 0.99 opr aljabar 34 0.99 ukuran tendensi (mean, median, modus) 15 1.14 gradien 21 1.14 besar dan jenis sudut 19 1.29 teorema phytagoras 30 1.44 suku ke-n deret aritmatika 4 2.62 aritmatika sosial 5 2.62 opr aljabar 7 2.62 irisan dua himpunan 16 2.78 sifat bangun datar
Juair - 2007 19
TK ITEM BANK DARI PAKET III (C) 5.00 4.00 3.00 2.00
TK
1.00 TK ITEM 0.00 -1.00 -2.00 -3.00
20 23 37 8 10 18 28 32 35 38 27 33 1 2 3 12 17 24 40 36 39 22 29 6 9 25 31 34 15 21 19 30 4 5 7 16 26
-4.00
NO ITEM
Item soal yang paling mudah adalah item nomor 20 (paling kiri) dan item paling sulit adalah item nomor 36.
4. Item Banking Dari ketiga paket soal tersebut, setelah dikalibrasi dengan Bigstep maka item-item yang fit dijadikan sebagai item bank. Item yang fit adalah 109 item dari 120 item soal pada paket I, II dan II. Adapun item bank tersebut rekap hasilnya disajikan pada tabel berikut : Tabel 15: Jumlah Item Terklaibrasi Paket Soal Jml Item Terkalibrasi Keterangan I (A)
38
II (B)
34
III (C)
36
Jumlah
109
Tabel 16.Rekap soal dalam Bank Soal dengan Tingkat Kesukaran berdasarkan urutan tingkat Kesukaran No Urut
PAKET
1 2 3
C C B
NO ITEM 20 23 7
TK -3.56 -2.82 -2.40
MATERI sifat garis sejajar dan sudut model kerangka dan jaring-jaring' irisan dua himpunan
Juair - 2007 20
4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50
A A B A A A A A A A A A A A A A A A A A A B A A B B B B A B B B B B B B B B B B A C C C C C C
20 35 31 19 22 7 11 14 17 31 9 18 34 3 2 4 5 8 15 26 40 3 25 32 6 19 20 40 29 12 17 30 38 1 2 4 11 29 32 34 1 8 10 18 28 32 35
-2.04 -2.04 -1.50 -1.49 -1.25 -0.85 -0.66 -0.66 -0.66 -0.66 -0.48 -0.48 -0.48 -0.31 -0.14 -0.14 -0.14 -0.14 -0.14 -0.14 -0.14 -0.06 0.02 0.02 0.12 0.12 0.12 0.12 0.18 0.29 0.29 0.29 0.29 0.45 0.45 0.45 0.45 0.45 0.45 0.45 0.50 0.50 0.50 0.50 0.50 0.50 0.50
sifat garis sejajar dan sudut suku ke-n deret geometri opr aljabar teorema phytagoras unsur bangun ruang irisan dua himpunan aturan pemetaan persamaan linier 2 variabel luas dan keliling bangun datar opr aljabar diagram venn garis singgung lingkaran ukuran tendensi (mean, median, modus) perbandingan bil bulat & pecahan opr hitung bil pecahan aritmatika sosial opr aljabar gabungan dua himpunan gradien kongruensi ukuran tendensi (mean, median, modus) perbandingan bil bulat & pecahan bangun datar persamaan linier 2 variabel himpunan bagian teorema phytagoras sifat garis sejajar dan sudut ukuran tendensi (mean, median, modus) menyajikan dan menafsirkan tabel nilai fungsi luas dan keliling bangun datar suku ke-n deret aritmatika ukuran tendensi (mean, median, modus) opr hitung bil bulat opr hitung bil pecahan aritmatika sosial aturan pemetaan menyajikan dan menafsirkan tabel persamaan linier 2 variabel ukuran tendensi (mean, median, modus) opr hitung bil bulat gabungan dua himpunan persamaan linier 1 variabel garis singgung lingkaran ukuran tendensi (mean, median, modus) persamaan linier 2 variabel suku ke-n deret geometri
Juair - 2007 21
51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97
A C B B B A A C C C C C C C B B A A C C A C C C C C C C C A B B B C A B A B B C C C C C B C A
38 38 18 21 22 10 16 1 2 3 12 17 24 40 15 16 13 30 22 29 6 6 9 25 31 34 15 21 19 12 5 8 35 30 28 25 21 10 24 4 5 7 16 26 37 37 37
0.50 0.50 0.61 0.61 0.61 0.66 0.66 0.67 0.67 0.67 0.67 0.67 0.67 0.67 0.76 0.76 0.82 0.82 0.84 0.84 0.99 0.99 0.99 0.99 0.99 0.99 1.14 1.14 1.29 1.32 1.34 1.34 1.34 1.44 1.68 1.92 2.07 2.55 2.55 2.62 2.62 2.62 2.88 3.96 0.35A 0.35A 0.35A
ukuran tendensi (mean, median, modus) ukuran tendensi (mean, median, modus) garis singgung lingkaran besar dan jenis sudut unsur bangun ruang persamaan linier 1 variabel sifat bangun datar opr hitung bil bulat opr hitung bil pecahan perbandingan bil bulat & pecahan nilai fungsi luas dan keliling bangun datar luas permukaan dan volume bangun datar ukuran tendensi (mean, median, modus) gradien sifat bangun datar grafik fungsi linier suku ke-n deret aritmatika unsur bangun ruang menyajikan dan menafsirkan tabel himpunan bagian himpunan bagian diagram venn bangun datar opr aljabar ukuran tendensi (mean, median, modus) gradien besar dan jenis sudut teorema phytagoras nilai fungsi opr aljabar gabungan dua himpunan suku ke-n deret geometri suku ke-n deret aritmatika ukuran tendensi (mean, median, modus) bangun datar besar dan jenis sudut persamaan linier 1 variabel luas permukaan dan volume bangun datar aritmatika sosial opr aljabar irisan dua himpunan sifat bangun datar kongruensi perbandingan bil bulat & pecahan perbandingan bil bulat & pecahan perbandingan bil bulat & pecahan
Juair - 2007 22
98 99 100 101 102 103 104 105 106 107 108 109
A B C A B C A B C A B C
27 27 27 33 33 33 36 36 36 39 39 39
0.51A 0.51A 0.51A 0.51A 0.51A 0.51A 0.67A 0.67A 0.67A 0.82A 0.82A 0.82A
anchor item - rentang data anchor item - rentang data anchor item - rentang data anchor item - suku ke-n deret aritmatika anchor item - suku ke-n deret aritmatika anchor item - suku ke-n deret aritmatika anchor item - opr aljabar anchor item - opr aljabar anchor item - opr aljabar anchor item - garis singgung lingkaran anchor item - garis singgung lingkaran anchor item - garis singgung lingkaran
Rekap tingkat kesulitan Item Banking di atas, disajikan dalam bentul grafik sebagai berikut: GRAFIK TK (ITEM BANK) 5,00 4,00 3,00
TK Kesulitan
2,00 1,00 TK (Item Bank) 0,00 -1,00 -2,00 -3,00 -4,00 1
8
15
22 29
36
43 50
57
64 71
78 85
92
99 106
NO URUT ITEM BANK
Dari tabel dan grafik bahwa distribusi tingkat kesulitan pada bank soal adalah mulai dari -3,56 (paling mudah) sampai dengan 3,96 (paling sulit). Adapun jumlah item soal bank soal adalah 109 item. Item yang semakin ke kanan, maka makin tinggi pula kemampuan orang untuk dapat menjawab dengan benar.
VI. DESAIN TEST. Sebelum mendesain test, sebaiknya diperoleh terlebih dahulu informasi tentang kelompok peserta test. Spesifikasi target digunakan 3 variabel yakni: 1) titik tengah target, 2) dispers targt dan 3) distribusi target, dimana M = perkiraan terbaik tentang titik tengah target S = perkiraan terbaik tentang dispersi target
Juair - 2007 23
D = perkiraan terbaik tentang distribusi skor. Atau dengan ringkas dinyatakan dengan fungsi target G(M,S,D). Karakteristik target tersebut dipenuhi dengan karakteristik desain tes T(H,W,L) dimana H merupakan tinggi tes yang diestimasi oleh h; W merupakan lebar tes atau range tingkat kesukaran soal yang diestimasi oleh w; dan L panjang tes atau banyaknya soal dalam tes ini. Berdasarkan target yang diberikan M, S dan D tersebut di atas, akan dibuat desain tes berdasarkan uniform distribusi parameter soal. Untuk estimasi terhadap karakteristik tes tersebut digunakan t(h,w,L). Untuk keperluan desain tes berdasarkan soal-soal dari ketiga paket yang telah disamakan skalanya sesuai dengan langkah tersebut di atas, diperoleh soalsoal yang siap untuk di desain menjadi tes yang cocok untuk peserta tes. Prosedur desain soal dengan item bank yang ada, penulis akan membuat paket soal dengan kriteria sebagai berikut: Titik tengah target M = 0,2 Rata Tingkat Kesulitan Targen (TK) H = M = 0,2 Sebaran skor S target = 1,5 Nilai optimum TK W = 4 S = 4 x 1.5 = 6 SEM = 0.5 L atau panjang soal = C/SEM2 , dimana C = 6 S atau 6 x 1.5 = 9 Maka L = 9 / 0.25 = 36 maka panjang soal 36 item dibulatkan menjadi 35 Dengan ketentuan tersebut maka, Tingkat Kesukaran item soal yang tersusun dalam paket soal adalah : Tabel 17: Desain Soal Test H=0,2 W=6 L=35 Delta-i (δi) = H - (W/2)[ (L-2.i+1)/L ] i= no item soal
Item soal 1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
H=0.2 2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2
W/2 = 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
(L-2i+1)/L 4 0.97143 0.91429 0.85714 0.80000 0.74286 0.68571 0.62857 0.57143 0.51429 0.45714 0.40000 0.34286 0.28571 0.22857 0.17143 0.11429 0.05714 0.00000
δi 5 -2.71 -2.54 -2.37 -2.20 -2.03 -1.86 -1.69 -1.51 -1.34 -1.17 -1.00 -0.83 -0.66 -0.49 -0.31 -0.14 0.03 0.20
Juair - 2007 24
19 0.2 20 0.2 21 0.2 22 0.2 23 0.2 24 0.2 25 0.2 26 0.2 27 0.2 28 0.2 29 0.2 30 0.2 31 0.2 32 0.2 33 0.2 34 0.2 35 0.2 Rata-rata TK W rentang TK
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
-0.05714 -0.11429 -0.17143 -0.22857 -0.28571 -0.34286 -0.40000 -0.45714 -0.51429 -0.57143 -0.62857 -0.68571 -0.74286 -0.80000 -0.85714 -0.91429 -0.97143
0.37 0.54 0.71 0.89 1.06 1.23 1.40 1.57 1.74 1.91 2.09 2.26 2.43 2.60 2.77 2.94 3.11 0,20 6
Dalam mendesain test disamping susunan tingkat kesulitan, harus diperhatikan pula cakupan isi materi yang harus diujikan. Sehingga aspek mutu test baik secara kuantitatif maupun kualuitatif terpenuhi. Akhirnya, dengan memperhatikan sebaran tingkat kesulitan pada item bank dan indikator soal yang harus dipenuhi, paket soal yang terbentuk adalah : Tabel 18. Paket Soal Hasil Desain Berdasarkan Item Banking No Urut 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
Paket III (C) II (B) II (B) I (A) I (A) II (B) I (A) I (A) I (A) I (A) I (A) I (A) I (A) I (A) II (B) II (B) II (B) III (C) I (A) I (A) II (B) III (C) III (C) I (A) I (A)
No Item 23 7 7 20 35 31 19 22 11 17 9 3 26 40 20 37 32 32 27 33 21 1 2 36 39
TK -2.82 -2.40 -2.40 -2.04 -2.04 -1.50 -1.49 -1.25 -0.66 -0.66 -0.48 -0.31 -0.14 -0.14 0.12 0.35 0.45 0.5 0.51 0.51 0.61 0.67 0.67 0.67 0.82
MATERI model kerangka dan jaring-jaring' irisan dua himpunan irisan dua himpunan sifat garis sejajar dan sudut suku ke-n deret geometri opr aljabar teorema phytagoras unsur bangun ruang aturan pemetaan luas dan keliling bangun datar diagram venn perbandingan bil bulat & pecahan kongruensi ukuran tendensi (mean, median, modus) sifat garis sejajar dan sudut perbandingan bil bulat & pecahan persamaan linier 2 variabel persamaan linier 2 variabel anchor item - rentang data anchor item - suku ke-n deret aritmatika besar dan jenis sudut opr hitung bil bulat opr hitung bil pecahan anchor item - opr aljabar anchor item - garis singgung lingkaran
Juair - 2007 25
26 I (A) 27 III (C) 28 I (A) 29 III (C) 30 I (A) 31 II (B) 32 II (B) 33 II (B) 34 III (C) 35 III (C) Rata-Rata TK Rentang TK
6 19 12 30 28 25 10 24 4 16
0.99 1.29 1.32 1.43 1.68 1.95 2.55 2.55 2.62 2.88 0,198 5,80
himpunan bagian teorema phytagoras nilai fungsi suku ke-n deret aritmatika ukuran tendensi (mean, median, modus) bangun datar persamaan linier 1 variabel luas permukaan dan volume bangun datar aritmatika sosial sifat bangun datar (mendekati 0,2) (mendekati 6)
Rata-rata Tingkat Kesulitan pada paket soal yang terbentuk 0,198 mendekati estimasi Tingkat Kesulitan Target (0,2) dan rentang tingkat kesulitan 5,8 mendekati kondisi ideal . Demikian pula distribusi Tingkat Kesulitan item soal mendekati dengan kriteria dari Item Banking yang terbentuk. Mulai dari yang paling mudah pada item 1 sampai dengan item paling sulit pada item 35 terakhir. Materi soal pada paket soal yang terbentuk juga memperhatikan seluruh aspek materi yang sesuai dengan Kompetensi Dasar. Sebaran tingkat kesulitan juga mendekati dengan target yang ditentukan yakni 5,80 dari target 6. Distibusi tingkat soal item soal, tidak jauh berbeda dari kondisi ideal Item Bank. (lihat grafik dibawah) Grafik TK Item Soal Ideal dan Soal Rakitan 4 3
Tk Kesulitan
2 1 TK Ideal 0
TK Soal Rakitan
-1 -2 -3
35
33
31
29
27
25
23
21
19
17
15
13
9
11
7
5
3
1
-4
Nomor Item
VII. KESIMPULAN. Penggunaan Soal Test yang telah terkalibrasi akan sangat baik dalam mengukur kemampuan (prestasi) siswa.
Juair - 2007 26
Soal test telah terstandardisasi, sehingga akan sesuai tingkat kemampuan atau karakteristik siswa. Soal yang terdesain telah diketahui karakteristik itemnya, dan dapat digunakan sesuai dengan tujuan test. Dalam penyusunan atau mendesain test harus memperhatikan pula estimasi karakteristik tingkat kesulitan pada masing-masing item test. Disamping itu harus pula diperhatikan konten atau isi item test yang sesuai dengan kompetensi dasar materi yang hendak diujikan Test yang telah terdesain akan mendekati kondisi idial, urutan tingkat kesulitan, estimasi tingkat kesulitan per item, rata-rata tingkat kesulitan, sebaran tingkat kesulitan. Sehingga akan terbentuk paket soal (test) yang baik sesuai dengan tujuan.
Juair - 2007 27
DAFTAR PUSTAKA Azwar, Saefuddin. 1999. Dasar-dasar Psikomterik. Yogyakarta: Pustaka Pelajar. Depdiknas, Balitbang. 2003. Manual Item and Test Analisis (Iteman) Pedoman Penggunaan Iteman. Jakarta Depdiknas. 2003. Sistem Penilaian Kelas SD, SMP, SMA dan SMK. Jakarta: Ditjen Dikdasmen. Dodeen, Hamzah. 2007. The Relation Between Item Parameter and Item Fit. Journal of Education Measurement. Proquest Psychology Journals. Vol. 41, No. 3. pp 261-270. Hambelton, et all. 1991. Fundamentals of Item Response Theory. Newpubry Park: Sage Publitcaion. Hula, William; Patrick J Doyle; Malcolm R McNeil; Joseph M Mikolic. 2006. Rasch Modeling of Revised Token Test Performance: Validity and Sensitivity to Change Journal of Speech, Language, and Hearing Research; Academic Research Library pg. 27 Setiadi, Hari dan Bahrul Hayat, 1998. Mendesain Perangkat Test dengan Model Rasch. Jakarta: Depdiknas. Setiadi, Hari. 1998. Penggunaan Program Bigstep untuk Pengembangan Bank Soal. Jakarta. Setiadi, Hari dan Hambleton, Ronald K. Item Selection Using IRT Models. University of Massachusetts at Amherst.
