COMPUTER-ADAPTIVE TEST DENGAN PENDEKATAN ITEM RESPONSE THEORY SATU PARAMETER

Jurnal Teknologi Informasi, Volume 5 Nomor 2, Oktober 2009, ISSN 1414-9999

COMPUTER-ADAPTIVE TEST DENGAN PENDEKATAN ITEM RESPONSE THEORY SATU PARAMETER Lalang Erawan, Pascasarjana Teknik Informatika Udinus Stefanus Santosa, Pascasarjana Teknik Informatika Udinus

ABSTRACT This research purpose is to engineer a Computer Adaptive Test (CAT) for electronic learning management system based on web in Post Graduate Program major in Information Technology in Dian Nuswantoro University. Through the engineering of an electronic learning management system based on web, hoped that will give the feed-back to the lecturer to manage the source of the study, to give the feed-back to the student in form of adaptive evaluation, doing the control function, or giving consultative service. Model of the development system use the method of approach object oriented with steps, requirements, analysis, design, implementation, and testing. The engineer product that has produced, will be tested to the lecturer and analyze in purpose to get the result of succeed or not this system application to solve the problems and the discrepancy that exist. Thesis report which is organize explains from the problem analysis, theory base, method and engineering technique, implementation, testing and conclusion that gain from the result of implementation system who is engineered. Things that have done and have not be done in development of this software is analyze in the end of this thesis. Key words :

E-learning, Evaluation System, Computer Adaptive Test (CAT), Learning Management System (LMS)

1. PENDAHULUAN Menurut Morgan dan Brown tujuan utama dari suatu penilaian secara formatif adalah memberikan informasi kepada peserta tes tentang kekuatan (strengths) dan kelemahan (weaknesses) mereka. Penilaian formatif berfokus pada penyediaan umpan balik kepada peserta tes agar dapat memperbaiki cara belajar dan kinerja mereka. Penilaian formatif memiliki kemampuan untuk memperkaya pengalaman belajar serta memperbaiki kinerja peserta tes [Morgan, Brown, dan Yorke : 1]. Penyusunan tes pada umumnya menggunakan teori tes klasik (CTT=Classical Test Theory). Tetapi sejak awal tahun 1970 Item Response Theory (IRT) telah menggeser popularitas CTT. [Crocker dan Algina, Hambleton dan Rogers, serta Hambleton, Swaminathan, dan Rogers : 2]. Pengukuran kemampuan dengan menggunakan metode IRT lebih akurat dibandingkan dengan metode CTT karena tidak bergantung kepada kemampuan sampel peserta tes. CTT menggunakan skor sebenarnya (true score) untuk melakukan penilaian. Padahal atribut ini bukan karakteristik mutlak (absolute characteristic) peserta tes karena tergantung kepada isi tes[2]. Dengan kata lain, jika sebuah tes diberikan kepada kelompok subyek yang rendah kemampuannya akan merupakan tes yang sukar, dan apabila diberikan kepada kelompok subyek yang tinggi kemampuannya akan merupakan tes yang mudah. Sebaliknya, ditinjau dari sudut pandang subyek, sekelompok subyek akan terlihat mempunyai kemampuan tinggi kalau mereka menempuh tes yang mudah, dan akan terlihat berkemampuan rendah apabila mereka menempuh tes yang sukar.

Penelitian ini bagian dari suatu penelitian tentang pengembangan Sistem Pendukung Belajar Elektronik (eLSS) berbasis web untuk mata kuliah di Program Pasca Sarjana Universitas Dian Nuswantoro Semarang. Penelitian akan mengembangkan suatu sistem yang menjadi sistem evaluasi bersifat adaptif bagi eLSS. Sistem ini selain dapat digunakan oleh mahasiswa Pasca Sarjana Universitas Dian Nuswantoro juga masyarakat umum.

668


2. METODE PENGEMBANGAN SISTEM Metode yang dipakai untuk mengembangkan sistem menggunakan pendekatan berorientasi obyek dengan tahapan identifikasi (identification), analisis (analysis), perancangan (design), pemrograman (coding), dan pengujian (testing). 1. Tahap Identifikasi (Identification) Pada tahap identifikasi dikumpulkan data-data yang mewakili kondisi awal sistem evaluasi yang digunakan di Program Pasca Sarjana Universitas Dian Nuswantoro. Data-data tersebut meliputi prosedur administrasi tes, tipe soal yang digunakan, sistem penilaian yang diterapkan, serta daftar nilai mahasiswa. Metode yang digunakan meliputi wawancara, penyebaran kuesioner, dan observasi. 2. Tahap Analisis (Analysis) Tahap ini menganalisis dan mengolah data-data untuk memperoleh informasi yang dibutuhkan dalam usaha memperoleh pemahaman secara menyeluruh tentang permasalahan yang dihadapi berkaitan dengan pelaksanaan sistem evaluasi yang sekarang berjalan dan spesifikasi dari sistem evaluasi yang akan dikembangkan berdasarkan kebutuhan-kebutuhan sistem yang teridentifikasi. 3. Tahap Perancangan (Design) Pada tahapan ini disusun rancangan sistem evaluasi serta spesifikasi teknis dari sistem evaluasi yang akan dikembangkan, meliputi rancangan program, database, antar muka sistem, spesifikasi jaringan yang dibutuhkan, dan butir-butir soal tes yang akan digunakan dalam sistem evaluasi. 4. Tahap Pemrograman (Coding) Tahap ini akan akan mengkonstruksi kode sistem evaluasi. Software-software yang digunakan untuk mengkoding sistem adalah : PHP 5, Mysql 4, WAMP, Macromedia Flash MX 2004, Adobe PhotoShop 8.0, dan Javascript. 5. Tahap Pengujian (Testing) Metode yang digunakan dalam pengujian : 1) Teknik White Blox, yang akan menguji struktur internal dari komponen-komponen atau modul-modul yang membentuk sistem. 2) Teknik Black Box, yang akan menguji fungsionalitas sistem supaya sesuai dengan persyaratan fungsional sistem yang telah ditentukan pada tahapan sebelumnya. 3) Teknik pengujian user (user acceptance), yang akan menguji tingkat penerimaan user terhadap sistem. 3. ARSITEKTUR SISTEM EVALUASI Arsitektur sistem evaluasi yang merupakan bagian dari arsitektur electronic Learning Content Management System (eLSS) sebagai berikut :

Gambar 1 Arsitektur Sistem Evaluasi Adaptif

669

Jurnal Teknologi Informasi, Volume 5 Nomor 2, Oktober 2009, ISSN 1414-9999 3. 1.

Diagram Konteks

Berdasarkan hasil analisis sumber daya manusia dan fungsional sistem diperoleh Contect Diagram sebagai berikut :

Gambar 2 Diagram Konteks Sistem Computer Adaptive Test (CAT)

3. 2. Desain Antar Muka Sistem Sistem evaluasi memiliki struktur menu sebagai berikut :

670


Gambar 3 Struktur Menu Sistem Evaluasi Salah satu antarmuka yang paling utama dari sistem evaluasi adalah antarmuka administrasi soalsoal tes sebagai berikut :

Gambar 4 Antarmuka Administrasi Soal Tes

671

Jurnal Teknologi Informasi, Volume 5 Nomor 2, Oktober 2009, ISSN 1414-9999 Pada antarmuka ini ditampilkan soal-soal yang diujikan kepada peserta tes. Informasi yang ditampilkan adalah : topik tes, tingkat kesulitan soal yang sedang ditampilkan, jumlah soal, status jawaban soal, dan umpan balik. Antarmuka penting lain antara lain adalah antarmuka proses kalibrasi sebagai berikut :

Gambar 5 Antarmuka Proses kalibrasi Dalam antarmuka kalibrasi ditampilkan soal-soal yang sudah memiliki data yang cukup untuk dikenai proses kalibrasi. Dalam gambar, tampak 13 soal yang telah siap dikalibrasi. Pada akhir tes, akan tampil informasi skor yang diperoleh peserta tes dalam antarmuka sebagai berikut :

Gambar 6 Antarmuka Hasil Tes

672


Dalam antar muka ini ditampilkan informasi data peserta tes, skor tes yang diperoleh, data soal yang diselesaikan, dan umpan balik. Masing-masing kategori tingkat kemampuan diberikan istilah sebagai berikut : 1) Kategori ’kurang’ untuk nilai estimasi kemampuan lebih kecil dari -1,5 2) ’Rata-rata’ untuk nilai estimasi kemampuan antara -1,5 sampai dengan kurang dari 1,5 3) ’Baik’ untuk nilai estimasi kemampuan antara 1,5 sampai dengan 3,00 4) ”Baik sekali’ unutk nilai estimasi kemampuan lebih dari 3,00 3. 4. Penentuan Parameter Soal dan Kemampuan Parameter soal terdiri dari parameter tingkat kesulitan soal atau difficulty, faktor diskriminan atau discrimination, dan faktor tebakan atau guissing. Penentuan parameter menggunakan Item Response Theory (IRT). Teori ini berdasarkan sifat-sifat atau kemampuan yang tersembunyi (latent), yang mendasari kinerja (performance) atau tanggapan (respon) subjek terhadap butir soal tertentu, disebut latent traits model yang berarti model berdasarkan karakter tersembunyi. Teori ini berlandaskan dua postulat : 1. Kinerja seorang subjek pada suatu butir soal dapat diprediksikan atau dijelaskan dari seperangkat faktor-faktor yang disebut sifat-sifat laten atau kemampuan tersembunyi. 2. Hubungan antara kinerja subjek pada suatu butir soal dan seperangkat sifat-sifat yang mendasari kinerja itu dapat dideskripsikan dengan fungsi meningkat secara monotonic yang disebut fungsi karakteristik butir soal (item characteristic function) atau kurva karakteristik butir soal (item characteristic curve). Fungsi ini menyatakan bahwa apabila tingkat sifat (kemampuan) meningkat, maka probabilitas suatu respons yang benar terhadap suatu butir soal juga naik. Dalam teori IRT terdapat kurva utama disebut Kurva Karakteristik Butir Soal (Item Characteristic Curve). Kurva ini mewakili karakteristik suatu soal yang menunjukkan kemungkinan seorang peserta tes dengan kemampuan tertentu (θ) dapat menjawab dengan benar. Kurva ini juga disebut Item Response Function (IRF) yang dinotasikan dengan P(θ). Properti kurva adalah parameter tingkat kesulitan soal (difficulty) dengan notasi b, parameter faktor diskriminan (discrimination) notasi a, dan parameter tebakan (guessing) notasi c. Terdapat 3 model logistik untuk menyusun kurva. Model logistik yang digunakan dalam penelitian adalah model 1 parameter dengan persamaannya : 1 P(θ) = 1 + e-1(θ-b)

1. 2. 3. 4. 5. 6.

7.

Keterangan : konstanta e dalam persamaan bernilai 2,718. Parameter difficulty butir soal ditaksir menggunakan suatu prosedur estimasi dengan tahapan : Mengelompokkan hasil tes peserta (mj) berdasarkan tingkat kemampuan yang sama (θj). Menghitung skor tes setiap anggota kelompok. Jawaban anggota kelompok yang benar dinotasikan dengan rj. Menghitung perbandingan jawaban benar (observed proportion of correct response) pada semua tingkat kemampuan dengan rumus : p(θj) = rj/mj Menentukan model kurva karakteristik butir soal yang tepat untuk hasil observed proportion of correct response p(θj) menggunakan fungsi maximum likelihood. Mengulang langkah ke-4 sampai diperoleh suatu nilai penyesuaian sekecil mungkin. Jika nilai penyesuaian sudah kecil, prosedur estimasi dihentikan dan nilai dari parameter a dan b adalah nilai estimasi parameter-parameter butir soal. Dengan nilai-nilai parameter butir soal yang diperoleh pada langkah sebelumnya, dihitung kemungkinan menjawab dengan benar P(θj) pada setiap tingkatan kemampuan sehingga grafik kurva karakteristik butir soal dapat dibuat. Kurva yang dihasilkan adalah kurva karakteristik butir soal yang paling sesuai. Menghitung tingkat kesesuaian kurva P(θj) dengan data jawaban p(θj) menggunakan indeks chisquare goodness-of-fit :

673


2

[p(θj)-P(θj)]2

j

χ = ∑ mj j=1

P(θj) Q(θj) Keterangan : 1) J adalah jumlah dari kelompok-kelompok kemampuan (ability groups) 2) θj adalah tingkat kemampuan dari kelompok j 3) mj adalah jumlah peserta tes yang memiliki kemampuan θj 4) p(θj) adalah observed proportion of correct response untuk kelompok j 5) P(θj) adalah probability of correct response untuk kelompok j yang dihitung dengan model kurva karakteristik butir soal menggunakan parameter estimasi. Jika nilai indeks yang diperoleh lebih besar dari nilai patokan, kurva karakteristik butir soal yang ditetapkan dengan nilai estimasi parameter-parameter soal tidak sesuai dengan data. Parameter tingkat kemampuan peserta tes diperoleh dengan suatu prosedur yang bersifat iteratif dan dilakukan secara terpisah untuk setiap peserta tes. Tahapan prosedur : 1. Menentukan nilai kemampuan secara a priori Bersama dengan nilai parameter-parameter soal yang sudah diketahui, dihitung kemungkinan peserta tes menjawab benar dengan persamaan :

N

∑ -ai[ui – Pi(θs)] i=1

θs+1 = θs + N

∑ a2i Pi(θs) Qi(θs)

i=1

Keterangan : 1) θs kemampuan peserta tes yang diestimasi dalam perulangan s 2) ai parameter diskriminan dari soal i, dengan i=1,2,…,N 3) ui jawaban yang dibuat oleh peserta tes terhadap soal i ui=1 skor jawaban benar ui=0 skor jawaban salah 4) Pi(θs) kemungkinan jawaban benar terhadap soal i, di bawah model kurva karakteristik butir soal yang digunakan, pada tingkat kemampuan θ dalam perulangan s. 5) Qi(θs) = 1 - Pi(θs) kemungkinan jawaban benar terhadap soal i, di bawah model kurva karakteristik butir soal yang digunakan, pada tingkat kemampuan θ dalam perulangan s. 2. Mengulang langkah pertama sehingga diperoleh penyesuaian terkecil antara hasil perhitungan (computed probabilities) dengan vektor jawaban peserta tes (examinee’s item response vector). Hasil akhir adalah suatu estimasi dari parameter kemampuan peserta tes. 3. Untuk mengetahui tingkat ketelitian perhitungan, hitung standar error dari estimasi dengan persamaan : 1 SE(θ) = N

∑ a2i Pi(θs) Qi(θs) i=1

3. 5. Prosedur Administrasi Tes Tes-tes yang diadministrasikan kepada peserta tes bermaksud menguji penguasaan peserta tes terhadap suatu topik dalam materi kuliah Jaringan Komputer. Terdapat 12 topik yang dijadikan materi tes, mulai dari ‘Komunikasi Data’ sampai dengan ‘Rekayasa Sistem Jaringan’. Setiap topik tes

674


memerlukan level tes tertentu dari peserta tes agar dapat mengambil tes tersebut. Level tes peserta berhubungan dengan level setiap topik tes. Setiap topik tes memiliki tingkat level tertentu. Topik tes pertama memiliki tingkatan level terendah, yaitu 1. Sedangkan level tertinggi dimiliki oleh topik tes ‘Rekayasa Sistem jaringan’, yaitu 12. Level tes peserta ditentukan oleh topik tes yang sudah diselesaikannya. Sebagai contoh, jika peserta tes sudah menyelesaikan topik tes ‘Komunikasi Data’ maka level tes peserta diset sama dengan level topik tes tersebut ditambah 1, yaitu 2. Jika level tes yang dimiliki peserta hanya 2, maka peserta tersebut hanya dapat mengambil topik tes ‘Komunikasi Data’ dan ‘Klasifikasi Jaringan’. Agar dapat mengambil topik tes ‘LAN’, maka peserta tes harus dapat menyelesaikan topik tes ‘Klasifikasi Jaringan’ terlebih dahulu. Prosedur administrasi tes terdiri dari beberapa tahap : 1) Sebelum dapat mengambil tes, pengguna atau peserta tes harus login terlebih dahulu menggunakan form login di halaman homepage. 2) Setelah login, peserta tes dapat memilih menu ‘Ambil Tes’. 3) Setelah langkah kedua dilakukan, peserta tes akan memperoleh halaman ‘Pemilihan Tes’ yang berisi daftar topik tes yang ada pada sistem evaluasi. Level tes peserta harus sama dengan level topik tes yang akan diambil. 4) Setelah topik tes dipilih, akan tampil halaman ‘Administrasi Tes’ yang menampilkan soal-soal evaluasi. 5) Peserta tes dapat memberikan jawaban terhadap soal dengan cara mengklik tombol radio pada pilihan jawaban. Setelah jawaban diberikan, peserta tes kemudian mengklik tombol ‘Soal berikutnya’ untuk memperoleh tanggapan atas jawaban yang diberikan. Jika jawaban benar, maka akan ditampilkan informasi jawaban benar. Sebaliknya, jika jawaban salah, maka informasi jawaban salah yang akan muncul. Selain itu, ditampilkan pula umpan balik yang memberikan ucapan selamat jika jawaban benar, dan motivasi serta informasi perbaikan jika jawaban salah. 6) Berdasarkan jawaban tersebut sistem akan : a) menghitung perolehan nilai peserta b) menghitung estimasi tingkat kesulitan soal berikutnya berdasarkan jawaban yang diberikan c) menampilkan pesan konfirmasi atas jawaban peserta. Isi pesan konfirmasi tergantung dari benar atau salah jawaban yang diberikan peserta d) data jawaban peserta ini akan disimpan oleh sistem untuk perhitungan estimasi kemampuan di akhir tes. 7) Soal berikutnya akan ditampilkan kepada peserta. Kemudian tahap kelima dan seterusnya akan diulang sampai kriteria berhenti terpenuhi. Tes akan berhenti apabila skor yang diperoleh telah mencapai 20 poin, dan jika jawaban yang diberikan salah 5 kali berturut-turut. Setelah tes dihentikan, maka estimasi kemampuan peserta akan dihitung. 8) Setelah semua perhitungan selesai dilakukan, maka hasilnya akan ditampilkan pada halaman ‘Resume Tes’. 3. 6. Prosedur Random Soal Prosedur Random Soal dalam sistem berdasarkan CAT merupakan Salah satu metode yang popular dari Adaptive Testing. Dalam CAT, tingkat kesulitan soal yang diadministrasikan secara individu kepada peserta tes secara dinamik disesuaikan dengan tingkat kepandaian mereka. CAT biasanya dimulai dengan pertanyaan yang memiliki tingkat kesulitan menengah. Jawaban yang benar akan menyebabkan tingkat kesulitan pada pertanyaan yang diberikan berikutnya meningkat. Sebaliknya, jawaban salah akan memicu pengurangan tingkat kesulitan pada pertanyaan berikutnya. Soal-soal dikategorikan kedalam 3 kategori tingkat kesulitan soal : a) Kategori mudah Dengan range tingkat kesulitan soal lebih kecil dari -1.00 b) Kategori sedang Dengan range tingkat kesulitan soal antara -1.00 sampai dengan 1

675

Jurnal Teknologi Informasi, Volume 5 Nomor 2, Oktober 2009, ISSN 1414-9999 c) Kategori sulit Dengan range tingkat kesulitan soal lebih besar dari 1. Soal-soal akan diambil secara acak dari bank soal berdasarkan tingkat kemampuan peserta tes. Pada awalnya, karena informasi tentang tingkat kemampuan peserta tes belum diketahui, maka tingkat kemampuan awal peserta tes dianggap rata-rata atau menengah sehingga soal yang disajikan mempunyai tingkat kesulitan menengah. Logika prosedur pencarian soal secara random yang akan diujikan selanjutnya sebagai berikut : a) Jika jawaban terhadap soal benar dan kategori soal 1 atau 2, maka soal yang akan diujikan selanjutnya ditingkatkan kategori dan tingkat kesulitannya b) Jika jawaban terhadap soal benar dan kategori soal 3, maka soal yang akan diujikan selanjutnya tingkat kesulitan soalnya ditingkatkan c) Jika jawaban terhadap soal salah dan kategori soal 2 atau 3, maka soal yang akan diujikan selanjutnya diturunkan kategori dan tingkat kesulitan soalnya d) Jika jawaban terhadap soal salah dan kategori soal 1, maka soal yang akan diujikan selanjutnya diturunkan tingkat kesulitan soalnya Dalam prosedur tersebut, terdapat 6 buah parameter yaitu : 1. $param_b, berisi nilai tingkat kesulitan soal sebelumnya 2. $jumSoal, berisi jumlah soal yang telah diujikan kepada peserta test 3. $kode_m, berisi kode materi dari soal-soal yang diujikan 4. $u, berisi hasil jawaban peserta test terhadap soal. Jika berisi 1, berarti jawaban peserta benar, dan jika 0 maka jawaban peserta salah 5. $kategori, berisi kategori tingkat kesulitan soal, bernilai 1 jika soal sebelumnya termasuk kategori mudah, 2 jika kategori menengah, dan 3 jika tergolong kategori sulit 6. $katUbah, berisi 1 atau 0. Jika kategori berubah maka nilainya 1, jika tidak maka nilainya 0. 3. 7. Prosedur Kalibrasi Penentuan tingkat kesulitan soal pertama kali dilakukan oleh dosen yang kompeten di bidang ilmu terkait berdasarkan teori Taksonomi Bloom. Selama pemakaian soal, data-data tentang soal tersebut akan diperoleh. Berdasarkan data-data tersebut, dilakukan proses kalibrasi yang akan menghasilkan tingkat kesulitan soal yang baru. Proses kalibrasi diperlukan agar reliabilitas soal tetap terpelihara. Langkah-langkah kalibrasi soal sebagai berikut : 1) Masukkan URL file-file admin dalam address bar browser. 2) Login sebagai user admin 3) Setelah proses login berhasil, akan ditampilkan halaman menu administrator 4) Pilih menu kalibrasi 5) Setelah menu kalibrasi dipilih, maka akan ditampilkan halaman yang berisi soal-soal yang sudah memenuhi syarat untuk dilakukan proses kalibrasi terhadapnya. 6) Untuk memulai proses kalibrasi, klik tombol kalibrasi yang disediakan 7) Setelah proses perhitungan kalibrasi selesai dilakukan oleh sistem, maka soal-soal akan ditampilkan kembali dengan parameter yang telah dikalibrasi Proses kalibrasi terhadap suatu soal, tidak hanya dilakukan satu kali, tetapi dapat dilakukan berkali-kali asalkan syaratnya terpenuhi, yaitu jumlah pemakaian soal telah memenuhi jumlah minimal proses kalibrasi. 3. 8. Pengujian Sistem Dalam pengujian User Acceptance terhadap sistem evaluasi, pertanyaan kuesioner dibagi menjadi 3 kategori : 1) Kemudahan penggunaan sistem 2) Manfaat sistem evaluasi bagi pengembangan diri dalam bidang ilmu Jaringan komputer 3) Keakuratan pengukuran kemampuan dan Kemampuan sistem evaluasi menangani keberagaman kemampuan peserta Responden pengujian berasal dari mahasiswa aktif dan dosen pengajar di Program Pasca Sarjana Universitas Dian Nuswantoro berjumlah 30 orang. Latar belakang pendidikan dan pengetahuan responden terhadap Jaringan Komputer responden bervariasi.

676


Rekapitulasi akhir hasil pengujian sebagai berikut : Tabel 1 Rata- rata Akhir Jawaban Responden Proporsi Jawaban Responden dalam % No Responden Total 1 2 3 4 5 ∑1 % ∑2 % ∑3 % ∑4 % ∑5 % 1 Kemudahan penggunaan 0 0% 0 0% 0 0% 23 77% 7 23% 100% sistem evaluasi 2

3

Manfaat sistem evaluasi bagi pengembangan diri dalam bidang ilmu Jaringan komputer Keakuratan pengukuran kemampuan dan Kemampuan sistem evaluasi menangani keberagaman kemampuan peserta

0

0%

0

0%

1

3%

24

80%

5

17% 100%

0

0%

0

0%

0

0%

26

87%

4

13% 100%

Dari tabel tersebut dapat dideskripsikan bahwa rata-rata user memberikan kriteria penilaian antara tinggi dan sangat tinggi untuk sistem yang diujikan. Untuk “Kemudahan penggunaan sistem evaluasi ada” 23 (dua puluh tiga) user yang memberikan nilai tinggi dan 7 (tujuh) user memberikan nilai sangat tinggi, untuk “Manfaat sistem evaluasi bagi pengembangan diri dalam bidang ilmu Jaringan komputer” ada 1 (satu) user memberikan nilai cukup, 24 (dua puluh empat) user memberikan nilai tinggi dan 5 (lima) user memberikan nilai sangat tinggi. Untuk “Keakuratan pengukuran kemampuan dan kemampuan sistem evaluasi menangani keberagaman kemampuan peserta” ada 26 (dua puluh enam) user memberikan nilai tinggi dan 4 (empat) user memberikan nilai sangat tinggi. 4. KESIMPULAN DAN SARAN 4. 1. Kesimpulan a. Rancangan sistem menggunakan model IRT satu parameter untuk menaksir parameter soal yang tidak mensyaratkan sampel data yang besar sehingga lebih mudah implementasinya. Sedangkan prosedur CAT yang sesuai untuk model ini mendasarkan logika pada algoritma model Rasch. b. Dari hasil pengujian yang dilakukan kepada user sejumlah 30 (tiga puluh) responden yaitu mahasiswa aktif Program Pasca Sarjana Universitas Dian Nuswantoro diperoleh penilaian sebanyak 8 (delapan) orang atau 27% memberikan predikat penilaian kepada sistem yang dihasilkan dengan predikat penilaian baik dan 22 (dua puluh dua) orang atau 73% responden memberikan predikat penilaian kepada sistem yang dihasilkan dengan predikat sangat baik. Maka dapat disimpulkan sistem dapat diterima oleh responden. c. Dengan terwujudnya sistem evaluasi berbasis web, dapat memberikan pilihan kepada pengguna mengenai sistem evaluasi yang lebih bersifat personal, dapat menggunakannya sebagai alat evaluasi diri sehingga dapat membantu menguasai materi kuliah di Program Pasca Sarjana Universitas Dian Nuswantoro, dan lebih memperkaya pengalaman belajar d. Sistem evaluasi lebih akurat dalam mengukur kemampuan pengguna dan dapat mengakomodasi keberagaman kemampuan yang dimiliki pengguna terhadap materi kuliah di Program Pasca Sarjana Universitas Dian Nuswantoro. Hal ini terlihat dari hasil pengujian pengguna (user acceptance) dalam kelompok pertanyaan ”keakuratan pengukuran kemampuan dan kemampuan sistem evaluasi menangani keberagaman kemampuan peserta” yang menguji faktor-faktor yang mempengaruhi keakuratan pengukuran hasil tes. Hasil pengujian menunjukkan 26 (dua puluh enam) atau 87% responden memberikan penilaian baik dan 4 (empat) atau 13% responden memberikan penilaian sangat baik.

677


4. 2. Saran a. Adanya penelitian lebih lanjut mengenai kemungkinan penerapan sistem evaluasi ini dalam menilai hasil belajar di Program Pasca Sarjana Universitas Dian Nuswantoro sehingga sistem penilaian yang digunakan akan menghasilkan ukuran kemampuan yang lebih dapat diandalkan (reliable) b. Sistem evaluasi ini dapat dikembangkan lebih lanjut yang memungkinkan materi praktek di laboratorium komputer dapat diujikan dalam soal-soal yang disajikan oleh sistem. c. Membentuk suatu konsorsium yang terdiri dari para pakar berbagai bidang ilmu untuk mengembangkan soal-soal tes yang akan digunakan dalam berbagai tes yang diselenggarakan di Program Pasca Sarjana Universitas Dian Nuswantoro sehingga diharapkan reliabilitas soal-soal tes tersebut dalam mengukur kemampuan peserta tes akan lebih tinggi. DAFTAR PUSTAKA [1] Lilley, Mariana and Trevor Barker (2007). “Student’s Perceived Usefullness of Formative Feedback for a Computer-adaptive Test,” The Electronic Journal of e-Learning. 5(Issue 1). 31-38 [2] Anastasios A. Economides, Adaptive Feedback Characteristic in CAT, International Journal of Instructional Technology and Distance Learning, , ISSN 1550-6808, 2006 [3] Wiberg, Marie (2004). Classical Test Theory vs Item Response Theory : an Evaluation of The Theory Test in The Swedish Driving-License Test. UMEA Universitet [4] Baker, Frank B., (2001), The Basics of Item Response Theory. ERIC. [5] Matthew M. Gushta, Standard-Setting Issues in Computerized-Adaptive Test, Center For Research in Applied Measurement and Evaluation, 2003

678

COMPUTER-ADAPTIVE TEST DENGAN PENDEKATAN ITEM RESPONSE THEORY SATU PARAMETER

Recommend Documents