Desain dan Implementasi Computerized Adaptive Test Berbasis Item Response Theory Pada LMS Moodle Dosen Pembimbing : Prof. Ir. Abdullah Alkaff, M.Sc., PhD. Yusuf Bilfaqih, S.T., M.T. Dipresentasikan Pada Seminar dan Sidang Tugas Akhir Juli 2011 Musthofa Fahmi
BAB 1
LATAR BELAKANG 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
4. IMPLEMENTASI & PENGUJIAN
Secara ide, adaptif tes lebih efektif, efisien, dan optimal Dikembangkannya CAT Kemendiknas, tapi tidak di share
oleh
Puspendik
Penelitian oleh Koyama dan Akiyama yang menyimpulkan CAT berbasis IRT lebih efektif dibandingkan tes konvensional
BAB 1
PERMASALAHAN 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
Aplikasi Web – Based Penyelenggaraan CAT Berbasis Parameter Integrasi Dengan LMS Moodle
4. IMPLEMENTASI & PENGUJIAN
Untuk IRT 3
TUJUAN 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
Modul CAT di LMS Moodle
BAB 1 4. IMPLEMENTASI & PENGUJIAN
METODOLOGI 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
Menggunakan metode Waterfall
BAB 1 4. IMPLEMENTASI & PENGUJIAN
BAB 1
MANFAAT 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
4. IMPLEMENTASI & PENGUJIAN
perangkat lunak penyelenggaraan CAT alat pembelajaran IRT untuk bidang psikometri alternatif metode evaluasi suatu mata kuliah pembuatan fitur CAT pada LMS Moodle perangkat lunak pelengkap Share - ITS
PRINSIP KERJA CAT 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
BAB 2 4. IMPLEMENTASI & PENGUJIAN
KALIBRASI SOAL 2. KAJIAN PUSTAKA
1. PENDAHULUAN
BAB 2
[1]
3. ANALISA & DESAIN
4. IMPLEMENTASI & PENGUJIAN
Soal 1 Soal 2 Soal 3 Soal 4 Soal 5 Kemampu an Siswa Si A
1
1
1
1
1
1
Si B
0
1
1
1
1
0.8
Si C
0
0
1
1
1
0.6
Si D
0
0
0
1
1
0.4
Si E
0
0
0
0
1
0.2
0.6
0.4
0.2
0
Tingkat 0.8 kesulitan soal
KALIBRASI SOAL 2. KAJIAN PUSTAKA
1. PENDAHULUAN
BAB 2
[2]
3. ANALISA & DESAIN
4. IMPLEMENTASI & PENGUJIAN
Soal 1 Soal 2 Soal 3 Soal 4 Soal 5 Kemampu an Siswa Si A
1
1
1
1
1
1
Si B
0
1
1
1
1
0.8
Si C
0
0
1
1
1
0.6
Si D
0
0
0
1
1
0.4
Si E
0
0
0
0
1
0.2
Tingkat 0.8 kesulita n soal
0.6
0.4
0.2
0
Si F
1
0
1
1
0
0.6
ITEM CHARACTERISTIC CURVE 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
P ( ) c (1 c)
1 1 e a ( b )
BAB 2 4. IMPLEMENTASI & PENGUJIAN
BAB 2
ABILITY ESTIMATION 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
N
s 1 s
a u i 1 N
i
i
4. IMPLEMENTASI & PENGUJIAN
Pi ( s )
2 a i Pi ( s ) Qi ( s )
i 1
Dimana : Ѳs adalah kemampuan terestimasi dari kandidat pada iterasi ke – s ai adalah parameter discrimination dari item i, i = 1, 2, … N ui adalah jawaban yang didapatkan dari kandidat dengan ketentuan : ui = 1 ; untuk jawaban benar ui = 0 ; untuk jawaban salah Pi(ѳs) adalah probabilitas kandidat menjawab benar item ke – i Qiѳs = [1- Pi(ѳs)] adalah probabilitas kandidat menjawab salah item ke - i
BAB 2
STANDARD ERROR & IIF 1. PENDAHULUAN
2. KAJIAN PUSTAKA
SE( ) 1 /
3. ANALISA & DESAIN
N
a i 1
2 i
4. IMPLEMENTASI & PENGUJIAN
P( ) Q( )
2 ( Pi ( ) c) 2 Qi ( ) I i ( ) a 2 Pi ( ) 1 c
KRITERIA PEMBERHENTIAN 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
Variable length (standard error)
Fixed length (jumlah soal) Time Limit Gabungan
BAB 2 4. IMPLEMENTASI & PENGUJIAN
BAB 2
DIAGRAM ALIR 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
4. IMPLEMENTASI & PENGUJIAN
Mulai dengan memberikan nilai inisial kemampuan kandidat Memilih dan menampilkan soal pertama (diinisialisasi) Mendapatkan respon dari kandidat Evaluasi Respon, kemampuan kandidat dan standar error Memilih dan menampilkan soal selanjutnya
tidak
Stopping rule terpenuhi ??
ya Tes berhenti dan menampilkan hasil
GAMBARAN UMUM MODUL CAT DI MOODLE 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
Lesson Team Builder
Moodle
CAT Matakuliah SP 1
Matakuliah PIS Block Report
BAB 3
4. IMPLEMENTASI & PENGUJIAN
FUNGSI PRODUK 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
membuat tes adaptif
mengikuti tes adaptif melihat hasil tes adaptif mengolah respon dari siswa dengan algoritma IRT
BAB 3 4. IMPLEMENTASI & PENGUJIAN
BAB 3
DATA CONTEXT DIAGRAM 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
4. IMPLEMENTASI & PENGUJIAN
HASIL TES, SOLUSI, DAN REKOMENDASI
SISWA*
JAWABAN HISTOTY NILAI DAN NILAI KELAS SOAL, SOLUSI, DAN REKOMENDASI
GURU*
ADMIN*
PARAMETER IRT
SISWA*
HISTORY TES
CAT
NILAI KELAS
GURU*
STOPPING RULE
KONTROL TERHADAP APLIKASI
TAMPILAN KASTEMISASI APLIKASI
ADMIN*
BAB 3
DESAIN PROSEDURAL[1] 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
4. IMPLEMENTASI & PENGUJIAN
Kondisi Tes Adaptif
[QUIZ DIBUAT]
BELUM DIBUKA
[QUIZ DIBUAT]
[TANGGAL QUIZ DIMULAI]
DIBUKA
[TANGGAL QUIZ DITUTUP]
DITUTUP
BAB 3
DESAIN PROSEDURAL[2] 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
4. IMPLEMENTASI & PENGUJIAN
Kondisi Attempt
Attempt Dimulai
ATTEMPT SEDANG BERJALAN
Kumpulkan Jawaban Dan Selesai
SEGERA SETELAH ATTEMPT
2 Menit Setelah Selesai
ATTEMPT DIAKHRI
BAB 3
DESAIN PROSEDURAL[3] 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
4. IMPLEMENTASI & PENGUJIAN
Kondisi Pertanyaan ADAPTIF MODE
ATTEMPT STARTED SHOW QUESTION
RESPON SAVED
EVALUATED
END ??
Y NON ADAPTIF MODE
CLOSED
MANUALLY GRADED
BAB 3
DESAIN ANTARMUKA 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
4. IMPLEMENTASI & PENGUJIAN
Latar Belakang
Prinsip Kerja
Modul CAT
Permasalahan
Gambaran Umum
Kalibrasi Soal
Fungsi Produk
Options CAT
Tujuan
IRT
Metodologi
Kriteria Pemberhentian
Manfaat
Diagram Alir
Antarmuka Eksternal Desain Prosedural KLIK ME
Desain Antarmuka
Parameter IRT Edit CAT
Proses CAT Hasil CAT
Link menuju quiz dari bagian lain di Moodle
BACK View.php Menunjukkan informasi umum tentang quiz
Index.php Mendaftar semua quiz yang ada pada suatu course
Startattempt.php Menangani memulai suatu attempt atau melanjutkan sesi yang sebelumnya
Review.php Menampilkan hasil quiz yang baru saja diikuti siswa
Report.php Menampilkan hasil quiz
Attempt.php Menampilkan satu halaman pada siswa untuk memasukkan jawaban
Comment.php Memungkinkan guru memberikan manual grading
Processattempt.php Menangani respon dari siswa atau menutup attempt
Summary.php Menampilkan overview dari attempt yang saat ini
Reviewquestion.php Menampilkan hasil penilaian siswa pada suatu pertanyaan Link normal, semua pengguna dapat mengakses
Edit.php Guru dapat mengedit pertanyaan pada suatu quiz
Link submit/ pengumpulan Link otomatis setelah proses dilakukan Link yang hanya bisa diakses guru dan admin
MODUL CAT DI MOODLE 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
BAB 4 4. IMPLEMENTASI & PENGUJIAN
TAMPILAN OPTIONS CAT 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
BAB 4 4. IMPLEMENTASI & PENGUJIAN
TAMPILAN PARAMETER CAT 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
BAB 4 4. IMPLEMENTASI & PENGUJIAN
TAMPILAN EDIT CAT 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
BAB 4 4. IMPLEMENTASI & PENGUJIAN
TAMPILAN PROSES CAT 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
Tampilan menjawab soal
BAB 4 4. IMPLEMENTASI & PENGUJIAN
TAMPILAN HASIL CAT 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
Tampilan report
BAB 4 4. IMPLEMENTASI & PENGUJIAN
KESIMPULAN 1. PENDAHULUAN
2. KAJIAN PUSTAKA
3. ANALISA & DESAIN
4. IMPLEMENTASI & PENGUJIAN
Aplikasi CAT dapat menjadi antarmuka penyelenggaraan tes adaptif kriteria pemberhentian tes mengkombinasikan variabel length, fixed length, dan time limit Nilai standar error dapat diatur Bank soal yang dibuat dapat di backup / restore ataupun di export / import baik ke matakuliah yang lain maupun sistem epembelajaran yang lain
