Pengembangan Computer Adaptive Testing Untuk Mengukur Kecepatan Dan Ketepatan Pemahaman Teks Berbahasa Inggris
Oleh: O e : Yasfin Fajri - 5105100074
Latar Belakang Masalah
Manfaat Memahami Bacaan Dengan Cepat dan Akurat ◦ Efisiensi waktu ◦ Melatih konsentrasi
Pentingnya Pengukuran ◦ Mengetahui kemampuan ◦ Optimalisasi proses belajar
Dasar Teori Speed Reading CAT CRT SPRT
Speed Reading Berbeda dengan “Skipping” Skipping Berbeda dengan “Skimming” Metode / Teknik Kebiasaan Latihan
CAT Computer Based Adaptive Karakteristik:
◦ ◦ ◦ ◦ ◦
Calibrated Item Pool Starting Poin Item Selection Algorithm Scoring Procedure Termination Criterion
CRT Klasikal Test Result Criterion Statement Karakteristik
◦ Cut Score ◦ Item Facility ◦ B-Index
SPRT Klasifikasi Probability Ratio
Perancangan Sistem Gambaran Umum Bank Soal Modul Uji
◦ Seleksi Set Soal (Item Selection) ◦ Proses Evaluasi (Scoring Procedure) ◦ Stopping Condition (Termination Criterion)
Modul Manajemen j
Perancangan g
MODUL UJI
MODUL MANAJEMEN SOAL
Digunakan oleh Pembelajar
Digunakan oleh Instruktur/Pengembang Soal
Melakukan uji menggunakan data yang Entri/Edit Bank soal ada dalam Bank Soal Data Uji disimpan
Mendapatkan Feedback dari data uji
Bank Soal Teks Item Soal
◦ Pilihan Ganda ◦ Mencocokkan Kata ◦ Memilih Ide Pendukung
Modul Uji
Seleksi Set Soal Adaptive Menyesuaikan dengan tingkat kemampuan p gg pengguna
Seleksi Set Soal cont. List A Set 1 Set 2 Set 3 S t4 Set -
List B Set 2 Set 5 Set 1 S t7 Set Set 10 Set 15
List C Set 3 Set 4 -
•List L A Daftar D f set soall di d dalam d l bank b k soall dengan d tingkat k kesulitan k l tertentu •List B Daftar set soal yang pernah dikerjakan oleh pembelajar •List C Daftar set soal yang dapat ditampilkan ke pengguna
Evaluasi I Mengukur komprehensi CRT / SPRT
Evaluasi I cont. No Item 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
SPRT:
Respon True False True True True True False True False True True True True True True True
Result > Upper Bound Mastery Result < Lower Bound Non Mastery
CRT:
Evaluasi II
Readingg Speed p Komprehensi Mastery M t LLevell
Evaluasi II cont. Reading Speed Slow ( < 90 wpm)
Average ((90-200 wpm) p )
Good ( > 200 wpm)
Comprehension Poor
Mastery? No
Next Level Down
Average Good Poor
No Undecided No
Down Same Down
Average Good Poor
Undecided Yes No
Same Up Down
Average Good
Yes Yes
Up Up
Stopping pp g Condition
Kapan sebuah sesi uji dihentikan Hasil Sesi ditampilkan Hasil Sesi disimpan Digunakan untuk uji berikutnya
Stopping pp g Condition cont. No 1 2 3
Level 3 2 2
Reading Speed
Score
Mastery
161.96 161 96 181.92 183.48 Sesi Berakhir
50 73.33 60
No Undecided Undecided
LEVEL = 2 Reading Speed = 182.7 wpm (Average) Komprehensi = 66.665 (Fairly Good) Group = Fairly Good Average Speed Reader
Groupp Pembelajar j Kecepatan K t Baca B Lambat ( < 90 wpm)
Cukup (90-200 wpm)
Baik ( > 200 wpm) p )
Komprehensi K h i Kurang
Katagori K t i Poor slow reader
Cukup Baik Kurang
Fairly good slow reader Good slow reader Poor average speed reader
Cukup Baik ik Kurang
Fairly good average speed reader Good d average speedd reader d Poor fast reader
Cukup Baik
Fairly good fast reader Good fast reader
Modul Manajemen j
Item Facility • Proporsi peserta tes yang
No
Result
Pass ? (S (Score > 60)
1
90
Yes
2
80
Yes
3
80
Yes
4
70
Y Yes
5
70
Yes
6
60
Y Yes
7
60
Yes
8
55
No
9
50
No
10
40
No
berhasil mengerjakan suatu item •Memberi M b i gambaran b tentang tingkat kesulitan soal
Cut Score Method 1: expert p jjudgments g Method 2: test performance
◦O Overlapping l i Di Distribution t ib ti ◦ Percentage of Acceptable Performance 70
Cut Score
60 50 40 30 20 10 0 0
10
20
30
40
50 peserta
60
70
80
90
100
Cut Score cont. cont N No
R lt Result
1
90
2
80
3
80
4
70
5
70
6
60
7
60
8
55
9
50
10
40
Di Digunakan k dalam d l CRT
PM, PNM, B B--Index PM
= Probability of mastery with correct response PNM = Probability of non-mastery with correct espo se response ◦ Digunakan dalam SPRT
B-Index = PM – PNM
◦ Seberapa S baik sebuah item membedakan grup
PM, PNM, B B--Index cont cont. No
Result
1 2 3 4 5 6 7 8 9
90 80 80 70 50 70 40 50 30
User’s Level 5 5 4 3 3 2 2 1 1
Mastery ? (Level >=3) Yes Yes Yes Yes Yes No No No No
Pass ? (Score > 60) Yes Yes Yes Yes No Yes No No No
Implementasi
JAVA ◦ Desktop Based ◦ Multi Plattform
SQLite ◦ Serverless S l ◦ Free
Kesimpulan
Penggunaan gg framework CAT sebagai g alat ujij menggantikan gg metode pen and paper dapat mempersingkat waktu pelaksanaan tes, karena dengan CAT, estimasi terhadap kemampuan seseorang mungkin dilakukan tanpa orang yang bersangkutan harus menyelesaikan jumlah maksimum set soal yang telah di-setting. di setting Penyelenggaraan tes menggunakan aplikasi CAT dapat lebih mudah dilakukan, karena administrasi soal, pencatatan waktu, dan penilaian dapat dilakukan secara otomatis. otomatis Dalam CAT, hasil yang didapatkan oleh seorang pembelajar disimpan dan digunakan kembali sebagai parameter yang g pelaksanaan tes kali berikutnya. p y menentukan bagaimana CAT dapat digunakan untuk mengukur secara akurat kemampuan pengguna dalam berbagai level dengan mudah. Pengembangan Bank Soal dapat dilakukan dengan lebih mudah, karena adanya sistem feedback yang dapat memberikan masukan pada pengembang tentang karakteristik set soal yang telah dibuat.
Saran
Diperlukan p suatu ujij coba untuk mengetahui g dengan g tepat p seberapa baik aplikasi dapat memperkirakan kemampuan seseorang dibanding dengan metode pen and paper yang konvensional. Diperlukan penelitian lebih lanjut tentang kemungkinan penggunaan model CAT lain, seperti IRT (Item Response Theory), y) CAST ((Computer p Adaptive p Sequential q Test), ) dan MST (Multi Stage Test). Dapat ditambahkan sistem agar aplikasi dapat langsung memberikan evaluasi dan masukan kepada p ppembelajar j terkait hasil yang ia dapat dalam pelaksanaan ujian. Diperlukan perbaikan pada Content and Exposure Control Procedure ocedu e dengan e ga pe penerapan e apa aalgoritma-algoritma go t a a go t a ya yangg lebih eb baik pada proses seleksi set soal semisal Item Exposure Control Procedure dan Sympson-Hetter Procedure.
Terima Kasih
Skenario I (Min Level) No 1 2 3
Level 3 2 1
Reading Speed
Score
Mastery
585.13 576 92 576.92 221.26 Sesi Berakhir
20 36 66 36.66 40
No No No
No 1 2 3 4
Level 3 3 2 1
Reading Speed
PR
Mastery
223.28 1.209 Undecided 158.73 0.0105 No 92.249 0.012 No 13355.74 0.003 No Sesi Berakhir
Skenario II (Max Level) No
Level
Reading Speed
Score
Mastery
1
3
289.47
90
Yes
2
4
274.92
80
Yes
3
5
268.26
60
Yes
Sesi Berakhir
No 1 2 3
Level 3 4 5
Reading Speed 174.81 153.41 141 26 141.26 Sesi Berakhir
PR
Mastery
42.39 42.39 42 39 42.39
Yes Yes Yes
Skenario III (Undecided) No
Level
Reading Speed
Score
Mastery
1
3
161.96
50
No
2
2
181 92 181.92
73 33 73.33
U d id d Undecided
3
2
183.48
60
Undecided
Sesi Berakhir
No
Level
Reading Speed
PR
Mastery
1
3
178 88 178.88
0 1129 0.1129
Undecided
2
3
157.66
0.446
Undecided
Sesi Berakhir
