UNIVERSITAS INDONESIA ONE PARAMETER MODEL PADA PEMBELAJARAN BAHASA INGGRIS. SKRIPSI Diajukan sebagai salah satu syarat untuk memperoleh gelar S1

UNIVERSITAS INDONESIA

IMPLEMENTASI DAN ANALISA PROTOTYPE ADAPTIVE TESTING SYSTEM MENGGUNAKAN METODE IRT ONE PARAMETER MODEL PADA PEMBELAJARAN BAHASA INGGRIS

SKRIPSI Diajukan sebagai salah satu syarat untuk memperoleh gelar S1

SAOMI TANZIL 0906603392

FAKULTAS TEKNIK DEPARTEMEN TEKNIK ELEKTRO DEPOK JANUARI 2012

Implementasi dan..., Saomi Tanzil, FT UI, 2012

ii


iii


KATA PENGANTAR

Puji syukur saya panjatkan kepada Allah SWT, karena atas berkat dan rahmatNya, saya dapat menyelesaikan skripsi ini. Penulisan skripsi ini dilakukan dalam rangka memenuhi salah satu syarat untuk mencapai gelar Sarjana Teknik Jurusan Teknik Elektro pada Fakultas Teknik Universitas Indonesia. Saya menyadari bahwa, tanpa bantuan dan bimbingan dari berbagai pihak, dari masa perkuliahan sampai pada penyusunan skripsi ini, sangatlah sulit bagi saya untuk menyelesaikan skripsi ini. Oleh karena itu, saya mengucapkan terima kasih kepada: (1) Dr. Ir. Anak Agung Putri Ratna M. Eng, selaku dosen pembimbing yang telah menyediakan waktu, tenaga dan pikiran untuk mengarahkan saya dalam penyusunan skripsi ini; (2) Orang tua dan keluarga saya yang telah memberikan bantuan dukungan material dan moral; (3) Monika Karolina Hutahaean selaku rekan saya dalam menyelesaikan skripsi ini; dan (4) Semua pihak yang telah membantu saya dalam menyelesaikan skripsi ini. Akhir kata, saya berharap Allah SWT berkenan membalas segala kebaikan semua pihak yang telah membantu. Semoga skripsi ini membawa manfaat bagi pengembangan ilmu.

Depok, 13 Januari 2012

Penulis

iv


v


ABSTRAK

Nama : Saomi Tanzil Program Studi : Teknik Elektro Judul : Implementasi dan Analisa Prototype Adaptive Testing System Menggunakan Metode IRT One Parameter Model Pada Pembelajaran Bahasa Inggris

Dalam skripsi ini membahas mengenai perancangan dan implementasi prototype adaptive testing system dengan metode IRT one parameter model. Di dalam adaptive testing system, siswa diberikan soal berdasarkan kemampuannya. Pemberian soal disesuaikan dengan respon jawaban dari soal sebelumnya, jika siswa menjawab dengan benar maka untuk soal selanjutnya dia akan mendapatkan soal yang lebih sulit tetapi sebaliknya, jika siswa tersebut tidak bisa mengerjakannya maka soal berikutnya akan lebih mudah. Metode IRT one parameter model telah berhasil diterapkan pada sistem dengan parameter tingkat kesulitan soal berkisar dari -3 sampai 3. Rata-rata waktu akses (detik) dalam membuka halaman test dengan perbedaan pada file yang ditampilkan menyimpulkan bahwa file yang ditampilkan berpengaruh pada waktu yang dibutuhkan untuk mengakses halaman dari masing-masing test. Rata-rata waktu akses yang dibutuhkan untuk membuka halaman test vocabulary, test listening dan test reading adalah 2.22E-05 detik, 2.72E-05 detik dan 2.24E-05 detik. Penilaian sistem yang disebar melalui kuesioner dengan empat belas pertanyaan pada sepuluh responden menyatakan bahwa prototype adaptive testing system based on IRT sudah bekerja dengan baik. Kata kunci: Adaptive testing, IRT (Item Responsive Theory)

vi Universitas Indonesia


ABSTRACT Name : Saomi Tanzil Study Program: Electrical Engineering Title : The Implementation and Analysis of a Prototype Adaptive Testing System Using One Parameter Model with IRT Method of English Course

This final project discusses the design and implementation of a prototype adaptive testing system using one parameter model with IRT method. In the adaptive testing system, students are given questions based on their ability. The giving of question is tailored to the response of the previous question. If the student answers correctly then the next question the student receives will be harder than the previous, but if the student is not able to do it then the next question will be easier. IRT one parameter model has been successfully utilized in this system with difficulties parameter of items ranging from -3 until 3. Average access time (second) in opening test page with different type of file in every test page concludes that the file that are opened are influenced by access time that every test page needed. Average access time needed to open the vocabulary test page, listening test and reading test is 2.22E-05seconds, 2.72E-05 seconds and 2.24E-05 seconds. Grading system through which questioners with fourteen questions given to ten respondents concludes that this prototype adaptive testing system based on IRT has successfully worked.

Key words: Adaptive testing, IRT (Item Responsive Theory)

vii Universitas Indonesia


DAFTAR ISI

HALAMAN JUDUL........................................................................................ LEMBAR PERNYATAAN ORISINALITAS ................................................ LEMBAR PENGESAHAN ............................................................................. KATA PENGANTAR ..................................................................................... LEMBAR PERSETUJUAN PUBLIKASI KARYA ILMIAH ........................ ABSTRAK ....................................................................................................... DAFTAR ISI .................................................................................................... DAFTAR GAMBAR ....................................................................................... DAFTAR TABEL ............................................................................................

i ii iii iv v vi viii x xii

1. PENDAHULUAN ....................................................................................... 1.1 Latar Belakang ... ................................................................................. 1.2 Tujuan .................................................................................................. 1.3 Batasan Masalah Implementasi Prototype Adaptive Testing ............... 1.4 Metodologi Penelitian .......................................................................... 1.5 Sistematika Penulisan ..........................................................................

1 1 3 3 3 4

2. KONSEP SISTEM ADAPTIF .................................................................. 2.1 Sistem Adaptif...................................................................................... 2.2 Adaptive Testing ................................................................................... 2.3 CAT (Computerized Adaptive Testing)................................................ 2.2.1 Kalibrasi Soal ........................................................................... 2.2.2 Titik Awal ................................................................................ 2.2.3 Algoritma Seleksi Soal............................................................. 2.2.4 Prosedur Penilaian.................................................................... 2.2.5 Kriteria Penghentian................................................................. 2.3 Kelebihan dan Kekurangan CAT .........................................................

5 5 6 6 7 8 9 9 10 11

3. PERANCANGAN ADAPTIVE TESTING SYSTEM ............................... 3.1 User dan Perannanya............................................................................ 3.2.1 Admin....................................................................................... 3.2.2 Instructor .................................................................................. 3.2.3 Student ...................................................................................... 3.2 Perancangan Sistem ............................................................................. 3.3.1 Fitur Log in ............................................................................... 3.3.2 Fitur Log out ............................................................................ 3.3.3 Fitur Add Item .......................................................................... 3.3.1 Fitur View Item ......................................................................... 3.3.2 Fitur Edit Item .......................................................................... 3.3.3 Fitur Delete Item ...................................................................... 3.3.1 Fitur Pretest..............................................................................

13 13 13 15 15 15 19 19 20 22 24 24 24

viii Universitas Indonesia


3.3.2 Fitur Test ................................................................................. 3.3.3 Fitur Evaluation ....................................................................... 3.3 Relational Database .............................................................................

28 28 31

4. IMPLEMENTASI DAN ANALISA SISTEM ......................................... 4.1 Implementasi Sistem ............................................................................ 4.2.1 Perangkat Keras ....................................................................... 4.2.2 Perangkat Lunak....................................................................... 4.2 Tampilan Sistem .................................................................................. 4.2 Adaptive Testing Systm ........................................................................ 4.2 Waktu Akses Sistem ............................................................................ 4.2 Kuesioner .............................................................................................

36 36 36 36 36 44 49 57

5. KESIMPULAN...........................................................................................

69

DAFTAR REFERENSI .................................................................................

71

ix Universitas Indonesia


DAFTAR GAMBAR

Gambar 2.1 Diagram Alur dari Adaptive Testing .......................................... Gambar 3.1 Flowchart Proses Registrasi ....................................................... Gambar 3.2 Flowchart Proses Log in ............................................................. Gambar 3.3 Flowchart Proses Log out ........................................................... Gambar 3.4 Flowchart Proses Add Item......................................................... Gambar 3.5 Flowchart Proses View Item ....................................................... Gambar 3.6 Flowchart Proses Edit Item ........................................................ Gambar 3.7 Flowchart Proses Delete Item..................................................... Gambar 3.8 Flowchart Proses Pretest ............................................................ Gambar 3.9 Flowchart Proses Test ................................................................ Gambar 3.10 Flowchart Proses Melihat Evaluasi Student Pada Menu Instructor ................................................................................... Gambar 3.11 Flowchart Proses Melihat Evaluasi Test Pada Menu Student .... Gambar 3.12 Relational Database ................................................................... Gambar 4.1 Tampilan Form Registrasi .......................................................... Gambar 4.2 Tampilan Log in Page ................................................................ Gambar 4.3 Tampilan Add Item Pada User Instructor .................................. Gambar 4.4 Tampilan View Item Pada User Instructor ................................. Gambar 4.5 Tampilan Edit Item Pada User Instructor .................................. Gambar 4.6 Tampilan Pretest ........................................................................ Gambar 4.7 Tampilan Test Vocabulary ......................................................... Gambar 4.8 Tampilan Test Listening ............................................................. Gambar 4.9 Tampilan Test Reading............................................................... Gambar 4.10 Tampilan Evaluation .................................................................. Gambar 4.11 Tampilan Detail Test .................................................................. Gambar 4.12 Tampilan Detail Soal ................................................................. Gambar 4.13 Tampilan Detail Pretest ............................................................. Gambar 4.14 Detail Pretest Percobaan Pertama .............................................. Gambar 4.15 Detail Pretest Percobaan Kedua ................................................ Gambar 4.16 Detail Pretest Percobaan Ketiga ................................................ Gambar 4.17 Detail Pretest Percobaan Ke-4 ................................................... Gambar 4.18 Detail Pretest Percobaan Ke-5 ................................................... Gambar 4.19 Detail Pretest Percobaan Ke-6 ................................................... Gambar 4.20 Detail Pretest Percobaan Ke-7 ................................................... Gambar 4.21 Detail Pretest Percobaan Ke-8 ................................................... Gambar 4.22 Detail Pretest Percobaan Ke-9 ................................................... Gambar 4.23 Detail Pretest Percobaan Ke-10 ................................................. Gambar 4.24 Grafik Pengujian Waktu Akses Halaman Pretest dalam satuan detik ................................................................................ Gambar 4.25 Grafik Pengujian Waktu Akses Halaman Test Vocabulary dalam satuan detik .....................................................................

9 14 18 20 21 22 23 25 26 27 29 30 35 37 37 38 38 39 40 40 41 41 42 43 43 44 44 45 45 46 46 47 47 48 49 49 50 51

x Universitas Indonesia


Gambar 4.26 Grafik Pengujian Waktu Akses Halaman Test Listening dalam satuan detik ..................................................................... Gambar 4.27 Grafik Pengujian Waktu Akses Halaman Test Reading dalam satuan detik ................................................................................ Gambar 4.28 Grafik Perbandingan Pengujian Waktu Akses Test Vocabulary, Listening dan Reading dalam satuan detik............ Gambar 4.29 Diagram Perbandingan Waktu Akses Halaman Test Vocabulary dan Test Listening .................................................. Gambar 4.30 Diagram Perbandingan Waktu Akses Halaman Test Vocabulary dan Test Reading .................................................... Gambar 4.31 Diagram Perbandingan Waktu Akses Halaman Test Reading dan Test Listening....................................................... Gambar 4.32 Diagram Perbandingan Pertanyaan Pertama Kuesioner dari Sisi Instructor ................................................................................... Gambar 4.33 Diagram Perbandingan Pertanyaan Kedua Kuesioner dari Sisi Instructor ................................................................................... Gambar 4.34 Diagram Perbandingan Pertanyaan Ketiga Kuesioner dari Sisi Instructor ................................................................................... Gambar 4.35 Diagram Perbandingan Pertanyaan Ke-4 Kuesioner dari Sisi Instructor ................................................................................... Gambar 4.36 Diagram Perbandingan Pertanyaan Ke-5 Kuesioner dari Sisi Instructor ................................................................................... Gambar 4.37 Diagram Perbandingan Pertanyaan Ke-6 Kuesioner dari Sisi Instructor ................................................................................... Gambar 4.38 Diagram Perbandingan Pertanyaan Ke-7 Kuesioner dari Sisi Instructor ................................................................................... Gambar 4.39 Diagram Perbandingan Pertanyaan Pertama Kuesioner dari Sisi Student ....................................................................................... Gambar 4.40 Diagram Perbandingan Pertanyaan Kedua Kuesioner dari Sisi Student ....................................................................................... Gambar 4.41 Diagram Perbandingan Pertanyaan Ketiga Kuesioner dari Sisi Student ....................................................................................... Gambar 4.42 Diagram Perbandingan Pertanyaan Ke-4 Kuesioner dari Sisi Student ....................................................................................... Gambar 4.43 Diagram Perbandingan Pertanyaan Ke-5 Kuesioner dari Sisi Student ....................................................................................... Gambar 4.44 Diagram Perbandingan Pertanyaan Ke-6 Kuesioner dari Sisi Student ....................................................................................... Gambar 4.45 Diagram Perbandingan Pertanyaan Ke-7 Kuesioner dari Sisi Student .......................................................................................

52 54 54 55 56 57 59 59 60 61 62 62 63 64 64 65 65 66 66 67

xi Universitas Indonesia


DAFTAR TABEL

Tabel 3.1 Tabel Tingkat Kesulitan Soal........................................................... Tabel 3.2 Tabel Pembagian Level Pada Sistem ............................................... Tabel 3.3 Tabel User ........................................................................................ Tabel 3.4 Tabel Item ........................................................................................ Tabel 3.5 Tabel Pretest .................................................................................... Tabel 3.6 Tabel Test ......................................................................................... Tabel 3.7 Tabel Evaluasi .................................................................................. Tabel 3.8 Tabel Buletin .................................................................................... Tabel 3.9 Tabel Modul ..................................................................................... Tabel 4.1 Tabel Pretest .................................................................................... Tabel 4.2 Tabel Pretest .................................................................................... Tabel 4.3 Tabel Tingkat Kesulitan Soal........................................................... Tabel 4.4 Tabel Pembagian Level Pada Sistem ............................................... Tabel 4.5 Tabel User ........................................................................................ Tabel 4.6 Tabel Item ........................................................................................ Tabel 4.7 Tabel Pretest ....................................................................................

16 17 31 32 33 33 34 34 34 50 51 52 53 58 58 68

xii Universitas Indonesia


BAB 1 PENDAHULUAN

1.1 LATAR BELAKANG Perkembangan teknologi saat ini sudah semakin pesat dilihat dari berbagai bidang. Begitu pula perkembangan teknologi di bidang pendidikan yang memberi kemudahan baik bagi para pengajar maupun siswa. Salah satunya adalah dengan kehadiran e-learning yang saat ini makin banyak digunakan. Internet membuka akses lebih luas dalam perkembangan e-learning. Modul-modul pembelajaran yang tadinya masih sederhana, kini bisa di akses dari mana saja dengan adanya internet. Kegiatan pembelajaran bisa dilakukan dimana saja dan kapan saja tidak terbatas ruang dan waktu. Para siswa bisa mengunduh berbagai modul pembelajaran maupun buku elektronik. Selain itu, para pengajar juga bisa dengan mudah memperbaharui modul-modul pembelajaran serta mengawasi kemajuan dari masing-masing siswanya. Selain modul pembelajaran yang bisa di akses melalui internet, ujian juga bisa dilakukan secara online. Salah satu online test yang ada yaitu berupa adaptive testing. Adaptive testing merupakan ujian yang pertanyaan-pertanyaannya disesuaikan dengan kemampuan siswa. Pada awalnya siswa diberikan pertanyaanpertanyaan dengan tingkat kesulitan menengah, jika bisa melewatinya maka tingkat kesulitan dari pertanyaan-pertanyaannya akan ditingkatkan. Akan tetapi, jika gagal melewatinya, maka tingkat kesulitan dari pertanyaan-pertanyaannya akan dipermudah, dengan cara tersebut maka akan didapatkan respon yang lebih maksimal karena bisa mengetahui hasilnya secara cepat. Respon dari adaptive testing menunjukkan dimana kemapuan siswa yang mengikuti ujian berada. Adaptive testing merupakan solusi yang tepat untuk mengevaluasi kemampuan

siswa.

Siswa

mengerjakan

soal

sesuai

dengan

tingkat

kemampuannya. Jika siswa mengerjakan soal-soal yang terlalu mudah maka mereka akan merasa bosan. Sebaliknya, jika mengerjakan soal-soal yang tingkatannya lebih sulit maka mereka akan merasa tegang. Sehingga adaptive testing merupakan solusi yang tepat untuk menjawab permasalahan tersebut 1 Universitas Indonesia


2

karena memberikan pertanyaan-pertanyaan yang sesuai dengan kemampuan masing-masing dari siswa walaupun mereka mengerjakan ujian dalam waktu yang sama tapi akan mendapatkan hasil untuk penempatan kemampuan yang berbedabeda. Penggunaan adaptive testing sudah banyak diterapkan di beberapa negara, terutama untuk TOEFL (Test of English as a Foreign Language). Penerapan CAT (Computerized Adaptive Testing) pada TOEFL di Taiwan sejak Oktober 2000 dimana setiap ujian dilengkapi dengan komputer dan headphone[1]. Sebagai konsep baru dalam pengujian bahasa, praktek Computerized Adaptive Language Testing (CALT) di China masih dalam tahap awal, dan dua tes bahasa yang menerapkan CAT secara tentatif adalah HSK (Test of Chinese as a Foreign Language) dan Internet-Based College English Test (IBCET)[2]. The Japan Institute for Educational Measurement (JIEM) mengembangkan tes adaptif kemampuan bahasa inggris sebagai bahasa asing – dikenal sebagai the Computerized Assessment System for English Communication[3]. Sementara di Spanyol ada System of Intelligent Evaluation Using Tests for Teleeducation (SIETTE) yang merupakan lingkungan berbasis web yang menghasilkan dan merancang tes adaptif. SIETTE dipakai di Sekolah Teknik Ilmu Komputer, University of Málaga, Málaga, Spanyol[4]. Membangun suatu sistem pembelajaran yang tepat sasaran tidak hanya bergantung pada ujian adaptif saja, akan tetapi dibutuhkan juga sistem pembelajaran yang adaptif yang dikenal dengan adaptive learning. Adaptive learning adalah metode pendidikan yang menggunakan komputer sebagai alat pembelajaran interaktif [5]. Komputer menyesuaikan materi pembelajaran berdasarkan pada kemampuan dari peserta didik yang didapatkan dari hasil jawaban atas pertanyaan yang telah diberikan sebelumnya [5]. Penggabungan antara adaptive testing dimana siswa di uji untuk mengetahui tingkatan kemampuannya

dan adaptive

learning dimana siswa

diberikan modul

pembelajaran yang sesuai dengan kemampuannya merupakan solusi untuk menciptakan sistem pendidikan yang tepat sasaran dan bisa mengevaluasi kemajuan siswa dengan cepat.

Universitas Indonesia


3

1.2 TUJUAN Tujuan

dari

pembuatan

skripsi

ini

adalah

merancang,

mengimplementasikan sistem adaptive testing berbasis aplikasi web yang diperuntukan untuk siswa sekolah dasar dalam mata pelajaran Bahasa Inggris agar para siswa bisa menerima pembelajaran dan mengerjakan soal yang sesuai dengan kemampuannya dan menganalisa performa dari sistem.

1.3 BATASAN MASALAH IMPLEMENTASI PROTOTYPE ADAPTIVE TESTING Pada skripsi ini, penulis hanya membatasi masalah pada: 1. Perancangan sistem secara keseluruhan meliputi user management dimana ada ada tiga user pada sistem ini, yaitu admin, pengajar dan siswa. Setiap user management mempunyai fungsi yang berbeda-beda. 2. Perancangan sistem prototype adaptive testing berbasis aplikasi web ini diperuntukan bagi siswa sekolah dasar dalam mata pelajaran Bahasa Inggris. 3. Soal-soal yang ditampilkan berupa jenis soal pilihan ganda. 4. Pengkategorian soal dilakukan secara manual sebelum dimasukkan ke dalam sistem. 5. Sistem penilaian dilakukan menggunakan algoritma adaptive testing dengan parameter-parameter yang telah ditentukan untuk menilai kemampuan dari masing-masing siswa.

1.4 METODOLOGI PENELITIAN Langkah-langkah yang digunakan dalam penelitian skripsi ini adalah: 1. Mencari acuan dari literature-literatur (studi literature) mengenai konsep adaptif baik itu dari buku maupun dari internet. 2. Perancangan sistem adaptive testing dan mengimplementasikannya dalam bentuk prototype adaptive testing. 3. Mengambil kesimpulan dari perancangan prototype adaptive testing.



4

1.5 SISTEMATIKA PENULISAN Penulisan skripsi ini disusun secara sistematis yang terdiri dari 5 bab. Adapun uraian singkat tentang hal ini adalah sebagai berikut: BAB 1 PENDAHULUAN Bab ini menguraikan latar belakang, tujuan skripsi, batasan masalah, dan sistematika penulisan. BAB 2 KONSEP SISTEM ADAPTIVE TESTING Bab ini menguraikan teori dasar yang berhubungan dengan konsep sistem adaptif, dan bagaimana adaptive testing bisa bekerja. BAB 3 PERANCANGAN SISTEM ADAPTIVE TESTING Bab ini berisi perancangan mengenai sistem adaptive testing berbasis aplikasi web yang dibuat pada skripsi ini. BAB 4 ANALISA DAN UJI COBA SISTEM ADAPTIVE TESTING Bab ini berisikan pengujian dan analisa terhadap implementasi dari keseluruhan sistem. BAB 5 KESIMPULAN Bab ini merupakan bab terakhir yang berisi kesimpulan.



BAB 2 KONSEP SISTEM ADAPTIF

2.1 Sistem Adaptif Sistem adaptif adalah kumpulan kesatuan yang berinteraksi atau saling bergantung, nyata atau abstrak, membentuk gabungan keseluruhan yang bersamasama mampu menanggapi perubahan lingkungan atau perubahan di bagian interaksi [6]. Sistem adaptif banyak dipakai di berbagai bidang, misalnya struktur anatomik pada bidang biologi, teknologi robot yang menggunakan sistem kendali dan memanfaatkan feedback loops untuk merasakan kondisi yang baru dari lingkungannya kemudian menyesuaikannya. Feedback loops mempunyai peranan yang penting di dalam sistem adaptif, memungkinkan respon terhadap perubahan. Feedback menggambarkan situasi ketika output sebuah kejadian di masa lampau dapat mempengaruhi kejadian yang sama di masa sekarang atau masa yang akan datang [7] sehingga feedback loops merupakan jalur sederhana yang mengarah dari generasi awal sinyal umpan balik ke perubahan selanjutnya dari sebuah kejadian [7]. Sistem adaptif dapat dilatih untuk mempelajari perilaku sistem (atau manusia) dan dapat bereaksi ketika perilaku tidak seperti biasanya [8]. Sistem adaptif membangun model dari waktu ke waktu yang merupakan pengoperasian normal sehingga bila sesuatu terjadi di luar kebiasaan maka akan terdeteksi. Selain dalam bidang biologi dan teknologi, masih banyak lagi aplikasi yang menggunakan sistem adaptif misalnya dalam bidang keuangan, industri, pengobatan, produk konsumen, pendidikan dan lain-lain. Pada bidang pendidikan, sistem adaptif dapat menjadikan proses pembelajaran lebih terarah dan sesuai dengan kemampuan masing-masing siswa. Salah satu penerapannya bisa berupa adaptive testing dimana siswa mengerjakan soal yang disesuaikan dengan kemampuannya. Penggunaan adaptive testing membuat siswa tidak akan merasa bosan ketika soal yang diberikan terlalu mudah atau merasa jenuh ketika soal yang diberikan terlalu sulit karena soal yang diberikan disesuaikan dengan tingkat kemampuan masing-masing siswa. 5 Universitas Indonesia


6

2.2 Adaptive Testing Ujian dengan metode lama menggunakan pensil dan kertas menyajikan soal yang sama untuk setiap siswa tanpa memperdulikan kemampuan dari siswa itu sendiri. Dengan cara lama, nilai yang didapat berdasarkan seberapa banyak siswa dapat menjawab pertanyaan dengan benar. Siswa terkadang mendapatkan soal yang terlalu gampang atau terlalu sulit untuk dipecahkan sehingga para pengajarpun sulit untuk mengetahui dimana letak kemampuan dari masing-masing siswa. Untuk mengatasi permasalah tersebut diperlukan metode pengujian yang bisa menguji para siswa sesuai dengan tingkat kemampuannnya masing-masing. Salah satu solusinya dengan menggunakan metode adaptive testing. Adaptive testing menguji para siswa dengan memberikan soal sesuai dengan kemampuan siswa yang di uji. Walaupun para siswa mengerjakan soal dalam waktu yang bersamaan tetapi soal yang mereka kerjakan berbeda-beda sesuai dengan tingkat kemampuannya. Pada tahap awal siswa diberikan soal dengan tingkat kesuliatan menengah, jika siswa bisa menjawab pertanyaan tersebut dengan benar maka tingkat kesulitan dari soal yang diberikan akan lebih sulit. Sebaliknya, jika siswa menjawab soal tersebut dengan salah maka soal berikutnya yang akan diberikan adalah soal yang tingkat kesulitannya lebih mudah. Soal-soal yang diberikan selanjutnya bergantung kepada jawaban dari soal sebelumnya. Dengan cara ini maka akan diketahui tingkat kemampuan siswa berada di tingkat mana dan dapat memberikan pendidikan sesuai dengan kemampuannya. Seperti halnya di dalam adaptive learning yang memanfaatkan komputer sebagai sarana belajar interaktif, sekarang ini pada adaptive testing juga memanfaatkan komputer sebagai sarana ujian. Ujian berbasis komputer juga bisa mengimplementasikan adaptive testing ke dalam sistem untuk menentukan kemampuan para siswa.

2.3 CAT (Computerized Adaptive Testing) CAT (Computerized Adaptive Testing) merupakan metode adaptive testing yang memiliki komponen-komponen sebagai berikut: Universitas Indonesia


7

2.3.1 Kalibrasi soal Soal-soal yang digunakan dalam CAT dikalibrasi terlebih dahulu terhadap parameter-parameter yang ada, misalnya tingkat kesulitan soal yang diberikan. Pemberian soal yang digunakan dalam CAT harus dirumuskan terlebih dahulu, jangan sampai memberikan soal yang tingkat kesulitannya tidak sesuai. Kalibrasi soal bergantung pada model psikometri yang digunakan. Diantaranya ada IRT (Item Responsive Theory) dan CTT (Classical Test Theory), yang banyak dipakai biasanya menggunakan IRT (Item Responsive Theory). Salah satu alasan menggunakan IRT adalah karena sangat popular dalam membantu penyeleksian soal. IRT (Item Responsive Theory) didasarkan dari kemungkinan respon jawaban yang benar (P(θ)) dari suatu soal dengan menggunakan fungsi matematika dan soal sebagai parameternya. Penemuan konsep IRT (Item Responsive Theory) sebagai sebuah teori berlangsung sekitar tahun 1950an dan 1960an. IRT belum dipakai secara luas sampai pada akhir tahun 1970an dan 1980an. Tujuan dari IRT adalah menyediakan kerangka kerja untuk mengevaluasi seberapa baik penilaian bekerja, dan seberapa baik individu dalam penilaian bekerja [9]. Aplikasi yang paling umum dari IRT adalah di dalam bidang pendidikan, dimana psikometri menggunakannya untuk mengembangkan dan memperbaiki ujian, memelihara bank soal untuk ujian, menyamakan tingkat kesulitan ujian secara berturut-turut (misalnya, memungkinkan perbandingan antara hasil dari waktu ke waktu) [9]. Beberapa model matematika dari IRT adalah one-parameter model, twoparameter model dan three-paramater model. Pada sistem ini menggunakan oneparameter model sehingga yang akan dibahas hanya mengenai model tersebut saja. Probability bahwa peserta ujian dengan suatu level ability θ akan menjawab suatu soal dengan benar untuk one-parameter model ditentukan dengan persamaan berikut[10]:

P (θ) =

(2.1)



8

Keterangan: P (θ)

= Probability peserta ujian dengan level ability θ menjawab soal dengan Benar

θ

= Level ability peserta ujian, misal -3 ≤ θ ≤ 3

b

= Parameter difficulty dari soal, misal -3 ≤ θ ≤ 3

One-parameter model juga dikenal sebagai Rasch model. Model ini pertama kali dipublikasikan oleh seorang ahli matematika dari Denmark, Georg Rasch pada tahun 1960an[10]. Pada model ini, tingkat kesulitan soal didefinisikan pada titik skala ability dimana probabilitas dari respon jawaban yang benar adalah 0.5[10].

2.3.2 Titik awal Dalam CAT titik awal pemberian soal dimulai dengan tingkat kesulitan menengah (b=0) yang kemudian untuk soal selanjutnya diberikan berdasarkan respon dari jawaban soal sebelumnya. Jika siswa menjawab soal dengan benar maka tingkat kesulitan dari soal yang diberikan akan lebih sulit. Sebaliknya, jika siswa tidak bisa menjawab soal dengan benar maka soal selanjutnya yang akan diberikan akan lebih mudah.



9

2.3.3 Algoritma seleksi soal

Gambar 2.1. Diagram alur dari adaptive testing [11]

Gambar 2.1. Diagram alur dari adaptive testing menjelaskan mengenai alur dari adaptive testing. Soal yang diberikan pertama kali merupakan soal dengan difficulty menengah (b=0), setelah responnya diketahui yaitu benar (1) atau salah (0) maka selanjutnya adalah mengestimasi ability sampai sesuai dengan kriteria penghentian soal.

2.3.4 Prosedur penilaian Setelah soal diberikan, CAT memperbaharui perkiraan tingkat kemampuan siswa. Jika siswa menjawab soal dengan benar, kemungkinan CAT akan memperkirakan kemampuan mereka untuk menjadi agak lebih tinggi dan sebaliknya. Hal ini dilakukan dengan menggunakan fungsi respon item dari IRT untuk mendapatkan fungsi kemungkinan dari kemampuan siswa [12]. Estimated ability bisa didapat dari rumus berikut ini [10]:

∑

ai[ui – Pi(s)]

s+1 = s + ∑

(2.2)

ai



10

Keterangan:

s

= Estimasi ability peserta ujian saat iterasi ke-s, misal: -3 ≤ b ≤ 3

ai

= Parameter discrimination dari soal ke-i, untuk one-parameter model nilai discrimination adalah 1

ui

= Jawaban peserta ujian untuk soal ke-i, 1 jika benar dan 0 jika salah

Pi ( s) = Probability peserta ujian dengan level ability di iterasi ke-s menjawab soal ke-i dengan benar

Qi( s) = 1 - Pi ( s) merupakan probability peserta ujian dengan level ability saat iterasi ke-s menjawab soal ke-i dengan salah

2.3.5 Kriteria penghentian Pengujian dengan metode CAT akan berhenti jika: • Soal telah habis Hal ini terjadi umumnya pada kumpulan soal yang kecil, ketika setiap soal telah diberikan pada peserta tes [13].

• Waktu ujian telah mencapai maksimum Terdapat durasi waktu dalam mengerjakan soal, ketika waktunya telah habis maka ujian selesai seperti mengerjakan soal dengan memakai pensil dan kertas [13].

• Pengukuran kemampuan telah diperkirakan secara presisi dan memadai Setiap respon menyediakan informasi statistik yang lebih lanjut tentang mengukur kemampuan, meningkatkan kepresisian dengan menurunkan pengukuran standard error, bila ukurannya cukup tepat maka pengujian berhenti. Nilai standard error yang biasanya digunakan adalah 0,2 [10]. Rumus untuk mengetahui standard error adalah sebagai berikut [10]: SE( ) =

(2.3)

∑ ai



11

Keterangan: ai

= Parameter discrimination dari soal ke-i, untuk one-parameter model nilai discrimination adalah 1

Pi ( s) = Probability peserta ujian dengan level ability di iterasi ke-s menjawab soal ke-i dengan benar

Qi( s) = 1 - Pi ( s) merupakan probability peserta ujian dengan level ability saat iterasi ke-s menjawab soal ke-i dengan salah

• Pengukuran kemampuan cukup jauh dari kriteria lulus atau gagal Pengujian dengan CAT mengevaluasi terhadap kriteria tingkat kelulusan atau kegagalan, tes bisa berhenti ketika keputusan lulus atau gagal adalah pasti secara statistik. Ini bisa terjadi ketika nilai estimasi ability setidaknya 2[13].

• Peserta uji menunjukkan perilaku berhenti mengerjakkan tes Program CAT dapat mendeteksi respon dari peserta uji, misalnya mengerjakkan ujian terlalu cepat atau terlalu lambat sehingga peserta uji dapat diarahkan untuk memanggil pengawas ujian untuk memutuskan ujian akan dihentikan, dilanjutkan atau ditunda.[13]

2.4 Kelebihan dan Kekurangan CAT Kelebihan: • Komputer lebih akurat dalam penilaian dibanding manusia • Komputer lebih akurat dalam pelaporan penilaian • Komputer secara cepat memberikan umpan balik • Meminimalisir terjadinya kecurangan, misalnya mencontek karena tiap siswa yang mengikuti ujian kemungkinan akan mendapatkan soal yang berbeda-beda walaupun dilaksanakan pada waktu yang bersamaan. • Siswa diberikan soal yang sesuai dengan kemampuannya sehingga tidak menjadi frustasi ataupun bosan ketika diberikan soal yang terlalu mudah ataupun terlalu sulit berdasarkan kemampuannya.



12

Kekurangan: • CAT membutuhkan kalibrasi item secara hati-hati. Mensyaratkan bahwa data dikumpulkan pada suatu wadah besar dengan item yang banyak untuk dikalibrasi. Menandakan harus lebih banyak soal yang dibuat, diklasifikasikan berdasarkan tingkatannya, kemudian diminimalisir agar tidak muncul soal yang berulang-ulang terhadap peserta uji yang sama. • Membutuhkan komputer sehingga para siswa harus sudah mengerti bagaimana menggunakan komputer • Keterbatasan jumlah komputer



BAB 3 PERANCANGAN SISTEM ADAPTIVE TESTING

Perancangan sistem secara keseluruhan meliputi user management dimana ada ada tiga user pada sistem ini, yaitu admin, instructor dan student. Setiap user management mempunyai fungsi yang berbeda-beda. Admin berfungsi untuk mengaktifkan peserta yang mendaftar, mengubah data user, baik data pribadi maupun password. Instructor berfungsi untuk meberikan modul belajar dan soal yang dimasukkan ke dalam database. Sementara student bisa mengakses modul belajar dan mengerjakan soal-soal yang telah disediakan. Semua user harus terdaftar terlebih dahulu. Pendaftaran dilakukan oleh user melalui halaman pendaftaran. Setelah terdaftar, user tidak bisa langsung mengakses sistem selama admin belum mengaktifkan account. Setalah account dalam status active maka user baru bisa mengakses sistem sesuai dengan fungsinya masing-masing. Gambar 3.1. Flowchart Proses Registrasi menjelaskan bagaimana proses registrasi berlangsung.

3.1 User dan Perananya Berikut ini adalah fungsi user dan peranannya secara keseluruhan di dalam sistem.

3.1.1 Admin Admin bertugas mengaktifkan user yang baru terdaftar sehingga user tersebut bisa mengakses sistem. Selain itu, admin bisa mengubah data account yang berupa data pribadi seperti alamat dan nomor telepon maupun mengubah password jika user memintanya. Admin juga bisa menghapus data pemberitahuan dan data student maupun instructor jika statusnya sudah tidak active lagi. Terakhir, admin juga bisa memasuki menu instructor maupun student, mengunggah modul maupun soal ataupun mengikuti ujian tanpa kehilangan fungsinya sebagai admin.

13 Universitas Indonesia


14

Gambar 3.1. Flowchart Proses Registrasi



15

3.1.2 Instructor Instructor bertugas untuk mengunggah modul sesuai kategorinya dan juga bisa menghapusnya, mengunggah soal sesuai kategori dan tingkat kesulitannya, mengedit soal dan juga menghapusnya, memberitahukan informasi melalui menu post. Selain itu, instructor juga bisa melihat hasil evaluasi belajar yang dilihat dari nilai tes yang telah dikerjakan oleh student.

3.1.3 Student Student adalah user yang mengerjakan adaptive testing. Bagi student yang baru pertama kali mengakses sistem, maka student tersebut terlebih dahulu harus mengerjakan pretest sehingga bisa diketahui kemampuan student berada di level mana. Selanjutnya student juga bisa mengakses modul yang sesuai dengan levelnya, mengerjakan tes pada level tersebut untuk naik ke level berikutnya. Selain itu student bisa melihat hasil evaluasi dari tes yang telah dia kerjakan. Melalui fitur evaluasi ini, student bisa melihat soal-soal yang telah dikerjakan sehingga bisa menjadi bahan belajar untuk mengikuti tes selanjutnya.

3.2 Perancangan Sistem Secara keseluruhan sistem ini meliputi proses administrasi berupa registrasi, proses adaptive testing dan proses adaptive learning. Cara kerja pada sistem ini secara keseluruhan dimulai dengan melakukan registrasi pada halaman registrasi. Setelah membuat account untuk bisa mengakses sistem maka account tersebut harus diaktifkan terlebih dahulu oleh admin. Student yang sudah bisa mengakses sistem diharuskan mengikuti pretest terlebih dahulu untuk mengetahui tingkat kemampuan student. Setelah student diketahui berada di level mana maka dia bisa mengakses modul pembelajaran dan mengikuti ujian pada level tersebut dan naik ke level berikutnya. Perancangan sistem prototype adaptive testing system ini berdasarkan pada model psikometri IRT (Item Responsive Theory) one-parameter model dimana soal-soal disesuaikan dengan tingkat kemampuan student dalam mengerjakan ujian. Adaptive testing hanya diterapkan pada saat student mengikuti ujian pretest



16

untuk mengetahui tingkat kemampuan student. Sedangkan pada ujian-ujian selanjutnya diterapkan kriteria lulus dan gagal. Tabel 3.1. Tabel Tingkat Kesulitan Soal menunjukkan variasi dari tingkat kesulitan soal yang ada pada sistem. Tingkat kesulitan soal diasumsikan menjadi tujuh kategori yang kemudian dibagi lagi ke dalam tiga kategori berdasarkan levelnya. Sedangkan pada Tabel 3.2.Tabel Pembagian Level Pada Sistem menunjukkan pembagian level, chapter dan category yang dipakai pada sistem. Soal yang diberikan untuk pertama kali adalah soal dengan tingkat kesulitan bernilai 0. Setelah mengerjakan soal maka ability dari student akan diestimasi. Jika student menjawab dengan benar maka respon dari jawabannya akan bernilai 1, sedangkan jika dia menjawab salah maka respon jawabannya bernilai 0. Untuk mengestimasi ability dari setiap soal yang dijawab oleh student digunakan rumus pada persamaan 2.2 pada bab 2. Kriteria penghentian yang dipakai pada saat mengerjakan pretest adalah ketika standard error mencapai nilai yang sudah ditentukan. Pada sistem ini nilai standard error yang dipakai adalah 0.6. Nilai 0.6 sebagai nilai standard error diasumsikan untuk membatasi jumlah maksimum soal yang keluar agar tidak terlalu banyak disaat mengerjakan pretest karena sistem ini diaplikasikan untuk pembelajaran bahasa inggris pada tingkat sekolah dasar. Sistem ini juga akan berhenti memberikan soal jika nilai estimasi ability yang menjadi difficulty pada soal tidak ada dalam bank soal atau melampaui batas dari difficulty soal paling rendah (-3) atau paling tinggi (3).

Tabel 3.1.Tabel Tingkat Kesulitan Soal Level Beginner

Tingkat Kesulitan Soal -3 -2

Intermediate

-1 0 1

Advanced

2 3 Universitas Indonesia


17

Tabel 3.2.Tabel Pembagian Level Pada Sistem Level

Chapter

Category Test Vocabulary

1

Test Listening Test Reading Test Vocabulary

Beginner

2


3


1


Intermediate

2


3


1


Advanced

2


3

Test Listening Test Reading



18

Gambar 3.2. Flowchart Proses Log in



19

3.2.1 Fitur Log in Pada Gambar 3.2. Flowchart Proses Log in menjelaskan proses log in dimana setiap user harus mempunyai account untuk bisa mengakses sistem. Jika user yang belum memilki account maka harus registrasi terlebih dahulu pada halaman registrasi. Account yang sudah dibuat harus terlebih dahulu diaktifkan oleh admin. Selanjutnya adalah proses validasi dimana user harus memasukkan username dan password yang sesuai dengan data pada database. Apabila data yang dimasukkan tidak sesuai dengan data yang ada pada database maka akan muncul peringatan bahwa data yang dimasukkan tidaklah valid. Proses validasi ini sangatlah penting karena tidak sembarang user yang bisa mengakses sistem. Jika data yang dimasukkan sudah valid maka user akan memasuki halaman menu sesuai dengan fungsinya masing-masing. Pada sistem ini terdapat tiga user, yaitu admin, instructor dan student yang mempunyai fungsi yang berbeda-beda.

3.2.2 Fitur Log out Fitur ini dimiliki oleh semua user. Gambar 3.3. Flowchart Proses Log out menjelaskan bagaimana proses log out berlangsung. Proses log out terjadi jika user memilih menu log out yang kemudian akan menghapus semua SESSION yang dimiliki oleh masing-masing user. Pada sistem ini terdapat tiga macam SESSION yang berbeda. Admin dan instructor mempunyai SESSION username dan role sedangkan untuk student ada satu tambahan yaitu SESSION position. SESSION

username digunakan untuk membedakan masing-masing user,

SESSION role untuk membedakan fungsi dari masing-masing user yaitu sebagai admin, instructor atau student. Sedangkan SESSION position digunakan untuk mengetahui posisi dari tingkat belajar student.



20

Gambar 3.3. Flowchart Proses Log out

3.2.3 Fitur Add Item Fitur ini dimiliki oleh instructor untuk menambahkan soal-soal baru yang dimasukkan ke dalam database. Soal dikategorikan berdasarkan level, chapter, dan category dari masing-masing soal. Sistem ini mendukung file audio, image dan text untuk memenuhi kebutuhan dari tiga kategori soal yang berbeda. Jenis soal yang diberikan merupakan jenis soal pilihan ganda, dimana terdapat empat pilihan jawaban dengan satu jawaban yang benar. Untuk lebih jelasnya mengenai proses add item bisa dilihat pada Gambar 3.4. Flowchart Proses Add Item.



21

Mulai

Pilih Menu Upload -> Add Item

Halaman Add Item

Masukkan level item

Masukkan category item

Masukkan chapter item

Masukkan file pendukung berupa picture/audio/text

Masukkan soal

Masukkan pilihan jawaban yang benar

Masukkan pilihan jawaban

Masukkan tingkat kesulitan soal

Submit

Insert into database “skripsi” table “item”

Data lengkap?

Selesai

Gambar 3.4. Flowchart Proses Add Item Universitas Indonesia


22

3.2.4 Fitur View Item Fitur ini adalah fitur yang dimiliki oleh instructor. Instructor bisa melihat soal apa saja yang telah dia buat. Prosesnya bisa dilihat pada Gambar 3.5. Flowchart Proses View Item. Untuk melihat soal-soal yang telah dibuat, instructor harus memilih menu items kemudian pilih submenu sesuai dengan level soal yang ingin dilihat. Jika instructor sudah memasukkan soal ke dalam database maka akan muncul daftar soal apa saja yang ada di database yang dikategorikan berdasarkan level, chapter, category dan difficulty dari tiap soal yang ada. Namun apabila instructor belum memasukkan soal maka yang muncul hanyalah berupa daftar yang masih kosong.

Gambar 3.5. Flowchart Proses View Item Universitas Indonesia


23

Gambar 3.6. Flowchart Proses Edit Item



24

3.2.5 Fitur Edit Item Fitur edit item digunakan untuk mengedit soal. Instructor merupakan user yang mempunyai akses untuk mengedit soal. Pertama instructor memilih menu items, pilih submenu sesuai dengan level soal yang akan di edit dan kemudian memilih action edit. Bagian soal yang bisa diubah adalah pertanyaan, pilihan jawaban, jawaban dan tingkat kesulitan soal. Setelah soal diubah maka sistem akan memperbaharui database soal. Fitur ini dapat memudahkan instructor tanpa harus membuat soal yang baru dengan materi yang sama. Proses pada fitur ini bisa dilihat pada Gambar 3.6. Flowchart Proses Edit Item.

3.2.6 Fitur Delete Item Fitur ini dimiliki oleh instructor yang berfungsi untuk menghapus soal yang sudah tidak terpakai lagi. Gambar 3.7. Flowchart Proses Delete Item menjelaskan proses penghapusan soal. Pertama instructor memilih menu items, pilih submenu sesuai dengan level soal yang akan di hapus dan kemudian memilih action delete yang memerintahkan sistem untuk menghapus soal dari database.

3.2.7 Fitur Pretest Ini adalah fitur yang dimiliki oleh student. Pada fitur inilah adaptive testing berjalan. Sebelum student bisa mengakses semua menu yang dia miliki, terlebih dahulu dia harus mengikuti pretest. Gambar 3.8. Flowchart Proses Pretest menjelaskan proses pretest. Saat student memulai pretest dia akan diberikan soal dengan tingkat kesulitan menengah. Hasil dari jawaban soal pertama menentukan tingkat kesulitan soal yang akan diberikan selanjutnya karena hasil estimasi ability yang dihitung setiap student mengerjakan soal akan menjadi tingkat kesulitan pada soal selanjutnya. Nilai standard error yang biasanya digunakan adalah 0.2 [10], namun perancangan sistem ini diperuntukkan bagi siswa sekolah dasar dalam mata pelajaran Bahasa Inggris sehingga apabila memakai nilai 0.2 jumlah maksimum soal yang keluar akan sangat banyak untuk dikerjakan oleh siswa sekolah dasar sehingga nilai standard error yang dipakai untuk memberhentikan soal adalah 0.6. Selain itu, soal juga akan berhenti diberikan jika ability student kurang atau melampaui dari kriteria yang sudah ditentukan. Maka setiap student Universitas Indonesia


25

akan menerima soal yang berbeda-beda sesuai dengan kemampuannya dan juga akan mengerjakan jumlah soal yang berbeda-beda bergantung pada respon yang diberikan masing-masing student.

Gambar 3.7. Flowchart Proses Delete Item Universitas Indonesia


26

Mulai

N Cek Database “Skripsi” table “user”

Pilih Menu Ujian -> Pretest

Position=0?

Y

Item terpilih

Pilih item dimana difficulty=0 dari database “skripsi” table “item”

Take Pretest

Tampilkan Item

Pilih Jawaban

Submit

SE=0.6 atau ability <-3 atau ability >3?

Estimasi kemampuan siswa

Update position pada database “skripsi” table “user”

Y

N Selesai

Pilih item dimana difficulty=ability dari database “skripsi” table “item”

Item terpilih

Tampilkan item

Submit

Gambar 3.8. Flowchart Proses Pretest Universitas Indonesia


27

Gambar 3.9. Flowchart Proses Test Universitas Indonesia


28

3.2.8 Fitur Test Fitur ini juga merupakan fitur tempat student mengerjakan ujian. Bedanya adalah pada ujian kali ini setiap student mengerjakan soal dengan tingkat kesulitan pada level tertentu karena tingkat kemampuan student sudah diketahui dari hasil pretest yang sebelumnya diikuti. Pada test ini kriteria yang ditetapkan adalah kriteria lulus dan gagal. Jadi dari setiap level, student harus mengikuti test sebanyak sembilan kali dari setiap level (lihat Tabel 3.2.Tabel Pembagian Level Pada Sistem) prosesnya bisa dilihat pada Gambar 3.9. Flowchart Proses Test. Jika hasil test masih ada yang gagal maka student masih bisa mengulangi test sebanyak satu kali. Student harus lulus dari sembilan test yang ada agar bisa naik ke level berikutnya, jika tidak maka student akan turun levelnya. Kriteria nilai yang harus dicapai agar student lulus pada test ini minimal adalah 60.

3.2.9 Fitur View Evaluation Fitur ini terdapat pada menu instructor dan student. Pada Gambar 3.10. Flowchart Proses Melihat Evaluasi Student Pada Menu Instructor menjelaskan bagaimana proses instructor bisa melihat hasil evaluasi dari student yang telah mengikuti ujian. Ketika instructor memilih menu evaluation maka akan muncul daftar nama student, jika memilih action detail maka akan muncul nilai dan keterangan lulus atau gagal dari student yang namanya dipilih sehinga instructor bisa memantau perkembangan dari setiap student. Sedangkan pada Gambar 3.11. Flowchart Proses Melihat Evaluasi Test Pada Menu Student

menjelaskan

bagaimana proses student bisa melihat hasil evaluasinya sendiri. Ketika student memilih menu evaluasi maka akan muncul ujian apa saja yang telah mereka ikuti beserta nilai dan keterangan lulus atau gagal. Jika ingin melihat secara detail respon dari setiap soal test maka student cukup memilih action detail yang akan memberikan keterangan setiap respon soal dari yang mereka kerjakan dan pada setiap respon itu student juga bisa melihat soal yang mereka kerjakan sewaktu mengikuti test sehingga dengan cara ini diharapkan bisa menjadi umpan balik yang baik agar student bisa lebih mengerti ketika mereka mengerjakan soal yang sejenis.



29

Gambar 3.10. Flowchart Proses Melihat Evaluasi Student Pada Menu Instructor



30

Gambar 3.11. Flowchart Proses Melihat Evaluasi Test Pada Menu Student Universitas Indonesia


31

3.3 Relational Database Pada sistem secara keseluruhan terdapat tujuh tabel yaitu tabel user, tabel item, tabel pretest, tabel test, tabel evaluasi tabel buletin dan tabel modul. Namun yang berhubungan dengan sistem adaptive testing hanya lima tabel kecuali buletin dan tabel modul. Tabel 3.3. Tabel User adalah tabel user dimana form registrasi yang diisi oleh semua user yang ingin memiliki account disimpan pada tabel ini. Username merupakan field yang menjadi primary key untuk membedakan antara masingmasing user dan juga akan dipakai untuk SESSION. Sementara field role berfungsi untuk membedakan fungsi dari masing-masing user dimana ada tiga user yang berbeda pada sistem ini, yaitu admin, instructor dan student. Kemudian field position digunakan untuk membedakan level belajar antara student. Sedangkan sisanya merupakan data-data pribadi dari user.

Tabel 3.3.Tabel User tabel user field

type

name

varchar(30)

address

varchar(50)

phone

varchar(20)

dob

varchar(20)

gender

varchar(10)

username

varchar(20)

password

varchar(32)

status

varchar(20)

role

varchar(20)

position

varchar(20)

extra

index

PRIMARY KEY

Tabel 3.4. Tabel Item adalah tempat menyimpan soal-soal yang telah dibuat oleh instructor. Pada tabel ini terdapat tiga belas field yang digunakan untuk membedakan jenis soal yang disimpan di dalam database. Soal-soal tersebut dibedakan berdasarkan level, chapter, category dan difficulty. Id_item menjadi Universitas Indonesia


32

primary key pada tabel ini untuk membedakan antara soal yang satu dengan yang lainnya.

Tabel 3.4. Tabel Item tabel item field

type

id_item

int(5)

level

varchar(20)

chapter

varchar(5)

category

varchar(20)

file

varchar(100)

filetype

varchar(5)

question

varchar(100)

Extra

index

AUTO_INCREMENT

PRIMARY KEY

answer_a varchar(50) answer_b varchar(50) answer_c varchar(50) answer_d varchar(50) answer

varchar(50)

difficulty

int(10)

Tabel 3.5. Tabel Pretest digunakan untuk merekam respon jawaban dari soal yang dikerjakan oleh setiap student yang telah mengikuti pretest. Sedangkan Tabel 3.6. Tabel Test digunakan untuk merekam soal-soal apa saja yang telah dikerjakan oleh student saat mengikuti ujian pada masing-masing level. Penyimpan pada tabel pretest bertujuan untuk mengetahui jumlah soal yang dikerjakan pada saat mengikuti pretest sedangkan tabel test bertujuan agar student nantinya masih bisa melihat soal apa saja yang telah mereka kerjakan disaat mengikuti ujian.



33

Tabel 3.5. Tabel Pretest tabel pretest field

Type

username

varchar(20)

nosoal

int(10)

b

int(10)

u

int(10)

estimasi

int(10)

SE

float

extra

index FOREIGN KEY

Tabel 3.6. Tabel Test tabel test field

Type

extra

index

username

varchar(20)

FOREIGN KEY

id_test

int(5)

FOREIGN KEY

no_item

int(5)

id_item

int(5)

respon

varchar(10)

FOREIGN KEY

Tabel 3.7. Tabel Evaluasi digunakan untuk menyimpan nilai hasil ujian student. Pada tabel ini terdapat delapan field dimana id_test menjadi primary key. Id_test juga menjadi penghubung dengan dua tabel lainnya, yaitu tabel pretest dan tabel test. Pada tabel inilah nilai dan keterangan lulus atau gagal disimpan. Tabel 3.8. Tabel Buletin digunakan untuk menyimpan informasi berupa pengumuman yang disampaikan kepada semua user dan terakhir merupakan Tabel 3.9. Tabel Modul yang digunakan untuk menyimpan modul pembelajaran pada adaptive learning yang dibahas oleh saudari Monika Karolina H.



34

Tabel 3.7. Tabel Evaluasi tabel evaluasi field

type

extra

index

username varchar(20) id_test

int(5)

leveltest

varchar(30)

chaptest

varchar(20)

cattest

varchar(20)

score

varchar(20)

info

varchar(20)

takedate

varchar(30)

FOREIGN KEY AUTO_INCREMENT

PRIMARY KEY

Tabel 3.8. Tabel Buletin tabel bulletin field

type

title

varchar(20)

isi

varchar(500)

date

varchar(40)

extra

index

extra

index

Tabel 3.9. Tabel Modul tabel modul field

type

file

varchar(100)

tingkat

varchar(20)

bab

varchar(10)

kategori

varchar(20)

note

varchar(200)

filetype

int(2)



35

evaluasi modul file tingkat bab kategori note filetype

buletin title isi date

item id_item (PK) level chapter category file filetype question answer_a answer_b answer_c answer_d answer difficulty

user name address phone dob gender username (PK) password status role position

username (FK) id_test (PK) leveltest chaptest cattest score info takedate pretest username (FK) nosoal b u estimasi SE test username (FK) id_test (FK) no_item id_item (FK) respon

Gambar 3.12.Relational Database

Gambar 3.12. Relational Database menunjukkan hubungan antara tabel di dalam database. Misalkan ketika student mengakses menu evaluation dan ingin melihat detail soal yang sudah dikerjakan maka sistem tidak saja mengakses tabel test tapi juga membutuhkan informasi dari tiga tabel lainnya yaitu tabel user, tabel item dan tabel evaluasi. Sehingga antara satu tabel dengan tabel lainnya saling berhubungan.



BAB 4 IMPLEMENTASI DAN ANALISA SISTEM

4.1 Implementasi Sistem Prototype adaptive testing ini diimplementasikan pada localhost server dengan menggunakan bahasa pemrograman HTML, PHP, CSS dan Javascript.

4.1.1 Perangkat Keras Perangkat keras yang digunakan untuk implementasi sistem ini adalah sebagai berikut: -Processor

: Intel® CoreTM 2 Duo processor T5500 1.66 GHz

-Memory

: 512 MB DDR2

-Hard disk

: 80 GB HDD

4.1.2 Perangkat Lunak Perangkat lunak yang digunkan untuk implementasi sistem ini adalah sebagai berikut: -Operating System

: Microsoft Windows XP SP 3

-Web Programming

: PHP version 5.3.8

-Web Server

: Apache/2.2.21 (Win32)

-Database Server

: MySQL version 5.5.16

-User Interface

: Google Chrome

-Tools

: Microsoft Word 2007, Microsoft Exel 2007, Microsoft Visio 2007

4.2 Tampilan Sistem Sistem secara keseluruhan termasuk adaptive learning dan adaptive testing mempunyai banyak tampilan. Namun yang akan dibahas disini hanya mengenai tampilan yang berhubungan dengan adaptive testing. Pada Gambar 4.1. Tampilan Form Registrasi menunjukkan halaman pengisian form registrasi. User yang ingin mengakses sistem terlebih dahulu harus registrasi di halaman ini. Sedangkan pada Gambar 4.2. Tampilan Log in Page 36 Universitas Indonesia


37

menunjukkan halaman log in. Halaman ini digunakan untuk memverifikasi user ingin mengakses sistem.

Gambar 4.1.Tampilan Form Registrasi

Gambar 4.2.Tampilan Log in Page

Gambar 4.3. Tampilan Add Item Pada User Instructor menunjukkan bagaimana Instructor menambahkan soal yang kemudian disimpan ke dalam database. Soal tersebut dibedakan berdasarkan level, chapter, category dan Universitas Indonesia


38

difficulty yang berbeda. Instructor juga bisa menambahkan file mp3, image maupun text untuk penunjang soal.

Gambar 4.3.Tampilan Add Item Pada User Instructor

Gambar 4.4.Tampilan View Item Pada User Instructor

Gambar 4.4. Tampilan View Item Pada User Instructor menunjukkan tampilan daftar soal-soal yang telah di unggah oleh Instructor ke dalam database. Universitas Indonesia


39

Pada gambar tersebut terlihat ada dua action yang bisa dipilah oleh Instructor. Gambar 4.5. Tampilan Edit Item Pada User Instructor menunjukkan tampilan halaman jika Instructor memilih action edit. Pada gambar terlihat bahwa hanya soal, pilihan jawaban, jawaban dan tingkat kesulitan yang bisa diubah. Jika ingin mengubah yang lainnya maka Instructor harus memilih action delete.

Gambar 4.5.Tampilan Edit Item Pada User Instructor

Pada Gambar 4.6. Tampilan Pretest menunjukkan tampilan ketika Student mengerjakan soal pretest. Soal yang pertama kali keluar pada saat pretest merupakan soal dengan tingkat kesulitan menengah. Di saat pretest soal yang ditampilkan setiap halamannya berjumlah satu. Hal ini karena setiap kali Student mensubmit jawaban maka sistem langsung menghitung nilainya maka soal yang keluar berikutnya berdasarkan respon dari jawaban soal sebelumnya disinilah proses adaptive testing berlangsung.



40

Gambar 4.6.Tampilan Pretest

Gambar 4.7.Tampilan Test Vocabulary

Pada Gambar 4.7. Tampilan Test Vocabulary

menunjukkan tampilan

ketika Student mengerjakan test vocabulary, Gambar 4.8. Tampilan Test Listening menunjukkan tampilan ketika Student mengerjakan test listening, Gambar 4.9. Tampilan Test Reading menunjukkan tampilan ketika Student mengerjakan test reading. Pada ketiga gambar tersebut semua soal langsung ditampilkan dalam satu halaman. Tiap halaman menampilkan lima soal sekaligus dengan satu tombol Universitas Indonesia


41

submit. Berbeda dengan pada saat pretest yang menggunakan metode adaptive testing, pada test ini menggunakan kriteria lulus atau gagal. Setelah Student mensubmit jawaban maka sistem akan menghitung scorenya dan apakah Student termasuk yang lulus atau gagal. Kriteria lulus pada sistem ini adalah score yang dicapai minimal 60. Kelemahan pada test ini adalah Instructor tidak bisa mengubah jumlah soal yang ingin dikeluarkan dan tidak bisa mengubah bobot nilai karena sistem sudah menentukan sendiri jumlah soal yang keluar dan bobot nilainya.

Gambar 4.8.Tampilan Test Listening

Gambar 4.9.Tampilan Test Reading Universitas Indonesia


42

Pada Gambar 4.10. Tampilan Evaluation menunjukkan tampilan evaluasi dari nilai Student. Di halaman tersebut ditampilkan apa saja test yang sudah diikuti berikut score dan keterangan lulus atau gagal. Pada halaman tersebut juga terdapat action detail. Jika Student memilih detail maka yang akan ditampikan detail respon dari setiap nomer soal yang dikerjakan seperti pada Gambar 4.11. Tampilan Detail Test. Pada halaman tersebut terdapat action view question. Gambar 4.12. Tampilan Detail Soal menunjukkan halaman yang menampilkan soal, pilihan jawaban dan jawaban yang benar dari yang dikerjakan pada saat test . Fitur ini diharapkan dapat membantu Student sehingga bisa belajar dari kesalahan dan menjadi umpan balik yang baik untuk kemajuan Student.

Gambar 4.10.Tampilan Evaluation



43

Gambar 4.11.Tampilan Detail Test

Gambar 4.12.Tampilan Detail Soal

Pada Gambar 4.13. Tampilan Detail Pretest menunjukkan detail dari pretest yang telah dikerjakan. Disana terlihat berapa jumlah soal yang telah dikerjakan, jumlah soal yang dikerjakan oleh setiap Student hasilnya akan berbeda-beda bergantung pada kemampuannya masing-masing. Detail pretest ini ada di menu evaluasi untuk instructor.



44

Gambar 4.13.Tampilan Detail Pretest

4.3. Adaptive Testing System

Gambar 4.14. Detail Pretest Percobaan Pertama Gambar 4.14. Detail Pretest Percobaan Pertama terdapat lima kolom, yang pertama adalah no soal, difficulty yang artinya tingkat kesulitan dari soal yang dikerjakan, respon jawaban dari Student, jika responnya bernilai 1 maka jawabannya benar dan bernilai 0 jika jawabannya salah. Kemudian kolom estimasi ability yang merupakan perkiraan kemampuan dari Student yang dihitung berdasarkan tingkat kesuliatn soal dan respon jawaban dari Student. Kolom terakhir menunjukkan standard error dari setiap soal yang dikerjakan. Pada Gambar 4.14. Detail Pretest Percobaan Pertama menunjukkan detail pretest dimana student hanya mengerjakkan dua soal. Pemberian soal diberhentikan karena estimasi ability dari student menunjukkan nilai -4 dimana nilai tersebut yang akan dipakai untuk difficulty soal selanjutnya dan nilai difficulty -4 tidak ada dalam bank soal. Student dengan hasil estimasi kurang dari 1 akan dimasukkan ke dalam level beginner. Pada Gambar 4.15. Detail Pretest Universitas Indonesia


45

Percobaan Kedua dan Gambar 4.16. Detail Pretest Percobaan Ketiga juga menunjukkan kasus pemberhentian soal seperti pada Gambar 4.14. Detail Pretest Percobaan Pertama. Perbedaannya adalah pada Gambar 4.14. Detail Pretest Percobaan Pertama, respon jawaban dari student semuanya bernilai 0 sedangkan pada Gambar 4.15. Detail Pretest Percobaan Kedua dan Gambar 4.16. Detail Pretest Percobaan Ketiga, ada satu respon jawaban dari student yang bernilai 1. Pada ketiga percobaan tersebut masing-masing student mengerjakan jumlah soal yang berbeda-beda.

Gambar 4.15. Detail Pretest Percobaan Kedua

Gambar 4.16. Detail Pretest Percobaan Ketiga Pada Gambar 4.17. Detail Pretest Percobaan Ke-4 menunjukkan pemberhentian soal diberikan karena nilai standard error mencapai nilai yang telah ditentukan oleh sistem, yaitu 0.6. Pada percobaan ini student mengerjakan tujuh belas nomer soal untuk mengestimasi abilitynya. Student dimasukkan kedalam level belajar beginner karena pada soal yang terakhir dikerjakkan, nilai



46

estimasi abilitynya adalah -3 dimana nilai -3 termasuk dalam kategori level beginner.

Gambar 4.17. Detail Pretest Percobaan Ke-4

Gambar 4.18. Detail Pretest Percobaan Ke-5 Universitas Indonesia


47

Pada Gambar 4.18. Detail Pretest Percobaan Ke-5, Gambar 4.19. Detail Pretest Percobaan Ke-6 dan Gambar 4.20. Detail Pretest Percobaan Ke-7 menunjukkan pemberhentian soal dikarenakan nilai standard error mencapai 0.6 dan pada ketiga percobaaan tersebut soal terakhir yang dikerjakan menunjukkan estimasi ability berturut-turut -1, -1 dan 1. Ketiga nilai tersebut masuk dalam kategori level belajar intermediate dan pada ketiga percobaan tersebut masingmasing student mengerjakan jumlah soal yang berbeda-beda.





48

Pada Gambar 4.21. Detail Pretest Percobaan Ke-8 menunjukkan detail pretest dimana soal berhenti diberikan karena nilai standard error mencapai 0.6. Pada percobaan ini student mengerjakan soal sebanyak dua belas nomer dan pada nomer terakhir, nilai estimasi abilitynya adalah 3 dimana nilai tersebut masuk kedalam level belajar advanced. Maka pada percobaan ini student dikategorikan dalam level belajar advanced.


Pada Gambar 4.22. Detail Pretest Percobaan Ke-9 dan Gambar 4.23. Detail Pretest Percobaan Ke-10 menunjukkan pemberhentian soal diberikan karena nilai estimasi ability dari student menunjukkan nilai 4 dimana nilai tersebut yang akan dipakai untuk difficulty soal selanjutnya dan nilai difficulty 4 tidak ada dalam bank soal. Student dengan hasil estimasi lebih dari 1 dimasukkan ke dalam level belajar advanced. Perbedaan dari kedua percobaan tersebut adalah jumlah soal yang dikerjakan dan respon dari jawabannya. Pada Gambar 4.22. Detail Pretest Percobaan Ke-9, student mengerjakan soal sebanyak tujuh nomer dengan satu respon jawaban yang bernilai salah (0) sedangkan pada Gambar 4.23. Detail Pretest Percobaan Ke-10, student hanya mengerjakan sebanyak tiga nomer dengan respon jawaban yang semuanya benar (1).



49


Gambar 4.23. Detail Pretest Percobaan Ke-10 Penggunaan model psikometri IRT one-parameter model telah berhasil diterapkan pada sistem ini. Sistem mampu bekerja sesuai dengan apa yang telah direncanakan sebelumnya. Namun karena difficulty soal hanya berkisar dari -3 sampai dengan 3 dan bernilai bulat dimana tidak adanya difficulty soal bernilai desimal maka sistem tidak begitu bisa mengestimasi kemampuan Student dengan baik dimana nilai estimasi ability dibulatkan ke bawah. Kelemahan dari psikometri IRT adalah harus tersedianya bank soal yang cukup besar dengan variasi tingkat kesulitan yang beragam sehingga tidak cocok untuk sistem dengan peserta yang minim.

4.4. Waktu Akses Sistem Pada sistem ini yang akan diuji waktu aksesnya adalah pada halaman ujian baik itu pada saat pretest maupun test yang sesuai dengan level Student.



50

Tabel 4.1.Tabel Pengujian Waktu Akses (detik) Halaman Pretest Masuk Halaman Pretest (detik) 2.60E-05 3.31E-05 2.50E-05 2.72E-05 2.60E-05 2.60E-05 2.72E-05 2.60E-05 2.62E-05 2.81E-05 2.71E-04 2.71E-05

Percobaan ke-n 1 2 3 4 5 6 7 8 9 10 Total rata-rata

Masuk Halaman Pretest waktu akses (detik)

3.50E-05 3.00E-05 2.50E-05 2.00E-05 1.50E-05

Masuk Halaman Pretest

1.00E-05 5.00E-06 0.00E+00 0

5

10

15

percobaan ke-n

Gambar 4.24.Grafik Pengujian Waktu Akses Halaman Pretest dalam satuan detik

Tabel 4.1. Tabel Pengujian Waktu Akses (detik) Halaman Pretest menunjukkan pengujian waktu akses untuk halaman pretest. Pengujian dilakukan dengan sepuluh kali percobaan dimana nilai rata-rata yang didapat adalah 2.71E05 detik. Gambar 4.24. Grafik Pengujian Waktu Akses Halaman Pretest dalam satuan detik menunjukkan nilai dari masing masing percobaan, pada percobaan



51

kedua merupakan kecepatan akses yang paling lambat mencapai 3.31E-05 detik. Namun selanjutnya kecepatan untuk mengakses halaman ini cukup stabil.

Tabel 4.2.Tabel Pengujian Waktu Akses (detik) Halaman Test Vocabulary Percobaan ke-n 1 2 3 4 5 6 7 8 9 10 total rata-rata

Masuk Halaman Test Vocabulary (detik) 2.00E-05 2.00E-05 2.22E-05 1.98E-05 2.10E-05 2.29E-05 2.69E-05 2.41E-05 2.50E-05 2.00E-05 2.22E-04 2.22E-05

Masuk Halaman Tes Vocabulary waktu akses (detik)

3.00E-05 2.50E-05 2.00E-05 1.50E-05 Masuk Halaman Tes Vocabulary

1.00E-05 5.00E-06 0.00E+00 0

5

10

15

percobaan ke-n

Gambar 4.25.Grafik Pengujian Waktu Akses Halaman Test Vocabulary dalam satuan detik

Tabel 4.2. Tabel Pengujian Waktu Akses (detik) Halaman Test Vocabulary menunjukkan pengujian waktu akses untuk halaman test vocabulary. Pada halaman ini juga dilakukan sepuluh kali uji coba. Rata-rata waktu yang Universitas Indonesia


52

dibutuhkan untuk mengakses halaman ini adalah 2.22E-05 detik. Berbeda dengan pengujian pada halaman pretest, dari Gambar 4.25. Grafik Pengujian Waktu Akses Halaman Test Vocabulary dalam satuan detik ditunjukkan bahwa waktu akses menjadi tidak stabil disaat percobaan ke enam dan puncaknya pada percobaan ke tujuh menjadi waktu akses paling lama yaitu 2.69E-05 detik, kejadian tersebut bisa saja terjadi karena disaat bersamaan memori komputer sedang digunakan untuk menjalankan proses dari aplikasi yang lainnya. Selanjutnya kecepatan mulai bertambah lagi dan pada percobaan kesepuluh waktu akses kembali seperti pada percobaan pertama.

Tabel 4.3.Tabel Pengujian Waktu Akses (detik) Halaman Test Listening Percobaan ke-n 1 2 3 4 5 6 7 8 9 10 total rata-rata

Masuk Halaman Test Listening (detik) 3.10E-05 2.50E-05 2.81E-05 2.69E-05 2.81E-05 2.91E-05 2.79E-05 2.60E-05 2.60E-05 2.41E-05 2.72E-04 2.72E-05

waktu akses (detik)

Masuk Halaman Tes Listening 4.00E-05 3.00E-05 2.00E-05 1.00E-05 0.00E+00

Masuk Halaman Tes Listening 0

5

10

15

percobaan ke-n

Gambar 4.26.Grafik Pengujian Waktu Akses Halaman Test Listening dalam satuan detik Universitas Indonesia


53

Tabel 4.3. Tabel Pengujian Waktu Akses (detik) Halaman Test Listening menunjukkan sepuluh kali percobaan yang diuji pada saat masuk halaman test listening. Rata-rata waktu akses pada halaman ini adalah 2.72E-05 detik. Percobaan pertama merupakan waktu akses paling lama disaat membuka halaman ini yaitu 3.10E-05 detik. Dilihat pada Gambar 4.26. Grafik Pengujian Waktu Akses Halaman Test Listening dalam satuan detik waktu akses pada halaman ini stabil pada saat percobaan ke tiga sampai ke tujuh, selanjutnya waktu akses menjadi lebih cepat. Pada percobaan ke sepuluh waktu akses mencapai 2.41E-05 detik dimana merupakan waktu akses yang paling cepat dalam sepuluh kali percobaan disaat mengakses halaman ini.

Tabel 4.4.Tabel Pengujian Waktu Akses (detik) Halaman Test Reading Percobaan ke-n 1 2 3 4 5 6 7 8 9 10 total rata-rata

Masuk Halaman Test Reading (detik) 2.29E-05 2.50E-05 2.00E-05 2.10E-05 2.22E-05 2.00E-05 2.31E-05 2.19E-05 2.10E-05 2.69E-05 2.24E-04 2.24E-05



54

waktu akses (detik)

Masuk Halaman Tes Reading 3.00E-05 2.50E-05 2.00E-05 1.50E-05 1.00E-05 5.00E-06 0.00E+00

Masuk Halaman Tes Reading 0

5

10

15

percobaan ke-n

Gambar 4.27.Grafik Pengujian Waktu Akses Halaman Test Reading dalam satuan detik

Tabel 4.4. Tabel Pengujian Waktu Akses (detik) Halaman Test Reading menunjukkan uji coba waktu akses pada halaman test reading. Sama pada uji coba sebelumnya, uji coba pada halaman ini juga sebanyak sepuluh kali percobaan dengan waktu akses rata-rata 2.24E-05 detik. Dilihat pada Gambar 4.27. Grafik Pengujian Waktu Akses Halaman Test Reading dalam satuan detik, waktu akses tidak stabil dan pada percobaan kesepuluh mencapai 2.69E-05 detik. Ketidakstabilan seperti ini bisa terjadi karena penggunaan memory komputer secara bersaaman dengan proses aplikasi lain yang sedang dijalankan.

waktu akses (detik)

Perbandingan Pengujian 3.50E-05 3.00E-05 2.50E-05 2.00E-05 1.50E-05 1.00E-05 5.00E-06 0.00E+00

Masuk Halaman Tes Vocabulary Masuk Halaman Tes Listening Masuk Halaman Tes Reading 0

5

10

15

percobaan ke-n

Gambar 4.28.Grafik Perbandingan Pengujian Waktu Akses Test Vocabulary, Listening dan Reading dalam satuan detik Universitas Indonesia


55

Gambar 4.28. Grafik Perbandingan Pengujian Waktu Akses Test Vocabulary,

Listening

dan

Reading

dalam

satuan

detik

menunjukkan

perbandingan antara waktu akses disaat membuka halaman test vocabulary, halaman test listening dan halaman test reading. Perlu diketahui sebelumnya, dari ketiga halaman tersebut terdapat perbedaan file yang ditampilkan. Pada test

vocabulary file yang ditampilkan berupa gambar sedangkan pada test listening file yang ditampilkan adalah berupa mp3 dan pada test reading file yang ditampilkan adalah berupa text. Dari grafik bisa dilihat disaat membuka halaman test listening membutuhkan waktu yang lebih lama dibanding dengan dua hhalaman alaman lainnya.

rata-rata waktu akses (detik)

Perbandingan Rata-Rata Waktu Akses (detik) Membuka Halaman Test Vocabulary dan Test Listening 100% 81.62%

1.00E+00 8.00E-01 6.00E-01 4.00E-01 2.00E-01

2.22E-05

2.72E-05

0.00E+00 halaman test vocabulary halaman test listening

Gambar 4.29.Diagram Perbandingan Pengujian Waktu Akses Halaman Test

Vocabulary dan Test Listening



56


Perbandingan Rata-Rata Waktu Akses (detik) Membuka Halaman Test Vocabulary dan Test Reading 100%

99.11% 1.00E+00 8.00E-01 6.00E-01 4.00E-01 2.00E-01

2.22E-05

2.24E-05

0.00E+00 halaman test vocabulary

halaman test reading


Vocabulary dan Test Reading

Pada Gambar 4.29. Diagram Perbandingan Pengujian Waktu Akses

Halaman Test Vocabulary dan Test Listening menunjukkan perbandingan rata-rata waktu akses disaat membuka halaman Test Vocabulary yang 81.62% lebih cepat dibandingkan dengan disaat membuka halaman Test Listening. Pada Gambar 4.30. Diagram Perbandingan Pengujian Waktu Akses Halaman Test Vocabulary dan

Test Reading menunjukkan perbandingan rata-rata waktu akses disaat membuka halaman Test Vocabulary yang 99.11% lebih cepat dibandingkan dengan disaat membuka halaman Test Reading. Sedangkan pada Gambar 4.31. Diagram Perbandingan Pengujian Waktu Akses Halaman Test Reading dan Test Listening menunjukkan perbandingan rata-rata waktu akses disaat membuka halaman Test

Reading yang lebih cepat sebesar 82.35% dibandingkan dengan disaat membuka halaman Test Listening. Sehinga dapat disimpulkan bahwa file yang ditampilkan berpengaruh pada waktu yang dibutuhkan untuk mengakses halaman tersebut.



57

Perbandingan Rata-Rata Waktu Akses (detik) Membuka Halaman Test Reading dan Test Listening


100% 1.00E+00

82.35%

8.00E-01 6.00E-01 4.00E-01 2.00E-01

2.24E-05

2.72E-05

0.00E+00 halaman test reading

halaman test listening


Reading dan Test Listening

4.5 Kuesioner Kuesioner ini bertujuan untuk mendapatkan penilaian terhadap kinerja sistem yang terdiri dari empat belas pertanyaan yang masing-masing tujuh

pertanyaan dari sisi user instructor dan tujuh pertanyaan lainnya yang dinilai dari sisi user student. Kuesioner disebar kepada sepuluh responden. Setiap responden terlebih dahulu mencoba utuk menggunakan sistem sebelum mengisi kuesioner sehingga dapat mengetahui kinerja dari sistem. Pada Tabel 4.5. Tabel Pertanyaan

Kuesioner dari Sisi Instructor menunjukkan pertanyaan-pertanyaan yang diajukan dari sisi user instructor dan pada Tabel 4.6. Tabel Pertanyaan Kuesioner dari Sisi Student menunjukkan pertanyaan-pertanyaan yang diajukan dari sisi user student.



58

Tabel 4.5. Tabel Pertanyaan Kuesioner dari Sisi Instructor Kuesioner dari sisi instructor No Pertanyaan 1.a Instruksi dari aplikasi ini cukup mudah untuk diikuti sehingga tidak perlu bantuan luar 2.a Waktu akses sistem cukup cepat 3.a Fitur dalam menu instructor sudah cukup 4.a Cara mengunggah, menyunting dan menghapus pertanyan cukup mudah 5.a Aplikasi ini memudahkan instruktur untuk mengklasifikasikan soal sesuai dengan level dan tingkat kesulitannya 6.a Fitur evaluasi dapat membantu instructor untuk melihat perkembangan siswa 7.a Pesan kesalahan dan informasi yang disediakan sistem ini sudah cukup baik dalam membantu mengunakan aplikasi ini Tabel 4.6. Tabel Pertanyaan Kuesioner dari Sisi Student No 1.b 2.b 3.b 4.b 5.b 6.b

7.b

Kuesioner dari sisi student Pertanyaan Instruksi dari aplikasi ini cukup mudah untuk diikuti sehingga tidak perlu bantuan luar Waktu akses sistem cukup cepat Fitur dalam menu student sudah cukup Fitur pretest membantu student dalam mengetahui level belajar yang sesuai dengan tingkat kemampuannya Apakah testing dalam sistem ini mudah untuk digunakan Fitur evaluasi dapat membantu student untuk melihat perkembangan belajarnya Pesan kesalahan dan informasi yang disediakan sistem ini sudah cukup baik dalam membantu mengunakan aplikasi ini Data yang diperoleh dari hasil kuesioner dibuat dalam bentuk diagram

perbandingan. Diagram tersebut membandingkan empat dari pilihan jawaban yang ada pada setiap pertanyaan yang ada. Pilihan jawabannya adalah sangat setuju, setuju, cukup dan tidak setuju.



59

Kuesioner Instructor: 1.a. Instruksi dari aplikasi ini cukup mudah untuk diikuti sehingga tidak perlu bantuan luar 50%

60% 40%

30% 20%

20%

0%

0% sangat setuju

setuju

cukup

tidak setuju

Gambar 4.32.Diagram Perbandingan Pertanyaan Pertama Kuesioner dari Sisi

Instructor

Gambar 4.32. Diagram Perbandingan Pertanyaan Pertama Kuesioner dari Sisi Instructor menunjukkan grafik perbandingan pada pertanyaan pertama dari sisi instructor yang menanyakan mengenai instruksi dari aplikasi pada sistem pada saat user sebagai instructor. Hasil survei menunjukkan, 50% responden setuju bahwa instruksi aplikasi cukup mudah untuk diikuti disaat user berperan

sebagai instructor.

Kuesioner Instructor: 2.a. Waktu akses sistem cukup cepat 70% 60% 50% 40% 30% 20% 10% 0%

60% 40%

0% sangat setuju

setuju

cukup

0% tidak setuju

Gambar 4.33.Diagram Perbandingan Pertanyaan Kedua Kuesioner dari Sisi

Instructor Universitas Indonesia


60

Gambar 4.33. Diagram Perbandingan Pertanyaan Kedua Kuesioner dari Sisi Instructor menunjukkan grafik perbandingan pada pertanyaan kedua dari sisi instructor yang menanyakan mengenai waktu mengakses sistem pada saat user sebagai instructor. Hasil survei menunjukkan, 60% responden menyatakan setuju bahwa waktu akses yang dibutuhkan untuk untuk mengakses sistem cukup cepat disaat

user berperan sebagai instructor.

Kuesioner Instructor: 3.a. Fitur dalam menu instruktur sudah cukup

70% 60% 50% 40% 30% 20% 10% 0%

60%

30% 10%

0% sangat setuju

setuju

cukup

tidak setuju

Gambar 4.34.Diagram Perbandingan Pertanyaan Ketiga Kuesioner dari Sisi

Instructor

Gambar 4.34. Diagram Perbandingan Pertanyaan Ketiga Kuesioner dari Sisi Instructor menunjukkan grafik perbandingan pada pertanyaan ketiga dari sisi instructor yang menanyakan mengenai fitur dalam menu instructor. Hasil survei menunjukkan, 60% responden setuju bahwa fitur dalam menu instructor sudah

cukup.



61

Kuesioner Instructor: 4.a. Cara mengunggah, menyunting dan menghapus pertanyan cukup mudah 100% 100% 80% 60% 40% 20% 0%

0% sangat setuju

0% setuju

cukup

0% tidak setuju

Gambar 4.35.Diagram Perbandingan Pertanyaan Ke-4 Kuesioner dari Sisi

Instructor

Gambar 4.35. Diagram Perbandingan Pertanyaan Ke-4 Kuesioner dari Sisi Instructor menunjukkan grafik perbandingan pada pertanyaan nomer empat dari sisi instructor yang menanyakan mengenai cara mengunggah mengunggah,, menyunting dan menghapus pertanyaan. Hasil survei menunjukkan, 100% responden menyatakan setuju bahwa cara mengunggah, menyunting dan menghapus pertanyaan cukup

mudah.

Kuesioner Instructor: 5.a. Fitur evaluasi dapat membantu instruktur untuk melihat perkembangan siswa 50% 50% 40% 30% 20% 10% 0%

40%

10% 0% sangat setuju

setuju

cukup

tidak setuju


Instructor Universitas Indonesia


62

Gambar 4.36. Diagram Perbandingan Pertanyaan Ke-5 Kuesioner dari Sisi Instructor menunjukkan grafik perbandingan pada pertanyaan nomer lima dari sisi instructor yang menanyakan mengenai fitur evaluasi. Hasil survei menunjukkan, 50% responden menyatakan set setuju uju bahwa fitur evaluasi dapat membantu

instructor dalam melihat perkembangan siswa.

Kuesioner Instructor: 6.a. Aplikasi ini memudahkan instruktur untuk mengklasifikasikan soal sesuai dengan level dan tingkat kesulitannya 70%

80% 60% 40%

30%

20%

0%

0%

0% sangat setuju

setuju

cukup

tidak setuju


Instructor

Gambar 4.37. Diagram Perbandingan Pertanyaan Ke-5 Kuesioner dari Sisi Instructor menunjukkan grafik perbandingan pada pertanyaan nomer enam dari sisi instructor yang menanyakan mengenai kemudahan instructor dalam mengklasifikasikan soal. Hasil survei menunjukkan, 70% responden menyatakan setuju bahwa aplikasi ini memudahkan instructor dalam mengklasifikasikan soal

sesuai dengan level dan tingkat kesulitannya.



63

Kuesioner Instructor: 7.a. Pesan kesalahan dan informasi yang disediakan sistem ini sudah cukup baik dalam membantu mengunakan aplikasi ini 50% 50% 40% 30% 20% 10% 0%

30% 20%

0% sangat setuju

setuju

cukup

tidak setuju


Instructor

Gambar 4.38. Diagram Perbandingan Pertanyaan Ke-7 Kuesioner dari Sisi Instructor menunjukkan grafik perbandingan pada pertanyaan nomer tujuh dari sisi instructor yang menanyakan apakah pesan kesalahan dan informasi yang disediakan sistem sudah cukup baik. Hasil survei menunjukkan, 50% responden menyatakan setuju bahwa pesan kesalahan dan informasi yang disediakan sistem cukup baik dalam membantu menggunakan aplikasi ini.

Gambar 4.39. Diagram Perbandingan Pertanyaan Pertama Kuesioner dari Sisi Student menunjukkan grafik perbandingan pada pertanyaan pertama dari sisi student yang menanyakan instruksi dari aplikasi disaat user berperan sebagai student. Hasil survei menunjukkan, 30% responden menyatakan sangat setuju, 30% setuju, 30% cukup dan 10% tidak setuju bahwa instruksi aplikasi dari sistem ini mudah diikuti disaat user berperan sebagai student.



64

Kuesioner Student: 1.b. Instruksi dari aplikasi ini cukup mudah untuk diikuti sehingga tidak perlu bantuan luar 40%

30%

30%

30% 10%


setuju

cukup

tidak setuju

Gambar 4.39.Diagram Perbandingan Pertanyaan Pertama Kuesioner dari Sisi

Student

Kuesioner Student: 2.b. Waktu akses sistem cukup cepat 50%

50%

50% 40% 30% 20% 10% 0%

0% sangat setuju

setuju

cukup

0% tidak setuju

Gambar 4.40.Diagram Perbandingan Pertanyaan Kedua Kuesioner dari Sisi

Student

Gambar 4.40. Diagram Perbandingan Pertanyaan Kedua Kuesioner dari Sisi Student menunjukkan grafik perbandingan pada pertanyaan kedua dari sisi student yang menanyakan mengenai waktu akses disaat user berperan sebagai student. Hasil survei menunjukkan, 50% responden menyatakan sangat setuju dan 50% lainnya setuju bahwa waktu aakses kses yang dibutuhkan sistem cukup cepat disaat

user berperan menjadi student.



65

Kuesioner Student: 3.b. Fitur dalam menu student sudah cukup 40% 40%

30%

30%

30% 20% 10%

0%

0% sangat setuju

setuju

cukup

tidak setuju

Gambar 4.41.Diagram Perbandingan Pertanyaan Ketiga Kuesioner dari Sisi

Student

Gambar 4.41. Diagram Perbandingan Pertanyaan Ketiga Kuesioner dari Sisi Student menunjukkan grafik grafik perbandingan pada pertanyaan ketiga dari sisi student yang menanyakan mengenai fitur pada menu student. Hasil survei menunjukkan, 30% responden menyatakan sangat setuju, 40% setuju dan 30% lainnya menyatakan cukup bahwa fitur dalam menu student sudah cukup.

Kuesioner Student: 4.b. pretest membantu student dalam mengetahui level belajar yang sesuai dengan tingkat kemampuannya 60%

40%

50%

40% 10%

20%

0%

0% sangat setuju

setuju

cukup

tidak setuju

Gambar 4.42.Diagram Perbandingan Pertanyaan Ke-4 Kuesioner dari Sisi Student



66

Gambar 4.42. Diagram Perbandingan Pertanyaan Ke-4 Kuesioner dari Sisi Student menunjukkan grafik perbandingan pada pertanyaan nomer empat dari sisi student yang menanyakan mengenai fitur pretest pada menu student. Hasil survei menunjukkan, 40% responden menyatakan sangat setuju, 50% setuju dan 10% lainnya menyatakan cukup bahwa fitur pretest dapat membantu student dalam

mengetahui level belajar yang sesuai dengan tingkat kemampuannya.

Kuesioner Student: 5.b. Apakah testing dalam sistem ini mudah untuk digunakan 50%

40%

50% 40% 30%

10%

20% 0%


setuju

cukup

tidak setuju

Gambar 4.43.Diagram Perbandingan Pertanyaan Ke-5 Kuesioner dari Sisi Student

Kuesioner Student: 6.b. Fitur evaluasi dapat membantu student untuk melihat perkembangan belajarnya 50%

50%

50% 40% 30% 20% 10% 0%

0% sangat setuju

setuju

cukup

0% tidak setuju

Gambar 4.43.Diagram Perbandingan Pertanyaan Ke-6 Kuesioner dari Sisi Student Universitas Indonesia


67

Gambar 4.43. Diagram Perbandingan Pertanyaan Ke-5 Kuesioner dari Sisi Student menunjukkan grafik perbandingan pada pertanyaan nomer lima dari sisi student yang menanyakan mengenai kemudahan pemakaian fitur testing. Hasil survei menunjukkan, 50% responden menyatakan sangat setuju, 40% setuju dan 10% lainnya menyatakan tidak setuju bahwa fitur testing dalam sistem ini mudah

untuk digunakan. Gambar 4.44. Diagram Perbandingan Pertanyaan Ke-6 Kuesioner dari Sisi Student menunjukkan grafik perbandingan pada pertanyaan nomer enam dari sisi student yang menanyakan mengenai fitur evaluasi disaat user berperan sebagai student. Hasil survei menunjukkan, 50% responden menyatakan sangat setuju dan 50% lainnya setuju bahwa fitur evaluasi dapat membantu student dalam perkembangan belajarnya.

Gambar 4.45. Diagram Perbandingan Pertanyaan Ke-7 Kuesioner dari Sisi Student menunjukkan grafik perbandingan pada pertanyaan nomer tujuh dari sisi student yang menanyakan apakah pesan kesalahan dan informasi yang disediakan sistem sudah cukup baik. Hasil survei menunjukkan, 50% responden menyatakan setuju bahwa pesan kesalahan dan informasi yang disediakan sistem sudah cukup baik dalam membantu menggunkan aplikasi ini disaat user berperan menjadi

student. .

Kuesioner Student: 7.b. Pesan kesalahan dan informasi yang disediakan sistem ini sudah cukup baik dalam membantu mengunakan aplikasi ini 50% 50% 40% 30% 20% 10% 0%

20%

20%

10%

sangat setuju

setuju

cukup

tidak setuju

Gambar 4.45.Diagram Perbandingan Pertanyaan Ke-7 Kuesioner dari Sisi Student Universitas Indonesia


68

Penilaian sistem ini bisa dilihat pada Tabel 4.7. Tabel Penilaian Sistem, data tersebut didapat dari hasil kuesioner sebelumnya. Nilai 4 artinya sangat baik, 3 artinya baik, 2 artinya cukup dan 1 artinya tidak baik. Pada tabel tersebut menunjukkan dari empat belas pertanyaan yang disebar pada saat survei diperoleh nilai rata-rata sebesar 3,092 yang artinya penilaian terhadap sistem ini adalah baik.

Tabel 4.7.Tabel Penilaian Sistem

Nilai No. Kuesioner 1.a 2.a 3.a 4.a 5.a 6.a 7.a 1.b 2.b 3.b 4.b 5.b 6.b 7.b

4

3

2

1

sangat setuju

setuju

cukup

tidak setuju

3 5 4 6 1 6 0 1 4 5 3 7 2 5 3 3 5 5 3 4 4 5 5 4 5 5 2 5 Total Rata-Rata

2 0 3 0 1 0 3 3 0 3 1 0 0 2

Rata-Rata 0 0 0 0 0 0 0 1 0 0 0 1 0 1

2.4 3.4 2.8 3 3.3 3.3 2.9 2.8 3.5 3 3.3 3.3 3.5 2.8 3.0928571



BAB 5 KESIMPULAN

Kesimpulan yang bisa diperoleh dari prototype adaptive testing system based on IRT ini adalah sebagai berikut: 1. Model psikometri IRT dengan satu parameter ini telah berhasil diterapkan pada prototype adaptive testing system ini. 2. Penggunaan model psikometri IRT membutuhkan bank soal yang cukup besar karena itu dibutuhkan variasi tingkatan kesulitan yang cukup beragam dengan jumlah soal yang tidak sedikit di setiap tingkatan kesulitannya sehingga hasil estimasi ability benar-benar menunjukkan kemampuan Student yang diuji. 3. Adanya fitur evaluasi hasil ujian dapat membantu Instructor dalam melihat perkembangan Student. Selain itu Student juga bisa melihat soal yang telah dia kerjakan pada saat mengerjakan test sebelumnya sehingga bisa menjadi umpan balik yang baik di dalam proses belajar. Maka disaat dia mendapatkan soal ujian yang sejenis, dia bisa belajar dari kesalahan sebelumnya. 4. Waktu akses yang dibutuhkan di saat membuka halaman pretest adalah 2.71E05 detik. Sedangkan untuk membuka halaman test vocabulary rata-rata waktu akses yang dibutuhkan adalah 2.22E-05 detik. Kemudian rata-rata waktu akses untuk membuka halaman test listening dan test reading berturut-turut adalah 2.72E-05 detik dan 2.24E-05 detik. Pengujian dilakukan sebanyak sepuluh kali untuk tiap-tiap halaman yang di uji. 5. Perbandingan waktu rata-rata mengakses di antara halaman test vocabulary, test listening dan test reading dengan menampilkan file yang berbeda di tiap halaman yaitu file gambar pada halaman test vocabulary, file mp3 pada halaman test listening dan file text pada halaman test reading disimpulkan bahwa nilai menunjukkan perbandingan rata-rata waktu akses disaat membuka halaman Test Vocabulary yang 81.62%

lebih cepat dibandingkan dengan

disaat membuka halaman Test Listening, sedangkan perbandingan rata-rata waktu akses disaat membuka halaman Test Vocabulary yang 99.11% lebih cepat dibandingkan dengan disaat membuka halaman Test Reading, dan 69 Universitas Indonesia


70

perbandingan rata-rata waktu akses disaat membuka halaman Test Reading yang lebih cepat sebesar 82.35% dibandingkan dengan disaat membuka halaman Test Listening. Maka file yang ditampilkan berpengaruh pada waktu yang dibutuhkan untuk mengakses halaman dari masing-masing test. 6. Penilaian sistem yang disebar melalui kuesioner dengan sepuluh orang responden dan empat belas pertanyaan menyimpulkan bahwa prototype adaptive testing system based on IRT sudah bekerja dengan baik.



DAFTAR REFERENSI

[1]

Yu-Hui Tao, Yu-Lung Wu and Hsin-Yi Chang, “A Practical Computer Adaptive Testing Model for Small-Scale Scenarios”, Educational Technology & Society, 2008.

[2]

Jun Chen and Lei Wang, “Computerized Adaptive Testing: A New Trend in Language Testing”, IEEE, 2010.

[3]

Wim J. van der Linden and Cees A.W. Glas, “Elements of Adaptive Testing”, Springer, 2010, Page 191.

[4]

Eduardo Guzmán and Ricardo Conejo, “Self-Assessment ina Feasible, Adaptive Web-Based Testing System”, IEEE TRANSACTIONS ON EDUCATION, VOL. 48, NO. 4, NOVEMBER 2005.

[5]

Putu A. Widhiartha, “Memahami Lebih Lanjut Tentang E-Learning” [email protected], http://widhiartha.multiply.com. Diakses pada tanggal 15 Januari 2011.

[6]

http://en.wikipedia.org/wiki/Adaptive_system. Diakses pada tanggal 24 Mei 2011.

[7]

http://en.wikipedia.org/wiki/Feedback_loop. Diakses pada tanggal 24 Mei 2011.

[8],,,,,,,http://www.peltarion.com/doc/index.php?title=Applications_of_adaptive_s ystems. Diakses pada tanggal 24 Mei 2011. [9]

http://en.wikipedia.org/wiki/Item_response_theory. Diakses pada tanggal 14 Maret 2011.

[10]

Baker, Frank B.2001. The Basic of Item Response Theory. New York: ERI

Clearinghouse

on

Assessment

and

Evaluation

http:/edres.org/irt/baker/final.pdf. Diakses pada tanggal 2 Nopember 2011. [11]

Gin-Fon N. Ju and Alfred Bork, “The Implementation of an Adaptive Test on the Computer”, IEEE, 2005.

[12]

http://en.wikipedia.org/wiki/Computerized_adaptive_testing. Diakses pada tanggal 5 Maret 2011.

71 Universitas Indonesia


72

[13]

Linacre, John Michael. 2000. Computer-Adaptive Testing: A Methodology Whose Time Has Come. Seoul: Komesa Press. www.rasch.org/memo69.pdf. Diakses pada tanggal 25 Oktober 2011.

[14]

Irsal, Lisa Rienellda. 2004. Pengembangan Prototype Adaptive Online Test System. Depok: Fakultas Ilmu Komputer UI.



UNIVERSITAS INDONESIA ONE PARAMETER MODEL PADA PEMBELAJARAN BAHASA INGGRIS. SKRIPSI Diajukan sebagai salah satu syarat untuk memperoleh gelar S1

Recommend Documents