BAB III METODOLOGI
3.1. Kerangka Pikir Berangkat dari penelitian-penelitian sebelumnya yang telah mengimplementasikan jejaring Bayesian sebagai inti dari mesin inferensi dalam melakukan pemodelan terhadap siswa pada beraneka-ragam bidang pembelajaran, maka penelitian ini dibuat agar dapat memberikan sudut pandang lain terhadap bagaimana melakukan konfigurasi terhadap jejaring probabilistik Bayesian dalam student modelling, khusus untuk mata kuliah AMOOP II.
3.1.1.
Positioning Berikut adalah positioning yang menggambarkan perbedaan penelitian ini
dibandingkan
dengan
beberapa
penelitian
sebelumnya
yang
mencoba
merumuskan konfigurasi jejaring yang tepat untuk mesin inferensi mereka masing-masing: Dibandingkan dengan ANDES (Conati dkk., 1997), penelitian ini mampu memberikan gambaran tentang rancangan penggunaan CPT dan laporan tingkat akurasi dengan metode yang eksplisit dalam bentuk persentase. ANDES juga tidak menggolongkan siswa ke dalam tingkat kemampuan tertentu, sedangkan penelitian ini melakukannya secara jelas. ANDES memaparkan konfigurasi pemanfaatannya sebagai pengujian untuk bidang pembelajaran Fisika Dasar, sedangkan penelitian ini menggunakan mata kuliah AMOOP II sebagai objek penelitiannya. 30
31
Seridi dkk. (2006:190) telah mampu menggambarkan hasil inferensi jejaring mereka dan membandingkan secara eksplisit dalam tabel prosentase, namun mereka
menggunakan
mata kuliah Computer
Networks
sebagai objek
penelitiannya dan ANN sebagai arsitekturnya. Pada penelitiannya, Garcia dkk. (2007:805) juga telah berhasil memaparkan hasil penelitian mereka secara eksplisit dengan membandingkan hasil inferensi mesin mereka dengan kuesioner tentang preferensi belajar mahasiswa yang angkanya mencapai 58%, 63%, dan 77% masing-masing secara berurutan pada kemampuan memproses, cara memahami, dan kemampuan persepsi. Penelitian yang mereka lakukan mengambil sample berupa log pada forum yang diakses mahasiswa
untuk
kemudian
dijadikan
knowledge
base.
Penelitian
ini
menggunakan struktur data yang didesain dengan atribut dan fungsi yang diranncang khusus agar mampu memberikan respons sesuai dengan yang diharapkan. Penelitian lainnya yang menggunakan jejaring Bayesian dalam bidang pendidikan adalah penelitian yang dilakukan West dkk. (2009:5). Objek penelitian mereka adalah bidang pembelajaran pada semester ke-4 pendidikan CCNA, sedangkan penelitian ini menggunakan mata kuliah AMOOP II sebagai objek penelitiannya. Mereka juga tidak mampu memaparkan tingkat akurasi sistem mereka dalam prosentase karena tidak mempunyai bahan perbandingan yang dapat digunakan. Mangalwede & Rao (2010, 24-26) juga melakukan penelitian untuk mengembangkan sebuah sistem assessment terhadap siswa dengan matrix stokastik untuk tiap-tiap pertanyaan. Dalam pemaparan hasilnya, mereka tidak
32
menampilkan tingkat akurasi mesin inferensi mereka, melainkan hanya membandingkan antara kemajuan yang dialami oleh siswa yang belajar menggunakan sistem buatannya dengan kemajuan yang dialami siswa dengan konten pembelajaran e-learning tradisional. Mislevy dkk. (2013:445) juga pernah membuat sistem pemodelan siswa menggunakan metode jejaring probabilistik Bayesian dengan cara melakukan konfigurasi yang sama dengan tulisan ini, yakni dengan menghubungkan antara topik-topik dengan soal. Namun dalam analisa tingkat akurasinya yang menggunakan metode MCMC, mereka mendapatkan hasil yang terus menurun seiring penambahan iterasi. Sedangkan penelitian ini mencoba mengalihkan hasil post-probability menjadi prior-probability pada inferensi selanjutnya yang diharapkan dapat meningkatkan akurasi seiring dengan bertambahnya iterasi.
3.1.2.
Analisa Sistem Analisis sistem adalah penguraian dari suatu sistem yang utuh ke dalam
bagian-bagian komponennya dengan maksud untuk mengidentifikasikan dan mengevaluasi permasalahan-permasalahan, kesempatan-kesempatan, hambatanhambatan yang terjadi, dan kebutuhan-kebutuhan yang diharapkan sehingga dapat diusulkan perbaikan-perbaikannya (Rini, 2011:14). Tahapan-tahapan dalam analisa sistem terdiri dari: Identify, Understand, dan Analyze. Identify berarti mengenali masalah yang menyebabkan sasaran dari sistem belum dapat dicapai, Understand berarti mempelajari secara rinci
33
bagaimana sistem yang ada telah beroperasi, dan Analyze yang artinya melakukan analisa dilakukan setelah ekseperimen selesai dilakukan (Rini, 2011:14).
3.1.2.1.
Identifikasi Masalah
Pada tahap identifikasi, telah disadari bahwa masalah yang ada sekarang ini adalah sistem-sistem pembelajaran e-learning yang ada dewasa ini sebagian besar hanya merupakan sistem pembelajaran nonadaptif. Penelitian ini ingin mengembangkan sebuah mesin inferensi untuk dijadikan otak utama bagi sistem pembelajaran yang adaptif.
3.1.2.2.
Memahami Sistem Yang Sudah Ada
Telah dipahami bahwa sebelum penelitian ini dibuat, telah banyak beredar tulisan-tulisan tentang sistem pemodelan siswa menggunakan jejaring probabilistik Bayesian sebagai arsitektur utamanya, namun belum ditemukan adanya tulisan yang mengangkat konfigurasi topik-soal yang secara khusus melakukan pembahasan di bidang AMOOP II yang lengkap dengan laporan tingkat akurasi secara eksplisit dalam bentuk tabel persentase. Penelitian kali ini memaparkan bagaimana
jejaring
probabilistik Bayesian dapat digunakan untuk membuat sebuah sistem pembelajaran adaptif bagi mata kuliah AMOOP II lengkap dengan paparan hasil inferensinya dalam bentuk confusion matrix.
34
3.1.2.3.
Analisa Terhadap Hasil
Tahap ini dilakukan setelah melewati tahap Perancangan dan Implementasi yang akan menghasilkan keluaran yang dapat kita gunakan sebagai bahan analisa untuk menentukan baik atau tidaknya hasil yang didapat (Rini, 2011:14).
3.1.3.
Perancangan Sistem Perancangan sistem meliputi penggambaran, perencanaan, dan pembuatan
sketsa atau pengaturan dari beberapa elemen yang terpisah ke dalam satu kesatuan yang utuh dan berfungsi. Tujuan dari tahap perancangan ini adalah untuk memperkirakan kebutuhan pemakain sistem dan memberikan gambaran yang jelas tentang rancang-bangun secara lengkap untuk digunakan sebagai acuan dalam pembuatan program (Rini, 2011:14). Perancangan sistem secara umum terdiri atas 6 (enam) bagian, yaitu: perancangan model, perancangan output, perancangan input, perancangan basis data, perancangan teknologi, dan perancangan kontrol (Rini, 2011:15-16).
3.1.3.1.
Perancangan Model
Perancangan model menjelaskan tentang bagaimana fungsi-fungsi pada sistem akan bekerja secara logical (Rini, 2011:15). Model yang dirancang pada penelitian ini adalah model yang mampu melakukan
35
assessment terhadap kemampuan para peserta didik pada mata kuliah AMOOP II. Assessment ini dilakukan dengan memberikan sejumlah pertanyaan yang memiliki bobot terikat dengan topik-topik tertentu pada mata kuliah AMOOP II. Hasil dari assessment ini adalah profil siswa dalam bentuk penggolongan ke dalam tingkat kemampuan tertentu dan pengenalan topik yang menjadi titik lemah siswa, agar siswa kemudian dapat diberikan materi secara adaptif yang sesuai dengan profil mereka masing-masing. Untuk mencapai kemampuan ini, diperlukan sebuah arsitektur mesin inferensi yang dapat menganalisa kemampuan menjawab siswa untuk kemudian mengubahnya menjadi profil siswa. Berdasarkan studi literatur yang telah dilakukan, BPN telah banyak digunakan sebagai arsitektur engine pada sistem pemodelan siswa karena kemampuannya memprediksi kemungkinan terjadinya suatu kejadian jika kejadian lain yang menjadi pemicunya telah teridentifikasi (Gadewadikar dkk., 2009:153). Dengan memposisikan topik sebagai penyebab kemampuan siswa menjawab soal tertentu, maka BPN dapat digunakan sebagai arsitektur bagi mesin inferensi untuk melakukan pemodelan terhadap siswa pada mata kuliah AMOOP II. Gambar 3.1. berikut menunjukan masalah dalam proses inferensi yang dapat dipecahkan oleh BPN.
36
T1
Q1
True
T2
Q2
False
T3
Q3
True
Gambar 3.1 – Permasalahan pada pertanyaan multi-topik
T1, T2, dan T3 mewakili topik-topik pada mata kuliah AMOOP II. Q1, Q2, dan Q3 mewakili pertanyaan-pertanyaan yang mengharuskan siswa untuk terlebih dahulu menguasai secara berurutan: “T1”, “T1 dan T2”, dan “T1, T2, dan T3”. Ketika siswa mampu menjawab Q1, secara mudah dapat disimpulkan bahwa siswa telah menguasai T1. Ketika siswa tidak mampu menjawab Q2, kita mulai bertanya-tanya apakah siswa telah menguasai T1? Apakah betul hanya T2 yang tidak dikuasainya? Dan ketika siswa kemudian mampu menjawab Q3, tentunya kita menjadi semakin kesulitan untuk menentukan mana topik yang telah dikuasai siswa dan mana topik yang belum dikuasai siswa. Atau jangan-jangan siswa hanya beruntung mampu menjawab Q3 tanpa pengetahuan yang memadai tentang T1, T2, dan T3? BPN dapat menjadi solusi atas permasalahan ini dengan menghitung tingkat kemungkinan siswa menjawab sebuah soal jika siswa telah menguasai topik-topik tertentu dengan menggunakan CPT.
37
Agar dapat menjadi arsitektur mesin inferensi yang baik, sebuah jejaring Bayesian harus memiliki knowledge base dalam bentuk CPT yang baik pula. Contoh pembuatan CPT untuk Q2 pada Gambar 3.1 adalah sebagai berikut: Jika diketahui peluang siswa menguasai T1, tidak menguasai T2, dan mampu menjawab Q2 adalah 20%, peluang siswa tidak menguasai T1, menguasai T2 dan mampu menjawab Q2 adalah 40%, peluang siswa menguasai T1 dan T2 sekaligus dan mampu menjawab Q2 adalah 85%, dan peluang siswa yang tidak menguasai satu topikpun namun mampu menjawab Q2 adalah 10%, maka CPT yang dapat terbentuk adalah: Tabel 3.1 – CPT
T1
T2
Q2
P(Q2|T1,T2)
F
F
F
1-0.1 = 0.9
F
F
T
0.1
F
T
F
1-0.4 = 0.6
F
T
T
0.4
T
F
F
1 – 0.2 = 0.8
T
F
T
0.2
T
T
F
1 – 0.85 = 0.15
T
T
T
0.85
Penelitian ini tidak membahas tentang bagaimana pembuatan sebuah CPT yang baik, namun biasanya CPT ini ditentukan oleh para domain expert atau melalui serangkaian mekanisme pengambilan data berupa
38
kuesioner. Pada penelitian kali ini, CPT didapatkan melalui pengambilan data dalam bentuk kuesioner terhadap 100 mahasiswa. Gambar 3.2. berikut menunjukkan diagram alir tentang bagaimana data diambil untuk dijadikan knowledge base bagi BPN.
Mulai
Analisa
Pembuatan
Domain
Kuesioner
Kuesioner
Hasil Analisa
CPT
Jawaban Kuesioner
Knowledge Base BPN
Selesai
Gambar 3.2 – Diagram Alir Proses Pengambilan Data
39
3.1.3.2.
Perancangan Output
Output pada penelitian ini adalah hasil keluaran dari mesin inferensi berupa kemungkinan penguasaan siswa terhadap masing-masing topik berikut entry levelnya. Informasi ini disebut sebagai profil siswa dan akan digunakan untuk memberikan siswa bahan pelajaran yang sesuai dengan profilnya.
3.1.3.3.
Perancangan Input
Sedangkan input pada penelitian ini adalah jawaban siswa terhadap tiap-tiap pertanyaan yang terhubung dengan satu atau lebih topik. Jawaban ini kemudian akan dimasukkan ke dalam jejaring probabilistik Bayesian untuk kemudian baik kemampuan siswa tersebut pada tiap-tiap topik maupun entry levelnya akan diprediksi oleh jejaring probabilistik Bayesian.
3.1.3.4.
Perancangan Basis Data
Basis data yang disimpan pada arsitektur yang digunakan dalam penelitian ini adalah sekumpulan CPT yang menggambarkan peluang dijawabnya tiap-tiap soal dengan benar berdasarkan penguasaan siswa terhadap tiap-tiap topik.
40
3.1.3.5.
Perancangan Teknologi
Pada penelitian ini, BPN dibangun sebagai dynamic library menggunakan bahasa C di mana aplikasi native yang akan menjadi backend pada sistem pembelajaran on-line akan terhubung secara dinamis dengan library ini baik pada saat kompilasi maupun saat dipanggil oleh aplikasi web. Web-server yang digunakan adalah Flask, yaitu sebuah microframework yang dapat membangun sebuah web-server sederhana yang dapat digunakan untuk membangun aplikasi web menggunakan bahasa Python. Aplikasi web ini akan menampilkan pertanyaan-pertanyaan untuk dijawab oleh para siswa. Ketika proses pengujian selesai, maka aplikasi web ini akan memanggil aplikasi native dengan mengirimkan hasil jawaban siswa terhadap pertanyaan-pertanyaan yang diberikan untuk mendapatkan peluang penguasaan siswa terhadap masing-masing topik. Jika peluang siswa menguasai suatu topik 0.5 ke atas maka siswa dianggap mampu menguasai topik tersebut, sebaliknya jika hasilnya di bawah 0.5, siswa dianggap belum mampu menguasai topik tersebut.
Dynamic Library
BPN
Aplikasi
Aplikasi
Native
Web
Gambar 3.3 – Arsitektur Sistem
41
3.1.3.6.
Perancangan Kontrol
Pada tahapan perancangan kontrol, alur yang diberikan kepada peserta uji adalah tampilan soal dengan 4 (empat) pilihan jawaban. Ada 4 (empat) iterasi yang harus dilalui oleh peserta uji di mana tiap-tiap iterasi terdiri atas 7 (tujuh) buah soal. Ketika iterasi bertambah, maka tingkat kesulitan juga akan bertambah. Jawaban yang dimasukkan peserta uji ke dalam sistem akan digunakan sebagai input untuk menghitung peluang kemampuan peserta uji menguasai tiap-tiap topik. Untuk tiap-tiap iterasi, peserta akan mendapatkan soal-soal yang berbeda namun tetap memiliki relasi dengan topik yang sama seperti pada iterasi pertama. Keluaran akan disajikan dalam bentuk prosentase dengan rumus sebagai berikut: n
∑ P ( x, i ) , i =1
di mana i, n, x, P(x , i) secara berturunt-turut adalah indeks iterasi, jumlah iterasi, materi yang diuji, dan peluang peserta uji menguasai materi x pada iterasi ke-i. Setiap iterasi selesai dilakukan, maka prior probability dari tiap topik akan di-ganti dengan nilai post probability pada iterasi sebelumnya. Bila peserta uji memiliki peluang penguasaan materi di bawah nilai ambang tertentu, maka akan disajikan materi yang diambil dari material repository untuk dibaca kembali. Materi yang cocok akan diberikan sesuai dengan kemampuan peserta uji menjawab pertanyaan.
42
Gambar 3.4 menggambarkan proses pengolahan jawaban dari peserta uji.
Mulai
Prior Probability tiap‐tiap topik diset 0.5
Set i=0
Subjek uji mengerjakan soal
Update prior probability dengan hasil inferensi
Jawaban
Selesai
Ya Masukkan i<4
Tampilkan Hasil Inferensi
Ke dalam BPN Tidak
Hasil Inferensi/ i++
Post Probabilities
Gambar 3.4 – Diagram Alir Proses Pengolahan Jawaban
43
3.1.4.
Pengujian 3.1.4.1.
Menentukan materi yang akan diuji
Pada penelitian ini, materi yang digunakan diambil dari kurikulum mata kuliah Algoritma dan Metode Object Oriented Programming II (AMOOP II) pada Universitas Bina Nusantara tahun 2012. Namun tidak semua topik pembahasan yang ada diujikan pada mesin inferensi. Topiktopik yang diambil dalam pengujian kali ini hanya: OOP Concept, Class & Object, Basic Classses, Inheritance, Polymorphism, Abstract & Interfaces, Package. Sedangkan ArrayList & Vector, Generic, File, Reflection, Multithreading, dan Basic GUI dianggap sebagai topik-topik lanjut yang tidak memiliki relasi yang erat dalam pembahasan konsep-konsep OOP sehingga sulit untuk membuat soal yang dapat mengukur kemampuan mahasiswa dalam memahami topik-topik lanjut ini yang dapat sekaligus mengukur kemampuan mahasiswa memahami topik-topik lainnya. Sebagian soal dibuat sendiri oleh penulis, sebagian lagi diambil dari hasil pencarian di internet.
3.1.4.2.
Peserta Uji
Peserta uji pada pengujian kali ini dibagi menjadi dua kelompok. Kelompok pertama akan memberikan jawaban pada kuesioner yang hasilnya akan dimasukkan ke dalam CPT sebagai knowledge base. Sedangkan peserta uji pada kelompok kedua akan memberikan jawaban
44
yang digunakan untuk menguji tingkat akurasi mesin inferensi yang memiliki knowledge base berupa CPT-CPT berdasarkan jawaban yang telah diberikan oleh para peserta uji di dalam kelompok pertama. Pengambilan jawaban dari kelompok kedua telah dilakukan terlebih dahulu selama bulan Mei tahun 2013, sementara pengambilan jawaban dari kelompok pertama dilakukan selama bulan November 2013. Kelompok kedua terdiri atas para mahasiswa Fakultas Ilmu Komputer jurusan Sistem Informasi Universitas Bina Nusantara yang pernah diajar penulis pada mata kuliah Programming I pada semester ganjil 2012/2013 yang terdiri atas 24 orang. Sedangkan kelompok pertama yang berjumlah 100 orang merupakan para mahasiswa Universitas Bina Nusantara dari Fakultas Ilmu Komputer dengan jurusan-jurusan yang pernah mengambil mata kuliah yang berhubungan dengan Object Oriented Programming. Setiap mahasiswa yang menjadi peserta uji pada penelitian kali ini dibagi berdasarkan level-level sesuai dengan ketentuan sebagai berikut: 1. Master, yaitu mereka yang menguasai setidaknya 5 (lima) topik pertama. 2. Lanjut, yaitu mereka yang menguasai setidaknya 4 (empat) topik pertama. 3. Menengah, yaitu meraka yang menguasai setidaknya 3 (tiga) topik pertama. 4. Pemula, yaitu mereka yang menguasai setidaknya 2 (dua)
45
topik pertama. Untuk lebih jelasnya, berikut disajikan penentuan pembagian level berdasarkan penguasaan topik minimum mahasiswa dalam bentuk tabel.
Tabel 3.2 – Pembagian level siswa berdasarkan topik yang dikuasai siswa
Level
Oc
Co
Bc
In
Po
Master
X
X
X
X
X
Lanjut
X
X
X
X
Menengah
X
X
X
Pemula
X
X
Ai
Pa
Oc, Co, Bc, In, Po, Ai, dan Pa adalah topik-topik mata kuliah AMOOP II yang digunakan pada penelitian kali ini. Secara berurutan merupakan singkatan dari: OOP Concept, Class and Object, Basic Classes, Inheritance, Polymorphism, Abstract and Interface, dan Package.
3.1.4.3.
Menentukan relasi antara soal dengan topik
Soal-soal pada pengujian ini sebagian dibuat sendiri oleh penulis dan sebagian lagi didapatkan dari internet. Soal-soal yang dipilih adalah soalsoal yang dianggap komprehensif untuk mewakili topik-topik dasar mata kuliah AMOOP II. Sedangkan relasi antara soal dengan topik ditentukan dengan memperhatikan soal-soal yang diujikan.
46
Misalnya untuk soal sebagai berikut: “What keyword used to avoid another class from inheriting a class?”, maka untuk menjawab soal ini, siswa harus sudah menguasai setidaknya topik-topik OOP Concept, Class and Object, dan Inheritance. Demikian seterusnya bagaimana cara ketujuh soal lain pada ronde pertama disusun. Sedangkan pada ronde-ronde berikut, soal yang dicari adalah soal yang dapat mewakili topik-topik yang serupa dengan soal-soal yang telah dibuat pada ronde pertama. Materi uji berupa soal-soal dan topik-topik yang sudah tersusun kemudian dimasukkan ke dalam database untuk kemudian disimpan oleh sistem sebagai kerangka inferensi, sedangkan soalnya akan ditampilkan kepada peserta uji. Gambar berikut menunjukkan peta jejaring Bayesian yang diujikan pada penelitian ini.
47
Oc
Q1
Co
Q2
Bc
Q3
In
Q4
Po
Q5
Ai
Q6
Pa
Q6
Gambar 3.5 – Konfigurasi BPN yang digunakan
Untuk lebih jelasnya, pemetaan tersebut dapat dilihat pada Tabel 3.3 yang disajikan berikut.
48
Tabel 3.3 – Relasi Antara Pertanyaan dan Topik
Pertanyaan
Topik yang diuji
1
Oc
2
Oc, Co
3
Oc, Co, Bc
4
Oc, Co, In
5
Oc, Co, In, Po, Ai
6
Oc, Co, In, Ai
7
Co, In, Pa
3.2. Variabel Variabel yang diukur pada penelitian kali ini adalah variabel ordinal, yaitu ketepatan mesin inferensi dalam memperkirakan tingkat kemampuan subjek uji berdasarkan jawaban-jawaban yang diberikan terhadap soal-soal yang diberikan. Ada dua tingkat ketepatan yang diujikan pada percobaan ini, yaitu tingkat ketepatan dalam memperkirakan entry level subjek uji dan tingkat ketepatan dalam memperkirakan prior knowledge subjek uji pada tiap-tiap topik. Perubahan tingkat ketepatan pendugaan prior knowledge pada subjek uji akan berpengaruh pada perubahan tingkat ketepatan pendugaan entry level karena entry level dibagi berdasarkan pemahaman subjek uji terhadap topik-topik tertentu. Perubahan nilai akurasi pada tiap-tiap item seiring dengan penambahan iterasi juga diawasi untuk menarik kesimpulan apakah banyaknya jumlah iterasi pengujian berpengaruh terhadap meningkatnya ketepatan mesin inferensi dalam menebak nilai yang sesungguhnya.
3.3. Populasi dan Sampel Subjek-subjek uji yang diambil sebagai sample berasal dari populasi mahasiswa di
49
Universitas Bina Nusantara. Sebelum mengikuti proses pengujian, subjek uji telah diberikan pertanyaan dalam 1 on 1 basis antara topik dengan pertanyaan untuk mendapatkan atribut-atribut pemahaman subjek uji pada tiap-tiap topik yang diujikan. Dari atribut-atribut ini dapat diketahui tingkat kemampuan subjek uji, apakah master, lanjut, menengah, atau pemula. Tingkat kemampuan subjek uji ini kemudian akan dibandingkan dengan hasil inferensi mesin untuk mengetahui tingkat ketepatan mesin dalam menentukan tingkat kemampuan subjek uji. Jumlah subjek uji yang digunakan untuk mengisi CPT adalah sebanyak 100 orang, sedangkan jumlah subjek uji yang digunakan untuk menguji tingkat akurasi sistem adalah sebanyak 24 orang.
3.4. Metode Pengumpulan Data Pengumpulan data dilakukan memanfaatkan fasilitas pembuatan form yang dipublish secara online dari Google Drive. Jawaban yang telah diberikan oleh para subjek uji kemudian diolah menggunakan aplikasi Libre Office Calc untuk mendapatkan kesimpulan tentang kemampuan subjek uji pada tiap-tiap topik dan ketepatan jawaban-jawaban subjek uji dalam bentuk biner. Nol jika tidak menguasai topik tertentu atau tidak mampu menjawab pertanyaan tertentu dan sebaliknya satu jika menguasai topik tertentu atau mampu menjawab pertanyaan tertentu. CPT dibentuk dengan menghitung prosentase dari total siswa yang memiliki varian penguasaan topik yang dicantumkan pada CPT. Jika tidak terdapat siswa yang memiliki varian penguasaan topik tertentu, maka nilai dari peluang benar atau salahnya siswa diset 0.5, sesuai dengan definisi klasik dari kemungkinan, di mana jika tidak ada alasan untuk lebih mendukung peluang terjadinya satu kejadian tertentu, maka peluang terjadinya tiap-tiap kejadian yang mungkin adalah
50
1/n di mana n adalah jumlah kemungkinan kejadian yang dapat terjadi (Ash, 2008:1-2). Kemudian sebuah aplikasi yang terhubung secara dinamis dengan library BPN dibuat untuk menguji ketepatan BPN dalam melakukan inferensi berdasarkan data yang telah didapatkan. Kemampuan subjek uji dalam menjawab pertanyaan-pertanyaan kemudian dijadikan input bagi BPN untuk mendapatkan hasil inferensi yang kemudian dibandingkan dengan kemampuan subjek uji pada tiap-tiap topik.
3.5. Metode Analisis Metode analisis data yang digunakan adalah dengan memaparkan hasil percobaan secara statistik deskriptif berdasarkan data yang didapat dari Confusion Matrix pada tiaptiap pengujian dengan mengukur tingkat akurasinya. Tingkat akurasi pada tiap-tiap tingkat diukur dengan rumus:
AC =
TN + TP TN + TP + FN + FP
Di mana TN (True Negative) menggambarkan nilai kebenaran sebuah prediksi negatif, TP (True Positive) menggambarkan nilai kebenaran sebuah prediksi positif, FN (False Negative) menggambarkan nilai kesalahan sebuah prediksi negatif, dan FP (False Positive) menggambarkan nilai kesalahan sebuah prediksi positif. Tingkat TPR (True Positive Rate) dan FPR (False Positive Rate) juga diukur untuk menilai kemampuan mesin dalam menentukan apakah suatu nilai dapat dan tidak dapat masuk ke dalam golongan nilai tertentu. Ada 8 (delapan) tabel dan 2 (dua) grafik yang disajikan. Empat tabel pertama menggambarkan tingkat akurasi mesin dalam menebak entry level subjek uji pada tiaptiap iterasi, empat tabel berikut menggambarkan tingkat akurasi mesin dalam menebak
51
kemampuan subjek uji pada tiap-tiap topik pembahasan mata kuliah AMOOP II. Sedangkan grafik pertama akan menyajikan proses perubahan tingkat akurasi mesin dalam menebak entry level subjek uji seiring penambahan iterasi dan grafik kedua akan menyajikan proses perubahan tingkat akurasi mesin dalam menebak kemampuan subjek uji pada tiap-tiap topik pembahasan mata kuliah AMOOP II.
