PENGEMBANGAN APLIKASI TES OTOMATIS SEBAGAI TOLOK UKUR KOMPETENSI DASAR ALGORITMA Herbert 1, Sigit Sri Utomo 2, Wawan Setiawan3 1,2,3
Pendidikan Ilmu Komputer, FPMIPA, Universitas Pendidikan Indonesia 1
[email protected], 2
[email protected],
[email protected]
Abstrak Penelitian ini bertujuan untuk mengembangkan dan menguji kelayakan sebuah aplikasi evaluasi sebagai alternatif alat uji kemampuan mahasiswa pada mata kuliah Algoritma dan Pemrograman I dengan menggunakan sistem penilaian otomatis (Automated Assessment). Penilaian menekankan pada aspek kognitif meliputi kemampuan pengetahuan, pemahaman, dan keterampilan. Output yang dihasilkan dapat menentukan tingkat kemampuan mahasiswa yang terbagi menjadi kemampuan dasar, menengah, dan mahir. Data penelitian menggunakan kuesioner yang dirancang berdasarkan standar ISO 9126 tentang aplikasi dan Web Based Learning Environment Instrument (WEBLEI). Dari hasil pengujian didapat bahwa aplikasi telah memenuhi standar kelayakan sebesar 81.46%. Kata kunci : evaluasi, automated assessment, algoritma
1. Pendahuluan Kompetensi merupakan karakteristik yang mendasar dari seorang individu yang berkaitan dengan acuan kriteria tentang kinerja yang efektif dalam suatu pekerjaan atau situasi [1]. Seseorang dikatakan berkompeten dalam suatu bidang atau pekerjaan jika memenuhi kriteria tertentu yang ditetapkan sebagai standar, baik dalam aspek pengetahuan, keterampilan, maupun sikap. Pengaruh kompetensi seseorang terhadap kinerjanya sangat besar. Sebagaimana hasil penelitian yang pernah dilakukan Emmyah [2], menunjukkan bahwa pengaruh kompetensi terhadap kinerja pegawai Politeknik Negeri Ujung Pandang sebesar 72,2%. Hasil tersebut mengindikasikan bahwa semakin tinggi kompetensi pegawai maka akan semakin tinggi pula kinerjanya. Demikian pula hasil dari penelitian Efendy [3] terhadap kualitas audit aparat inspektorat Kota Gorontalo yang menyatakan bahwa semakin baik tingkat kompetensi, maka semakin baik kualitas audit. Dalam pendidikan, kompetensi guru terhadap perilaku profesional mempunyai pengaruh yang signifikan. Qosim (2009) menyatakan bahwa 73,9% perilaku profesional guru SMA/MA di Kabupaten Demak dipengaruhi oleh kompetensinya [4]. Bukan hanya terhadap perilaku profesional saja, kompetensi guru pun berpengaruh terhadap hasil belajar siswa sebagaimana hasil penelitian Nurdin (2009) yang menyatakan bahwa pengaruh kompetensi guru terhadap peningkatan kualitas belajar siswa SMU Negeri 2 Cimahi berada dalam kategori signifikan yaitu 29,59% dan sisanya dipengaruhi faktor lain [5]. Untuk peserta didik sendiri kompetensi berarti
kemampuan yang harus dimiliki/dicapai setelah mengikuti pembelajaran. Kemajuan teknologi juga telah banyak dimanfaatkan pada proses evaluasi atau penilaian kompetensi seseorang. Seperti pada seleksi penerimaan CPNS. Dilansir dari halaman tempo.co, Kementerian Pemberdayaan Aparatur Negara dan Reformasi Birokrasi mewajibkan seluruh instansi menggunakan tes berbasis komputer untuk seleksi Calon Pegawai Negeri Sipil 2014. Kementerian berharap Computer Assisted Test (CAT) bisa menggantikan isian Lembar Jawaban Komputer (LJK) yang dinilai rawan kecurangan [6]. Kemudian pemanfaatan teknologi pun telah diterapkan pada Uji Kompetensi Mahasiswa Program Profesi Dokter di tahun 2014. Metode yang digunakan dalam uji kompetensi ini adalah Multiple Choice Questions (MCQs) dengan komputer yang kemudian disebut dengan Computer Based Testing (CBT). Metode tersebut dipilih karena mampu memvisualisasikan keadaan pasien dengan tingkat presisi yang baik. Selain itu, CBT juga memberikan kemudahan dalam hal scoring, analisis maupun pelaporan hasil [7]. Terkait dengan evaluasi pembelajaran, maka dirasa penting bila diterapkan pada proses evaluasi atau uji kompetensi mahasiswa yang telah mengikuti mata kuliah Algoritma dan Pemrograman I di lingkungan program studi Pendidikan Ilmu Komputer FPMIPA Universitas Pendidikan Indonesia. Selain itu, proses evaluasi berbantukan komputer akan sangat berguna bagi mahasiswa, dimana hasil tes serta feedback dapat diproses secara cepat dan efisien. 1
2.
Kajian Pustaka Automated Assessment merupakan suatu metode yang memanfaatkan teknologi berbasis komputer dalam melakukan penilaian secara otomatis. Pemanfaatan metode penilaian otomatis dalam pemrograman telah dipraktikkan sejak pemrograman dimasukkan dalam kegiatan pembelajaran. Douce, dkk dalam Ihantola membagi alat penilaian menjadi tiga generasi [8], yaitu: 1. Generasi pertama – Early Assessment Systems. Sistem penilaian pertama diperkenalkan untuk menilai atau menggolongkan punched card di tahun 1960. Sistem penilaian pada masa ini ditargetkan hanya untuk pendidik. 2. Generasi kedua – Tool Oriented Systems. Merupakan kumpulan skrip berbasis baris perintah (command line) yang memanfaatkan servis yang diberikan oleh sistem operasi. Penilaian aspek lain selain fungsionalitas, dan pemberian feedback secara langsung pada peserta didik menjadi sangat populer. Keamanan dari sistem penilaian pun terus dikembangkan. Penilaian lebih ditekankan pada perbandingan karakter per karakter dari output yang dihasilkan dengan output yang diharapkan. (1980 dan 1990an). 3. Generasi ketiga – Web Oriented Systems. Merupakan sistem penilaian berbasis web yang dapat diakses secara online dengan web browser. Beberapa platform berbasis command line dikembangkan berupa web oriented system. (akhir 1990).
3. Metode Penelitian 3.1. Desain Penelitian Metode yang digunakan dalam penelitian ini adalah Research and Development (R&D). Metode Research and Development merupakan metode penelitian yang digunakan untuk menghasilkan produk tertentu, dan menguji keefektifan produk tertentu [9]. Penelitian yang dilakukan melalui dua tahapan, yaitu tahapan uji coba aplikasi untuk mengetahui kompetensi mahasiswa dan tahapan pengumpulan data menggunakan pendekatan kuantitatif dengan metode survei untuk mengetahui tanggapan pengguna terhadap aplikasi yang telah dibangun. Metode survei merupakan metode pengumpulan data yang dilakukan dengan cara menyusun daftar pertanyaan (angket) dan diajukan kepada responden. Data yang diperoleh dari angket akan diolah secara manual untuk memperoleh skor atau hasil akhir tanggapan responden. Sedangkan data yang diperoleh dari hasil tes akan diproses dan dihitung secara otomatis oleh aplikasi yang nantinya akan menghasilkan output berupa tingkat kemampuan mahasiswa yang terbagi dalam tiga kategori, yaitu dasar, menengah, dan mahir.
3.2. Subjek Penelitian Populasi untuk implementasi terbatas 10 orang mahasiswa program studi Pendidikan Ilmu Komputer tingkat dua yang sudah pernah mengontrak mata kuliah Algoritma dan Pemrograman I dengan distribusi nilai A sebanyak 4 orang, nilai B sebanyak 4 orang, dan nilai C sebanyak 2 orang. 3.3. Instrumen Penelitian Angket dalam penelitian ini menggunakan skala Likert yang biasa digunakan untuk mengukur sikap, pendapat, dan ataupun persepsi seseorang atau sekelompok orang terhadap kejadian atau gejala sosial [11]. Pada angket ini terdapat 4 alternatif jawaban yaitu untuk pernyataan positif adalah 1 (sangat tidak setuju), 2 (tidak setuju), 3 (setuju), dan 4 (sangat setuju). 3.4. Analisis Data Data yang diperoleh dari hasil tes merupakan skor rata-rata dari keseluruhan jawaban yang mencakup aspek pengetahuan, pemahaman, dan keterampilan pemrograman. Standar penilaian yang ditetapkan untuk mengetahui tingkat kompetensi yang diperoleh seperti yang tertera pada Tabel 1. Tabel 1. Rincian Tingkat Kompetensi Skor tes Tingkat Kompetensi 8 – 10 Mahir 6 – 7.9 Menengah <6 Dasar Sedangkan untuk melakukan perhitungan dengan skala Likert, pertama-tama ditentukan terlebih dahulu skor ideal. Skor ideal adalah skor yang ditetapkan dengan asumsi bahwa setiap responden pada setiap pertanyaan memberi jawaban dengan skor tertinggi [9]. Data akan dianalisis dengan menggunakan rumus berikut:
P = angket presentase, Skor ideal = skor tertinggi tiap butir x responden. Setelah penghitungan selesai dilakukan, selanjutnya adalah menggolongkan hasil yang diperoleh dalam empat kategori berikut:
Kategorisasi tersebut bisa dilihat berdasarkan tabel interpretasi berikut:
2
Tabel 2. Kriteria Penilaian Skor persentase Interpretasi < 40 Kurang Layak 40 - 55 Cukup 55 - 75 Layak 75 - 100 Sangat Layak
4.2 Implementasi Aplikasi Ada tiga jenis soal yang dibuat dalam aplikasi tes ini, yaitu (1) Soal Pengetahuan, (2) Soal Pemahaman, dan (3) Soal Pemrograman. Berikut ini rangkaian eksekusi dari aplikasi yang dibuat. a. Pengguna membuat akun terlebih dahulu (jika belum memiliki akun), kemudian login.
4. Hasil dan Pembahasan 4.1. Hasil Pengujian Pada tahapan pertama yaitu pengujian aplikasi dan tes uji kemampuan yang dilakukan oleh 10 orang mahasiswa. Data hasil pengujian dapat dilihat dari Tabel 3 berikut:
Mahasiswa 1 2 3 4 5 6 7 8 9 10
Tabel 3. Data Hasil Tes Rerata Tingkat Kompetensi 8.45 Mahir 6.41 Menengah 5.60 Dasar 4.64 Dasar 6.53 Menengah 6.16 Menengah 6.48 Menengah 5.51 Dasar 6.46 Menengah 7.36 Menengah
Dari data di atas, maka didapat kelompok sebagai berikut: 1 orang mahasiswa mendapatkan predikat mahir, 6 orang mahasiswa mendapatkan predikat menengah, dan 3 orang mahasiswa mendapatkan predikat dasar. Hal ini dapat mewakili kemampuan mahasiswa yang sebenarnya berdasarkan perbandingan nilai yang diperoleh di saat perkuliahan dengan nilai yang diperoleh pada aplikasi ini. Perbedaan antara hasil tes menggunakan aplikasi dengan nilai akhir mahasiswa dapat terjadi mengingat komponen penilaian di kelas tidak hanya terdiri atas kemampuan kognitif saja. Komponen penilaian lainnya antara lain kemampuan afektif dan psikomotor. Tahap selanjutnya dari rangkaian pengujian adalah mengetahui tingkat penerimaan responden terhadap aplikasi. Pada tahap ini didapatkan hasil sesuai yang tertera pada Tabel 4.
No 1 2
Gambar 1 Form Daftar dan Masuk b. Kemudian pengguna mempelajari materi yang disajikan, dan selanjutnya mengerjakan soal pemrograman.
Gambar 2.a Soal Pemrograman
Tabel 4. Data Angket Aspek Persentase (%) Perangkat Lunak 83.33 Kebutuhan Pengguna 79.58 Rata-rata 81.46
Dari data di atas dapat dimaknai bahwa aplikasi yang dibangun telah memenuhi standar kelayakan dengan hasil perhitungan 81.46%.
Gambar 2.b Jawaban peserta tes c. Tahapan-tahapan perhitungan skor soal pemrograman adalah sebagai berikut: - Kode program yang telah dibuat dicompile dengan compiler yang telah 3
-
dikembangkan oleh Sankha [10], yaitu codejudge. Kemudian untuk menyesuaikan dengan kebutuhan, compiler ini dimodifikasi sedemikian rupa. Jika kode program tidak lolos compile, maka aplikasi akan menampilkan pesan error. Gambar 4.b Hasil Jawaban Salah -
Gambar 3 Pesan Error -
Setelah semua soal pemrograman dalam satu materi selesai dikerjakan, maka skor yang diperoleh akan diakumulasikan dan dihitung nilai reratanya dan kemudian dikategorikan dalam tiga kategori, yaitu sangat baik (8-10), baik (6-7), cukup (kurang dari 6) dan divisualisasikan dalam bentuk badge berbintang.
Jika kode program lolos compile maka selanjutnya akan diberikan testcase untuk menguji output yang dihasilkan sekaligus untuk menghitung skor. Perhitungan skor diperoleh dengan rumus berikut:
Rentang skor yang digunakan adalah 010. Rentang 8-10 divisualisasikan dengan badge bintang tiga. Rentang 6-7 divisualisasikan dengan badge bintang dua. Sedangkan rentang kurang dari 6 divisualisasikan dengan badge bintang satu. Namun jika output yang dihasilkan tidak ada yang benar, maka jawaban salah dan pengguna akan mendapat pengurangan skor (-1), kemudian harus memperbaiki kode programnya.
Gambar 5 Skor Akhir Setiap Materi d. Setelah semua soal pemrograman selesai dikerjakan, maka selanjutnya mengerjakan soal pengetahuan.
Gambar 4.a Hasil Jawaban Benar Gambar 6 Soal Pengetahuan e. Setelah itu, soal selanjutnya yang harus dikerjakan adalah soal pemahaman.
4
1. 2.
Aplikasi dapat dikembangkan lebih lanjut menjadi sebuah aplikasi mobile (mobile apps). Sistem penilaian yang ada dapat dikembangkan lagi dengan melibatkan penilaian tim (penilaian manusia) untuk menilai aspek-aspek lain, serta menyediakan rubrik penilaian oleh tim agar penilaian menjadi lebih terstruktur.
Daftar Pustaka
Gambar 7 Soal Pemahaman f. Pada bagian akhir tes, aplikasi akan memberikan penilaian predikat tingkat kemampuan pengguna, berupa sertifikat.
Gambar 8 Hasil Akhir
5. Simpulan dan Rekomendasi 5.1. Simpulan Dari hasil penelitian yang telah dilakukan, diperoleh kesimpulan sebagai berikut: 1. Aplikasi evaluasi pada mata kuliah Algoritma dan Pemrograman I ini dikembangkan dengan mengimplementasikan Automated Assessment (penilaian otomatis). Penilaian otomatis ini digunakan pada perhitungan semua jenis tes. Aplikasi evaluasi yang dikembangkan dengan Automated Assessment ini secara umum dapat mewakili kemampuan mahasiswa yang sebenarnya dalam ranah kognitif, terlepas dari perbedaan nilai yang diperoleh karena adanya pengaruh faktor lain diluar ranah kognitif. 2. Aplikasi evaluasi berbasis Automated Assessment pada mata kuliah Algoritma dan Pemrograman I yang telah dikembangkan oleh peneliti dapat diterima dengan baik dan layak digunakan. Berdasarkan hasil perhitungan angket, didapat nilai rata-rata persentase 81.46% yang berarti masuk kedalam kategori sangat layak. 5.2. Rekomendasi Berdasarkan hasil penelitian yang telah dilakukan, terdapat beberapa rekomendasi sebagai berikut:
[1] L.M Spencer and S.M Spencer, “Competence at Work: Models for Superior Performance,” Wiley, 1993. [2] Emmyah, Pengaruh Kompetensi Terhadap Kinerja Pegawai pada Politeknik Negeri Ujung Pandang. Makassar, Indonesia: Sekolah Tinggi Ilmu Admnistrasi Lembaga Administrasi Negara, 2009. [3] M.T Efendy, Pengaruh Kompetensi, Independensi, dan Motivasi Terhadap Kualitas Audit Aparat Inspektorat dalam Pengawasan Keuangan Daerah (Studi Empiris pada Pemerintah Kota Gorontalo). Semarang, Indonesia: Universitas Diponegoro, 2012. [4] N. Qosim, Pengaruh Kompetensi Guru, Status Sosial Ekonomi, Sikap dan Minat Terhadap Perilaku Profesional Guru di SMA / MA SeKabupaten Demak. Semarang, Indonesia: Universitas Negeri Semarang, 2008. [5] Y.P Nurdin, “Pengaruh Kompetensi Profesional Guru Terhadap Keberhasilan Belajar Siswa,” Jurnal Pendidikan. 2009. [6] (2014, Januari) Tempo. [Online]. HYPERLINK "http://www.tempo.co/read/news/2014/01/08/1 73543276/2014-Tes-CPNS-Wajib-BerbasisKomputer" [7] Panitia Nasional UKMPPD. “Buku Pedoman Pelaksanaan Uji Kompetensi Mahasiswa Program Profesi Dokter,” Lampiran SK KETUA PNUKMPPD Nomor : : 01/PNUKMPPD/SK/08/2014. 2014. [8] P Ihantola, “Automated Assessment of Programming Assignments: Visual Feedback, Assignment Mobility, and Assessment of Students' Testing Skills,” Aalto University, Helsinki, Finland, Doctoral Dissertations 2011. [9] Sugiyono, Metode Penelitian Pendidikan Pendekatan Kuantitatif, Kualitatif, dan R&D. Bandung, Indonesia: Alfabeta, 2009. [10] S.N Guria, “Codejudge”, 2012. HYPERLINK “https://github.com/sankha93/codejudge” [11] S. Guritno, Sudaryono, U. Rahardja, Theory and Application of IT Research: Metode Penelitian Teknologi Informasi. Bandung, 5
Indonesia: Penerbit Andi, 2011.
6
