SIDANG TUGAS AKHIR EVALUASI KINERJA APLIKASI INDEKS PENGAJARANG DOSEN DENGAN MENGGUNAKAN GAP ANALISIS Dimas Prayogo 5206100064 Lab Pengembangan dan Perencanaan Sistem Informasi, Fakultas Teknologi informasi, ITS.
IPD (Indeks Pengajaran Dosen) • IPD Sebuah aplikasi kuisioner yang membantu Dosen untuk mengukur / melihat sejauh apa keberhasilan proses belajar mengajar yang dilakukan. • Aplikasi ini wajib di isi sebelum ujian akhir / final project berlangsung.
Permasalahan di dalam proses penggunaan • Banyaknya mahasiswa yang tidak mengisi IPD (Indeks Pengajaran Dosen) tepat waktu. • Pengisian IPD dapat dilakukan setelah ujian akhir / final projek berakhir. • Mahasiswa dapat mengisi IPD lebih dari sekali untuk dosen / mata kuliah yang sama. • Banyaknya mahasiswa yang hanya asal di dalam proses pengisian.
• Permasalahan – permasalahan yang terjadi bukan hanya berasal dari human eror. • Tetapi pasti ada penyebab teknis, yang melatar belakangi permasalahan. • Perlu dilakukan evaluasi kinerja dari aplikasi IPD.
Evaluasi kinerja menggunakan Gap Analisis • Untuk mengetahui Sejauh mana keberhasialan kinerja dari aplikasi saat ini. • Dibandingkan dengan target kinerja yang ada. • Apakah masih terdapat gap yang sangat jauh?
• Jika kita mengevaluasi kinerja harus spesifik, Manakah yang harus di evaluasi. • Maka diperlukan sebuah instrumen evaluasi
D&M (DeLone & McLean) Success model • Memiliki instrumen evaluasi yang sangat lengkap yaitu: • Sistem Quality (Keberhasilan teknis) • Information Quality (Keberhasilan penyampaian informasi) • Service Quality (Kualitas Service) • Use (Segala hal tentang aktivitas pengguna) • User Satisfaction (Kepuasan pengguna) • Net Benefit (Keseimbangan dampak positif dan negatif)
PERUMUSAN MASALAH • Bagaimana gap analisis dapat menghasilkan sebuah data yang memperlihatkan perbedaan gap antara keadaan kinerja aplikasi sekarang dengan kinerja yang diharapkan, sesuai dengan ke enam instrumen dari pemodelan D&M success model? • Bagaimana menghasilkan rekomendasi kinerja untuk mendekatkan atau menghilangkan gap?
TUJUAN TUGAS AKHIR • Untuk memperlihatkan perbedaan gap dari ke enam instrumen pemodelan. • Untuk menghasilkan evaluasi kinerja, agar aplikasi dapat efektif dan sesuai dengan apa yang diharapkan.
BATASAN MASALAH • Survey dilakukan di beberapa stakeholder seperti P3AI, BAAK, PUSKOM ITS, dan Fakultas FTIF. • Permasalahan yang akan dianalisis meliputi System Quality, Information quality, Service quality, Use, User Satisfaction, Net benefit dengan catatan tidak semua metric yang digunakan, tetapi hanya metric yang bersangkutan dengan permasalahan. • Indeks Pengajaran dosen yang akan dianalisis, adalah indeks Pengajaran dosen milik Fakultas Teknologi Informasi (FTIF) dengan dua jurusan yaitu: jurusan Sistem Informasi, dan Tehnik Informatika.
METODE PENELITIAN • Perencanaan kerja. • Pembuatan Kuisioner berdasarkan pemodelan D&M Success Model. • Penyebaran Kuisioner kepada pengguna dan pengembang. • Uji validitas dan reliabilitas. • Penilaian hasil kuisioner. (Keadaan saat ini)
METODE PENELITIAN (Cont’d) • Menganalisis target kinerja dari tiap – tiap model dengan melakukan wawancara kepada pengembang. • Melakukan penilaian hasil wawancara dari keadaan yang diharapkan. • Perbandingan nilai antara hasil kuisioner dengan target kinerja ditampakan menggunakan diagram (akan terlihat gap).
Lanjutan
Kuesioner • Berasal dari rumusan masalah. • Juga dari wawancara pengembang.
Uji validitas • Menggunakan nilai korelasi 0.3 • Untuk keseluruhan hasil dari uji validitas dari jurusan sistem informasi valid dengan level signifikansi 99%. • Untuk jurusan tehnik informatika juga sama. Hasil uji validitas keseluruhan valid dengan menandakan level signifikansi 99%.
Uji Reliabilitas • Untuk uji reliabilitas setiap domain dari kuesioner yang dituju pada jurusan sistem informasi juga telah melebihi nilai reliabilitas yaitu 0.6. dan yang terendah adalah nilai cronbach alpha domain usage (0.661) . • Jurusan tehnik informatika memiliki hasil keseluruhan domain telah melebihi nilai reliabilitas 0.6. domain usage juga jadi yang terendah (0.75).
Penilaian Kuesioner • Penilaian kuesioner didapat dari mejumlah hasil penilaian seluruh responden dibagi dengan jumlah responden. • Didapat dari rumus rata-rata:
Penilaian dari wawancara • Wawancara dilakukan kepada pengembang, dan dosen. • Kuesioner membantu proses penilaian wawancara.
Hasil dari diagram dan gap • Contoh domain yang menghasilkan gap: sysquality Total setiap domain : a1.1 a1.2 a2.1 a2.2 a2.3 a3.1 a3.2 a4.1 a4.2 a4.3 a5.1 a5.2 a6.1 a6.2
Keadaan yang diharapkan Keadaan saat ini Hasil gap 4.444444444 3.333333333 1.111111 5 3.297619048 1.702381 4.888888889 3.297619048 1.59127 5 3.071428571 1.928571 3.555555556 3.761904762 -0.20635 3.222222222 3.583333333 -0.36111 5 3.107142857 1.892857 5 3.297619048 1.702381 5 2.511904762 2.488095 4.777777778 3.261904762 1.515873 4.888888889 3.511904762 1.376984 5 3.25 1.75 4.888888889 3.321428571 1.56746 4.888888889 3.571428571 1.31746
Hasil dari diagram dan gap • Contoh diagram dari sebuah gap: System Quality 6 5 Nilai Kinerja
4 3 2 1 0
a1.1 a1.2 a2.1 a2.2 a2.3 a3.1 a3.2 a4.1 a4.2 a4.3 a5.1 a5.2 a6.1 a6.2
Keadaan yang diharapkan4.4444 5 4.8889 5 3.55563.2222 5 Keadaan saat ini
5
5 4.77784.8889 5 4.88894.8889
3.33333.29763.29763.07143.76193.58333.10713.29762.51193.26193.5119 3.25 3.32143.5714
Analisis dari 7 gap Model konseptual gap analisis yang dikembangkan oleh (Parasuraman et al., Conceptual model of service quality and it’s implication for future research, 1985). Didalam model, teridentifikasi ada tujuh gap antara pengembang dan pengguna dari layanan T.I.
Sumber: - Berasal dari wawancara dan observasi yang dilakukan secara sengaja maupun tidak sengaja. - Disesuaikan dengan gap yang ada.
Gap1 Perbedaan antara persepsi Pengembang TI dan persepsi pengguna dari tingkat ideal layanan TI.
Gap1 a3.2 Aplikasi dapat fleksible dalam menyesuaikan perubahan kondisi dan permintaan.
Gap1 - Persepsi pengembang: Idealnya aplikasi punya fitur saran dan kritik. - Persepsi pengguna: Idealny aplikasi memang harus sesuai dengan kondisi kekinian dan kebutuhan pengguna.
Gap2 Perbedaan antara persepsi pengembang TI dan persepsi pengguna dari tingkat yang dapat diterima dari layanan TI.
Gap2 a3.2 Aplikasi dapat fleksible dalam menyesuaikan perubahan kondisi dan permintaan.
Gap2 - Persepsi pengembang: Konten harus terupdate tiap tahunya sesuai dengan evaluasi pada aplikasi. - Persepsi pengguna: Aplikasi harus update tiap semesternya untuk menyeimbangi keadaan kekinian dan kebutuhan pengguna.
Gap3 Perbedaan antara pengembang TI dan pengguna dari tingkat aktual layanan TI.
Gap3 a3.2 Aplikasi dapat fleksible dalam menyesuaikan perubahan kondisi dan permintaan.
Gap3 Persepsi pengebang: Pengembang selalu melakukan evaluasi tiap semester. Dan untuk saat ini aplikasi sudah cukup dapat menyekuaikan keadaan kekinian dan kebutuhan. - Persepsi pengguna: cukup sesuai dengan keadaan kekinian, tetapi untuk memenuhi kebutuhan pengguna masih kurang. Tidak ada fitur saran dan kritik.
Gap4 Perbedaan antara level layanan TI yang pelanggan ingin terima, dan apa yang mereka terima, mengingat keterbatasan karena personil, teknologi dan lainnya organisasi factor.
Gap4 a3.2 Aplikasi dapat fleksible dalam menyesuaikan perubahan kondisi dan permintaan.
Gap4 - layanan pengguna ingin terima: Aplikasi harus selalu update. Ada fitur saran dan kritik. - Layanan yang diterima: Tidak selalu sering update tetapi sudah cukup mewakili keadaan kekinian. (anggota pengurus terbatas) tidak ada fitur saran dan kritik. (tidak memiliki programer sendiri)
Gap5 Perbedaan antara tingkat layanan TI yang dapat diterima pelanggan, dan tingkat aktual TI pelayanan yang dirasakan oleh pelanggan.
Gap5 a3.2 Aplikasi dapat fleksible dalam menyesuaikan perubahan kondisi dan permintaan.
Gap5 - Layanan TI yang dapat diterima pelanggan: Aplikasi harus up to date Aplikasi harus memiliki fitur saran dan kritik - Tingkat aktual TI yang dirasakan: Tidak selalu sering update tetapi sudah cukup mewakili keadaan kekinian. (anggota pengurus terbatas) tidak ada fitur saran dan kritik. (tidak memiliki programer sendiri)
Gap6 Perbedaan antara persepsi pengembang IT terhadap apa yang pengguna butuhkan, dan tingkat layanan TI yang mereka dapat sediakan mengingat kendala karena personil, teknologi dan faktor organisasi lainnya.
Gap6 a3.2 Aplikasi dapat fleksible dalam menyesuaikan perubahan kondisi dan permintaan.
Gap6 - Persepsi pengembang IT terhadap apa yang pengguna butuhkan: Kondisi kekinian yang pengguna butuhkan penyesuaian nama matakuliah dan nama dosen untuk tiap semester. Fitur saran dan kritik tidak terlalu dibutuhkan. - Tingkat layanan TI yang pengembang dapat sediakan: Nama matakuliah dan dosen sesuai dengan yang diambil mahasiswa tiap semester. Tidak ada fitur saran dan kritik. Untuk dosen perubahan nilai IPD dan IPM tiap semester. Belum ada perubahan soal kuesioner.
Gap7 Perbedaan antara tingkat layanan TI pengembang yang dapat sediakan dan tingkat aktual dari layanan TI yang disediakan.
Gap7 a3.2 Aplikasi dapat fleksible dalam menyesuaikan perubahan kondisi dan permintaan.
Gap7 -
Tingkat layanan TI pengembang yang dapat sediakan: Nama matakuliah dan dosen sesuai dengan yang diambil mahasiswa tiap semester. Tidak ada fitur saran dan kritik. Untuk dosen perubahan nilai IPD dan IPM tiap semester. Belum ada perubahan soal kuesioner.
-
Tingkat aktual dari layanan TI: Tidak selalu sering update tetapi sudah cukup mewakili keadaan kekinian. tidak ada fitur saran dan kritik.
Rekomendasi - Basic dari analisis 7 gap + gap dari keadaan kekinian. rec: Untuk saat ini memang pengembang selalu melakukan evaluasi kinerja dan sistem pada aplikasi setiap 1 tahun sekali, tetapi terkadang pengembang belum terlalu mengetahui apa kebutuhan pengguna akan aplikasi. dan hal tersebut disebabkan karena belum adanya fitur saran dan kritik yang membantu pengembang untuk mengevaluasi kinerja pada aplikasi IPD. dan fitur saran dan kritik harus ditambahkan pada aplikasi IPD.
System Quality Melihat pada buku
Information quality Melihat pada buku
Service quality Melihat pada buku
Usage Melihat pada buku
User Satisfaction Melihat pada buku
Net Benefit Melihat pada buku
Kesimpulan Melihat pada buku
Sekian dan terimakasih
