Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer Vol. 2, No. 2, Februari 2018, hlm. 674-678
e-ISSN: 2548-964X http://j-ptiik.ub.ac.id
Perbandingan Hasil Metode Evaluasi Usability Antara Heuristic Evaluation dengan Think Aloud pada Kasus Web FILKOM APPS untuk Mahasiswa Mochammad Imam Sya’roni1, Agi Putra Kharisma2, Faizatul Amalia3 Program Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya Email:
[email protected],
[email protected],
[email protected] Abstrak Web FILKOM APPS untuk mahasiswa merupakan media informasi yang membantu mahasiswa FILKOM untuk memenuhi kebutuhan studi, terutama bagi mahasiswa yang mengerjakan skripsi. Selama ini web tersebut belum ada yang mengevaluasi, oleh karena itu diperlukan evaluasi usability web FILKOM APPS untuk mahasiswa, untuk mengetahui permasalahan yang dihadapi oleh web tersebut, tujuan dari penelitian ini adalah untuk mengetahui perbandingan hasil evaluasi antara metode heuristic evaluation dan think aloud, yang diharapkan dari hasil penelitian ini dapat memberikan informasi kepada developer web, untuk meningkatkan usability dan fungsional dari fitur-fitur yang ada. Heuristic evaluation adalah metode evaluasi yang dilakukan para alhi HCI untuk menunjukkan masalah usability, sedangkan metode think aloud adalah metode evaluasi usability yang dilakukan oleh para pengguna untuk dimintai pendapatnya, serta mengungkapkan perasaan dan pemikirannya saat berinteraksi dengan produk antarmuka. Dari hasil evaluasi, untuk metode heuristic evaluation para ahli HCI menemukan permasalahan usability yang berkaitan dengan antarmuka yang bersifat umum dan beberapa menu-menu yang masih belum bisa berfungsi sebagaimana mestinya, serta bahasa yang tidak konsisten. Sedangkan untuk metode think aloud para pengguna menemukan permasalahan usability seperti kendala-kendala yang dihadapi saat melakukan suatu aksi/tugas serta permasalahan yang berkaitan dengan tampilan interface, menu-menu yang belum berfungsi sebagaimana mestinya, dan bahasa yang tidak konsisten. Kata Kunci: Usability, Web FILKOM APPS, Heuristic Evaluation, Think Aloud.
Abstract Web FILKOM APPS for students is a medium of information that helps FILKOM students to meet the needs of study, especially for students who do thesis. So far the web has not been evaluated, therefore it is necessary to evaluate the usability of web FILKOM APPS for students, to find out the problems faced by the web, The purpose of this research is to know comparison of evaluation result between heuristic evaluation and think aloud method, Which is expected from the results of this study can provide information to web developers, To improve usability and functionality of existing features. Heuristic evaluation is an evaluation method done by HCI alhi to show usability problem, Whereas the think aloud method is a method of usability evaluation performed by users to be consulted, and expressing their feelings and thoughts when interacting with the interface product. From the evaluation results, for heuristic evaluation methods HCI experts found usability problems related to common interface and some menus that still can not function properly, as well as inconsistent languages. As for the method think aloud users find usability problems such as constraints faced when performing an action / task and problems related to the interface display, the menus are not working properly, and language is not consistent. Keywords: Usability, Web FILKOM APPS, Heuristic Evaluation, Think Aloud.
membantu mahasiswa FILKOM UB untuk memenuhi kebutuhan studi selama ini serta menjadi media informasi bagi mahasiswa yang mengerjakan skripsi (Filkom, 2014). Usability adalah bagian dari suatu bidang ilmu multi
1. PENDAHULUAN FILKOM APPS untuk mahasiswa merupakan media informasi yang dapat Fakultas Ilmu Komputer Universitas Brawijaya
674
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
disiplin Human Computer Interaction (HCI). Kata usability berasal dari kata usable yang artinya dapat digunakan dengan baik, usability memiliki ciri-ciri seperti usefulness, efficiency, effectiveness, learnability, satisfaction, dan accessibility. Pentingnya peran usability adalah untuk mengukur suatu produk antarmuka dan selama ini web FILKOM APPS untuk mahasiswa belum ada yang mengevaluasi. Oleh karena itu evaluasi usability web FILKOM APPS untuk mahasiswa sangat diperlukan untuk mengetahui permasalahan yang dihadapi oleh para pengguna web FILKOM APPS untuk mahasiswa. Maka diangkatlah penelitian yang berjudul Perbandingan Hasil Metode Evaluasi Usability antara Heuristic Evaluation dengan Think Aloud pada Kasus Web Filkom Apps untuk Mahasiswa. Metode heuristic evaluation yang dilakukan oleh para ahli di bidang HCI interaksi manusia dan komputer, diminta untuk mengungkapkan permasalah usability yang bersifat umum, yang lebih mengarah ke desain antarmuka (Yen,P., 2009). Sedangkan metode think aloud pengguna diberikan skenario tugas sebagai bagian evaluasi usability, pengguna diminta untuk mengungkapkan pemikiran, perasaan, dan pendapatnya saat berinteraksi dengan produk (Hom, J., 2016). Untuk memudahkan dalam melakukan evaluasi kedua metode tersebut menggunakan heuristic chechlist yang diadaptasi dari Nielsen, selain penggunaan heuristic checklist dalam penelitian ini juga menggunakan severity ratings, biasanya severity ratings dikaitkan dengan permasalahan yang timbul dan memiliki tingkat keseriusan yang bervariasi(Nielsen, J., 1995). Ada 5 kategori nilai severity ratings mulai dari nilai 0 = tidak ada masalah, sampai nilai 4 = sangat penting untuk diperbaiki dan menjadi prioritas utama. Tujuan dari penelitian ini adalah untuk mengetahui hasi evaluasi dan perbandingan antara metode heuristic evaluation dan think aloud. 2. METODE Tahap-tahap evaluasi digambarkan sebagai berikut:
Fakultas Ilmu Komputer, Universitas Brawijaya
675
Gambar 1. Tahapan penelitian
Untuk evaluasi menggunakan heuristic evaluation, evaluator diambil dari para ahli HCI (dosen yang mengajar mata kuliah interaksi manusia dan komputer) yang berjumlah lima orang dan untuk think aloud evaluator diambil dari para mahasiswa FILKOM UB yang sedang mengerjakan skripsi yang juga berjumlah lima orang, seperti yang dilakukan pada penelitian (Nielsen, J., 2000) bahwa hasil terbaik datang dari pengujian tidak lebih dari lima evaluator. Agar saat melakukan pengujian usability dapat berjalan dengan baik, maka dalam melakukan pengujian dibutuhkan skenario pengujian yang baik, skenario pengujian untuk evaluasi menggunakan metode heuristic evaluation dapat dilihat sebagai berikut: 1 Memperkenalkan diri dan menyampaikan tujuan penelitian kepada evaluator. 2 Memberikan heuristic checklist kepada evaluator. 3 Waktu yang diberikan kepada evaluator untuk melakukan evaluasi sekitar sepuluh menit sampai enam puluh menit 4 Evaluasi dimulai ketika evaluator memasuki web dan melakukan evaluasi di web FILKOM APPS untuk mahasiswa dengan inisiatifnya. 5 Apabila evaluator menemukan permasalahan, evaluator diminta untuk mencatat permasalahan tersebut di kolom komentar pada heuristic checklist yang tersedia. 6 Evaluator memberikan nilai severity ratings pada tiap heuristic checklist di kolom severity ratings yang telah tersedia.
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
7
Evaluasi selesai.
Sedangkan untuk evaluasi menggunakan metode think aloud dapat dilihat sebagai berikut: 1 Mempersiapkan laptop yang akan digunakan untuk evaluasi. 2 Memperkenalkan diri dan menyampaikan tujuan penelitian kepada evaluator. 3 Memberikan heuristic checklist untuk pengujian pada pengguna. 4 Waktu yang diberikan kepada evaluator untuk melakukan evaluasi sekitar sepuluh menit sampai enam puluh menit. 5 Evaluator diberikan tugas-tugas tertentu agar memudahkan dalam evaluasi. 6 Evaluasi dimulai ketika pengguna memasuki web dan melakukan evaluasi di web FILKOM APPS untuk mahasiswa tersebut sesuai dengan tugas yang telah diberikan dan direkam dengan aplikasi Bandicam. 7 Apabila evaluator menemukan permasalahan usability pada web FILKOM APPS untuk mahasiswa, maka evaluator diminta untuk mencatat permasalahan tersebut di kolom komentar pada heuristic checklist yang tersedia. 8 Evaluator memberikan nilai severity ratings pada tiap heuristic checklist di kolom severity ratings yang tersedia. 9 Evaluasi selesai. 3. HASIL DAN PEMBAHASAN Pada hasil dan pembahasan akan menampilkan perbandingan dari hasil evaluasi menggunakan metode heuristic evaluation dan think aloud berupa komentar, perbandingan komentar dapat dilihat pada tabel 1-10 sebagai berikut: Tabel 1. Visibility of system status 1. Visibility of system status (HC01) Para ahli HCI menemukan permasalahan usability seperti: adanya menu-menu/konten yang masih belum sesuai semestinya, respon yang lama, dan memahami fungsi dari sebuah tombol. Sedangkan para pengguna menemukan permasalahan usability seperti: ikon-ikon yang kurang sesuai, tidak ada pesan peringatan kenapa konten tidak ditampilkan, menu-menu seperti surat tugas, krs dan khs yang masih belum berfungsi secara maksimal.
Tabel 2. Match between system and the real world 2. Match between system and the real world (HC02) Fakultas Ilmu Komputer, Universitas Brawijaya
676
Para ahli HCI menemukan permasalahan usability yaitu: menu belum memakai bahasa yang sama(tidak konsisten). Sedangkan para pengguna memenukan permasalahan usability seperti: banyak ikon yang tidak sesuai dan bahasa tidak konsisten.
Tabel 3. User control and freedom 3. User control and freedom (HC03) Para ahli HCI menemukan permasalahan usability seperti: belum memungkinkan untuk terjadi interaksi, tidak ada pembatalan saat operasi sedang berlangsung, belum adanya keyboard shorcut dan tidak ada sistem redo. Sedangkan para pengguna menemukan permasalahan usability seperti: user tidak dapat kembali kehalaman awal (mengulangi proses), tidak dapat membuka new tab, ada menu yang isinya tidak dapat dihapus atau di-update (membatalkan operasi).
Tabel 4. Consistency and standards 4. Consistency and standards (HC04) Para ahli HCI tidak menemukan permasalahan usability. Sedangka para pengguna sebagian menemukan permasalahan usability seperti: tempat membuka file tidak konsisten, bahasa sistem yang bercampur (tidak konsisten), warna kurang menarik karena bertentangan dengan color wheel pallette.
Tabel 5. Error prevention 5. Error prevention (HC05) Para ahli HCI menemukan permasalahan usability seperti: belum adanya pesan kesalahan dan tata bahasa kurang tepat sehingga kurang mambantu pengguna. Sedangkan para pengguna sebagian menemukan permasalahan usability seperti: bahasa sistem tidak konsisten, dan tidak adanya pesan peringatan.
Tabel 6. Recognition rather than recall 6. Recognition rather than recall (HC06) Para ahli HCI tidak menemukan permasalahan usability. Sedangkan para pengguna sebagian menemukan permasalahan usability seperti: kesulitan mengetahui batas posisi konten, dan ada beberapa konten yang tidak dipisahkan dengan garis.
Tabel 7. Flexibility and efficiency of use 7. Flexibility and efficiency of use (HC07) Para ahli HCI menemukan permasalahan usability seperti: tidak adanya shortcut keyboard, data invalid,
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer perlunya mempelajari konten, dan mouse adalah alat utama dalam penggunaan. Sedangkan para pengguna sebagian menemukan permasalahan usability seperti: pengguna kesulitan untuk membuka new tab, hanya mouse sebagai alat utama, dan konten yang menyulitkan bagi pengguna.
x
677
x1 x2 .... xn n
Bila dinotasikan dengan notasi sigma, maka rumus di atas akan menjadi seperti berikut:
x
n
1 n
Tabel 8. Aesthetic and minimalist design 8. Aesthetic and minimalist design (HC08) Para ahli HCI sebagian menemukan permasalahan usability seperti: menu yang tidak terlalu penting dan tidak bisa dibuka, serta banyaknya menu yang belum berfungsi di layar. Sedangkan para pengguna sebagian menemukan permasalahan usability seperti: informasi/menu yang belum ter-update, teks yang berantakan, dan warna background yang tidak selaras dengan tujuannya.
Tabel 9. Help users recognize, diagnose, and recover from errors 9. Help users recognize, diagnose, and recover from errors (HC09) Para ahli HCI sebagian menemukan permasalahan usability seperti: belum adanya saran untuk memperbaiki kesalahan yang dilakukan oleh pengguna Sedangkan para pengguna sebagian menemukan permasalahan usability seperti: beberapa menu tidak menampilkan pesan peringatan, pengguna tidak mengerti mengenai kesalahan yang mereka buat, dan tidak ada saran saat ada kesalahan.
Tabel 10. Help and documentation 10. Help and documentation (HC10) Para ahli HCI menemukan permasalahan usability seperti: tidak ditemukannya menu help kecuali di fitur skripsi dan tidak ditemukannya dokumentasi. Sedangkan para pengguna menemukan permasalahan usability seperti: sistem tidak menyediakan menu help dan dokumentasi.
Pada hasil dan pembahasan juga menampilkan perbandingan antara nilai hasil severity rating antara metode heuristic evaluation dan think aloud berupa nilai perbandingan hasil severity ratings dan untuk dapat membandingkan nilai severity ratings yang diperoleh dari metode heuristic evaluation dan think aloud, maka diperlukan pengolahan data terlebih dahulu yaitu dengan cara menghitung rata-ratanya, dalam pengolahan data menggunakan rumus dari (Statistik, R., 2017) sebagai berikut:
Fakultas Ilmu Komputer, Universitas Brawijaya
xi
n
Keterangan: 𝑥 = rata-rata 𝑥𝑖 = nilai sampel ke-i 𝑛 = jumlah sampel Hasil perbandingan nilal severity ratings dari ahli HCI dan pengguna dapat dilihat pada tabel 11 sebagai berikut: Tabel 11. Nilai perbandingan hasil severity ratings No. 1 2 3 4 5 6 7 8 9 10
Heuristic checklist (HC01) (HC02) (HC03) (HC04) (HC05) (HC06) (HC07) (HC08) (HC09) (HC10)
Heuristic evaluation 2 0,6 1,8 0,2 1,2 0 1,6 1 1,8 3
Think aloud 2,2 0,6 2,4 0,8 1,4 1 1,4 1,2 1,8 2,4
4. KESIMPULAN Berdasarkan pembahasan yang telah dilakukan, maka kesimpulan yang dapat ditarik antara lain: (1) Dalam menggunakan metode heuristic evaluation para ahli HCI menemukan permasalahan usability yang berkaitan dengan interface dari tampilan FILKOM APPS untuk mahasiswa yang bersifat umum, dan beberapa menu-menu yang masih belum bisa berfungsi sebagaimana mestinya, serta bahasa yang tidak konsisten. (2) Dalam menggunakan metode think aloud para pengguna menemukan permasalahan usability pada web FILKOM APPS untuk mahasiswa seperti kendala-kendala yang dihadapi saat melakukan suatu aksi/tugas serta permasalahan yang berkaitan dengan tampilan interface, menu-menu yang belum berfungsi sebagaimana mestinya, dan bahasa yang tidak konsisten. (3) Hasil Perbandingan komentar dari penelitian ini yaitu dengan menggunakan metode heuristic evaluation para ahli menemukan permasalahan usability yang berkaitan dengan interface yang bersifat umum
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
serta beberapa menu-menu yang masih belum berfungsi sebagaimana mestinya dan menemukan beberapa bahasa dalam sistem yang tidak konsisten, sedangkan untuk metode think aloud para pengguna menemukan permasalahan seperti kendala-kendala yang dialami saat mengerjakan suatu aksi/tugas serta menemukan permasalahan yang berkaitan dengan interface, beberapa menu yang belum berfungsi dan bahasa dari sistem yang tidak konsisten. Untuk perbandingan nilai severity ratings yang diperoleh, dari evaluasi dengan metode heuristic evaluation, nilai severity ratings terendah yang diperoleh dari hasil evaluasi, yaitu dengan nilai 0 pada point heuritic checklist yang ke enam yaitu recognition rather than recall dengan ID (HC06) menunjukkan bahwa tidak terdapat masalah usability, sedangkan untuk nilai severity ratings tertinggi yang diperoleh dari hasil evaluasi, yaitu dengan nilai 3 pada point heuritic checklist yang ke sepuluh yaitu help and documentation dengan ID (HC10) menunjukkan bahwa permasalahan yang sedang dihadapi masuk dalam kategori major usability problem, sedangkan pada penggunaan metode think aloud, nilai severity ratings terendah yang diperoleh dari hasil evaluasi, yaitu dengan nilai 0,6 pada point heuritic checklist yang ke dua yaitu match between system and the real world dengan ID (HC02) menunjukkan bahwa tidak terdapat masalah usability, sedangkan untuk nilai severity ratings tertinggi yang diperoleh dari hasil evaluasi, yaitu dengan nilai 2,4 pada point heuritic checklist yang ke tiga dan sepuluh yaitu User control and freedom dengan ID (HC03) dan help and documentation dengan ID (HC10) menunjukkan bahwa permasalahan yang sedang dihadapi masuk dalam kategori minor usability problem. DAFTAR PUSTAKA Filkom, 2014. FILKOM APPS [online] Tersedia di:
[Diakses 14 Mei 2017] Hom. J., 2016 Thinking Aloud Protocol [online] Tersedia di: [Diakses 21 April 2017] Nielsen, J., 1995. Severity Ratings for Usability Problems.[online] Tersedia di: [Diakses 29 Maret 2017] Fakultas Ilmu Komputer, Universitas Brawijaya
678
Nielsen, J., 2000. Why You Only Need to Test with 5 Users [onine] Tersedia di: [Diakses 26 April 2017] Statistik, R., 2017. [online] Tersedia di: [Diakses 29 Mei 2017] Yen, P., 2009. A Comparison of Usability Evaluation Methods: Heuristic Evaluation versus End-User Think-Aloud ProtocolAn Example from a Web-based Communication Tool for Nurse Scheduling. [e-journal] Tersedia di: [Diakses 21 April 2017].
