Evaluasi IMK 1
Pendahuluan • Adanya perdebatan tentang penilaian sebuah tampilan • Ada yang mengatakan “BAGUS”, “SEDANG”, atau “JELEK” • Adanya asumsi bahwa selama suatu software dapat digunakan, maka itu sudah cukup bagus • Kegiatan evaluasi suatu software atau tampilan merupakan kegiatan yang dihindari karena akan menambah waktu pengembangan dan biaya • Kegiatan evaluasi merupakan sesuatu yang sangat penting karena desainer dapat mengetahui apakah karyanya berguna dan diinginkan oleh user 2
Evaluasi?? • Evaluasi adalah sebuah proses yang secara sistematis mengumpulkan data yang menginformasikan kepada kita tentang pendapat seseorang atau sekelompok user mengenai pengalamannnya menggunakan sebuah produk untuk sebuah tugas tertentu dalam sebuah lingkungan tertentu • Seorang user berkeinginan untuk menggunakan sebuah sistem yang mudah dipelajari, dan penggunaannya sedapat mungkin efektif, efisien, aman, dan memuaskan. Selain itu, sedapat mungkin menyenangkan, atraktif, menantang, dll (Ingat Usability) 3
Mengapa Evaluasi Dibutuhkan • Desainer tidak dapat berasumsi bahwa orang lain seperti dirinya, dan mengikuti design guidelines menjamin bahwa karyanya pasti bagus • Evaluasi dibutuhkan untuk memeriksa apakah user dapat menggunakan produk tersebut dan menyukainya • Evaluasi kepuasan penggunaan terhadap sebuah produk dapat dilakukan menggunakan kuesioner dan atau interview 4
Tujuan Evaluasi IMK 1. Melihat seberapa jauh system berfungsi Mencakup kesesuaian penggunaan system terhadap harapan user pada tugas tersebut. 2. Melihat efek interface bagi pengguna Mencakup aspek dari kemudahan system dipelajari, daya guna dan perilaku user. 3. Mengidentifikasi problem khusus yang terjadi pada system Ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau terjadi kekacauan di antara user atau aspek negatif dari desain. 5
Kapan Evaluasi Dilakukan?? • Evaluasi dapat dilakukan pada: – Selama proses pembuatan produk tersebut supaya selalu sama dengan yang diminta atau dibutuhkan oleh user. Proses ini biasa disebut formative evaluations. – Saat produk tersebut telah jadi yaitu melalui prototype – Saat produk tersebut telah dipasarkan. Jika ada kekurangan atau perubahan kebutuhan user, maka produk tersebut bisa dibuatkan versi yang terbaru/upgrade, mis: program-program Windows, Winamp, dll. Evaluasi ini biasa disebut summative evaluations
• Evaluasi produk dapat dilakukan melalui riset pasar, baik melalui perorangan atau sekelompok user 6
Paradigma Evaluasi 1. 2. 3. 4.
“Quick and dirty” evaluation Usability testing Field studies Predictive evaluation
7
1. “Quick and Dirty” Evaluation • Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang disampaikan secara informal kepada desainer tentang produk yang dibuatnya • Evaluasi ini dapat dilakukan pada semua tahapan pembuatan produk dan penekanannya pada masukan yang cepat dan sesingkat mungkin daripada temuan yang didokumentasikan secara hati-hati 8
2. Usability Testing • Evaluasi ini cukup dominan digunakan pada tahun 1980-an • Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati, dari proses inilah maka dibuatkan desain sistemnya • Kinerja user umumnya diukur dalam jumlah kesalahan yang dilakukan dan waktu yang dibutuhkan untuk menyelesaikan tugas • Cara yang umumnya digunakan untuk membuat sistem ini yaitu dengan cara: – Melihat secara langsung – Merekamnya dalam video
• Evaluasi ini menggunakan kuesioner dan wawancara kepada user tentang kepuasannya menggunakan sistem tersebut • Penelitian biasanya dilakukan di dalam sebuah laboratorium, dimana user diberi suatu treatment tertentu (mis: cahaya, suara, warna, dll) atau bisa juga tanpa treatment. 9
3. Field Studies • Evaluasi ini dilakukan di lingkungan asli dimana user bekerja, hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana teknologi tersebut berdampak pada sistem • Evaluasi ini dapat digunakan untuk: – – – –
Membantu mengidentifikasi kesempatan sebuah teknologi baru Menentukan kebutuhan-kebutuhan untuk melakukan desain Memfasilitasi pengenalan sebuah teknologi Evaluasi teknologi
– – – –
Interview Observasi (pengamatan yang hanya dilakukan oleh desainer) Partisipatori (user dilibatkan dalam pembuatan desain) Ethnography (penilaian berdasarkan budaya)
• Teknik yang dapat digunakan:
• Dari data yang didapatkan tersebut, maka desainer dapat melakukan evaluasi, baik secara kuantitatif maupun kualitatif, terhadap produknya
10
4. Predictive Evaluation • Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya hal ini dijadikan patokan untuk memprediksi masalah-masalah penggunaan sebuah produk • Keuntungan evaluasi ini: – User yang diinginkan tidak perlu untuk dihadirkan – Proses pembuatannya relatif cepat, murah, dan cukup disukai oleh perusahaan
• Tahun-tahun terakhir ini, evaluasi ini cukup populer 11
Teknik-Teknik Evaluasi Observing users/Pengamatan terhadap User Asking users their opinions/Meminta Pendapat User Asking experts their opinions/Meminta Pendapat Ahli Testing user’s performance/Pengujian Kinerja terhadap Pengguna • Modeling users’ task performance/Model Tugas bagi Pengguna • • • •
12
Hubungan Antara Paradigma dan Teknik Evaluasi Teknik
“Quick and Dirty”
Observing users
Penting untuk melihat bagaimana user berperilaku dalam lingkungan aslinya
Asking users
Diskusi dengan user dan user yang potensial, dalam suatu group atau group yang khusus
Asking experts
Untuk mendapatkan kritik tentang kegunaan sebuah prototipe
User testing
===
Modeling users’ task performance
=== 13
Hubungan Antara Paradigma dan Teknik Evaluasi (lanj.) Teknik
Usability Testing
Observing users
Melalui video dan catatan, dilakukan analisa untuk mengidentifikasi kesalahan, investigasi cara kerja software, atau menghitung kinerja waktu
Asking users
Dengan menggunakan kuesioner kepuasan, maka dilakukan pengumpulan opini user. Interview kadang digunakan untuk mendapatkan opini yang lebih detail
Asking experts User testing Modeling users’ task performance
=== Dilakukan di laboratorium === 14
Hubungan Antara Paradigma dan Teknik Evaluasi (lanj.) Teknik
Field Studies
Observing users
Dilakukan di lokasi manapun juga. Dalam studi etnografi, evaluator turut serta dalam lingkungan user
Asking users
Evaluator dapat melakukan interview atau mendiskusikan apa yang dilihatnya kepada peserta.
Asking experts
===
User testing
===
Modeling users’ task performance
=== 15
Hubungan Antara Paradigma dan Teknik Evaluasi (lanj.) Teknik
Predictive
Observing users
===
Asking users
===
Asking experts
User testing Modeling users’ task performance
Seorang menggunakan patokannya dalam pembuatan desain untuk memprediksi ketepatan desain/rancangan === Model yang digunakan untuk memprediksi ketepatan dalam sebuah interface atau membandingkan kinerja waktu dengan versinya 16
Skala Likert 17
Skala Likert • Skala Likert adalah suatu skala psikometrik yang umum digunakan dalam kuesioner, dan merupakan skala yang paling banyak digunakan dalam riset berupa survei. • Nama skala ini diambil dari nama Rensi Likert, yang menerbitkan suatu laporan yang menjelaskan penggunaannya. • Caranya ; Sewaktu menanggapi pertanyaan dalam skala Likert, responden menentukan tingkat persetujuan mereka terhadap suatu pernyataan dengan memilih salah satu dari pilihan yang tersedia. 18
Tujuan Skala Likert • Untuk apa sebenarnya Skala Likert itu? Skala Likert itu “aslinya” untuk mengukur kesetujuan dan ketidaksetujuan seseorang terhadap sesuatu objek, yang jenjangnya bisa tersusun atas: 1. 2. 3. 4. 5.
sangat setuju setuju netral antara setuju dan tidak kurang setuju sama sekali tidak setuju. 19
Contoh Kasus Seorang mahasiswa Komputer melakukan uji usability sebuah sistem dengan menggunakan skala Likert. Aspek yang ingin diukur ialah kecepatan dari sebuah output yang ia hasilkan, dari 70 panelis yang ia gunakan, berikut rangkuman hasil penilaian panelis. !! 20
Rangkuman Hasil Penilaian Panelis • Panelis yang menjawab sangat cepat (5) berjumlah 2 orang • Panelis yang menjawab cepat (4) berjumlah 8 orang • Panelis yang menjawab netral (3) berjumlah 15 orang • Panelis yang menjawab lambat (2) berjumlah 25 orang • Panelis yang menjawab sangat lambat (1) berjumlah 20 orang
21
Rumus
T x Pn Keterangan; T = Total jumlah panelis yg memilih Pn = Pilihan angka Skor likert
22
Proses Penilaian • • • • •
Panelis yang menjawab sangat cepat (5) = 2 x 5 = 10 Panelis yang menjawab cepat (4) = 8 x 4 = 32 Panelis yang menjawab netral (3) = 15 x 3 = 45 Panelis yang menjawab lambat (2) = 25 x 2 = 50 Panelis yang menjawab sangat lambat (1) = 20 x 1 = 20
Semua hasil dijumlahkan ; • Total skor = 157 23
Interpretasi Skor Perhitungan • Untuk mendapatkan hasil interpretasi, harus diketahui dulu skor tertinggi (Y) dan angka terendah (X) untuk item penilaian dengan rumus sebagai berikut : • Y = Skor tertinggi likert x jumlah panelis • X = Skor terendah likert x jumlah panelis • Jumlah skor tertinggi untuk item SANGAT CEPAT ialah 5 x 70 = 350, sedangkan item SANGAT LAMBAT ialah 1 x 70 = 70. Jadi, jika total skor penilaian panelis di peroleh angka 157, maka penilaian interpretasi panelis terhadap kecepatan sistem tersebut adalah hasil nilai yang dihasil dengan menggunakan rumus Index %. • RUMUS INDEX % = Total Skor / Y x 100 24
PRA Penyelesaian • Sebelum menyelesaikannya kita harus mengetahui interval (Jarak) dan interpretasi persen agar mengetahui penilaian dengan metode mencari Interval skor persen (I). RUMUS INTERVAL • I = 100 / Jumlah Skor (likert) • Maka = 100 / 5 = 20 • Hasil (I) = 20 (Ini adalah intervalnya jarak dari terendah 0 % hingga tertinggi 100%) 25
Kriteria interpretasi skor berdasarkan interval • Angka 0% – 19,99% = Sangat Lambat • Angka 20% – 39,99% = Lambat • Angka 40% – 59,99% = Cukup / Netral • Angka 60% – 79,99% = Cepat • Angka 80% – 100% = Sangat Cepat 26
Penyelesaian Akhir Total skor / Y x 100 = 157 / 350 x 100 = 44.86 %, Kategori Sistem: CUKUP / NETRAL 27
28
Latihan; Buatlah sebuah daftar pertanyaan bagi responden yang menunjukkan tingkat kepuasan dari suatu sistem komputer atau website??
29
