BAB - IX TEKNIK EVALUASI By. Alan Dix, Janet Finlay, Gregory D. Abowd, Russell Beale
Evaluasi
• Apakah evaluasi? • Tujuan dari evaluasi • Evaluasi melalui analisa expert • Evaluasi pengguna melalui partisipasi • Memilih metode evaluasi
Evaluasi
• Evaluasi adalah bagian integral dari desain dan harus dilakukan di seluruh siklus hidup desain. • Tujuannya adalah : – untuk menguji fungsi dan kegunaan dari desain – untuk mengidentifikasi dan memperbaiki masalah – untuk menentukan sikap dan perilaku pengguna terhadap sistem. • Dapat terjadi di laboratorium atau spesialis di tempat kerja pengguna, dan mungkin tidak melibatkan partipasi aktif pada bagian pengguna.
• Evaluasi digunakan untuk melihat apakah hasil rancangan dengan proses uji coba system yang telah dibuat sesuai dengan permintaan pengguna (user) Evaluasi • Proses ini tidak dikerjakan dalam satu fase proses perancangan tetapi melalui perancangan dengan prinsip life cycle
9.1. Apakah Evaluasi ?
• Berkaitan dengan pengumpulan data tentang kegunaan dari produk desain oleh kelompok tertentu untuk aktivitas tertentu dalam lingkungan tertentu atau konteks pekerjaan • Evaluasi adalah menguji dan menilai sistem untuk memastikan apakah sistem berjalan seperti yang di harapkan dan berguna bagi pengguna(user)
9.2. Tujuan Evaluasi
• EVALUASI MEMILIKI TIGA TUJUAN UTAMA 1. untuk menilai sejauh mana dan Aksesbilitas dari fungsi sistem 2. untuk menilai pengalaman pengguna yang berinteraksi 3. untuk mengidentifikasi dan masalah tertentu dengan sistem
9.2. Tujuan Evaluasi
• Fungsi sistem yang penting, harus sesuai dengan kebutuhan pengguna. • Rancangan sistem harus memungkinkan pengguna untuk melakukan tugas mereka menjadi lebih mudah
9.2. Tujuan Evaluasi
• Jika seorang petugas mengambil sebuah file pelanggan pada address. • Pos/pusat paling tidak harus menyediakan dalam file komputer system. • Evaluasi pada tingkat ini dapat juga mengukur kinerja pengguna dengan sistem dan dapat menilai efektivitas sistem dalam mendukung tugas
9.2. Tujuan Evaluasi
• Tujuan akhir dari evaluasi adalah untuk mengidentifikasi masalahmasalah spesifik dalam desain
9.3. Evaluasi Melalui Analisa Expert
• Evaluasi terjadi sepanjang proses desain. • Secara khusus, yang pertama dari sebuah sistem evaluasi idealnya harus performed sebelum pelaksanaan pekerjaan di mulai. • Jika desain sendiri dapat dievaluasi, maka kesalahan dapat dihindari, karena desain dapat diubah. • Biasanya,dalam proses desain yang kesalahan itu harus diperbaiki
9.3. Evaluasi Melalui Analisa Expert
• Ada 4 macam evaluasi a. b. c. d.
Cognitive walkthrough Evaluasi heuristik Evaluasi berbasis model Menggunakan penelitian sebelum evaluasi
9.3.1. Cognitive Walkthrough
• Walkthroughs memerlukan : – – –
– – –
tinjauan rinci dari urutan kode actions di dalam langkah-langkah, urutan mewakili segmen kode program, harus teliti untuk memeriksa karakteristik tertentu (misalnya, gaya pengkodean , konvensi untuk variabel ejaan prosedur versus panggilan, dan untuk memeriksa seluruh sistem yang invarian ), menggunakan langkah-langkah kognitif, urutan langkah-langkah tindakan mengacu pada suatu interface akan meminta user untuk tampil di error dalam menyelesaikan beberapa tugas yang dikenal.
9.3.1. Cognitive Walkthrough
1. 2. 3. 4. 5.
Mempunyai prosedur Action Menggunakan urutan kode action Mempunyai kode program Menggunakan langkah kognitif Mengacu pada sebuah interface yang akan menampilkan ERROR 6. Ada penyelesaian task/tugas
• Sebuah heuristik adalah sebuah pedoman atau prinsip umum 9.3.2 9.3. 2. atau aturan yang dapat memandu Evaluasi keputusan desain atau digunakan Melalui untuk kritik sebuah keputusan Analisa yang telah di buat. Expert • heuristic evaluasi, dikembangkan b. Evaluasi Heuristik
oleh Jakob Nielsen dan Rolf Molich, adalah metode untuk menyusun kritik terhadap sebuah system menggunakan seperangkat relatif sederhana dan heuristics
9.3.2. 9.3.2 Evaluasi Melalui Analisa Expert b. Evaluasi Heuristik
• heuristic evaluasi, dikembangkan oleh Jakob Nielsen dan Rolf Molich, adalah metode untuk menyusun kritik terhadap sebuah system menggunakan seperangkat relatif sederhana dan heuristics.
1. 9.3.2. 9.3.2 2. Evaluasi Melalui Analisa Expert 3. 4. b. Evaluasi Heuristik 5.
Merupakan sebuah pedoman/prinsip umum Merupakan sebuah aturan untukmemandu keputusan desain Dapat menyusun kritik terhadap sistem Menggunakan seperangkat alat yang relatif sederhana Dikembangkan oleh Jakob Nielsen dan Rolf Molich
•
9.3.2. 9.3.2 Evaluasi Melalui Analisa Expert b. Evaluasi Heuristik
NIELSEN'S SEPULUH HEURISTIK ADALAH: 1. Status. 2. Antara sistem dan dunia nyata. (user friendly)
3. User kontrol dan kebebasan. Pengguna 4. Konsistensi dan standar 5. Pencegahan Kesalahan 6. Pengakuan daripada pembuat 7. Fleksibilitas dan efisiensi penggunaan 8. Minimalis design 9. Membantu pengguna mengenali, mendiagnosa dan mengoreksi kesalahan 10. Bantuan dan sistem dokumentasi
• Certain Model Provie adalah 9.3.3.. 9.3.3 menggabungkan alat evaluasi Evaluasi dan spesifikasi desain ke Melalui framework. Analisa • Contoh: Expert c. Evaluasi Berbasis Model
– GOMS (tujuan, operator , metode dan seleksi) pengguna memprediksi model kinerja dengan interface tertentu dan dapat digunakan untuk menyaring pilihan desain tertentu.
9.3.3. 9.3.3. Evaluasi Melalui Analisa Expert
1. Menggunakan desain framework 2. Merupakan penggabungan alat evaluasi dan spesifkasi desain 3. Menggunakan prinsip GOMS 4. Mempunyai Tujuan 5. Mempunyai Operator
c. 6. Mempunyai Metode Evaluasi 7. Mempunyai Penyeleksian Berbasis Model
9.3.4. 9.3.4. Evaluasi Melalui Analisa Expert d. Menggu-Menggu nakan Pe nelitian Sebelum Evaluasi
• Eksperimental psikologi dan manusia-komputer proses interaksi antara hasil eksperimen dan empiris. • Khusus untuk domain tertentu, banyak berurusan dengan isu-isu umum yang bergerak dalam berbagai situasi
9.3.4. 9.3.4. Evaluasi Melalui Analisa Expert
1. Proses interaksi antar hasil eksperimen dan empiris 2. Menggunakan domain d. 3. Khusus untuk domain MengguMenggutertentu menggunakan nakan Pe isu-isu umu nelitian Sebelum Evaluasi
• Teknik-teknik yang telah kita bahas sejauh ini berkonsentrasi pada desain atau mengevaluasi sistem melalui analisis oleh perancang, atau seorang 9.4.. 9.4 Evaluasi ahli penilai, bukan pengujian dengan pengguna yang sebenarnya. Peng-Peng • Teknik ini untuk menyaring dan guna menyempurnakan desain, mereka Melalui bukan pengganti pengujian. Partisi-Partisi • Menggunakan metode empiris atau pasi eksperimental, metode observasi, permintaan teknik, dan metode yang menggunakan pemantauan fisiologis
• Faktor-faktor yang membeda-kan teknik evaluasi:
4. Memilih Metode Evaluasi
– Tingkat siklus – Jenis evaluasi – Tingkat objektivitas dan subyektivitas – Jenis ukuran yang tersedia – Informasi yang tersedia – Kesiapan dari suatu respon – Tingkat gangguan yang tidak secara langsung – Sumber yang tersedia
Design VS. Implementation • Evaluasi pada tingkatan perancangan hanya membutuhkan ahlinya dan akan dianalisa sedangkan evaluasi pada tingkat implementasi membawa user sebagai subyek dari eksperimen. Laboratory VS. Field studies • Secara ideal proses perancangan mencakup dua jenis evaluasi ini dimana pada laboratorium merupakan awal tingkatan sedangkan field studies ditempatkan pada tingkatan implementasi.
Subyektif VS. Obyektif • Pada teknik yang subyektif seperti pada cognitive walkthrough maupun think aloud mempercayakan pada evaluator atau orang yang melakukan evaluasi. Hal ini dapat menyebabkan penilaian evaluator menjadi bias sehingga diperlukan lebih dari satu orang evaluator. Sedangkan teknik obyektif seharusnya menghasilkan hasil yang berulang yang tidak tergantung pada evaluator. Eksperimen yang terkontrol merupakan contoh pengukuran obyektif. Secara ideal pengukuran secara subyektif dan obyektif seharusnya digunakan keduanya. Qualitative VS Quantitative measures • Pengukuran menggunakan numeric lebih mudah digunakan menggunakan teknik statistik sedangkan non-numerik lebih sulit dilakukan akan tetapi menghasilkan sesuatu yang penting secara lengkap yang tidak dapat dilakukan secara numeric.
Informasi yang tersedia • Tingkatan informasi yang tersedia untuk evaluator pada setiap tingkat proses perancangan dimulai pada informasi yang rendah sampai dengan tingkatan yang tinggi. Kesiapan suatu tindakan • Faktor lain yang membedakan teknik evaluasi adalah kesiapan mengambil tindakan yang tersedia. Seperti metode think aloud yang merekam perilaku user pada waktu interaksi. Sedangkan post task walkthrough mempercayakan pada pengumpulan kembali kegiatan user. Intrusiveness • Merupakan teknik yang menghasilkan pengukuran segera yang dihasilkan user selama interaksi dan mempunyai resiko mempengaruhi perilaku user. Evaluator harus sensitive untuk mengurangi masalah ini tetapi tidak dapat megubah semuanya. Sumber-sumber • Hal terakhir yang perlu diperhatikan dalam memilih teknik evaluasi yakni : peralatan, waktu, biaya, subyek serta evaluator yang ahli.
