Proceeding. Seminar Nasional PESAT 2005 Auditorium Universitas Gunadanna. Jakarta, 23-24 Agustus 2005
ISSN : 18582559
MENGEVALUASI PERANCANGAN SISTEM YANG INTERAKTIF DALAM INTERAKSI MANUSIA DAN KOMPUTER Dewi Agushinta R Mahasiswa Doktoral Ilmu Komputer Universitas Gunadarma JI. Kenari no. 13 Jakarta Pusat - 10040
[email protected] ABSTRAK
Teori dan metode psikologi membentuk kontribusi utama terhadap pemahaman dalam interaksi manusia dan cOmpuler. Metode-metode psikologi meliputi observasi. survey, eksperimen laboratorium, studi kasus, simulasi dan bentuk lolin dari investigasi pada banyak aspek peri/aku manusia. Sulit untulc dikatakan area dari psikologi yang paling relevan dengan interaksi manusia dan computer karena semua perilaku manusia memiliki dampak pada interaksi mallusia dan computer dan computer juga memberikan dampak pada man usia dengan berbagai cara. Evaluasi pada sistem yang interaktifdapat terjadi pada tahapan proses perancangan dapat mengakses aspek perancangan yang berbeda dan tahap eksperimen/implementasi. Aspek perancangan yang merupakan bagian yang menarik dari sudut pandang falctor manusia seperti kemampuan guna, kemampuan belajar, eflSiensi dan penerimaan. Keempat aspek ini dirancang secara umum. Masalah bagi perancang adalah mengetahui aspek perancangan apa yang sepertinya mempengaruhi macam keluaran dari keempat aspek tersebut. Metode evaluasi bermacam-macam dalam kecanggiltan dan kemampuan aplikasinya. Eksperimen untuk mengevaluasi perancangan da". implementasi harus dibangun secara hati-hati. Banyak penelitian dalam psikologi bergantung pada bulcti empiris, melihat dari hasil pelaksanaan eksperimen. Salah satu cara yang paling kuat da/am mengevaluasi perancangan software adalah dengan menggunakan eksperimen yan terkendali. Eksperimen dirancang dengan melakukan uji coba terhadap beberapa prediksi yang muncul dari hipotesis eksplisit yang keluar dari teori yang mendasarinya. Misalnya hipotesa teori memori kerja adalah bahwa ada batasan kapositas dalam memelihara informasi dalam sebuah pernyataan yang alctif tanpa informasi tersebut hilang dari memori kerja. Dari hipolesa ini dapat diprediksi bahwa sebuah interface komputer yang membutuhkan pengguna do/am memelihara sederetan perintah dalam memori kerja yang mungkin berpindah antar benlUk aplikasi yang berbeda, dapat menghasilkan banyak kesalahan dan lambat unjuk kerjanya terhadap ketitiakingatan pengguna terhadap item dalam daftar dibanding sebuah perancangan yang dibuat mungkin untuk semua pilihan perintah yang berbeda dan twak mempunyai tempat dimana pengguna memindahkan antar bentuk yang berbeda. Kata kunci : evaluasi, perancangan, eksperimen
1.
PENDAHUhUAN
Evaluasi digunakan untuk melihat apakah hasil rancangan dengan proses uji coba system yang telah dibuat sesuai dengan pennintaan pengguna. Proses ini tidak dikerjakan dalam satu fase proses· perancangan tetapi me!e!ui lJerancangan dengan prinsip life cycle, dengan hasil dari evaluasi Mengevaluasi Perancangan Sistem ... (Dewi Agushinta R)
dikembalikan untuk memodifikasi perancangan. Pengujian eksperimen yang terus menerus biasanya tidak hanya melalui perancangan, tetapi teknik analisis dan infonnal harus dilakukan. Ada hubungan dekata antara mengevaluasi dan teknik prototipe dan pemodelan. Mengubah peranc~ngan di awal pengembangan akan lebih mudah. Ada perbedaan mendasar antara P29
Proceeding, Seminar Nasional PESAT 2005 Auditorium Universitas Gunadanna, Jakarta, 23-24 Agustus 2005
mengevaluasi perancangan dengan mengevaluasi implmentasi. Ada 3 tujuan utama dari evaluasi [2] : I. Melihat seberapa jauh sistem berfungsi Perancangan system memungkinkan pengguna melakukan tugas yang dibutuhkan dengan lebih mudah. lni tidak hanya membuat fungsionalitas yang sesuai ada di system, tetapi membuat mudah dicapai oleh pengguna, pengguna dapat melakukan aksi untuk melaksanakan tugas. Juga mencakup kesesuaian penggunaan system terhadap harapan pengguna pada tugas tersebut. Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari pengguna pada system, untuk melihat keefektifan system dalam mendukung tugas. 2. Melihat efek interface bagi pengguna Ini mencakup pertimbangan aspek dari kemudahan system dipelajari, usability dan perilaku pengguna. Penting juga untuk mengidentifikasikan area perancangan yang berlebih dari pengguna, dengan menggunakan sejumlah informasi yang berlebih. 3. Mengidentifikasi problem khusus yang terjadi pada perancangan ldentifikasi dilakukan ketika me'nggunakan konteks, tetapi hasil tidak diinginkan, atau terjadi kekacauan di antara pengguna. Ini tentunya berhubungan dengan usability dan fungsionalitas dari perancangan (bergantung pada sebab masalah). Tujuan ini merupakan aspek negatif dari perancangan.
2.
EVALUASI DAN PROSEDUR PERANCANGAN
Pada awa" pengenalan tidak ada prosedur perancangan. Ada banyak analisis yang bermacam-macam tentang cara yang baik dan benar untuk merancang sebuah sistem software. Pada pokoknya dari metode ini adalah bekerja dan membentuk tim proyek perancangan khusus dan orang-orangnya sesuai dengan bidang keilmuannya. Di beberapa level, metode perancangan yang P30
ISSN : 18582559
berbeda akan mempunyai konsekuensi khusus untuk ketepatan dari metode evaluasi khusus pula dan ini membutuhkan tim perancangan yang benar-benar baik. Pada level yang umum, dimungkinkan untuk memisahkan proses perancangan ke dalam 2 tahapan dimana evaluasi terjadi. Tahapan ini bisa tidak terurut.Tahap awal adalah apa yang disebut sebagai tahap spesifikasi perancangan. Pada beberapa tahap dari prosedur perancangan, spesifikasi sistem selalu tnl mungkin dihasilkan. Spesifikasi bermacam-macam bentuknya dan mungkin ada pada satu atau beberapa level abstraksi. Tahap kedua disebut dengan tahap implementasi. Pada tahap implementasi ini ada beberapa bentuk dari program yang dapat dijalankan yang diimplementasikan pada sebuah mesin khusus. Dalam penelitian latihan membangun dan merancang di IBM oleh Rosson, Mass dan Kellogg, 1989 [8], mereka menemukan bahwa hanya sedikti perancang yang melaksanakan evaluasi perancangan yang formal. Kebanyakan evaluasi dilaksanakan secara informal dan bersifat subyektif. Konsep dari mengevaluasi spesifikasi menjadi menarik karena menawarkan perancang sebuah metode evaluasi peran-cangan sebelum menentukan sumber daya untuk penulisan program dan implementasi. Ada beberapa metode evaluasi yang berjalan baik untuk evaluasi perancangan dari sebuah spesifikasi. Beberapa teknik pemodelan dapat digunakan untuk memprediksi beberapa tingkat kemampuan dan kemampuan belajar perancangan, seperti Task Action lAnguage (TAL) yang diperkenalkan oleh Reisner, 1981 [7], yang dapat mengevaluasi bahasa perintah untuk konsistensi dan kemampuan belajamya, Task Action Grammar (FAG), diperkenalkan oleh Payne dan Green, 1986 [6] yang juga mengevaluasi konsistensi dari bahasa perintah. Tetapi TAG tidak memprediksi unjuk kerja waktu. Baik TAL maupun TAG sarna-sarna menggunakan ide mendefinisikan grammar dari interaksi yang kemudian dapat digunakan untuk menggambarkan grammar aturan TAL dan TAG yang maria yang mendekati penugasan pengguni Mengevaluasi Perancangan Sistem ... (Dewi Agushinta R)
Proceeding, Seminar Nasional PESAT 2005 Auditorium Universitas Gunadarma. Jakarta, 23-24 Agustus 2005
Grammar dari TAL dan TAG dibuat untuk mendapatkan beberapa ciri dari kemampuan guna dan kemampuan belajar yang muncul dari ketidak-konsisten-an interface pengguna. Evaluasi untuk setiap kasus dilaksanakan dengan menghitung sifat dan ciri dari aturan (misal jumlah dan kompleksitas) yang muncui dari beberapa kemampuan guna. Dasar pemikiran sekarang adalah babwa interface yang tidak konsisten sulit untuk dipelajari dan digunakan. Selain TAL dan TAG, ada aturan Goals. Operators. Method, Selection (GOMS) dan Cognitive Complexity Theory (CCT) [2]. GOMS diperkenalkan oleh Card, Moran dan Newell, 1983 [I], dapat memprediksi penugasan yang berbeda-beda berdasarkan waktu yang pengguna inginkan untuk dilaksanakan dalam sistem yang terancang. Prediksi ini dapat dibuat pada level yang berbeda-beda dari perincian bergantung pada ukuran anal isis yang dipakai. Kieras dan Polson, 1986 [4], telah dapat memperluas GOMS ke dalam CCT. CCT menggunakan aturan produksi untuk memprediksi kemampuan belajar dan kompleksitas dari sebuah interface pengguna. Para evaluator dibutuhkan untuk menghitung jumlah produksi yang dibutuhkan untuk setiap penugasan dan setiap produksi mewakili sebuah item pengetahuan yang diasumsikan bahwa pengguna telah memilikinya. Pendekatan ini menawarkan perancang sebuah evaluasi dari interface pengguna dari spesifikasi. Salah satu sifat umum dari semua pendekatan untuk evaluasi irii adalah bahwa -'Tlereka membutuhkan model pengguna. tugas, peranc~ngan, domain dan organisasi.
3.
MEIODEEVAI1JASl PmANCANGAN
Evaluasi terjfdi setelah proses perancangan. Evaluasi system pertama idealnya dilakukan sebelum implementasi dimulai. Jika perancangan dievaluasi, kesalahan dapat dihindari karena perancangan diubahl diperbaiki sebelumnya. Sejumlah metode dibuat untuk mengevaluasi perancangan sebelum implementasi [2]. Cognithc: MengevaluasiPerancangan Sistem ... (Dewi Agushinta R)
ISSN: 18582559
Walkthrough. suatu usaha yang dilakukan untuk mengenalkan teon psikologi ke dalam bentuk infonnal dan subyektif atau dengan kata lain mempunyai tujuan untuk mengevaluasi perancangan dengan melihat seberapa besar dukungan yang diberikan ke pengguna untuk mempelajan beberapa tugas yang diberikan. Pendekatan ini dikemukakan oleh Polson, dkk. Walkthrough dilaksanakan oleh perancang atau seorang abli da!am psikologi kognitif. Ahli bekerja melalui perancangan tugas tertentu, tahap demi tahap, mengidentifikasi masalah yang berpotensi terhadap kriteria psikologi. Kemudian dibandingkan ke proses dimana perancang software akan bekerja dengan koding pada kondisi yang berbeda, misalnya menggunakan set data yang berbeda atau kondisi yang salah untuk mengevaluasi unjuk kerja setiap software. Dalam pendekatan ini terdapat beberapa iSSli~ yang timbul seperti, pengaruh apa yang timbul setelab tugas ini diberikan ke pengguna, proses cognitive apa yang tersedia. masalah pembelajaran apa yang seharusnya timbuL Analisis difokuskan pada tujuan pengguna dan pengetahuan. Cognitive walkthrough harus menunjukkan jika dan bagaimana fnterface merujuk pengguna untuk membangkitkan tujuan yang benar dari pelaksanaan tugas .yang diinginkan, dan memilih aksi yang diperlukan untuk memenuhi setiap tujuan. Untuk melakukan Cognitive Walkthrough harus mempunyai infonnasi berupa deskripsi dari suatu interface yang dibutuhkan itu sendiri dan dskripsi dari tugas tennasuk usaha yang benar untuk melakukannya dan struktur tujuan untuk mendukungnya. Dengau Infonnasi ini maka Evaluator memiilih tugas, mendeskripsikan tujuan awal dari pengguna, melakukan kegiatanl aksi yang tepat dan menganalisa proses keputusan untuk setiap kegiatan. Cognitive Walkthrough berbasis fonnulir, yang disediakan untuk merujuk evaluator melalui sekumpulan pertanyaan yang berhubungan dengan tugas pengguna dan tujuan. Cognitive Walkthrough merupakan metode analitik yang dapat digunakan untuk fase P31
Proceeding, Seminar Nasional PESAT 2005 Auditorium Universitas Gunadanna, Jakarta, 23-24 Agustus 2005
perancangao awaf maupun untuk mengevaluasi system yang ada, berisi infonnasi yang berhubungan dcngao kemampuan belajar (Ieamability) dati interface. Jib digunakan di awal peraneangan. dapat mengidentifikasi masalah perancangan sebelum tahap prototipe dan Jangsung difokuskan pada evaluasi selanjutnya. Meskipun dirancang untuk. digunakan perancang sendiri, tetapi pengetahuan teori psikologi dan terminologinya diperlukan agar efektif. Heuristic Evaluation yang diusulkan oleh Nielsen dan Motich, hampir sama dengan Cognitive Walkthrough tetapi sedikit terstruktur dan sedikit terarah. Pada pendekatan ini, sekumpulan kriteria usability atau heuristik diidentifikasi dan perancangan dilaksanakan. Beberapa kriteria tersebut adalah perilaku sistem dapat dipastikan, perilaku sistem konsisten, feedback tersedia, kemampuan memori pengguna tidai< melebihi batas dan dialog merupakan orientasi tugas. Tujuan dari Heuristic Evaluation adalah untuk memperbaiki peraneangan secara efektif. Evaluator melakukan evaluasi melalui kinerja dari serangkaian tugas dengan peraneangan dan dilihat kesesuaiannya dengan kriteria setiap lingkatan. Jika ada kesalahan terdeteksi maka perancangan dapat ditinjau ulang untuk memperbaiki masalah ini sebelum tingkat implementasi. Pendekatan ini mudah dan relative cepat. Tidak seluruhnya subyektif, dimana kriteria khusus digunakan untuk me,...juk_evaluasi. Review BUsed Evaluation adalah evaluasi antara psikologi e~perimen dengan interaksi manusia dan komputer menghasilkan hasil-hasil eksperimen yang baik dan pengalaman yang nyata. Beberapa diantaranya dari domain khusus ke umum, tetapi kebanyakan berhubvngan dengan isu generik dan teraplikasi pada berbagai situasi. Misalnya pada usability dari tipe menu yang berbeda, pemanggilan nama perintah dan pemilihan icon. Dalam kenyataannya hasil eksperimen ini tidak dapat dipastikan mempertahankan keadaan yang tetap. Evaluator harus memilih data secara hati-hati, menunjuk rancangan ekperimen yang dipilih, P32
ISSN: 18582559
subyek masyarakat yang digunalcan, anaJisa pelaksanaan dan asumsi yang dibuat. Misalnya pengujian eksperimen, usability dari jenis system 'bantu' umum yang menggunakan subyek baru tidak menyediabn evaluasi yang tepat dari system 'bantu' yang dirancang bagi pengguna ahli. Model Based Evaluation, merupakan pendekatan terakhir untuk mengevaluasi perancangan dengan mengkombinasi spesifikasi peraneangan dan evaluasi ke dalam kerangb kerja yang sama. Contohnya pada model GOMS, KLM dan design rationale.
4.
EVAWASI PADA IMPI..E\DNfASl
TAHAP
Pendekatan yang konvensional dalam mengevaluasi adalah sewaktu mengevaluasi perancangan terjadi, ada sebuah program yang dijalankan yang dapat digunakan. Ada sejumlah pendekatan yang berbeda untuk mengevaluasi perancangan yang telah diimplementasikan. Setiap pendekatan berbeda dalam jumlah informasi yang dilampirkan dan jumlah waktu yang dibutuhkan untuk melaksanakan evaluasi.· Evaluasi juga. berbeda dalam hal kemampuan diagnosanya. Bentuk diagnosa yang paling minimal dan mudah dari evaluasi adalah 'berjalan melalui ahli' (expert walk-through). Dalam pendekatan ini, seorang yang ahli dalam merancang interface diundang untuk melihat dan melalui sistem yang telah terancang dan mengidentifikasikan setiap poin dimana ia merasa bahwa pengguna akan mendapatkan masalah. Ini sangat bergantung sekali pada keputusan yang diambil oleh ahli tersebut. Teknik lain untuk memproses sebuah implementasi adalah dengan menggunakan daftar pertanyaan (kuesioner) untuk mengidentifikasikan sifat-sifat pengguna sistem yang mana yang sulit dalam menggunakan atau mengakses perilaku pengguna terhadap sistem yang baru. Kritik utama dari kuesioner ini bahwa mereka terlalu baik dalam mengidentifikasikan sistem yang dapat diterima dan tidak baik dalam
Mengevaluasi Perancangan Sistem ... (Dewi Agushinta R)
Proceeding, Seminar Nasional PESAT 2005 Auditorium Universitas Gunadarma, Jakarta, 23-24 Agustus 2005
mengidentifikasikan kemampuan guna atau alasan mengapa tidak dapat digunakan. Teknik selanjutnya adalah dengan menggunakan pendekatan observasi dimana perancang mengamati tanpa mencampuri usaha pengguna menggunakan sistcm. Dengan menggunakari rekaman video dari usaha pengguna menggunakan sistem, perancang dapat dengan cepat dan menyakinkan melihat dimana perancangan menimbulkan masalah dan apa masalahnya. Semakin rinci anal isisnya atau semakin jauh evaluasinya, mungkin perlu dalam mendiagnose secara benar sifat alami dari masalah pengguna dengan menggunakan metode eksperimen.
5.
METODOLOGI EKSPERIMEN
Eksperimen sangat sering digunakan dalam IMK untuk mengevaluasi perancangan yang telah diimplementasikan. Sebuah eksperimen harns direncanakan dan membutuhkan beberapa pengetahuan anal isis dan perancangan eksperimen. Kekuatan dari sebuah eksperimen adalah bahwa eksper:men memungkinkan para peneliti untuk mengontrol dan memanipulasi variabel khusus dalam Iingkungannya. Metode Empiris merupakan metode yang sangat kuat dalam mengevaluasi perancangan atau aspek dad perancangan adalah menggunakan eksperimen yang terkontrol. Ini menyediakan kenyataan empiris untuk mendukung klaim umum atau hipotesis. Setiap eksperimen memiliki dasar yang sarna. Evaluator memilih hipotesa untuk diuji, yang dapat ditentukan" dengan mengukur beberapa atribut dari perilaku subyek. Sejumlah kondisi eksperimen ditentukan yang berbeda dalam hal nilai dari variable tetap yang terkontrol. Setiap perubahan dalSn pengukuran perilaku diatributkan ke kondisi yang berbeda. Dalam bentuk dasar ada sejumlah factor penting terhadap keseluruhan kehandalan eksperimen, yang harus dipertimbangkan dalam perancangan eksperimen, yaitu subyek, variable, hipotesis, perancangan eksperimen dan' pengukuran statistik. Mengevaluasi Perancangan Sistem ... (Dewi Agushinta R)
ISSN: 18582559
Dua aturan dalam analisa dengan statistik yakni : melihat data dan menyimpan data. Menyimpan data penting jika kita akan melakukan metode analisis yang berbeda. Pemilihan ana lis is statistika bergantung pada tipe data dan pertanyaan yang perlu dijawab. Untuk menguji perbedaan antara cara kelompok data diteliti dengan cara statistika adalah dengan meng-nol-kan hipotesa. Hipotesa nol menyatakan bahwa dua atau lebih kelompok berasal dari populasi yang sarna yaitu bahwa tidak ada perbedaan antar dua kelompok tersebut, lebih singkatnya tidak ada pengaruh dari manipulasi eksperimen. Uji coba hipotesa nol melibatkan perhitungan probabilitas yang hasilnya dapat bervariasi. Umumnya, peneliti berharap untuk menolak hipotesa nol dan menerima hipotesa altematif yaitu ada hubungan atau efek dari manipulasi eksperimen. Dengan menghitung probabilitas dari pencapaian hasil yang diberikan, langkah selanjutnya adalah menentukan bahwa probabilitas dari hasil yang terjadi cukup kecil untuk menolak hipotesa DOl. Ada yang disebut dengan level kritis, yaitu jika probabilitas lebih kecil dari hasil yang disebutkan di bawah level ini, yaitu yang dinamakan level kepercayaan. Ada 3 level kepercayaan yang sering digunakan dalam IMK yaitu 0.001, 0.0 I dan 0.05. Think aloud dalam teknik observasi adalah cara yang popular dalam mengumpulkan infonnasi dengan melihat interaksi ;>en?~una. Evaluator melihat dan merekam aksi pengguna-pengguna (dengan berbagai teknik). Konsekuensinya pengguna ditanyai untuk mengelaborasikan aksinya dengan 'thinking aloud': menjelaskan : apa yang mereka percaya terjadi, mengapa mereka mengambil tindakan, apa yang mereka coba kerjakan. Keuntungannya yakni sederhana karen a membutuhkan sedikit pengetahuan untuk menampilkannya dan menyediakan pengertian yang berguna dengan interface, juga dapat digunakan untuk mengobservasi bagaimana system digunakan. Variasi lain adalah cooperative evaluation (Monk, dkk). Ada pula yang menggunakan metode perekaman seperti kertas pensil, perekaman ?33
Proceeding, Seltllnar Nasional PESAT 2005 Auditorium Universitas Gunadanna, Jakarta, 23-24 Agustus 200S
suara dan gambar, pcrekaman video dan computer. Dalam praktcknya, kebanyakan campuran dari metode perekaman digunakan. Experimental Video Annotator (EVA) sebagai automatic protocol analysis ,ools merupakan system prototipc yang berjalan workstation yang pada multi-media dihubungkan langsung ke video ~rder. Sering data didapat melalui observasi langsung tanpa interpretasi. Kita memiliki wi dasar yang dapat digunakan, tetapi sedikit pengetahuan tentang kenapa. Bahkan pada saat subyek didorong untuk think aloud melalui tugas, informasi dapat saja berada pada level yang salah. Misalnya saat subyek mengatakan 'dan sekarang saya memilih menu undo', tetapi tidak mengatakan kesalahan apa yang dilakukan sehingga perintah undo diperlukan. Walkthrough atau post-task walkthroughs dibuat untuk mengatasi masalah tersebut dengan merefleksikan kembali ke subyek wi mereka setelah event Apakah ditulis atau direkam, diputar kembali ke subyek untuk memberikan komentamya atau langsung ditanya oleh analis. Ini dapat langsung dilakukan jika subyek mengingat mengapa wi tertentu dilaksanakannya atau setelah beberapa saat ketika jawaban merupakan interpretasi subyek setelah aksi. Kcuntungannya adalah bahwa analis memiliki waktu untuk menanyai pertanyaan yang sesuai dan memfokuskan pada wi khusus. Terdapat beberapa keadaan yang menyebabkan subyek tidak diharapkan berbieara selama observasi sebenamya, seperti subyek sedang mengerjakan tugas yang sangat penting dan banyak. Pada keadaan ini post-task walkthroughs dapat melihat seeara subyektif perilaku pengguna. Teknik Query terdiri dari wawancara dan kuesioner. Yqg ditanyakan dalam melakukan wawaneara dengan pengguna adalah pengalaman mereka dengan system interaktif yang menyediakan infonnasi secara langsung dan terstruktur. Keuntungannya bahwa tingkat pertanyaan dapat disesuaikan dengan konteks dan evaluator dapat lebih mendalami pertanyaan (sering pertanyaan "mengapa ... ? atau "bagaimana jika... ?" untuk mengP34
ISSN : 18582559
eIaborasi aspek dari respon pengguna. Wawancara efektif pada evaluasi tingkat tinggi, khususnya dalam memperoleh informasi tentang preferensi pengguna, impresi dan perilaku. Jika digunakan bersama dengan observasi, berarti mencari klarifikasi sebuah kejadian. Agar efektif, wawaneara perlu direncanakan, dan dibuat pertanyaanny&. Kuesioner merupakan metode altematif yang agak kurang fleksibel dibandingkan dengan wawaneara karena pcrtanyaan sudah tersedia, tetapi dapat meraih subyek yang banyak dan membutuhkan waktu yang tidak lama. Yang perlama harus dilakukan evaluator adalah menentukan tujuan dari kuesioner : informasi apa yang akan diambil. Ada beberapa jenis kuesioner : umum, open-ended, scalar, multichoice, ranked. Tipe-tipe pertanyaan ini sangat berguna untuk tujuan yang berbedabeda. Untuk mengurangi kesalahan dari responden, sebaiknya menggunakan pertanyaan tertutup seperti scalar, ranked atau multi choice. Banyak penelitian dalam psikologi bergantung pada bukti empiris, melihat dari hasil pelaksanaan eksperimen. Salah satu eara yang paling kuat dalam mengevaluasi perancangan software adalah dengan menggunakan eksperimen yan terkendali. Eksperi men dirancang dengan melakukan uji coba terhadap beberapa prediksi yang muncul dari hipotesis eksplisit yang keluar dari teori yang mendasarinya. Misalnya hipotesa teori inemori kerja adalah bahwa ada batasan k£~asitas dalam memelihara informasi dalam sebuah pemyataan yang aktif tanpa informasi tersebut hilang dari memori kerja. Dari hipotesa ini dapat diprediksi bahwa sebuah interface komputer yang membutuhkan pengguna dalam memelihara sederetan perintah dalam memori kerja yang mungkin berpindah antar bentuk aplikasi yang berbeda, dapat menghasilkan banyak kesalahan dan lambat unjuk kerjanya terhadap ketidakingatan pengguna terhadap item dalam daftar dibanding sebuah perancangan yang dibuat mungkin untuk ~emua pilihan perintah yang berbeda dan tidak mempunyai tempat dimana Mengevaluasi Perancangan Sistem ... (Dewi Agushinta R)
Proceeding, Seminar Nasional PESAT 2005 Auditorium Universitas Gunadanna., Jakarta, 23-24 Agustus 2005
pengguna memindahkan antar Oentuk yang berbeda. Sebuah eksperimen harus memenuhi 3 kriteria berikut : I. Para peneliti harus dapat memanipulasi seeara sistematis satu atau lebih variabel tetap dalam domain 2. Manipulasi harus dibuat di bawah kondisi terkontrol, seperti semua variabel yang dapat mempengaruhi hasil eksperimen harus dikontrol 3. Para peneliti harus mengukur beberapa sifat yang tidak termanipulasi yang mengubah variabel bebas, atau diasumsikan berubah sebagai fungsi dari variabel tetap yang termanipulasi.
6.
PERANCANGAN EKSPERIMEN
Perancangan eksperimen difokuskan pada perencanaan umum dalam melakukan sebuah eksperimen. Eksperimen dilakukan dengan tujuan untuk menel'!;>ai hubungan sebab-akibat antara kejad:an pasti dalam lingkungan dengan bentuk perilaku khusus yang terjadi. Sebuah eksperimen dibuat untuk [3] : I. Menyediakan bukti empiris untuk teori 2. Menguji hipotesa yang muneul dari teori 3. Memvalidasi hasil dari pengalaman dan eksperimen sebelumnya. Ide sederhana bahwa dua atau lebih kelompok subyek (manusia) diperiakukan tepat sama untuk semua eara keeuali satu perlakuan eksperimen. Setiap perbedaan yang diteliti dalam perilaku dari dua atau lebih kelompok subyek tersebut disebabkan oleh perbedaan yang ada dalam kondisi perlakuan khusus. Oalam Interak~ Manusia dan Komputer, peraneangan eksperimen meliputi halhal di bawah ini [3] : I. Memformulasikan hipotesa 2. Membangun prediksi dari hipotesa 3. Memilih sebuah eara untuk uji prediksi hipotesa 4. Mengidentifikasi semua variabel yang mungkin mempengaruhi hasil eksperimen Mengevaluasi Perancangan Sistem ... (Dewi Agushinta R)
ISSN : 18512559
5. Memutuskan yang mana variabelvariabel tetap, variabel-variabel bebas dan variabel yang dibutuhkan untuk kontrol dalam beberapa cara 6. Merancang penugasan dan metode eksperimen 7. Memilih subyek 8. Memutuskan peraneangan eksperimen, metode pengumpuJan data dan variabel pengontrol campuran 9. Memutuskan berdasarkan statistik yang tepat atau anal isis lainnya 10. Melaksanakan studi awal (dengan pembuatan prototipe). Ada beberapa faktor pemilihan yang membedakan teknik evaluasi yang membantu dalam memilih teknik yang sesuai, yaitu : tingkat siklus evaluasi, jenis evaluasi, tingkat jenis objektivitas dan subyektivitas, pengukuran yang tersedia, informasi yang tersedia, kesiapan dari suatu respon, tingkat inferensi dan sumber yang tersedia.
7.
PENUTUP
Evaluasi dalam IMK menjadi luas didiskusikan. Waktu yang terjadi untuk peraneangan dan melaksanakan sebuah evaluasi sering terlalu lama. Ide dalam evaluasi dianggap sebagai suatu bag ian cari siklus perancangan yang harus meliputi beberapa bentuk dari iterasi perancangan. Keluaran dari evaluasi sebaiknya menyediakan sekumpula!, leKori.~ndasi untuk raneang ulang dari sistem sebaik indikator beberapa unjuk kerja yang menyarankan bagaimana perancangan dilaksanakan dalam penggunaan sehari-hari. Perbedaan yang besar dengan evaluasi perancangan adalah keberadaan implementasi system yang ada dalam berbagai bentuk. Hal ini dapat dimulai dari simulasi kemampuan interaktif system, sebagai eontoh Wizard ofOz, melalui fungsi prototype dasar sampai dengan system yang telah diimplementasi seeara keseluruhan. Semakin eanggih suatu metode evaluasi semakin banyak waktu yang dibutuhkan dan membutuhkan pengetahuan teknis dari P35
Proceeding, Seminar Nasional PESAT 2005 Auditorium Universitas Gunadanna, Jakarta, 23-24 Agustus 2005
metode eksperimen tetapi sebalilalya semakin terdiagnosa dalam mengidentifikasi masalah
ISSN: 18582559
Man-Machine Studies, 22, 1986,>< pp. 365-94
perancangan.
8.
DAFfAR PUSTAKA
[I] Card, S. K., Moran, T. P. &. Newell, A., "The Psychology of Human-Computer Interaction", Lawrence Erlbaum Associates, Hillside NJ, 1983 [2] Dix, Alan et.al, "Human-Computer Interaction", Prentice Hall, Europe, 1993 (3] Johnson, P., Human-Computer Interaction : Psychology, Task Analysis and Software Engineering", McGrawHiII, UK, 1992
[5] Meyers, L & Grossen, B, "Experimental Design and Analysis for the Behavioural Sciences", W.H. Freeman, San Fransisco, 1972 [6] Payne, S. J. &. Green, T. R. G., Task Action Grammar, "Human-Computer Interaction", 2, 1986, pp. 93-133
[7] Reisner, P., Formal Grammars and Human Factors Design of on Interactive Graphics Systems, "IEEE Transactions on Software Engineering, S, 1981, pp. 229-40
[4] Kieras, D & Polson, P. G., An approach
[8] Rosson, M. B., Mass, S. & Kellogg, W. A., The Designer as Pengguna :
to the formal a1taiysis of pengguna complexity, "International Journal of
Building Requirements for Design Tools from Design Practice, "Communication of the ACM", 31, II, 1989, pp. 1289-98
P36
Mengevaluasi Perancangan Sistem ... (Dewi Agushinta R)
