EDITOR’S COMMENT On Peer Review Standards for the Information Systems Literature Oleh
: Robert M. Davidson Dept of Information Systems City University of Hong Kong Gert-Jan de Vreede University of Nebaraska, Omaha Delft University of Technology Robert O. Briggs University of Alaska Fairbanks Delft University of Technology
Sumber
: Communications of the Association for Information Systems (Volume 16, 2005 967-980)
Kelompok 164 Budi Irawan – 120300025Y Catur Adi Nugroho – 1203000277
Kata Kunci Peer review, information systems, review assessment criteria Masalah yang dibahas Tidak adanya standarisasi yang umum dalam melakukan peer review sehingga kualitas dari paper yang dipublikasikan di jurnal-jurnal IS sangat bergantung tidak hanya pada performa dari penulisnya, namun juga tergantung dari performa reviewer-nya. Tujuan Paper ini bertujuan untuk membentuk sekumpulan kriteria bagi proses review yang
dilakukan
untuk
memilih
paper-paper
mana
yang
layak
untuk
dipublikasikan. Sehingga dengan kriteria tersebut diharapkan : 1. Editors dapat mempergunakannya untuk menaksir kualitas dari review. 2. Reviewers
dapat
mempergunakannya
baik
untuk
mengevaluasi
manuscript/paper yang di-submit dan untuk meningkatkan performanya.
1 GNU Free Document License-Copyright (C) 2006. Silahkan secara bebas menggandakan dokumen ini
3. Penulis dapat mengevaluasi baik hasil kerjaannya dan hasi review yang diterimanya. Kesimpulan Peer review adalah proses untuk melakukan taksiran kualitas dari paper yang di submit ke jurnal untuk dipublikasikan yang dilakukan oleh peneliti yang memiliki pengetahuan dan berpengalaman. Di dalam komunitas akademik, peer review diadopsi sebagai suatu cara untuk menghilangkan cacat dari laporan riset terhadap publikasinya sehingga hanya penemuan riset dengan kualitas tinggi saja yang dipublikasikan. Oleh karena itu kualitas dari artikel yang dipublikasikan di dalam jurnal-jurnal akademik tergantung tidak hanya pada kualitas usaha yang dilakukan oleh penulisnya, namun juga pada kualitas usaha yang dilakukan oleh reviewer-nya [Weber, 1999; Koh, 2003]. Ada empat jenis peer review yang diidentifikasikan oleh Davidoff[1998] yaitu: o
Double-blind Review yang dilakukan dimana identitas dari penulis maupun reviewer tidak diketahui oleh kedua belah pihak.
o
Masked Review yang dilakukan dimana identitas dari penulis tidak diketahui oleh reviewer.
o
Blind Review yang dilakukan dimana identitas dari reviewer tidak diketahui oleh penulis.
o
Open Review yang dilakukan dimana identitas penulis dan reviewer diketahui oleh kedua belah pihak.
Agar kualitas dapat dicapai dalam melakukan review, penulis dari paper ini mencoba untuk melakukan abstraksi mengenai sekumpulan konsep kualitas yang dikompilasi
dari
paper-paper
yang
dipublikasikan.
Hasil
penelitiannya
menunjukkan bahwa terdapat 3 kategori yang umum dimana kualitas dari proses review menjadi pusat perhatian. Ke 3 kategorinya adalah 1. Ciri-ciri dari reviewer yang baik 2. Isi dari hasil review yang baik 3. Kriteria dalam melakukan evaluasi
2 GNU Free Document License-Copyright (C) 2006. Silahkan secara bebas menggandakan dokumen ini
Ciri-ciri dari reviewer yang baik 1.
Humane. Seorang reviewer haruslah ramah/humane. Komentar yang diberikan harus respectful/menghormati, sopan, tacful/bijaksana, tidak konfrontasional, komentarnya harus konstruktif, yaitu mengarahkan untuk pengembangan lebih lanjut, baik paper maupun penulisnya. Bukan yang bersifat destruktif atau penghancur.
2.
Competent. Seorang reviewer haruslah memiliki kompetensi dalam melakukan evaluasi baik metode yang dipergunakan maupun isi dari paper yang direview.
3.
Open. Seorang reviewer haruslah terbuka.
4.
Unbiased and unprejudiced. Seorang reviewer haruslah tidak berat sebelah dan tidak berprasangka.
5.
Etchical. Seorang reviewer haruslah memiliki etika, tidak memihak salah satu kepentingan, menjaga rahasia dari manuscript yang direviewnya, tidak menghambat publikasi karena urusan pribadi.
6.
Persuasive. Seorang reviewer haruslah memiliki bukti dan logika dalam melakukan kritik.
7.
Timely. Seorang reviewer haruslah menghasilkan review pada tanggal atau sebelum tanggal yang dijanjikan.
8.
Decisive. Seorang reviewer haruslah membuat rekomendari secara jelas dan kuat kepada editors.
9.
Diligent. Seorang reviewer haruslah pandai.
Isi dari hasil review yang baik Hasil review yang baik setidaknya mencakup : 1. Summary/Rangkuman dari paper. Proses review harus dimulai dengan summary dari paper baik untuk editor yang tidak ahli pada subject paper dan bagi penulis yang menginginkan jaminan bahwa reviewer menyentuh inti dari paper. 2. list
strengths/mendaftar
mendaftar
kekuatan
dari
kekuatan paper
dari
paper.
Hasil
memungkinkan
review
harus
editor
untuk
bagi
mengevaluasi manfaatnya dan mendemonstrasikan ke penulis bahwa reviewer. 3. point-by-point
list,
actionnable
advice.
hasil
review
seharusnya
menyediakan sebuah daftar poin demi poin baik tehnikal dan intelektual kelemahan dari teks tabel dan gambar. Setiap komentar seharusnya secara jelas merujuk kehalaman berapa dari paper.
3 GNU Free Document License-Copyright (C) 2006. Silahkan secara bebas menggandakan dokumen ini
4. Future Research. Memberikan arahan untuk riset mendatang 5. Date. Mencantumkan tanggal dari review yang telah dilakukan 6. Menjabarkan bukti dan logik dari kritik yang diberikan Kriteria dalam melakukan evaluasi 1. Apakah fenomena dari paper yang diteliti cukup penting dan menarik bagi domain dimana subjek tersebut diteliti ? 2. Apakah fenomena tersebut sudah pernah diteliti secar penuh ? 3. Apakah
topik
yang
diteliti
sesuai
dengan
jurnal
tempat
akan
dipublikasikannya ? 4. Apakah manuscriptnya cukup detail ? 5. Apakah konsep, argumentasi diorganisir secara baik ? 6. Apakah keterbatasasan dari hasil penelitian diungkapkan ? Timbul suatu permasalahan seperti hanya sedikit orang yang dapat menulis review yang baik, tapi di sisi lain, banyaknya paper yang di-submit untuk direview. Satu solusi yang diajukan oleh pihak editor untuk permasalahan ini yaitu membuat review itu sebagai suatu syarat wajib paper untuk diterima. Karena biasanya paper di-review oleh 2-3 reviewers, maka untuk setiap paper yang disubmit, penulis harus siap untuk me-review 2-3 paper sebagai gantinya. Solusi lainnya adalah penulis membayar submission fee untuk membayar professional reviewers. Komentar: Standardisasi memang sangat penting sehingga keseragaman dapat tercipta. Ada satu ilustrasi lagi mengenai hal ini dalam bidang web yaitu masalah Cascading Style Sheet (CSS) dimana setiap browser mempunyai representasi yang berbedabeda. Apabila kita membuat suatu layout CSS di satu browser maka belum tentu di browser lain hasilnya sama. Hal ini sangat menyulitkan bagi para designer web. Oleh karena itu, sudah banyak pihak yang menginginkan agar dibentuk standardisasi untuk semua browser. Contoh lain yang bisa kami dapatkan itu seperti pada bidang pendidikan dimana di setiap daerah itu pasti tidak sama. Hal ini karena tidak standardisasi pada kualitas guru dan kualitas sekolah. Apa yang diutarakan paper ini sangat tepat sehingga para reviewer, penulis maupun editor mempunyai suatu framework dalam menjalankan tugasnya masing-masing.
4 GNU Free Document License-Copyright (C) 2006. Silahkan secara bebas menggandakan dokumen ini
Referensi: Davidoff, F. (1998) “Masking, Blinding, and Peer Review: The Blind Leading The Blinded”, Annals of Internal Medicine, 128(1), pp. 66-68 Burnham, J.C. (1990) “The Evolution of Editorial Peer Review”, Journal of the American Medical Association, 263(10), pp. 231-233. Garfield, E. (1986) “Refereeing and Peer Review, Part 2. The Research on Refereeing and Alternatives to the Present System”, Current Comments, 32(August 11th), pp. 3-12 Weber, R. (1999) “The Journal Review Process: A manifesto for Change”, Communications of the AIS, 2(12).
5 GNU Free Document License-Copyright (C) 2006. Silahkan secara bebas menggandakan dokumen ini
