PENGARUH DISKONFIRMASI TERHADAP PERSEPSI KEADILAN PROSEDURAL DAN KEPUASAN DOSEN FEUI PADA HASIL EDOM Anton Junior, Imam Salehudin Program Studi S1 Manajemen Fakultas Ekonomi Universitas Indonesia
[email protected]
Abstrak Pihak manajemen seringkali kurang memperdulikan aspek persepsi dalam penilaian kinerja. Padahal, persepsi dapat menyebabkan reaksi negatif yang berpotensi menggagalkan tujuan penilaian kinerja. Penelitian ini bertujuan untuk mengetahui dampak diskonfirmasi ekpektasi terhadap keadilan prosedural, kepuasan terhadap nilai EDOM, sebagai nilai kinerja, dan kepuasan terhadap mahasiswa yang memberikan nilai EDOM, sebagai penilai kinerja. Metode eksperimen digunakan dalam studi ini dengan melibatkan 37 dosen Fakultas Ekonomi Universitas Indonesia Kampus Baru Depok sebagai responden. Penelitian ini menemukan bahwa diskonfirmasi negatif memberikan dampak negatif terhadap keadilan prosedural, kepuasan terhadap nilai EDOM, dan kepuasan terhadap penilai EDOM. Juga sebaliknya ketika diskonfirmasi bersifat positif, keadilan prosedural, kepuasan terhadap nilai EDOM, dan kepuasan terhadap penilai EDOM juga mendapat dampak positif. Penelitian ini juga menemukan bahwa keadilan prosedural, kepuasan terhadap nilai EDOM, dan kepuasan terhadap penilai EDOM memiliki korelasi yang positif. Experiment of Disconfirmation Effect on Perception of Procedural Justice and FEUI Lecturers' Satisfaction toward EDOM result Abstract It is not rare for management to dismiss the issue of employee’s perception on the performance appraisal, though negative perception can potentially thwart the purpose of performance appraisal. This study aims to explore the disconfirmation effect on perception of procedural justice, satisfaction toward rating, and satisfaction toward rater. Experiment method is chosen for this study and 37 lecturers of FEUI Depok are involved. This study found that disconfirmation affects perception of procedural justice, satisfaction toward rating, and satisfaction toward rater positively. Thus, when the disconfirmation is positive, the three variables are also positively affected, while when the disconfirmation is negative, the three variables are also negatively affected. This study also found that perception of procedural justice, satisfaction toward rating, and satisfaction toward rater are positively related.
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
Keywords: disconfirmation, expectancy, performance appraisal, perception, lecturer
Pendahuluan Institusi pendidikan di Indonesia, terutama perguruan tinggi, adalah bagian yang penting dari kemajuan bangsa; hasil didikan dari insitusi pendidikan diharapkan dapat mengembangkan dan menggunakan ilmu yang mereka terima demi kebaikan negara, baik melalui organisasi pemerintah, swasta, maupun nirlaba. UUD 1945, sebagai dasar NKRI, melalui pembukaannya dan beberapa pasal dalamnya telah memberikan amanat yang jelas bagi pemerintah saat membicarakan tentang pendidikan nasional. Sebagai contoh, pasal 31 UUD 1945 RI mengamanatkan bahwa (1) setiap warga negara berhak mendapat pendidikan; (2) setiap warga negara wajib mengikuti pendidikan dasar
dan
pemerintah
wajib
membiayainya;
(3)
Pemerintah
mengusahakan
dan
menyelenggarakan satu sistem pendidikan nasional, yang meningkatkan keimanan dan ketakwaan serta akhlak mulia dalam rangka mencerdaskan kehidupan bangsa, yang diatur dengan undang-undang; (4) Negara memprioritaskan anggaran pendidikan sekurangkurangnya 20% (dua puluh persen) dari anggaran pendapatan dan belanja negara serta dari anggaran pendapatan dan belanja daerah untuk memenuhi kebutuhan penyelenggaraan pendidikan nasional; dan (5) Pemerintah memajukan ilmu pengetahuan dan teknologi dengan menjunjung tinggi nilai-nilai agama dan persatuan bangsa untuk kemajuan peradaban serta kesejahteraan umat manusia (Republik Indonesia, 2005). Kemudian, dalam implementasinya, pemerintah menyusun UU nomor 20 tahun 2003 yang mengatur mengenai Sistem Pendidikan Nasional. Dalam Undang-Undang tersebut, Perguruan Tinggi disebut berkewajiban menyelenggarakan pendidikan, penelitian, dan pengabdian kepada masyarakat; diberikan kebebasan dan otonomi dalam menjalankan perannya; serta satu-satunya yang disebut dapat memberikan gelar akademik, profesi, atau vokasi sesuai dengan program pendidikan yang diselenggarakannya. Disebutkan juga bahwa pendidik untuk pendidikan formal harus berasal dari Perguruan Tinggi yang terakreditasi. Hal itu menunjukkan betapa pentingnya peran dan posisi Perguruan Tinggi dalam Sistem Pendidikan Nasional.
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
Salah satu aspek penting yang menopang kualitas perguruan tinggi adalah kualitas dosen institusi tersebut. Dosen, dalam Undang-Undang termasuk dalam kategori Pendidik. UU RI No. 20 tahun 2003 mengatakan bahwa “Pendidik merupakan tenaga profesional yang bertugas merencanakan dan melaksanakan proses pembelajaran, menilai hasil pembelajaran, melakukan pembimbingan dan pelatihan, serta melakukan penelitian dan pengabdian kepada masyarakat, terutama bagi pendidik pada perguruan tinggi”. Dalam UU nomor 20 tahun 2003 telah dinyatakan bahwa guru dan dosen sebagai pendidik memiliki fungsi, peran, dan kedudukan yang sangat strategis. Bahkan, dibentuk juga sebuah peraturan tersendiri dalam bentuk UU nomor 14 tahun 2005 yang secara khusus membicarakan tentang guru dan dosen, dimana arti dosen dijabarkan dengan jelas, yaitu,“Dosen adalah pendidik profesional dan ilmuwan dengan tugas utama mentransformasikan, mengembangkan, dan menyebarluaskan ilmu pengetahuan, teknologi, dan seni melalui pendidikan, penelitian, dan pengabdian kepada masyarakat”. Universitas Indonesia, secara spesifik, telah mengungkapkan betapa pentingnya peran dosen dengan menyebut dosen sebagai “ujung tombak dan motor institusi untuk melaksanakan kegiatan tridharma” (Universitas Indonesia, 2007). Mengingat pentingnya dosen bagi Perguruan Tinggi, maka proses evaluasi dalam upaya peningkatan dan penjaminan mutu juga selayaknya meliputi dosen. Dalam dunia pendidikan, salah satu bentuk penilaian kinerja yang digunakan untuk mengevaluasi pendidik dikenal luas sebagai SET (Students’ Evaluations of Teaching), yaitu evaluasi yang diisi pelajar mengenai proses pengajaran yang dilakukan pengajar. Dalam studi ini, peneliti akan meninjau SET yang digunakan Universitas Indonesia yang bernama EDOM. EDOM ditetapkan sebagai bagian dari staff appraisal yang dilakukan UI, yang merupakan jenis penilaian atas mutu kinerja dosen tertentu dari luar diri dosen tersebut dengan maksud untuk meningkatkan mutu dan kapasitas dosen (Universitas Indonesia, 2007). Evaluasi Dosen Oleh Mahasiswa (EDOM) adalah instrumen online untuk menilai kinerja dosen dalam proses pembelajaran yang dilakukan mahasiswa di akhir semester secara anonim. EDOM telah diterapkan sejak tahun 2000 di sepuluh fakultas dan secara on-line sejak tahun 2006. Karena bentuk EDOM di Universitas Indonesia yang sudah beberapa kali berubah sejak tahun 2006, untuk selanjutnya dalam studi ini, penggunaan istilah EDOM merujuk pada bentuk EDOM yang diterapkan oleh Universitas Indonesia pada tahun 2013. Bagi manajemen Universitas, fakultas, dan departemen (program studi), hasil EDOM dapat dijadikan acuan dalam menyusun program peningkatan mutu proses pembelajaran dan kinerja dosen (Direktorat Pengembangan dan Pelayanan Sistem Informasi UI, 2007). EDOM menyerahkan kepada mahasiswa sebagai
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
penilai pada empat komponen utama, yaitu: materi pembelajaran, proses pembelajaran, pengelolaan kelas, dan evaluasi pembelajaran. Namun, setidaknya di FEUI, EDOM belum dikaitkan secara langsung dengan kompensasi yang diberikan kepada dosen, dan dapat diasumsikan EDOM memiliki tujuan pengembangan pengajar (developmental) atau peningkatan kualitas pengajaran (formative) sebagai tujuan utama. Hal tersebut berarti dosen adalah pemangku kepentingan utama yang secara langsung diharapkan mendapat dampak dari EDOM. SET termasuk dalam pengukur yang absah akan efektivitas pengajaran. Hal tersebut diungkapkan dalam sebuah studi oleh Sebastian Stehle, Birgit Spinath, dan Martina Kadmon yang dipublikasikan pada tahun 2012. Mereka menemukan bahwa hasil SET memiliki korelasi positif dengan dengan hasil ujian praktik (practical examination result), tetapi tidak dengan tes pilihan ganda (multiple choice test), dan inkonsistensi itu bukan disebabkan oleh bias. Hasil ujian praktik disinyalir oleh para peneliti memiliki korelasi yang lebih kuat dengan pengajaran yang dilakukan pengajar, sedangkan tes pilihan ganda lebih berkorelasi dengan kesiapan pelajar menghadapi tes yang dapat dikompensasi oleh belajar otodidak dan proses pengajaran tidak memberikan dampak yang relatif lebih signifikan. Lebih lanjut, para penulis menemukan bahwa persepsi subjektif pelajar akan pembelajaran (students’ subjective perception of learning), atau pengetahuan yang didapat pelajar menurut pelajar melalui proses belajar-mengajar, berkorelasi positif dengan hasil ujian praktik, bukan tes pilihan ganda. Temuan-temuan tersebut meyakinkan para peneliti untuk mengambil kesimpulan bahwa SET dan ujian praktik dapat menjadi pengukur yang absah akan efektivitas pengajaran (valid measurement of teaching effectiveness) (Stehle, Spinath, & Kadmon, 2012). Namun, penggunaan SET masih menimbulkan perdebatan dan keraguan akan akurasinya. Peter Burden menemukan bahwa para pengajar dalam studi yang ia lakukan di Jepang mempertanyakan validitas isi keseluruhan (overall content validity) dari evaluasi yang dilakukan (dalam studi ini adalah SET yang dicanangkan oleh Kementerian Pendidikan, Kebudayaan, Olah Raga, Ilmu Pengetahuan dan Teknologi Jepang) karena evaluasi bersifat lintas kurikuler dan digunakan pada semua mata pelajaran (Burden, 2010). Perdebatan dan keraguan akan SET, dan EDOM secara spesifik tersebut, menjadi fokus dalam studi ini. SET dapat gagal mencapai tujuannya akibat faktor yang tidak berasal dari SET sendiri. Para pengajar dalam studi Peter Burden dengan mudah menolak hasil SET karena mereka tidak mempercayai hasil SET tersebut memiliki nilai dan tidak menghormati sumber SET tersebut (Burden, 2010). Persepsi negatif tersebut membuat tujuan SET untuk
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
memperbaiki kinerja pengajar tidak tercapai dan persepsi negatif yang sama yang dimiliki dosen FEUI juga kemungkinan besar adalah salah satu alasan EDOM tidak mencapai tujuannya. Manusia seringkali menilai dirinya sendiri dengan tidak akurat dikarenakan “selfserving bias” (SSB) dan tidak puas ketika mengetahui penilaian orang lain terhadap dirinya tidak sesuai dengan penilaian dirinya sendiri. Dunning, Heath, dan Suls berpendapat bahwa manusia cenderung tidak memiliki informasi yang dibutuhkan untuk mengevaluasi dirinya sendiri dan, sekalipun memilikinya, cenderung mengabaikan informasi tersebut; mereka memiliki pandangan yang terinflasi akan keahlian, ketrampilan, dan karakter mereka (Dunning, Heath, & Suls, 2004). Salah satu istilah yang digunakan untuk menjelaskan bias tersebut adalah fenomena AAE (Above Average Effect), kecenderungan manusia rata-rata untuk mengevaluasi dirinya sebagai diatas rata-rata (Kruger & Dunning, 1999). Lebih lanjut disebutkan bahwa AAE tidak terjadi secara disengaja, namun karena memang individu mempercayai hasil penilaiannya yang tidak akurat tersebut (Williams & Gilovich, 2008). Lalu apa kaitan penilaian yang terinflasi dengan persepsi terhadap penilaian kinerja? Dalam menjelaskan hubungan penilaian yang terinflasi dan persepsi terhadap penilaian kinerja, studi ini akan meminjam teori diskonfirmasi yang ditulis oleh Richard L. Oliver (Oliver, 1980) yang digunakan dalam dunia pemasaran untuk memodelkan kepuasan konsumen sebagai fungsi dari ekpektasi dan diskonfirmasi dari ekspektasi itu, yang kemudian juga diadopsi dalam dunia manajemen dengan menyatakan bahwa, ”kepuasan sama dengan persepsi minus ekspektasi” (Keller & Aiken, 2009). AAE membuat seseorang memiliki ekspektasi yang terdistorsi terhadap hasil penilaian kinerja dirinya. Kemudian, saat hasil penilaian kinerja keluar dan ternyata menyatakan bahwa individu tersebut ternyata tidaklah diatas rata-rata, yang berarti hasil penilaian kinerja berada di bawah ekspektasi, terjadi diskonfirmasi yang menurut fungsi dalam teori diskonfirmasi menyebabkan ketidakpuasan terhadap hasil penilaian kinerja. Ketidakpuasan terhadap penilaian kinerja tersebut menjadi penting untuk dipertimbangkan karena memiliki hubungan dengan persepsi terhadap keadilan prosedural
(Palaiologos,
Papazekos,
&
Panayotopoulou,
2011),
yang
kemudian
mempengaruhi kepuasan kerja (Lau & Oger, 2012). Dosen kemungkinan besar juga tidak luput dari penilaian yang terinflasi tersebut akan dirinya sendiri dan memiliki ekspektasi hasil penilaian SET yang serupa akan dirinya. EDOM sebagai SET yang dilakukan oleh mahasiswa yang diajar tentu berpotensi memberikan hasil penilaian yang berbeda dari ekspektasi dosen yang dinilai. Perbedaan antara ekspektasi yang
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
dibayangi AAE dan penilaian objektif yang diwakili EDOM bukan tidak mungkin akan memberikan pengaruh kepada persepsi dosen terhadap penilaian kinerja tersebut, dan seperti yang disebutkan sebelumnya, dapat mempengaruhi persepsi dosen yang dinilai terhadap keadilan yang diberikan organisasi (Ku & Salmon, 2013), kepercayaan terhadap hasil SET (Burden, 2010), dan kepuasan kerja (Lau & Oger, 2012). Subjek penelitian yang ditentukan juga memberikan kompleksitas tersendiri yang menarik. Sistem EDOM adalah bentuk penilaian kinerja yang unik dalam lingkungan yang unik pula. Hasil EDOM seringkali dipersepsikan kurang akurat oleh para pengajar yang mendapat penilaian; dari fakta bahwa EDOM dapat diisi sebelum proses mengajar dimulai atau selesai, penilai dianggap belum memiliki pengetahuan yang cukup akan komponen penilaian, tidak ada kepastian penilai mendapat insentif untuk memberikan penilaian akurat, sampai dugaan adanya bias yang dimiliki penilai (e.g. karena mendapat nilai rendah dari dosen lalu membalas dendam dengan memberikan nilai EDOM yang rendah). Namun, bisa jadi persepsi akan inakurasi EDOM berasal dari persepsi dosen yang menilai dirinya lebih baik dari kenyataan dan menolak untuk mengakui penilaian yang lebih rendah dari ekspektasi. Belum lagi dengan adanya perspektif konservatif bahwa pengajar selalu lebih cerdas dari yang diajar dan bahwa pengajar telah memiliki gelar akademis sebagai pengakuan akan nilai dirinya, sehingga sangat mudah bagi pengajar untuk mengelak secara mental saat dihadapkan pada diskonfirmasi penilaian. Hal-hal tersebut memberikan indikasi bahwa diskonfirmasi terhadap nilai EDOM membuat dosen tidak puas terhadap hasil EDOM dan penilai EDOM yang kemudian membuat dosen mempersepsikan EDOM dilakukan dengan tidak adil. Tinjauan Teoritis Saat membicarakan tentang manusia, maka hal yang terkait erat dengan itu adalah ekspektasi dan persepsi. Diskonfirmasi adalah bentuk interaksi antara ekspektasi dan persepsi, yaitu saat ekspektasi dan persepsi tidak sama. Penelitian di dunia pemasaran telah mengungkapkan bahwa ketika konsumen mempersepsikan kinerja produk lebih rendah dibandingkan ekspektasi akan kinerja produk sebelum dipaparkan pada produk, maka konsumen akan menunjukkan kepuasan yang lebih rendah dibandingkan ketika persepsi akan kinerja produk lebih tinggi dibandingkan yang diekpektasikan (Oliver, 1980). Lebih lanjut, penelitian oleh Reisig dan Chandek (2001) mengungkapkan bahwa semakin tinggi perbedaan ekpektasi penduduk akan kinerja polisi dan kinerja yang sesungguhnya secara negatif mempengaruhi kepuasan penduduk akan cara polisi menangani kasus, yang berarti teori
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
diskonfirmasi tidak hanya terbatas pada hal yang berwujud, tetapi juga hal yang tidak berwujud. Penelitian oleh Gerald L. Blakely (1993) mengembangkan teori tersebut dalam dunia penilaian kinerja; ia menemukan bahwa penilaian supervisor yang lebih tinggi dibandingkan penilaian diri, yang dapat kita artikan sebagai ekpektasi akan hasil penilaian kinerja, menghasilkan kepuasan subjek yang lebih tinggi akan evaluasi, lebih menyukai supervisor, dan berpikir supervisor lebih kompeten, dibandingkan dengan subjek yang menerima penilaian supervisor yang lebih rendah dari penilaian diri. Jawahar (2007) menyebutkan beberapa studi yang memberikan indikasi bahwa pihak yang dinilai memiliki kecenderungan untuk lebih menyukai hasil evaluasi kinerja yang positif, seperti: sebagian besar karyawan lebih menghargai timbal balik positif dan menolak timbal balik negatif; hasil evaluasi positif dilihat sebagai lebih akurat, lebih dihargai, dan lebih dapat diterima dibandingkan nilai yang negatif; dan nilai yang lebih tinggi memberikan reaksi positif terhadap evaluasi. Jika kita menghubungkan hasil penelitian-penelitian yang disebutkan di atas dengan hasil penelitian Blakely (1993), maka dapat kita lihat adanya indikasi bahwa penilaian diri, atau ekspektasi akan hasil penilaian kinerja karyawan bisa jadi selalu positif dan memuaskan, sehingga hasil penilaian kinerja yang positif dianggap lebih memuaskan. Diskonfirmasi berkaitan sangat erat dengan persepsi karyawan terhadap penilaian kinerja yang menimbulkan reaksi. Jawahar (2007) menyebutkan bahwa studi akan reaksi karyawan terhadap evaluasi sangat sedikit dan bahkan disebutkan sebagai “neglected criteria”; sedangkan studi mengenai pengaruh persepsi keadilan terhadap reaksi akan evaluasi kinerja hampir tidak ada. Padahal, beberapa studi telah menyatakan bahwa reaksi akan evaluasi kinerja memainkan peran penting dalam proses evaluasi secara keseluruhan dan ketidakpuasan serta perasaan ketidakadilan dalam evaluasi dapat menyebabkan kegagalan sistem evaluasi kinerja, sekalipun evaluasi kinerja itu sudah disusun dengan sangat hati-hati (Jawahar, 2007). Kepuasan akan evaluasi kinerja adalah salah satu indikator yang penting dalam menerka reaksi karyawan terhadap evaluasi kinerja. Giles dan Mossholder (1990) mengusulkan bahwa menggunakan kepuasan sebagai ukuran rekasi karyawan memberikan indikator yang lebih luas terhadap reaksi dibandingkan kriteria lain yang lebih spesifik. Kepuasan akan evaluasi juga dikatakan memiliki korelasi dengan persepsi kegunaan dan akurasi evaluasi, kepuasan kerja, komitmen keorganisasian, dan kehendak untuk keluar. Gerald L. Blakely (1993) dalam studinya menemukan bahwa penilaian supervisor yang lebih tinggi dibandingkan penilaian diri menghasilkan kepuasan subjek yang lebih tinggi
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
akan evaluasi. Kemudian, Palaiologos, Papazekos, dan Panayotopoulou (2011) menemukan bahwa kepuasan terhadap nilai evaluasi kinerja secara positif berkorelasi dengan keadilan prosedural. Lalu, setelah melakukan beberapa wawancara singkat sebelum penelitian dilakukan, peneliti menemukan bahwa dosen-dosen yang diwawancarai selalu menyebutkan bahwa salah satu masalah EDOM adalah mahasiswa tidak memberikan penilaian yang objektif, yang menjadi indikasi bahwa adanya ketidakpuasan yang besar terhadap penilai EDOM. Catatan tersebut menjadi dasar studi ini untuk memasukkan juga variabel kepuasan terhadap penilai sebagai variabel yang diperkirakan mendapat dampak diskonfirmasi. Berdasarkan uraian berbagai dasar teoritis tersebut, dapat dirumuskan tiga hipotesis utama, yaitu: H1: Terdapat perbedaan yang signifikan pada kepuasan terhadap hasil EDOM, kepuasan terhadap penilai EDOM, dan persepsi keadilan prosedural sebelum dan sesudah terjadinya diskonfirmasi terhadap responden. H2: Perbedaan hasil EDOM dosen pengajar FEUI, dimana hasil EDOM dosen pengajar FEUI yang dinilai oleh diri sendiri lebih tinggi dibandingkan hasil EDOM terjadinya diskonfirmasi, menyebabkan turunnya persepsi akan keadilan prosedural, kepuasan terhadap hasil EDOM, dan kepuasan terhadap penilai EDOM, dan sebaliknya, ketika hasil EDOM dosen pengajar FEUI yang dinilai oleh diri sendiri lebih rendah dibandingkan hasil EDOM terjadinya diskonfirmasi, akan menyebabkan naiknya persepsi akan keadilan prosedural, kepuasan terhadap hasil EDOM, dan kepuasan terhadap penilai EDOM. H3: Persepsi akan keadilan prosedural secara signifikan berkorelasi dengan kepuasan terhadap hasil EDOM dan kepuasan terhadap penilai EDOM tanpa dipengaruhi diskonfirmasi. Metode Penelitian Responden penelitian ini adalah dosen aktif FEUI dari ketiga departemen yang mengajar pada term 2 tahun ajaran 2013/2014. Responden yang dipilih harus sudah pernah melihat hasil penilaian EDOM, namun belum melihat hasil EDOM pada term 2 tahun ajaran 2013/2014 pada mata kuliah yang ia ajar. Responden juga harus sudah setidaknya mengajar tiga kali pertemuan di kelas dengan mahasiswa pada mata kuliah yang ia ajar. Penelitian ini menggunakan metode eksperimen buta ganda (double blind experiment) dan pengisian kuesioner untuk menangkap variabel terikat. Selain itu, dilakukan juga pengukuran
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
ekspektasi responden akan nilai yang akan ia dapatkan melalui kuesioner sebelum eksperimen dilakukan untuk kemudian dibandingkan dengan treatment. Dalam penelitian ini terdapat satu variabel bebas yang dimanipulasi dalam eksperimen dan tiga variabel terikat yang diamati. Variabel bebas yang dimanipulasi adalah diskonfirmasi, melalui pemberian dua jenis treatment kepada kelompok responden yang berbeda, yaitu positif dan negatif. Variabel terikat yang diamati, yaitu: Keadilan Prosedural, menggunakan enam item dari penelitian Tang-Sarsfield dan Baldwin (1996); Kepuasan terhadap Hasil EDOM menggunakan dua item dari penelitian Colquitt (2001), dan Kepuasan terhadap Penilai EDOM dengan lima item dari penelitian Palaiologos, Papazekos, dan Panayotopoulou (2011). Variabel-variabel terikat tersebut ditangkap dengan menggunakan format 7-skala diferensial semantik yang disesuaikan, dimana setiap item pertanyaan dapat memiliki kata sifat yang berbeda pada setiap ujung ekstrim kanan dan kiri. Sebelum dilakukan analisis data, terlebih dahulu dilakukan pengujian instrumen dan keberhasilan manipulasi. Uji reliabilitas dilakukan dengan analisis reliabilitas yang difasilitasi SPSS dengan melihat nilai Alfa Cronbach. Selain itu, dilakukan juga pengujian terhadap pertanyaan dalam kuesioner satu persatu untuk melihat apakah setiap pertanyaan dalam kelompok yang seharusnya mengukur variabel yang sama, benar-benar merepresentasikan variabel tersebut. Pengujian tersebut dilakukan dengan analisa faktor yang difasilitasi oleh SPSS. Uji manipulasi dilakukan dengan melihat selisih rerata nilai penilaian diri dan treatment. Peneliti mengharapkan nilai tidak lebih dari nol untuk kelompok 1 (kelompok yang ditetapkan mendapat treatment positif) dan nilai lebih dari nol untuk kelompok 0 (kelompok yang ditetapkan mendapat treatment negatif). Data dari responden yang tidak memenuhi syarat tersebut akan dikeluarkan dari penelitian. Analisis awal yang dilakukan adalah analisis distribusi data dan kesetaraan responden. Uji normalitas dilakukan untuk mengetahui apakah data terdistribusi secara normal. Pengetahuan akan normalitas data dibutuhkan untuk mengetahui proses pengolahan data apa yang cocok untuk digunakan selanjutnya. Pengujian ini dilakukan dengan analisa normalitas Shaphiro-Wilk yang difasilitasi oleh SPSS. Kemudian, dilakukan juga analisa untuk memastikan para responden berasal dari populasi yang sama dengan menggunakan independent samples t-test yang difasilitasi SPSS. Uji hipotesis yang akan dilakukan terbagi menjadi dua bagian, yaitu uji dampak dan uji korelasi. Uji dampak dilakukan dengan paired samples t-test yang difasilitasi oleh SPSS. Uji
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
dampak bertujuan untuk melihat apakah treatment yang diberikan memberikan dampak yang signifikan terhadap responden sesuai dengan hipotesis. Sedangkan uji korelasi dilakukan dengan tes korelasi Spearman dan Pearson yang difasilitasi oleh SPSS. Uji korelasi bertujuan untuk melihat apakah hubungan antar variabel sesuai dengan hipotesis yang diajukan. Hasil Penelitian Eksperimen dilakukan dengan 47 responden dan tujuh responden tidak menyelesaikan pengisian kuesioner karena tidak bersedia menjadi responden, atau gagal dalam pertanyaan screening, sehingga hanya data dari 40 responden yang diolah pada tahap selanjutnya. Profil 40 responden dapat dilihat pada Tabel 1. Kemudian hasil uji manipulasi menunjukkan bahwa manipulasi gagal pada tiga responden, sehingga untuk selanjutnya hanya data dari 37 responden yang akan dianalisis. Hasil uji keandalan yang ditampilkan pada Tabel 2 menunjukkan nilai Alfa Cronbach dari semua konstruk menunjukkan angka lebih besar dari 0.6 dan karena itu dapat dikatakan semua konstruk yang digunakan dapat diandalkan. Hasil uji faktor untuk semua item kuesioner juga memuaskan dengan menunjukkan nilai di atas 0.5. Hasil uji normalitas menunjukkan data dari responden sebelum diberikan treatment terdistribusi normal karena nilai signifikansinya lebih dari 0.05, sedangkan setelah diberikan treatment, data tidak terdistribusi normal karena nilai signifikansi kurang dari 0.05. Hasil independent sample t-test menunjukkan bahwa dari tiga variabel yang ditangkap sebelum diberikan treatment, dalam dua variabel, responden menunjukkan kesetaraan, dimana nilai ttest Sig. (2-tailed) Keadilan Prosedural dan Kepuasan Terhadap Hasil EDOM sebesar 0.884 dan 0.18, lebih besar dari 0.05. Namun, nilai t-test Sig. (2-tailed) Kepuasan terhadap penilai EDOM hanya sebesar 0.019, yang menunjukkan responden tidak setara dalam variabel ini. Untuk itu, dilakukan koreksi nilai rerata dalam variabel Kepuasan terhadap penilai EDOM, dimana rerata semua responden yang mendapat treatment negatif dalam variabel tersebut ditambahkan nilai penyeimbang, yang didapatkan dari selisih rerata pada kelompok treatment positif dan negatif, sebesar 0.73294, sehingga rerata kedua kelompok sama. Pada Tabel 3 dan 4 Paired Samples Test dapat kita lihat bahwa responden yang termasuk dalam kelompok 1 atau mendapat treatment positif dan kelompok 0 atau mendapat treatment negatif, secara rata-rata memiliki persepsi yang berbeda secara signifikan (signifikansi lebih kecil dari 0.05) sebelum dan sesudah diberikan treatment. Kemudian, dengan melihat Gambar 1, 2, dan 3, terlihat bahwa terjadi divergensi rerata antar kelompok setelah diberikan treatment dalam ketiga variabel. Nilai rerata pada kelompok negatif, yang
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
diwakili garis di posisi lebih rendah, menunjukkan penurunan, sedangkan nilai rerata pada kelompok positif, yang diwakili oleh garis yang lebih tinggi, menunjukkan kenaikan. Hasil uji korelasi ditunjukkan pada Tabel 5 dan 6. Terlihat bahwa sebelum treatment diberikan, ketiga variabel memiliki korelasi yang signifikan. Sedangkan setelah diberikan treatment, terlihat bahwa adanya hubungan korelasi yang berbeda pada kelompok 1 dan 0. Pada kelompok 1, ketiga variabel menunjukkan hubungan korelasi yang signifikan, sedangkan pada kelompok 0, Kepuasan terhadap Penilai EDOM (SRr2) tidak menunjukkan korelasi dengan keadilan prosedural
Tabel 1 Profil Responden Jenis Kelamin
Jumlah
Jenjang Pendidikan
Persentase
Jumlah
Persentase
Laki-laki
16
40
S2
36
90
Perempuan
24
60
S3
4
10
Akuntansi
10
25
Manajemen
20
50
Ilmu Ekonomi
10
25
Umur
Bidang Ilmu
26-35
18
45
36-45
15
37.5
46-55
3
7.5
55+
4
10
Sumber: Data Hasil Olahan Peneliti dengan SPSS
Tabel 2 Keandalan Cronbach’s Alpha
Variabel
Kesimpulan
Sebelum treatment Keadilan Prosedural (PF1) Kepuasan terhadap hasil EDOM (SRg1) Kepuasan terhadap penilai EDOM (SRr1)
0.813
Reliable
0.615
Reliable
0.738
Reliable
0.909
Reliable
0.93
Reliable
0.806
Reliable
Setelah treatment Keadilan Prosedural (PF2) Kepuasan terhadap hasil EDOM (SRg2) Kepuasan terhadap penilai EDOM (SRr2)
Sumber: Data Hasil Olahan Peneliti dengan SPSS
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
Tabel 3 Uji t Sampel Berpasangan Kelompok Positif Sig. (2tailed)
Pasangan PF1 PF2 SRg1 SRg2
0.001 0.029
SRr1 SRr2
0.041
Sumber: Data Hasil Olahan Peneliti dengan SPSS
Tabel 4 Uji t Sampel Berpasangan Kelompok Negatif Pasangan
Sig. (2tailed)
PF1 - PF2
0
SRg1 SRg2
0
SRr1 SRr2
0
Sumber: Data Hasil Olahan Peneliti dengan SPSS
Tabel 5 Uji Korelasi Sebelum Treatment PF1 PF1
SRg1
SRr1
Korelasi Sig. (2tailed) Korelasi Sig. (2tailed) Korelasi Sig. (2tailed)
1
.654
SRg1
SRr1
**
.785**
.654
**
0
0
1
.501**
0 .785 0
0.002 **
.501
**
0.002
**. Korelasi signifikan pada level 0.01 (2-tailed).
Sumber: Data Hasil Olahan Peneliti dengan SPSS
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
1
Tabel 6 Uji Korelasi Setelah Treatment Spearman Correlations
PF2(1/0 )
SRg2 (1/0)
SRr2 (1/0)
Korelas i Sig. (2tailed)
PF2 (1)
PF2 (0)
1
1
SRg2 (1) .600* *
SRg2 (0) .882* *
SRr2 (1) .872* *
SRr2 (0) 0.147 1
0.005
0
0
0.573
1
1
.730* *
0.074 6
0
0.776
1
1
Korelas i
.600* *
.882* *
Sig. (2tailed)
0.005
0
Korelas i
.872* *
0.147 1
.730* *
0.074 6
Sig. (2tailed)
0
0.573
0
0.776
Sumber: Data Hasil Olahan Peneliti dengan SPSS
6 5.57
5.5 5 M e 4.5 a n
4.81373 4.76833
4 3.5
3.31765
3 Sebelum
Sesudah Keadaan
Gambar 1 Grafik Mean Keadilan Prosedural Sumber: Data Hasil Olahan Peneliti dengan SPSS
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
6.5 6.15
6 5.5 M 5 e a n 4.5
5.575 5.14706
4 3.5 3.17647
3 Sebelum
Sesudah Keadaan
Gambar 2 Grafik Mean Kepuasan terhadap Nilai Sumber: Data Hasil Olahan Peneliti dengan SPSS
6.5 6 5.5
5.58
M 5 e a n 4.5
5.86
4.58
4 3.5 3 Sebelum
Sesudah Keadaan
Gambar 3 Grafik Mean Kepuasan terhadap Penilai Sumber: Data Hasil Olahan Peneliti dengan SPSS
Secara garis besar, pengolahan data membuktikan bahwa hipotesis pertama dan kedua terbukti, sedangkan hipotesis ketiga hanya terbukti secara parsial. Hipotesis kosong pada hipotesis ketiga ditolak dalam keadaan diskonfirmasi positif, namun dalam keadaan diskonfirmasi negatif, hipotesis kosong dapat dipertahankan. Penelitian ini menemukan bahwa terdapat perbedaan yang signifikan pada variabel-variabel penelitian sebelum dan sesudah terjadinya diskonfirmasi yang diwakili treatment, yang berarti diskonfirmasi ekpektasi nilai EDOM terbukti menyebabkan perubahan persepsi terhadap EDOM.
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
Penelitian ini juga menemukan bahwa ketika diskonfirmasi bersifat positif, persepsi responden terhadap EDOM juga semakin positif, sebaliknya, ketika diskonfirmasi bersifat negatif, persepsi responden terhadap EDOM juga semakin negatif. Kemudian, ditemukan juga hubungan korelasi yang signifikan antar variabel dalam penelitian ini, baik sebelum, maupun setelah responden menerima diskonfirmasi. Namun, penelitian ini menemukan bahwa korelasi tersebut tidak terjadi dalam segala keadaan. Korelasi antara Keadilan Prosedural dan Kepuasan terhadap Penilai EDOM tidak ditemukan cukup signifikan pada kelompok responden yang telah menerima diskonfirmasi negatif, meskipun sebelum diberikan treatment korelasi tersebut terlihat. Diskusi Penelitian ini mengkonfirmasi penelitian sebelumnya yang menjadi acuan studi ini, dimana persepsi seseorang terhadap penilaian kinerja ikut dipengaruhi oleh ekpektasinya akan penilaian tersebut dan perbedaannya dengan penilaian yang diberikan. Seperti yang Blakely (1993) kemukakan, diskrepansi dalam rating penilaian kinerja memiliki konsekuensi terhadap kepuasan terhadap penilaian dan kepuasan terhadap penilai. Penelitian ini secara tidak langsung juga berakar dari penelitian Oliver (1980) pada ruang studi yang berbeda, namun menemukan hasil yang serupa akan kepuasan. Mungkin saja, prinsip yang sama akan diskonfirmasi dapat diterapkan pada banyak ruang studi lain. Temuan dalam penelitian ini, bahwa responden merasa lebih puas dan lebih adil ketika menerima nilai positif, selaras seperti yang Jawahar (2007) kemukakan dalam studinya bahwa manusia lebih menyukai hasil evaluasi kinerja yang positif, sekalipun mungkin tidak akurat, seperti: sebagian besar karyawan lebih menghargai timbal balik positif dan menolak timbal balik negatif; hasil evaluasi positif dilihat sebagai lebih akurat, lebih dihargai, dan lebih dapat diterima dibandingkan nilai yang negatif; dan nilai yang lebih tinggi memberikan reaksi positif terhadap evaluasi. Salah satu istilah yang mungkin dapat menjelaskan hal tersebut adalah overconfidence atau kepercayaan diri yang berlebihan seperti yang Dunning, Heath, dan Suls kemukakan (2004), dimana manusia ditemukan memiliki persepsi yang lebih positif terhadap dirinya dibandingkan kenyataan atau persepsi orang lain. Hal tersebut berarti manusia hampir selalu memiliki ekspektasi akan penilaian kinerja yang tinggi, sehingga hanya penilaian yang tinggi yang mereka sukai. Lalu, temuan penelitian ini akan korelasi antara keadilan prosedural dan kepuasan terhadap EDOM selaras dengan studi Palaiologos, Papazekos, dan Panayotopoulou (2011), namun berbeda dengan kesimpulan yang Jawahar (2007) ambil, dimana kepuasan terhadap penilaian hanya berkorelasi dengan keadilan distributif. Palaiologos, Papazekos, dan
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
Panayotopoulou (2011) menyatakan perbedaan tersebut mungkin dikarenakan responden dalam penelitiannya berpikir bahwa nilai yang adil datang dari prosedur penilaian yang adil pula. Temuan penelitian ini membuktikan bahwa responden dengan keadaan sosiogeografis yang berbeda juga memberikan hasil yang serupa. Penelitian ini mengambil pendapat Colquitt (2001) bahwa hal ini mungkin dikarenakan para responden mempersepsikan keadilan dengan satu dimensi saja. Ia mengungkapkan bahwa adanya persepsi tunggal tersebut didukung oleh studi-studi sebelumnya yang menemukan bahwa terdapat korelasi yang tinggi antar jenis keadilan. Studi ini juga menemukan bahwa kepuasan terhadap penilai EDOM memiliki korelasi yang signifikan dengan persepsi akan keadilan prosedural, kecuali dalam kelompok yang mengalami diskonfirmasi negatif. Studi-studi yang menjadi acuan penelitian ini tidak menyebutkan adanya korelasi tersebut dan hanya mengaitkan kepuasan terhadap penilai dengan keadilan interaksional. Adanya hubungan ini mungkin memiliki alasan yang sama, yaitu bahwa responden mempersepsikan keadilan sebagai satu faktor saja (Colquitt, 2001), sehingga meskipun seharusnya variabel tersebut hanya berhubungan dengan salah satu bentuk keadilan lain, responden tetap melihatnya sebagai keadilan prosedural. Sedangkan tidak terlihatnya korelasi yang signifikan dalam kelompok dengan diskonfirmasi negatif menjadi anomali yang menarik untuk diperhatikan. Responden dalam kondisi tersebut agaknya memiliki suatu standar nilai minimal dalam menilai kemampuan dan kecocokan mahasiswa sebagai penilai, sehingga, sekalipun ia mendapat diskonfirmasi negatif, nilai kepuasan terhadap penilai tidak akan turun lebih jauh. Kesimpulan Penelitian ini merupakan replikasi dan adaptasi dari penelitian Blakely (1993) dan Palaiologos, Papazekos, & Panayotopoulou (2011). Penelitian Blakely (1993) berupaya untuk mengetahui dampak ketidakcocokan nilai kinerja antara penilai dan yang dinilai terhadap penilai
maupun
yang
dinilai,
sedangkan
penelitian
Palaiologos,
Papazekos,
&
Panayotopoulou (2011) berupaya untuk mengetahui aspek penilaian kinerja yang berhubungan dengan keadilan keorganisasian, dan titik temu diantara kedua penelitian tersebut adalah kepuasan terhadap nilai evaluasi dan kepuasan terhadap penilai. Penelitian mereka telah diterapkan kembali dalam lingkup yang berbeda dengan menggunakan EDOM sebagai bentuk evaluasi kinerja, pengajar sebagai responden, dan dalam keadaan sosiogeografis yang berbeda. Dalam ekperimen ini, treatment berbentuk penunjukkan nilai EDOM yang dimanipulasi, kemudian membandingkan perubahan persepsi responden sebelum dan setelah menerima treatment.
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
Penelitian ini berhasil mendalami lebih jauh dampak perbedaan ekspektasi dan persepsi terhadap reaksi akan EDOM, dimana diskonfirmasi negatif menyebabkan dampak negatif pada persepsi dosen terhadap EDOM, dan sebaliknya, diskonfirmasi positif menyebabkan dampak positif pada persepsi dosen terhadap EDOM. Persepsi yang diukur dalam studi ini terbagi menjadi tiga, yaitu Keadilan Prosedural, Kepuasan terhadap Nilai EDOM, dan Kepuasan terhadap Penilai EDOM, dimana ketiga bentuk persepsi tersebut menunjukkan dampak yang searah. Penelitian ini juga berhasil menemukan hubungan korelasi yang signifikan antara Keadilan Prosedural dan Kepuasan terhadap Nilai EDOM, serta antara Keadilan Prosedural dan Kepuasan terhadap Penilai EDOM. Temuan ini menjadi penegas dan sekaligus pelengkap temuan Palaiologos, Papazekos, & Panayotopoulou (2011) pada keadaan sosiogeografis yang berbeda. Saran Perlu dicatat bahwa penelitian ini memiliki keunikan tersendiri dibandingkan penelitian-penelitian yang menjadi acuan. Pertama, penelitian ini dilakukan pada waktu yang berbeda dari penelitian yang menjadi acuan. Kedua, penelitian ini dilakukan di Indonesia, dimana budaya dan keadaan sosial masyarakatnya berbeda dengan penelitian-penelitian yang menjadi acuan. Ketiga, penelitian ini menggunakan jenis penilaian kinerja yang berbeda. Dan keempat, responden penelitian ini memiliki karakteristik yang unik. Perbedaan-perbedaan ini diharapkan menjadi pertimbangan sebelum melakukan penyamarataan hasil penelitian pada kondisi lain. Penelitian ini diharapkan dapat berguna bagi para pemangku kepentingan yang ada. Bagi akademisi, penelitian ini diharapkan dapat membangkitkan gairah penelitian di luar negara-negara Barat pada topik evaluasi diri dengan menunjukkan masih banyaknya area yang belum digali dalam masyarakat dengan keadaan sosiogeografis yang berbeda, juga dapat memberikan kontribusi terhadap studi akan SET dan dampaknya di Indonesia, dan dapat menjadi perbandingan atau referensi untuk penelitian lebih lanjut mengenai persepsi terhadap penilaian kinerja. Bagi pihak manajemen perguruan tinggi, penelitian ini diharapkan dapat menunjukkan faktor yang berpotensi menggagalkan SET menjadi bahan evaluasi untuk perbaikan diri dan menjadi referensi penerapan kebijakan baru dalam menggunakan SET baik oleh penilai maupun yang dinilai untuk mendapatkan hasil yang optimal. Sedangkan bagi dosen, penelitian ini diharapkan dapat menunjukkan bahwa persepsi dosen akan keadilan prosedural SET tidak selalu dikarenakan prosedur SET seperti seharusnya dan menunjukkan
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
bahwa dosen masih memerlukan bantuan orang lain dalam menilai dirinya akibat adanya titik buta yang disebabkan bias. Akhir kata, berkaitan dengan variabel dalam penelitian ini, peneliti memiliki beberapa harapan untuk penelitian selanjutnya yang ingin mereplikasi atau menggunakan penelitian ini sebagai acuan. Pertama, peneliti selanjutnya diharapkan dapat melakukan survei terhadap mahasiswa yang diajar akan kinerja dosen dan persepsi mahasiswa akan SET. Hasil tersebut kemudian dijadikan pembanding, sehingga penelitian dapat melihat reaksi dosen terhadap SET sebenarnya. Kedua, penelitian di masa depan diharapkan dapat menyelidiki penyebab anomali dalam penelitian ini, dimana diskonfirmasi negatif menyebabkan hilangnya signifikansi korelasi antar keadilan prosedural dan kepuasan terhadap penilai SET. Perlu dieksplorasi apakah diskonfirmasi memoderasi hubungan antara keadilan prosedural dan kepuasan terhadap penilai SET. Ketiga, peneliti harap penelitian selanjutnya dapat menentukan arah hubungan sebenarnya antar variabel dalam studi ini dan bukan hanya sekedar hubungan korelasi. Keempat, penelitian selanjutnya diharapkan dapat menyelidiki kaitan status dan pendidikan dosen dengan persepsi mereka terhadap SET. DAFTAR PUSTAKA Blakely, G. L. (1993). The effects of performance rating discrepancies on supervisors and subordinates. Organizational Behavior and Human Decision Processes, 54(1), 57-80. Burden, P. (2010). Creating confusion or creative evaluation? The use of student evaluation of teaching surveys in Japanese tertiary education. Educational Assessment, Evaluation and Accountability, 22(2), 97-117. Colquitt, J. A. (2001). On the dimensionality of organizational justice: a construct validation of a measure. Journal of applied psychology, 86(3), 386. Dunning, D., Heath, C., & Suls, J. M. (2004). Flawed self-assessment implications for health, education, and the workplace. Psychological science in the public interest, 5(3), 69106. Giles, W. F., & Mossholder, K. W. (1990). Employee reactions to contextual and session components of performance appraisal. Journal of Applied Psychology, 75(4), 371. Jawahar, I. M. (2007). The influence of perceptions of fairness on performance appraisal reactions. Journal of Labor Research, 28(4), 735-754. Keller, S., & Aiken, C. (2009). management. McKinsey Quarterly, 1-18.
The
inconvenient
Eksperimen pengaruh…, Anton Junior, FE UI, 2014
truth
about
change
Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments. Journal of personality and social psychology, 77(6), 1121. Ku, H., & Salmon, T. C. (2013). Procedural fairness and the tolerance for income inequality. European Economic Review, 64, 111-128. Lau, C. M., & Oger, B. (2012). Behavioral effects of fairness in performance measurement and evaluation systems: Empirical evidence from France.Advances in Accounting, 28(2), 323-332. Oliver, R. L. (1980). A cognitive model of the antecedents and consequences of satisfaction decisions. Journal of marketing research, 460-469. Palaiologos, A., Papazekos, P., & Panayotopoulou, L. (2011). Organizational justice and employee satisfaction in performance appraisal. Journal of European Industrial Training, 35(8), 826-840. Reisig, M. D., & Chandek, M. S. (2001). The effects of expectancy disconfirmation on outcome satisfaction in police-citizen encounters. Policing: An International Journal of Police Strategies & Management, 24(1), 88-99. Republik Indonesia. (2005). Undang-Undang Republik Indonesia nomor 14 tahun 2005 tentang Guru dan Dosen. Lembaran Negara Republik Indonesia Tahun 2005 Nomor 157 . Jakarta: Sekretariat Negara. Republik Indonesia. (2009). Peraturan Pemerintah Nomor 37 tahun 2009 tentang Dosen. Tambahan Lembaran Negara Republik Indonesia Tahun 2009 Nomor 5007 . Jakarta: Sekretariat Negara. Stehle, S., Spinath, B., & Kadmon, M. (2012). Measuring teaching effectiveness: Correspondence between students’ evaluations of teaching and different measures of student learning. Research in Higher Education, 53(8), 888-904. Tang, T. L. P., & Sarsfield-Baldwin, L. J. (1996). Distributive and Procedural Justice as Related to Satisfaction and Commitment. S.A.M Advanced Management Journal, 61(3), 2531. Universitas Indonesia. (2007). Pedoman Penjaminan Mutu Akademik Universitas Indonesia. Depok: Badan Penjaminan Mutu Akademik Universitas Indonesia. Usman, H., & Sobari, N. (2010). Teori dan aplikasi tehnik multivariate untuk riset pemasaran. LPEM FEUI. Williams, E. F., & Gilovich, T. (2008). Do people really believe they are above average?. Journal of Experimental Social Psychology, 44(4), 1121-1128.
Eksperimen pengaruh…, Anton Junior, FE UI, 2014