1 Kepala judul: differential item functioning, administrasi tes, Big Five Inventory (BFI)
Differential Item Functioning (DIF) Administrasi Tes pada Aitem Big Five Inventory (BFI) versi Indonesia (Differential Item Functioning (DIF) Test Administration on Items of Big Five Inventory (BFI) Indonesian Version)
Dina Nazriani
Utami Nurhafsari Putri
Universitas Sumatera Utara
Universitas Sumatera Utara
Jumlah kata: 4935 Dina Nazriani, Utami Nurhafsari Putri; Departemen Psikologi Umum dan Eksperimen, Fakultas Psikologi, Universitas Sumatera Utara, Medan, Indonesia. Korespondensi mengenai penelitian ini dapat dilayangkan kepada Dina Nazriani, Departemen Psikologi Umum dan Eksperimen, Fakultas Psikologi, Universitas Sumatera Utara, Jalan dr. Mansur 7, Kampus USU Padang Bulan, Medan, 20155. Email:
[email protected] Catatan pengakuan: Laporan penelitian ini dibuat berdasarkan data dari penelitian Skripsi Utami Nurhafsari Putri (Alumnus Fakultas Psikologi, Universitas Sumatera Utara) yang dianalisis ulang dan dielaborasi oleh Dina Nazriani (Pembimbing Skripsi Utami Nurhafsari putri, Staff Pengajar Fakultas Psikologi, Universitas Sumatera Utara).
2 Differential Item Functioning, Administrasi Tes, Big Five Inventory
Abstrak Perkembangan teknologi dimasa ini memunculkan administrasi tes baru, yaitu administrasi tes online, yang sebelumnya hanya menggunakan metode paper-and-pencil atau bisa disebut dengan administrasi tes manual. Perkembangan metode pelaksanaan tes ini memunculkan tantangan baru berkaitan dengan evaluasi karakteristik psikometris alat tes, salah satunya adalah pengujian DIF. DIF merupakan konsep pengukuran bias yang berpengaruh pada validitas. DIF bertujuan untuk melihat keadilan aitem suatu alat tes pada dua kelompok yang berbeda. Penelitian ini menggunakan Big Five Inventory (BFI) versi Indonesia yang diadaptasi oleh Mariyanti dan Rahmawati (2011). Penelitian ini bertujuan untuk melihat apakah BFI versi Indonesia adil dan bisa digunakan baik saat diadministrasikan secara manual maupun online. Hasil penelitian ini menemukan terdapat DIF administrasi tes pada tiga aitem BFI versi Indonesia yang berasal dari aspek Extraversion dan Openness, dengan effect size yang tidak signifikan (negligible). Hal ini menunjukkan bahwa secara umum, alat tes BFI versi Indonesia dapat dipergunakan dan disajikan baik pada administrasi tes manual maupun online.
Kata kunci : Differential Item Functioning (DIF),Administrasi Tes, BFI, Big Five
3 Differential Item Functioning, Administrasi Tes, Big Five Inventory
Abstract The development of technology in this era emerges the new test administration, namely online test administration, which previously only using paper-and-pencil or can be called with the manual test administration. The development of this method emerges new challenges relating to the evaluation of psychometrics characteristic of the test, one of which is testing DIF. DIF is a concept of bias measurement that can be affecting validity. The purpose of DIF is checking the item fairness of the test for two different groups. This research is using Big Five Inventory (BFI) Indonesian version which is already adapted by Mariyanti and Rahmawati (2011). The purpose of this research is checking whether BFI Indonesian version is fair and can be used for both online and manual test administration. The result of this research found that there was DIF test administration on three items of BFI Indonesian version that belongs to Extraversion and Openness’ aspect, with negligible effect size. This fact shows that in common, this BFI Indonesian version test can be used and administered both online and manual test administration.
Keywords : Differential Item Functioning (DIF), Test Administration, BFI, Big Five
4 Differential Item Functioning, Administrasi Tes, Big Five Inventory
Differential Item Functioning (DIF) Administrasi Tes pada Aitem Big Five Inventory (BFI) versi Indonesia
Tes psikologi adalah alat ukur yang berisikan sekumpulan aitem berstandar objektif yang dapat digunakan secara luas, yang dapat membedakan ataupun memprediksi karakteristik individu baik secara psikologis ataupun perilakunya (Anastasi & Urbina, 1997; Kaplan & Sacuzzo, 2005). Menurut Kaplan dan Saccuzo (2005), terdapat dua jenis tes psikologi, yaitu tes kepribadian (personality test) dan tes kemampuan (ablility test). Dalam penggunaannya, alat tes kepribadian lebih banyak variasinya dibandingkan untuk tes kemampuan, yang sudah pasti memiliki usaha lebih banyak baik dari segi waktu maupun jumlah aitem. Sedangkan secara praktis, alat tes tidak dibenarkan memakan banyak waktu karena dapat menimbulkan kelelahan dan kebosanan (Burisch, dalam John, O. P., Naumann, L. P., & Soto, C. J., 2008; John & Srivastava, 1999). Salah satu alat tes dengan aitem sedikit sehingga memiliki efisiensi waktu dan tenaga adalah alat tes kepribadian Big Five Inventory (BFI) yang disusun oleh John, Donahue dan Kentle pada tahun 1991 dengan menggunakan teori kepribadian Big Five. Penelitian yang dilakukan oleh Schmitt, dkk (2007) menghasilkan bahwa BFI sepenuhnya dapat digeneralisasikan dalam budaya yang beragam, dimensi kepribadian big five dapat diukur dengan reliabel pada manusia dengan budaya yang berbeda. Tak heran jika Big Five Inventory (BFI) sudah banyak mengalami adaptasi ke dalam berbagai bahasa, seperti bahasa Italia, Jerman, Cina, Spanyol, Portugis, Swedia, Belanda, Ibrani, dan Lithuania (http://www.ocf.berkeley.edu/~johnlab/bfi.htm). Pengadaptasian bahasa ini tidak terkecuali kedalam bahasa Indonesia yang dilakukan oleh Mariyanti dan Rahmawati yang merupakan peneliti yang berasal dari Universitas Sumatera Utara, pada tahun 2011.
5 Pada dasarnya semua pelaksanaan tes (baik tes kepribadian maupun tes kemampuan) berawal dari tes paper-and-pencil atau bisa disebut administrasi tes secara manual, namun administrasi tes menggunakan komputer semakin dirasa lumrah saat ini. Kemajuan teknologi ini memudahkan individu untuk mengakses berbagai informasi dan memberikan revolusi baru pada dunia alat tes, termasuk pada variasi alat tes kepribadian yang dapat diakses melalui internet (Kaplan & Sacuzzo, 2005), sehingga memunculkan administrasi baru yaitu administrasi tes secara online. Perbedaan administrasi tes ini memunculkan tantangan baru berkaitan dengan karakteristik psikometris alat tes. Salah satu karakteristik psikometris yang berkaitan dengan hal ini adalah differential item functioning (DIF) yang mengacu pada derajat keadilan tes ketika dikenakan pada dua kelompok yang berbeda (administrasi tes secara manual ataupun online), dimana setiap individu pada kedua kelompok memiliki latent trait yang sama, yaitu memiliki OCEAN. Konsep DIF berkaitan dengan apakah kelompok yang satu dengan yang lain, yang memiliki latent trait yang sama, memberikan respon yang sama ketika diberikan aitem yang sama (keadilan antara kelompok yang satu dengan yang lain). DIF menjadi penting untuk diuji jika terdapat keraguan dua kelompok tidak akan mendapatkan perlakuan yang adil meski mendapat stimulus yaitu berupa aitem yang sama. Sama halnya dalam konteks perbedaan administrasi tes yaitu manual dan online, perlu diperhatikan keadilan aitem pada alat tes yang diberikan pada kedua kelompok. Kemajuan teknologi mungkin mempermudah dan meringankan kinerja individu, namun tetap tidak bisa menggantikan secara penuh keutamaan yang bisa dilakukan individu itu sendiri. Sama halnya dengan administrasi tes online yang merupakan “anak baru” yang masih perlu diajarkan banyak hal (pengujian) jika dibandingkan dengan administrasi tes manual. Hal ini karena administrasi tes manual merupakan setting-an asli yang menjadi awal mula, dasar, dan acuan dalam hal pengadministrasian tes. Inilah alasan mengapa administrasi tes manual dianggap menjadi kelompok referensi (reference group) sedangkan administrasi tes
6 online dianggap sebagai kelompok yang menjadi kelompok fokal (focal group), sesuai dengan istilah penamaan dua kelompok yang dibandingkan pada konsep DIF. Perlu adanya pengujian untuk melihat apakah ada perbedaan respon antara kedua kelompok yang memiliki latent trait yang sama sudah jelas mendapat cara pengadministrasian tes berbeda, sehingga uji DIF menjadi hal yang penting dalam penelitian ini. Konsep DIF pada kedua kelompok tersebut kemudian diterapkan pada penggunaan alat tes BFI versi Indonesia yang telah diadaptasi oleh Mariyanti dan Rahmawati pada tahun 2011. Dengan adanya pengujian DIF, dapat dilihat apakah BFI dengan administrasi tes online sama baiknya dengan penyajian BFI pada administrasi tes secara manual. Dengan demikian, BFI versi Indonesia akan teruji DIF administrasi tesnya sebagai alat tes yang adil atau tidak, pada kelompok manual dan online. Penelitian ini juga diharapkan dapat melengkapi karakteristik psikometri pada BFI versi Indonesia dari segi DIF administrasi tes, sehingga BFI versi Indonesia ini dapat digunakan dikemudian hari sebagai variasi baru dalam alat tes kepribadian di Indonesia.
Differential Item Functioning Administrasi tes pada Big Five Inventory versi Indonesia Prosedur tes yang standar tidak hanya mengenai instuksi secara lisan, waktu, bahanbahan, dan aspek lainnya, namun juga mengenai kondisi tes. Hal ini dapat berpengaruh terhadap skor tes, bahkan pada aspek yang sangat kecil sekalipun. Perlu adanya persiapan tester yang matang, penyesuaian kondisi tes, membangun rapport dan mengenalkan tes kepada para peserta tes (Anastasi & Urbina, 1997). Perkembangan zaman dalam penggunaan komputer mempengaruhi setiap fase pada pemberian tes, termasuk administrasi, skoring, pemberian laporan, dan interpretasi (F.B. Baker, 1989; Butcher, 1987; Gutkin & Wise, 1991;
7 Roid, 1986; dalam Anastasi & Urbina, 1997). Penggunaan komputer dan internet memberikan revolusi baru pada dunia alat tes, termasuk pada variasi alat tes kepribadian yang dapat diakses melalui internet (Kaplan & Sacuzzo, 2005), sehingga memunculkan metode pelaksanaan baru yaitu administrasi tes secara online. Penggunaan komputer yang bahkan merambah ke dunia psikologi ini juga memiliki alasan yaitu pengguna komputer yang nantinya akan melaksanakan tes secara online adalah seorang manusia. Dalam hal ini, perlu dipertimbangkan bagaimana individu tersebut bekerja, bagaimana mereka memproses informasi dan bagaimana mereka mampu bereaksi pada situasi yang berbeda, termasuk pada perbedaan metode yang diberikan sewaktu administrasi tes (Bushnell & Mullin, 1987). Administrasi tes online adalah metode penggunaan komputer, dimana tes paper-andpencil yang juga dapat disebut dengan administrasi tes manual, didesain dalam versi elektronik dan di-posting ke Web site (Osterlind, 2010). Adanya administrasi tes secara online yang didasarkan pada penggunaan komputer memunculkan perbedaan baru dalam pengadministrasian tes. Pada administrasi tes secara online, peserta langsung membaca instruksi yang sudah ada pada layar komputer, tempat administrasi tes lebih fleksibel bahkan bisa dilakukan oleh orang-orang yang berbeda negara, tidak menggunakan paper and pencil melainkan menggunakan media elektronik seperti komputer, laptop, atau smartphone (Kaplan & Sacuzzo, 2005; Osterlind, 2010). Usaha membangun rapport dan mengenalkan alat tes juga hampir tidak ada karena minimnya interaksi peserta tes kepada tester (Kaplan & Sacuzzo, 2005). Lang, dkk. (2011) menemukan bahwa metode yang diberikan memberikan hasil mean yang berbeda pada tipe kepribadian Big Five Inventory. Pada kelompok yang diberikan metode telephone interview, ditemukan bahwa openness seorang individu meningkat dibandingkan ketika diberikan dengan metode self-administered questioner. Penelitian oleh
8 Aslam (2011) yang berkaitan dengan standarisasi instruksi pada pengadministrasian tes juga menghasilkan kesimpulan secara umum bahwa terdapat pengaruh instruksi yang terstandar dan yang tidak terstandar dalam pengadministrasian Big Five Inventory terhadap hasil Big Five Inventory. Hasil penelitian ini cukup memberikan bukti bahwa metode pengadministrasian yang sama (administrasi manual), namun dengan instruksi yang berbeda (tidak standar) saja bisa memberikan pengaruh pada hasil tes, terlebih lagi jika metode pengadministrasiannya secara keseluruhan sudah jelas berbeda seperti halnya pada administrasi tes manual dan online. Adanya perbedaan metode administrasi tes akan berpengaruh pada hasil skor alat tes, memunculkan tantangan baru berkaitan dengan karakteristik psikometris alat tes. Karakteristik psikometris berkaitan dengan pengembangan dasar evaluasi terhadap suatu alat tes psikologis, termasuk diantaranya pengukuran (Azwar, 2007). Pada proses pengembangan alat tes, analisis aitem merupakan langkah awal yang krusial, yang meliputi berbagai jenis prosedur evaluasi termasuk karakteristik yang diukur (Coaley, 2010). Analisis aitem memiliki beberapa istilah, yaitu item impact, DIF, dan juga bias aitem (Zumbo, 1999). Pada sudut pandang psikometri, perbedaan konsistensi intrapersonal maupun interpersonal merupakan hal yang krusial terhadap karakteristik psikometrisnya, yaitu validitas dan reliabilitas (Anastasi & Urbina, 1997). Untuk mendapatkan reliabilitas yang baik, maka eror harus diminimalisir, termasuk diantaranya kesalahan sistematik (systematic error) yang berkaitan dengan bias pada tes, yang juga dapat merusak validitasnya (Coaley, 2010; Osterlind, 2010; Reeve, tanpa tahun). Reliabilitas dipengaruhi oleh random error (kesalahan yang berasal dari individu peserta tes), sedangkan kesalahan sistematik merupakan kesalahan yg berasal atas keanggotaan suatu kelompok (Osterlind, 2010), sehingga berkaitan dengan bias yang terjadi pada tes, yang juga dapat merusak validitasnya
9 (Coaley, 2010; Osterlind, 2010). DIF merupakan salah satu konsep dalam pengukuran bias (Sheppard, dkk., 2006) yang berpengaruh pada validitas (Coaley, 2010). DIF berbeda dengan bias aitem, namun merupakan titik awal dari penelitian tentang bias aitem. DIF muncul ketika peserta memiliki kemampuan/latent trait yang sama dari kelompok yang berbeda, namun memiliki kesempatan yang tidak sama dalam merespons aitem (cenderung setuju pada pernyataan aitem tertentu). Bias aitem muncul ketika aitem tidak bisa mengukur apa yang ingin diukur, atau hanya bisa mengukur sedikit dari apa yang ingin diukur tersebut. Bias aitem dapat mempengaruhi validitas suatu tes karena dapat menyebabkan kesimpulan yang salah mengenai kemampuan tes untuk mengukur apa yang seharusnya diukur (Rahmawati, 2010). Singkatnya, DIF adalah sebuah kondisi dimana individu dari kelompok yang berbeda, memiliki kemungkinan/probabilitas berbeda dalam menyetujui suatu pernyataan sebuah aitem, setelah level atribut/latent trait yang diukur dikondisikan setara. Sedangkan bias aitem terjadi ketika individu dari satu kelompok cenderung untuk menyetuji pernyataan dalam aitem dibandingkan peserta individu dari kelompok lainnya, karena beberapa karakteristik dari aitem yang dipakai dalam mengukur atau situasi pengukuran yang tidak relevan dengan tujuan tes (Zumbo, 1999; Widhiarso, 2004). Pada konsep DIF, aitem (struktur) yang disediakan untuk dikerjakan oleh kelompok tertentu, dimana aitem tersebut yang membuat individu dari kelompok tertentu memberi respons yang berbeda. Dapat dikatakan bahwa aitem-lah yang disalahkan, bukan individu atau latar belakang individu yang disalahkan. Terdapat dua kelompok yang akan dibandingkan pada konsep DIF, yaitu kelompok fokal (minoritas/yang tidak diuntungkan) dan kelompok referensi (mayoritas/diuntungkan) sebagai pembanding (Rahmawati, 2010). Seperti halnya penjabaran mengenai DIF diatas, DIF berkaitan dengan kedua hal tersebut yaitu adanya perbedaan respon antara kelompok referensi dan kelompok fokal dalam merespon suatu aitem.
10 Administrasi tes secara online memiliki interaksi dan observasi secara langsung kepada para peserta tes yang sudah pasti tidak bisa ditangkap oleh komputer. Hal ini sejalan dengan pernyataan Kaplan & Sacuzzo (2005) bahwa penggunaan komputer juga memiliki kekurangan pada interpretasi yang berkaitan dengan clinical judgement. Meskipun terkadang menghasilkan kecemasan tersendiri dan tidak ada interaksi langsung, serta terkadang mampu memunculkan keyboard phobia pada sebagian orang, penggunaan komputer dapat menghemat banyak waktu, berpotensi meningkatkan test-retest reliability, mengurangi bias, tidak perlu sulit untuk scan hasil karena data langsung masuk ke dalam sistem komputer (meningkatkan akurasi skoring), dan juga mengurangi biaya sehingga meningkatkan efisiensi (Butcher, Perry, & Atlis, 2000; Groth-Marnat, 1999; Osterlind, 2010). Cronbach di awal tahun 1970 (dalam Kaplan & Sacuzzo, 2005) menyampaikan beberapa keuntungan sistem komputer, yaitu standarisasi yang sangat baik, tahapan administrasi dirancang sedemikian rupa agar dapat dilakukan sendiri oleh peserta tes, lebih ada kesabaran (peserta tes tidak terburu-buru dalam mengerjakan tes), hasil respons tepat waktu karena langsung ter-input oleh komputer, mempermudah tugas tester (tester bisa melaksanakan tugas lain), dan lebih mengontrol bias. Hal ini dapat meminimalisir kesalahan yang terjadi pada tes paper-and pencil atau administrasi tes secara manual pada hal standarisasi, kontrol, dan eror saat skoring. Beberapa bukti menunjukkan bahwa peserta tes lebih nyaman dan menyukai interaksi dengan komputer dibandingkan dengan administrasi tes paper-and-pencil atau manual, termasuk diantaranya tes manual yang kemudian dirancang menjadi versi administrasi tes online (Rosenfeld, Doherty, Vicino, Kantor, dkk., 1989; Buchanan & Smith, 1999; Cronk & West, 2002; dalam Kaplan & Sacuzzon, 2005). Individu menjadi lebih nyaman dan terbuka (disclose) dalam merespons aitem ketika berinteraksi dengan komputer (Davis, 1999; dalam Kaplan & Sacuzzo, 2005), lebih jujur, dan tidak memunculkan efek social desirability ketika
11 dihadapkan pada situasi pelaksanaan tes tanpa prosedur yang mengharuskan face-to-face (Kaplan & Sacuzzo, 2005). Penelitian Locke & Gilbert pada tahun 1995 (dalam Kaplan & Sacuzzo, 2005) menunjukkan bahwa peserta tes memberikan pengalaman positif dengan komputer. Kebanyakan penelitian menunjukkan bahwa administrasi tes menggunakan komputer sama reliabelnya dengan administrasi tes secara manual (Handel, Ben-Porath, & Matt, 1999; Schulenberg & Yutrzenka, 1999; dalam Kaplan & Sacuzzo, 2005; Groth-Marnat, 1999). Pengadministrasian tes sejak awal dibuat untuk diadministrasikan secara manual, yang kemudian ditransformasi dan dibentuk dalam form digital yang dapat diakses melalui komputer dan jaringan internet yang kemudian dikenal dengan adminitrasi tes online. Administrasi tes online mungkin memberikan keunggulan tersendiri, namun terlepas dari itu, pada awalnya setiap tes diadministrasikan secara manual. Kemajuan teknologi mungkin mempermudah dan meringankan kinerja individu, namun tetap tidak bisa menggantikan secara penuh keutamaan yang bisa dilakukan individu itu sendiri. Administrasi tes online memiliki keuntungan-keuntungan tersendiri, namun masih perlu banyaknya pengujian agar memiliki cukup bukti untuk dikatakan sama baiknya dengan administrasi tes secara manual yang merupakan merupakan setting-an asli yang menjadi awal mula, dasar, dan acuan dalam hal pengadministrasian tes. Inilah alasan mengapa administrasi tes manual dianggap menjadi kelompok acuan (kelompok referensi) sedangkan administrasi tes online dianggap sebagai kelompok yang menjadi fokus (kelompok fokal). Seorang individu akan berbeda perilakunya ketika bertemu dengan tuntutan setiap situasi (Anastasi & Urbina, 1997). Situasi yang berbeda dalam pelaksanaan tes dengan perbedaan pengadministrasian akan berpengaruh pada skor subjek. Perbedaan metode dalam memberikan tes (administrasi tes) kemudian bisa menjadikan dua individu yang memiliki kepribadian yang sama, akan memiliki kemungkinan lebih untuk mendapatkan hasil skor BFI
12 yang berbeda, padahal seharusnya dengan kepribadian yang sama, maka diasumsikan skor mereka akan sama. Dengan melihat konsep DIF, maka akan terlihat apakah aitem pada alat tes tersebut adil dan tidak memihak pada suatu kelompok tertentu (Hortensius, L., 2012; Jodoin, M.G. & Gierl, J., 1999). Big Five Inventory (BFI) dimasa ini juga sudah bisa diakses diinternet dan dikerjakan dengan metode pelaksanaan secara online. Adanya perbedaan administrasi tes pada BFI memberikan alasan untuk kemudian perlu dilakukan pengecekkan karakteristik psikometrisnya. Hal ini juga berlaku pada BFI versi Indonesia yang juga bisa dilaksanakan baik pada administrasi tes manual maupun online, dimana kedua kelompok memiliki latent trait yang sama yaitu OCEAN. Reliabilitas dan validitas konstraknya sudah diuji oleh Mariyanti dan Rahmawati dalam proses pengadaptasiannya ke dalam bahasa Indonesia, sehingga layak untuk dipergunakan demi alasan pengembangan alat ukur BFI. Namun, berkaitan dengan adanya perbedaan administrasi tes, perlu ditinjau DIF administrasi tes pada aitem BFI versi Indonesia. Dengan pengujian DIF administrasi tes, akan teruji pula keadilan aitem pada alat tes BFI versi Indonesia baik saat diadministrasikan secara manual maupun online. Dengan kata lain, akan terlihat apakah BFI dengan administrasi tes online sama baiknya dengan penyajian BFI dengan administrasi tes secara manual. Jika BFI ternyata mengandung DIF pada konteks administrasi tes yang berbeda tersebut, maka dapat dipastikan bahwa hal ini dapat berpengaruh pada skor tes. Kemungkinan ini akan memunculkan kesalahan sistematik dan berpengaruh pada validitas karena tidak dapat memberikan bukti-bukti untuk memperkuat validitasnya, sehingga kualitasnya akan menurun dan penggunaannya juga masih sulit untuk diterapkan. Hal ini akan menghambat terciptanya BFI versi Indonesia yang berkualitas dan teruji karakteristik psikometrisnya.
13 METODE Partisipan Partisipan dalam penelitian ini adalah 617 orang dengan rincian 302 orang subjek yang tergabung dalam kelompok manual (155 orang laki-laki dan 147 orang perempuan) dan 315 orang subjek tergabung dalam kelompok online (119 orang laki-laki dan 196 orang perempuan) dengan rentang usia 18-40 tahun. Partisipan kami ambil dengan menggunakan teknik incidental sampling, yaitu suatu metode pemilihan subjek secara kebetulan/insidental bertemu, cocok untuk dijadikan sebagai sumber data, dan setuju untuk menjadi sample penelitian, dan terus dilakukan hingga subjek mencukupi jumlah yang diinginkan. Para partisipan berasal dari berbagai kalangan, dimana mereka yang sudah menjadi partisipan dari kelompok manual, tidak diperkenankan untuk ikut menjadi partisipan dari kelompok online.
Alat ukur Instrumen penelitian yang digunakan dalam penelitian ini adalah Big Five Inventory versi Indonesia yaitu BFI yang telah diadaptasi kedalam bahasa Indonesia oleh Mariyanti dan Rahmawati pada tahun 2011. BFI versi Indonesia ini terdiri dari 44 aitem favourable dan unfavourable yang terdiri dari kalimat pernyataan. Kalimat pernyataan tersebut direspon dengan memilih angka 1 hingga 5 dan menuliskannya ditempat yang telah disediakan pada setiap pernyataan. Makna angka “1” adalah “sangat tidak setuju”, “2” adalah “tidak setuju”, “3” adalah “netral”, “4” adalah “setuju”, dan “5” bermakna “sangat setuju”. Aitem favourable akan diberi nilai dari angka 1 sampai 5 pada jawaban STS sampai SS, sedangkan aitem unfavourable akan diberi nilai sebaliknya. BFI versi Indonesia ini memiliki reliabilitas yang baik yaitu 0.70 dan juga memiliki validitas konstruk yang memuaskan dengan nilai loading rata-rata diatas 0.30 dan varian yang dapat dijelaskan sebesar 41.45% (Mariyanti & Rahmawati, 2011), sehingga alat tes ini layak untuk digunakan.
14 Prosedur Pelaksanaan penelitian dilakukan dengan administrasi tes yang berbeda untuk kedua kelompok. Kelompok dengan administrasi tes online (mayoritas peserta diluar Medan) akan diberikan link untuk mengakses form BFI versi Indonesia, diperbolehkan menggunakan komputer ditempat yang tidak ditentukan, namun harus mengerjakannya sesuai dengan waktu yang telah ditentukan oleh peneliti (2 minggu) setelah link diberikan. Kelompok dengan administrasi tes manual (semua peserta berdomisili Medan) akan diberikan prosedur sebagaimana pelaksanaan administrasi tes secara manual. Orang yang sudah mengisi secara online tidak diperkenankan untuk mengikuti administrasi tes secara manual.Pelaksanaan Administrasi tes Manual dilaksanakan pada tanggal 13 Maret 2013, 16 Maret 2013, dan 21 Maret 2013 di ruangan 3B dimulai pada pukul 13.30-16.00 WIB. Waktu tersebut diberlakukan karena peserta kelompok manual datang tidak bersamaan, sehingga pengadministrasian tes akan dilakukan setiap kali peserta datang (minimal 4 orang) dan berulang pada setiap peserta yang datang secara bergilir. Pelaksanaan ini dilakukan dengan adanya penyetaraan kondisi (instruksi dan seting kelas sama serta adanya asisten lapangan dan tester). Hasil Tujuan penelitian ini adalah untuk melihat aitem-aitem mana saja dalam Big Five Inventory versi Indonesia yang mengandung DIF administrasi tes (manual dan online). Aitem dikatakan mengandung DIF jika nilai p ≤ 0.01 dengan menggunakan analisis regresi logistik (ordinal). Hasil menunjukkan adanya tiga aitem yang mengandung DIF, yaitu aitem nomor 1 dengan nilai p = 0.000356, aitem nomor 20 dengan nilai p = 0.000177, dan aitem nomor 26 dengan nilai p = 0.005052. Ketiga aitem yang mengandung DIF tersebut memiliki kriteria effect-size yang sangat kecil (nilai model R2≤0,130) dan termasuk dalam kategori uniform DIF (R2 pada step 2 dan step 1 > R2 pada step 3 dan step 2).
15
Diskusi Hasil Aitem yang mengandung DIF administrasi tes terdapat pada aitem nomor 1 (suka mengobrol) yang merupakan aitem pada aspek extraversion, sedangkan aitem nomor 20 (memiliki imajinasi yang tinggi) dan aitem nomor 26 (percaya diri) merupakan aitem pada aspek openness. Aitem yang mengandung DIF memberikan bukti pengukuran bias, yang dapat mengancam validitas, namun karena ketiga aitem tersebut memiliki kriteria ZumboThomas Effect Size yang tidak terlalu berpengaruh/negligible, maka dapat dikatakan bahwa ketiga aitem tersebut tidak terlalu merusak ataupun mengancam validitas BFI versi Indonesia. DIF administrasi tes pada ketiga aitem membuktikan bahwa kelompok referensi (administrasi tes manual) dan kelompok fokal (administrasi tes online) dilevel yang sama pada trait tertentu, memiliki probabilitas yang berbeda dalam merespons aitem, yaitu merespons “setuju” pada aitem nomor 1, aitem nomor 20, dan aitem nomor 26. Hal ini terjadi karena administrasi tes secara online membuat individu menjadi lebih terbuka (disclose) dalam merespons aitem (Davis, 1999; dalam Kaplan & Sacuzzo, 2005), lebih jujur (self-disclosure), dan tidak memunculkan efek social desirability ketika dihadapkan pada situasi pelaksanaan tes tanpa mengharuskan face-to-face (Kaplan & Sacuzzo, 2005) yang dirasa lebih nyaman, efektif, dan efisien bagi peserta tes. Jika ditinjau lebih lanjut, orang dengan skor yang sama pada sub skala extraversion, namun kemudian diberikan administrasi tes berbeda, maka orang tersebut akan lebih cenderung menjawab setuju. Saat administrasi tes secara online, individu cenderung lebih jujur, merasa lebih nyaman, dan mengisi tes apa adanya sehingga mampu menjawab aitem nomor 1 (suka mengobrol) sesuai dengan dirinya yang extraversion tersebut. Mayoritas umur sampel juga berada pada rentang usia 18-30an tahun, dimana pada usia ini individu lebih aktif dalam penggunaan komputer dan interaksi online (MarkPlus Insight, 2012). Kenyamanan dan keterbukaan pada administrasi tes online sesuai dengan
16 kehidupan zaman sekarang yang lebih sering menggunakan media elektronik sebagai aktivitas sosial dimana didalamnya juga bisa melakukan aktivitas (dunia maya) seperti yang ada pada aitem nomor 1 (suka mengobrol). Mereka dengan skor tinggi pada aspek openness lebih terbuka terhadap berbagai jenis pengalaman dan percobaan (hal-hal baru) dalam hidupnya (Pervin, 2005). Administrasi tes online lebih merangsang ketertarikan mereka dengan inspirasi cara baru dan tidak ketinggalan zaman, sehingga akan pula merespons setuju pada aitem nomor 20 (memiliki imajinasi yang tinggi). Meski demikian, hal ini tidak berlaku pada aitem nomor 26 (percaya diri) yang merupakan aspek openness. Berdasarkan skor subjek, ditemukan respons setuju lebih banyak pada administrasi tes manual, yaitu 190 orang, dibandingkan administrasi tes online, yaitu 149 orang. Sama halnya dengan keterkaitannya terhadap self-disclosure dan kejujuran saat administrasi tes online (Davis, 1999; dalam Kaplan & Sacuzzo, 2005), dimana ketika seseorang dengan self-disclosure tinggi akan lebih percaya dan akan lebih mudah untuk berperilaku jujur dan terbuka, maka akan berpengaruh pada pola perilaku yang muncul ketika mendapat administrasi tes yang berbeda termasuk pengaruh penilaian dari orang lain dan situasi (Franzoi, 2009; Taylor, 2009). Hal ini juga didukung dengan keterbatasan inventory yaitu memiliki social desirability yang tinggi (Anastasi & Urbina, 1997) sehingga ada kemungkinan untuk berbohong (McCrae & Costa, 2003), terlebih lagi situasi administrasi tes yang berlangsung bersama dengan orang lain, ada tester, dan ada pengawasan secara langsung yang dapat menyebabkan self-disclosure menurun (memunculkan kemungkinan faking-good). Dari hasil penelitian ini, kami menyarankan dua hal. Pertama, Ssaran untuk seluruh pengguna alat tes psikologi, Psikolog, Praktisi dan Ilmuwan Psikologi, yaitu perlu adanya perhatian khusus terhadap administrasi tes karena berkemungkinan untuk membuat alat tes menjadi tidak adil. Kedua, bagi perusahaan ataupun praktisi Psikologi yang masih menggunakan alat tes kepribadian yang sudah terlalu lama usianya, dapat
17 mempertimbangkan menggunakan BFI versi Indonesia sebagai salah satu alternatif pengganti. Selanjutnya, ada beberapa hal dari penelitian ini yang belum sempurna dan disarankan untuk peneliti yang ingin mengembangkan penelitian ini ke tahap yang lebih lanjut. Pertama, agar lebih mengontrol administrasi tes online. Hal ini bisa dilakukan misalnya dengan pengerjaan tes secara bersama-sama pada ruangan tes tertentu dengan menggunakan komputer. Hal ini untuk melihat bagaimana respon yang dihasilkan, sehingga pengujian mengenai DIF administrasi tes akan lebih kaya. Semakin banyak pengujian yang dilakukan, maka akan memperkuat penggunaan administrasi tes BFI versi Indonesia sesuai kebutuhan dengan alasan ilmiah yang sudah teruji. Kedua, disarankan agar penelitian di bidang pengembangan alat tes psikologi lebih sering dilakukan, sehingga diharapkan alat tes psikologi yang digunakan dengan berbagai tujuan di tengah-tengah masyarakat dapat senantiasa terjaga kualitasnya. Pengujian tidak hanya berhenti pada validitas dan reliabilitas saja, namun diperlukan pengujian yang lebih komprehensif sebelum dipergunakannya suatu alat tes, diantaranya adalah dengan melakukan pengujian DIF. Seperti halnya BFI versi Indonesia yang sudah diuji reliabilitas dan validitasnya, DIF administrasi tesnya, DIF Budaya (Batak Toba dan Jawa), pengujian faktor asli dengan menggunakan aitem BFI versi Indonesia yang muncul pada orang Batak Toba. Pengujian-pengujian ini akan memperkaya informasi mengenai alat tes BFI versi Indonesia sehingga penggunaannya akan lebih terjamin.
18 Referensi Acar, Tülin. (2012). Determination of a Differential Item Functioning Procedure Using the Hierarchical Generalized Linear Model: A Comparison Study With Logistic Regression and Likelihood Ratio Procedure. Diakses melalui http://www.sagepublications.com Anastasi, A. & Urbina, S. (1997). Psychological Testing, New Jersey : Prentice-Hall Inc. Aslam, M. (2011). Pengaruh Administrasi Big Five Inventory terhadap Hasil BFI. Diakses melalui Universitas Sumatera Utara website: repository.usu.ac.id/ Azwar, S. (2012). Reliabilitas dan Validitas. Yogyakarta : Pustaka Pelajar _______. (2011). Metode Penelitian (cetakan XII). Yogyakarta : Pustaka Pelajar _______. (2007). Dasar-dasar Psikometri (cetakan kelima). Yogyakarta: Pustaka Pelajar. Bushnell, L.W.R & Mullin, J.T. (1987). Experimental Psychology: A Computerized Laboratory Course. New Jersey: Lawrence Erlbaum Associates, Publishers. Camilli. G. & Shepard. L. A. (1994). Methods for identifying biased test items. California : SAGE Publication, Inc. Coaley, Keith., (2010). An Introduction to Psychological Assessment and Psychometrics. London: SAGE Publications Inc. Dantes, Nyoman., (2012). Metode Penelitian. Yogyakarta: C.V Andi OFFSET. Field, A. (2009). Discovering Statistics Using SPSS. London: SAGE Publications Inc. Groth-Marnat, (1999). Handbook of Psychological Assessment. John Wiley & Sons, Inc Hortensius, Lian. (2012). Advanced Measurement - Logistic regression for DIF detection. Diakses melalui http://www.tc.umn.edu/ Hurlock, E. B. (1993). Psikologi Perkembangan : Suatu Pendekatan Sepanjang Rentang Kehidupan (Edisi Kelima). Jakarta : Erlangga. Jodoin, M.G. & Gierl, J., (1999). Running head: LOGISTIC REGRESSION FOR DIF DETECTION. University of Alberta, Edmonton, Alberta. Diakses melalui http://www2.education.ualberta.ca/ John, O.P. o/c of Berkeley Personality Lab (tanpa tahun). The Big Five Inventory. Diakses melalui http://www.ocf.berkeley.edu/~johnlab/ John, O. P., & Srivastava, S. (1999). The Big-Five trait taxonomy: History, measurement, and theoretical perspectives. In L. A. Pervin & O. P. John (Eds.), Handbook of personality: Theory and research (Vol. 2, pp. 102–138). New York: Guilford Press. Diakses melalui http://www.ocf.berkeley.edu/~johnlab/ John, O. P., Naumann, L. P., & Soto, C. J. (2008). Paradigm Shift to the Integrative Big-Five Trait Taxonomy: History, Measurement, and Conceptual Issues. In O. P. John, R. W.
19 Robins, & L. A. Pervin (Eds.), Handbook of personality: Theory and research (pp. 114158). New York, NY: Guilford Press. Diakses melalui http://www.ocf.berkeley.edu/~johnlab/ John, O. P., Donahue, E. M., & Kentle, R. L. (1991). The Big Five Inventory--Versions 4a and 54. Berkeley, CA: University of California,Berkeley, Institute of Personality and Social Research. Diakses melalui http://www.ocf.berkeley.edu/~johnlab/ Kaplan, R. M. & Saccuzzo. (2005). Psychological Testing: principles, application, and issues (6th ed.). Belmont : Thomson Wadsworth. Lang, dkk., (2011). Short assessment of the Big Five: robust across survey methods except telephone interviewing. Behav Res, 43, 548-567. doi: 10.3758/s13428-011-0066-z. Diakses melalui springerlink.com Mariyanti & Rahmawati, Etty. (2011). Karakteristik Psikometri Big Five Inventory (BFI) Versi Adaptasi Bahasa Indonesia. Diakses melalui Universitas Sumatera Utara website: repository.usu.ac.id/ Mastuti, Endah. (2005). Analisis Faktor Alat Ukur Kepribadian Big Five Adaptasi dari IPIP) pada Mahasiswa Suku Jawa. Diakses melalui Universitas Sumatera Utara website: repository.usu.ac.id/ McCrae & Costa. (2003). Personality in Adulthood, a Five Factor Theory Perspective. New York: The Guilford Press A Division of Guilford Publications, Inc. Osterlind, (2010). Modern Measurement (Theory, Principles, and Application of mental Appraisal) 2nd edition. USA: Pearson Education, Inc. Pervin, L.A., Cervon, D., & John, O.P. (2005). Personality : theory and research. New York: John Wiley & Sons, Inc. Rahmawati, Etty. (2010). Metode Deteksi Differential Item Functioning (Pendekatan dalam Teori Respons Aitem). Rammstedt & John. (2006). Measuring personality in one minute or less: A 10-item short version of the Big Five Inventory in English and German. Journal of Research in Personality, 41, 203-212. Diakses melalui www.sciencedirect.com Reeve, B. B., (tanpa tahun). An Introduction to Modern Measurement Theory. Diakses melalui http://appliedresearch.cancer.gov/areas/cognitive/immt.pdf Sacco, dkk., (2010). Differential Item Functioning of Pathological Gambling Criteria: An Examination of Gender, Race/Ethnicity, and Age. Journal Gambl Stud, 27, 317–330. doi: 10.1007/s10899-010-9209-x. Diakses melalui springerlink.com Schmitt, dkk., (2007) The Geographic Distribution Of Big Five Personality Traits. Journal Of Cross-Cultural Psychology, Vol. 38 No. 2, 173-212. doi: 10.1177/0022022106297299. Diakses melalui http://biculturalism.ucr.edu/
20 Schultz & Schultz. (2005). Theories of Personality 8th edition. Belmond: Wadsworth, Inc. Scott, dkk., (2010) Differential item functioning (DIF) analyses of health-related quality of life instruments using logistic regression. Diakses melalui http://www.hqlo.com/content/8/1/81 Sheppard, R., dkk. (2006). Differential Item Functioning by Sex and Race in the Hogan Personality Inventory. DOI: 10.1177/1073191106289031. Diakses melalui http://www.sagepublications.com Sugiyono, (2012). Statistika untuk Penelitian. Bandung: Alfabeta. Widhiarso, Wahyu., (2004). Evaluasi Faktor dalam Big Five, Pendekatan Analisis Konfirmatori. Diakses melalui widhiarso.staff.ugm.ac.id/ Zumbo, B. D. 1999. A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-Type (Ordinal) Item Scores. Ottawa, ON: Directorate of Human Resources Research and Evaluation, Department of National Defense. Diakses melalui http://educ.ubc.ca/faculty/DIF/handbook.pdf
