STUDI GENERALIZABILITAS TES TIPE DUA FACET DENGAN MENGGUNAKAN ANALISIS VARIAN TIGA JALUR Oleh Purwo Susongko Universitas Pancasakti Tegal (
[email protected]) Teori generalizabilitas membahas kajian konseptual dan metodologi untuk menjelaskan kesalahan pengukuran yang lebih detail termasuk diantaranya sumber-sumber kesalahan dalam prosedur pengukuran pendidikan dan psikologi. Aspek kuantitatif dari teori generalizabilitas dapat dianalisis dengan pendekatan teori tes klasik dan analisis varian, walaupun pada dasarnya konsep dasar teori generalizabilitas lebih luas dan berkembang lebih lanjut melampau teori tes klasik. Konsep dasar dan metodologi dari teori generalizabilitas khususnya untuk tipe dua facet dibahas secara komprehensif dalam makalah ini dengan menggunakan data empirik pada tes prestasi belajar kimia di Sekolah Menengah Umum dengan bantuan analisis varian tiga jalur.
dan
Kata kunci: generalizabilitas, analisis varian tiga jalur
kesalahan
facet,
pengamatan
yang
reliabel. Menurut Allen & Yan (1979), teori generalizabilitas secara eksplisit mempertimbangkan
sumber-sumber
varians sistematik yang berbeda dalam pengukuran dan menggambarkan caracara mengestimasi banyak varians yang disumbangkan oleh sumber-sumber ini. Teori generalizabilitas melihat teori tes klasik
(true-score
theory)
terlalu
menyederhanakan permasalahan. Hal ini disebabkan
skor
tampak
hanya
diteorikan merupakan penjumlahan dari skor yang sebenarnya (true-score) dan pengukuran
(error
of
measurement) sehingga dalam konsep reliabilitas kesalahan baku
A. Pendahuluan Konsep
mendesain
generalizabilitas
merupakan penyempurnaan dari konsep
sistematik
yang muncul tidak dapat terdeteksi dengan baik. Banyak pembuat tes menyajikan
reliabilitas dalam teori tes klasik yang untuk
data yang ekivalen dari bentuk tes
meningkatkan akurasi interpretasi tes.
alternatif, tetapi seringkali kondisi kedua
Teori generalizabilitas atau teori G
data
memberikan suatu kerangka kerja untuk
sepenuhnya spesifik dan sangat mungkin
mengkonseptualisasi,
ada pengaruh sistematik pada ekivalensi
merupakan
suatu
usaha
menginvestigasi,
yang
telah
terkumpulkan
tak
yang
tidak
diujikan.
Salah
satu
terpisah
untuk
setiap
aplikasi
alat
kelemahan konsep reliabilitas adalah
pengukuran; koefisien generalisabilitas
sulit sekali membuat dua tes dengan
(yang adalah reliabilitas) dari suatu tes
kondisi
karena
adalah bukan suatu sifat invarian (tak
sulitnya memenuhi asumsi dua tes yang
berubah) dari tes melainkan dipengaruhi
paralel, maka hasil estimasi reliabilitas
oleh situasi mana tes diselenggarakan.
dapat ambigu atau keputusan yang
Studi
dibuat tanpa didasarkan pada informasi
informasi
yang
Contohnya,
karakteristik tes di bawah perbedaan
menggunakan rumus Spearman-Brown,
kondisi testing, tetapi analisis data yangd
seorang
digunakan lebih kompleks dibanding
yang
paralel.
Oleh
memadai.
peneliti
bahwa
dapat
memprediksi
menduakalikan
jumlah
G
memberikan lebih
kemanfaatan,
jauh
mengenai
dalam teori tes klasik.
pengamatan dapat menghasilkan derajat
Tulisan
ini
beberapa
Seandainya pengamatan dilakukan oleh
Membahas
beberapa
menilai
generalizabilitas dalam teori pengukuran
(mengamati) perilaku anak-anak hari
pendidikan, (2) Membahas penggunaan
demi
Tanpa
analisis varian tiga jalur sebagai metode
melakukan studi G, peneliti tidak akan
estimasi varian-varian komponen yang
dapat mengetahui apakah hal itu sesuai
terlibat
dengan menduakalikan jumlah pengamat
generalizabilitas,
dan menerima jumlah hari pengamatan
koefisien generalizabilitas dari hasil tes
yang sama, untuk menunjukkan atau
secara empirik pada tes prestasi belajar
menjaga jumlah pengamat yang sama
Kimia di SMA
dan
hari
yang
berturut-turut.
menduakalikan
jumlah
hari
pengamatan, atau membuat beberapa penyesuaian
sebagai
mengkaji
reliabilitas tertentu yang dikehendaki.
pengamat,
hal
akan
konsep
dalam
B. Konsep
berikut: dasar
estimasi (3)
(1) teori
koefisien
Mengestimasi
Dasar
Teori
Generalizabilitas
lanjutan.
Teori
Teori G merupakan metode yang
secara
eksplisit
komprehensif untuk mendesain, menilai,
memperhatikan masalah-masalah seperti
dan memperbaiki konsistensi internal
itu, dan menjelaskannya bahwa akurasi
dan stabilitas pengukuran (Williams &
pengukuran harus diperhatikan secara
Patterson, 1992). Teori G, menurut Matt
generalisabilitas
(2002) menginterpretasi teori reliabilitas
validitas.
klasik sebagai suatu teori yang dapat
dependability
menggeneralisasi
sampel
daripada reliability memunculkan minat
pengamatan ke populasi pengamatan
dalam mempersatukan reliabilitas dan
darimana sampel tersebut diambil secara
validitas. Bagaimana mendesain dan
acak. Karena pengamatan digeneralisasi
menginvestigasi
ke banyak populasi yang berlainan,
tindakan-tindakan
dependable
maka sebenarnya dapat pula koefisien
bahasan
teori
reliabilitas hasil estimasi sudah tidak
Rohani,2008)
tepat
lagi
dari
dengan
suatu
kondisi
yang
sebenarnya. Dalam
Penggunaan dan
generalizability
ukuran-ukuran
pokok
Dalam
istilah-istilah
teori
atau adalah
G
(Ahmad
generalizabilitas,
pengamatan (skor tes teruji) dilihat teori
G,
kesalahan-
sebagai sampel dari universe (populasi)
kesalahan sistematik dapat diidentifikasi
pengamatan
disamping kesalahan acak sehingga teori
Populasi menggambarkan kondisi yang
G
besarnya
teruji dapat diamati atau dites, yang
reliabilitas dan validitas secara bersama-
menimbulkan hasil yang ekivalen pada
sama. Hal ini tentunya tidak dapat
beberapa
dilakukan dengan teori tes klasik, karena
generalisabilitas
pada konsep teori tes klasik reliabilitas
keberadaan populasi yang berlainan dan
dan validitas adalah dua konsep yang
menjadi tanggung jawab penyusun tes
berbeda dan diestimasi secara terpisah.
untuk menetapkan batasan berlakunya
Dalam
reliabilitas
hasil tes tersebut. Kondisi spesifik yang
didefinisikan sebagai ukuran ketepatan
dipertimbangkan dalam tes biasa disebut
tes dari kesalahan acak sedangkan
facets atau dimension. Sebagai contoh
validitas didefinisikan sebagai ukuran
adalah
ketepatan tes dari kesalahan sistematik.
banyaknya item tes, bentuk tes, jumlah
Dalam teori G, suatu populasi, segi-
rater
seginya
dispesifikasi,
dapat
teori
dan
pengamatan
menyajikan
tes
klasik,
kondisi-kondisi yang
dapat
bagi
diterima
yang
tingkatan
dapat
diterima.
spesifik.
menekankan
Teori bahwa
ukuran sampel pengambil tes,
dan
sebagainya. dan
Kondisi
ini
pengaruhnya-
pengaruhnya dapat diuji.
ditegaskan melalui eksplikasi konstrak
Misalkan suatu tes dilaksanakan
dengan hati-hati, domain tradisional teori
pada sejumlah peserta tes (p), dengan
mengerjakan tes dalam beberapa bentuk
komponen-komponen varian persamaan
yang berbeda (t) dan item yang berbeda
2 sebagai
(r). Tes tersebut dinyatakan sebagai tes
(EMS/expected mean square) pada tabel
yang berdimensi 2 ( 2 facet) karena
1 berikut. Kuadrat tengah harapan ini
mempertimbangkan dimensi bentuk tes
dapat diestimasi oleh besarnya kuadrat
(t) dan banyaknya item (r). Model yang
tengah (MS/mean square) dari model
tepat untuk
pengaruh acak atau rancangan acak
kuadrat tengah harapan
dalam kasus ini adalah 3 X ptr v p vt v r v pt v pr vtr v faktorial, ....... 1) ptr .......... faktorial masing-masing faktor peserta dimana µ adalah rerata umum dari
tes, bentuk tes dan item tes. Rancangan 3
populasi dan v adalah pengaruh dari
faktor ini digunakan untuk mengestimasi
berbagai kondisi yaitu pengaruh kondisi
koefisien G
peserta tes, bentuk tes dan item tes yang
faktor
digunakan dalam tes tersebut. Masing-
dimensi tes.
dua facet/dimensi karena
peserta
tes
bukan
termasuk
masing pengaruh tersebut saling bebas
Tabel 1
atau tidak berkorelasi. Varian dari skor
Kuadrat Tengah dan Estimator dari
yang didapatkan peserta tes sesuai
Komponen-Komponen Varian untuk
dengan persamaan 1 dapat dinyatakan
Studi G.
sebagai berikut:
Disain pxtxr
2 ( X ptr ) 2 ( p) 2 (t ) 2 (r ) 2 ( pt )
Pengaruh EMS(α) σ2 (α) 2 ( pr ) (α) 2 (tr ) 2 ( ptr ) .................2) P
Persamaan 2 menunjukkan varian
σ2(ptr)+nt
(MS(p)+MS(pt)-
σ2(pr)+nr
MS(pr)+MS(ptr))/
skor yang didapat peserta tes dalam
σ2 (pt)+ nt nt nr
populasi
nr σ2(p)
terdiri
dari
varian
yang
disebabkan oleh peserta tes, varian yang
σ2(ptr)+np
(MS(t)+MS(pt)-
disebabkan oleh bentuk tes , varian yang
σ2(tr)+nr
MS(tr)+MS(ptr))/
disebabkan oleh item yang digunakan
σ2 (pt)+ np np nr
dalam tes dan varian berbagai interaksi
nr σ2(t)
antara dimensi-dimensi tersebut. Dari desain ini, selanjutnya dapat ditentukkan
T
R
σ2(ptr)+np
(MS(r)+MS(pr)-
σ2(tr)+nt
MS(tr)+MS(ptr))/
Pt
σ2 (pr)+ np np nt
kecuali
nt σ2(t)
disebabkan peserta tes σ2(p).
σ2(ptr)+ nr (MS(pt)-
σ2(∆)=
σ2 (pt)
2 (t ) 2 (r ) 2 ( pt ) 2 ( pr ) 2 (tr ) 2 ( ptr ) .................5)
MS(ptr))/ nr
varian
kesalahan
yang
σ2(ptr)+ nt (MS(pr)-
Pr
σ2 (pr) Tr
Ptr
Kesalahan relatif didefinisikan sebagai
MS(ptr))/ nt
σ2(ptr)+ np (MS(tr)- MS(ptr))/
sebagai perbedaan skor deviasi peserta
σ2(tr)
np
tes dengan skor deviasi populasinya.
σ2(ptr)
MS(ptr)
δP=(
XpTR-µTR)-(
µp-
µ).....................................................6) Sebelum
mendefinisikan
Untuk desain penelitian ini, maka varian
koefisien generalizabilitas, maka perlu
kesalahan relatif
dapat dinyatakan
didefinisikan terlebih dahulu berkaitan
sebagai
dengan varian kesalahan pengukuran
σ2(δP)=
yang terdiri dari varian kesalahan absolut
2 ( pt ) 2 ( pr ) 2 ( ptr ) ...................................7)
dan varian kesalahan relatif. Kesalahan absolut, secara sederhana didefinisikan
Selanjutnya,
sebagai perbedaan antara skor peserta tes
generalizabilitas(ρ2)
dalam
dependabilitas (Ф) dapat didefinisikan
sampel
dan
skor
populasi
koefisien
(univers).
sebagai berikut:
∆p=XpTR-
ρ2
dan
2 ( ) 2 ( ) 2 ( )
=
µp.............................................................. .......................................................3)
.............................................8)
Oleh karenanya bila diaplikasikan ke
Ф=
persamaan 2, dapat ditentukkan bahwa:
indeks
2 ( ) 2 ( ) 2 ()
∆p=
............................................9)
v p vt v r v pt v pr vtr v ptr .................4)
Koefisien
generalizabilitas
identik
dengan koefisien reliabilitas pada teori Dari persamaan 4 dapat dinyatakan 2
tes
klasik,
sedangkan
indeks
bahwa varian kesalahan absolut σ (∆),
dependabilitas mempunyai nilai yang
adalah jumlah seluruh varian kesalahan
lebih
kecil
dibanding
koefisien
generalizabilitas dependabilitas
karena menggunakan
indeks
model 2 facet sehingga menggunakan
varian
analisis varian model 3 jalur,
masing
kesalahan absolut yang lebih besar
masing subjek, item
dibanding varian kesalahan relatif yang
Dengan bantuan program SPSS versi 14,
digunakan
tabel anava untuk analisis tiga jalur
pada
koefisien
generalizabilitas. Indeks dependabilitas menunjukkan
ketepatan
ketika
dan bentuk tes.
dapat dilihat pada Tabel2.
skor
Tabel 2
secara absolut dinterpretasikan seperti
Hasil Analisis Anava Tiga Jalur
pada tes yang beracuan kriteria.
Untuk Mengestimasi
C. Penelitian Empirik
Pengaruh
Studi ini dilakukan terhadap tes
Jumla
Der
Kuadr
σ2
h
ajat
at
(α)
prestasi belajar kimia semester gasal
Kuadr beb
Tenga
kelas XI SMA dengan melibatkan
at/SS
h/MS
peserta tes sebanyak 60 siswa dengan memperhatikan kondisi bentuk tes dan
f Peserta tes
banyaknya item tes yang digunakan. Data diambil dari siswa SMA I Slawi
438,3
59
Item
218,3
Bentuk
16,33
9
1
3
Siswa yang sama dalam selang waktu
Subjek.Ite
355,9
sekitar 2 minggu mengerjakan item yang
m
80
sama tetapi dalam bentuk yang berbeda
Subjek.Be
319,1
yaitu bentuk uraian dan testlet. Jumlah
ntuk
67
item sebanyak 10 yang terdiri dari 2
Item.Bent
25,98
pokok bahasan masing-masing 5 item.
uk
3
Pokok bahasan tersebut
adalah : (1)
Subjek.Ite
346,5
Struktur Atom, sistem Periodik dan Ikatan
m.Bentuk
17
Kimia, (2) Energitika Kimia.
Total
1720,
119
637
9
menentukan
koefisien
generalizabilitas tes dilakukan dengan
0,2 26
20
bentuk yaitu bentuk uraian dan testlet.
Untuk
7,429
37
program IPA tahun pelajaran 2007/2008. Bentuk tes yang digunakan sebanyak 2
as/d
531
24,25
0,1
8
78
16,33
0,0
3
14
0,670
0,0 085
59
5,410
0,4 757
9
2,887
0,0 37
531
0,653
0,6 53
Dari Tabel 2 dapat ditentukkan
dari suatu sampel observasi. Studi teori
besarnya Koefisien generalizabilitas dan
G mengestimasi komponen-komponen
Indeks dependabilitas, sebagai berikut:
varian dari populasi yang relevan. Teori
0,226
generalizabilitas
ρ2 = 0,226+0,5212 = 0,302
pengukuran
0,226
Ф=0,226+1,366 = 0,142
merupakan yang
menjelaskan
lebih
secara
model dapat
memuaskan
berkaitan dengan kesalahan pengukuran D. Kesimpulan
dibanding
Teori tes klasik dan analisis varian (anava) merupakan
dasar teori
generalizabilitas. Hal ini disebabkan
dengan
teori
tes
klasik.
Dengan teori G, konsep validitas dan reliabilitas dapat dimaknai secara lebih komperhensif dan integral.
dengan prosedur anava dapat diterapkan
Analisis varian tiga jalur dapat
untuk model yang lebih luas dari teori
digunakan untuk menganalisis estimasi
tes klasik. Namun demikian
besarnya komponen-komponen varian
teori
generalizabilitas tidak dapat dianggap
yang
merupakan gabungan dari teori tes klasik
generalizabilitas.Pada
dan anava saja. Sebagai contoh, teori tes
generalizabilitas 1 facet/dimensi dapat
klasik
mengidentifikasi
menggunakan analisis varian dua jalur,
sumber kesalahan pengukuran secara
sedangkan pada model generalizabilitas
komprehensif , demikian pula, teori
2 facet/dimensi dapat menggunakan
generalizabilitas tidak memaknai hasil
analisis varian tiga jalur. Studi empirik
analisis varian dengan membandingkan
yang telah dilakukan pada 60 siswa kelas
distribusi F yang biasa digunakan dalam
XI SMA I Slawi program IPA tahun
uji statistik anava. Oleh karenanya dapat
pelajaran 2007/2008 pada tes prestasi
disimpulkan
teori
belajar
dari
analisis varian tiga jalur sangat baik bila digunakan untuk mengestimasi besarnya
tidak
dapat
generalizabilitas kedua
bahwa bukan
bagian
metode
tersebut.
Analisis
generalizabilitas
dimulai
dengan
menspesifikasi suatu univers (populasi )
dibutuhkan
kimia,
dalam
model
menunjukkan
komponen-komponen
studi
varian
bahwa
yang
terlibat dalam studi generalizabilitas.
E. Daftar Pustaka Allen, Mary J. & Yan, Wendy M. (1979). Introduction to measurement theory. Monterey, California: Brooks/Cole Publishing Company Ahmad Rohani(2005) Teori generalizabilitas(teori G). Kumpulan makalah : Sistem Penilaian hasil Belajar dalam KBK. FIAI .Unnisula. Semarang Boodoo.
(2001).
Bayesian
procedures
and
generalizability
theory.
Gwynpres.mislevyclass.doc.. Brennan, R.L.(1992) Elements of generalizability theory (rev, ed). Iowa City, IA: American College Testing. --------------------(2006). Generalizability theory: Educational measurement. National Council on Measurement in Education. Crocker & Algina.(1986). Introduction to classical and modern test theory.New York: Holt, Rinehart And Winston. Cronbach, L.J., Gleser, G.C., Nanada, H., & Rajaratnam, N. (1972). The dependability of behavioral measurement: Theory of generalizability for scores and profiles. New York: Devellis, R.F.(1991). Scale Development, Theory and Applications. Newbury Park London New Delhi: Sage Publications Dunn-Rankin, P, et al.(2004). Scaling methods.Mahwah, New Jersey,London: Lawrance Erlbaum Associates, Publishers. Hogg, RV & Tanis, EA.(2004).Probability and statistical inference.New York: Macmillan Publishing Co, Inc Keppel, G.(1982). Design and analysis , a researchers handbook.New Jersey: PrenticeHall, Engelwood Cliffs. Nunnaly, JC.(1978).Psychometric Theory.New York: Mcgraw-hill Book Company. Netemeyer, RG, Beardan, WO & Sharma, S ,(2003). Scaling Procedurs, Issues and Aplications. Thousand Oaks: Sage Publications Wiley.Matt, George E. (2002). Generalizability theory.htm.
[email protected].
Williams, Daniel R. & Patterson, Michael E. (1992). The use of generalizability theory in leisure research. Virginia: Departement of Forestry, Polytechnic Institute and State University.
