5
HASIL DAN PEMBAHASAN Deskripsi Mata Kuliah Bahasa Inggris Pada setiap awal semester I mahasiswa baru Sekolah Pascasarjana IPB (SPs-IPB) diwajibkan mengikuti ujian awal untuk menentukan status kemampuan bahasa inggrisnya. Mahasiswa yang memenuhi persyaratan akan diberi nilai dan selanjutnya dibebaskan dari mata kuliah Bahasa Inggris. Mahasiswa lain dibagi dalam dua kategori. Kategori 1 dapat langsung mengikuti kuliah Bahasa Inggris di semester I, sedangkan kategori 2 memerlukan pelajaran tutorial di semester I sebelum dapat mengikuti kuliah bahasa inggris di semester II. Mahasiswa yang dapat menunjukkan bukti lulus TOEFL dengan nilai minimum 450 yang diberikan oleh lembaga resmi TOEFL institusional tidak diwajibkan mengikuti mata kuliah ini. Tujuan diberikannya mata kuliah Bahasa Inggris kepada mahasiswa sekolah pascasarjana adalah untuk meningkatkan kemampuan membaca materi akademik, menulis, membuat ringkasan hasil penelitian dan menyusun kalimat dalam bahasa inggris, baik secara pasif maupun aktif. Analisis Deskriptif Jumlah mahasiswa yang tercatat mengikuti ujian awal TOEFL yang diselenggarakan oleh koordinator mata kuliah Bahasa Inggris dan
dapat diidentifikasi karakteristiknya sebanyak 604 orang. Dari 604 mahasiswa tersebut persentase terbesar (47%) adalah mahasiswa dengan skor TOEFL < 420 atau dikategorikan ke dalam kategori tutorial. Mahasiswa dengan kategori kuliah memiliki persentase sebesar 19% dan mahasiswa dengan kategori nilai A persentasenya sebesar 13%. Persentase hasil ujian awal TOEFL selengkapnya disajikan pada gambar 5. AB 9%
A 13%
Tutorial 47%
B 12%
Kuliah 19%
Gambar 5
Persentase TOEFL.
hasil
ujian
awal
Kategori tutorial mempunyai persentase terbanyak, hal ini menunjukkan masih rendahnya kemampuan awal Bahasa Inggris mahasiswa S2 SPs-IPB. Hal ini diduga terkait dengan karakteristik mahasiswa seperti jenis kelamin, status perkawinan, usia, daerah asal perguruan tinggi, IPK S1, serta selang waktu dari S1 ke S2. Berdasarkan jenis kelamin, persentase mahasiswa perempuan sebesar 51,5% dan 48,5% berjenis kelamin laki-laki. Gambar 6 memperlihatkan hubungan antara kategori skor TOEFL dengan jenis kelamin. Mahasiswa perempuan cenderung mendapat skor TOEFL yang lebih tinggi daripada mahasiswa laki-laki. 48,8
45,7
50 40 Persentase
Metode Tahapan-tahapan yang dilakukan dalam penelitian ini adalah: 1. Melakukan analisis deskriptif untuk mengetahui hubungan skor TOEFL dengan jenis kelamin, status perkawinan, usia, daerah asal perguruan tinggi, selang waktu S1 ke S2, dan IPK S1. 2. Melakukan analisis regresi diskontinuitas yang dimulai dengan mentransformasi nilai pretest. Transformasi yang dimaksud adalah mengurangi setiap nilai pretest dengan nilai cut-off. 3. Memeriksa hubungan secara deskriptif dengan membuat plot regresi pre-post test. 4. Menentukan derajat polinom dan interaksi. 5. Memperkirakan model awal dengan persamaan regresi polinom derajat tertinggi (overspesified). 6. Melakukan penyulingan model, yaitu analisis berturut-turut secara bertahap mengurangi derajat polinomnya sampai diperoleh model diagnostik yang tepat. 7. Menginterpretasikan hasil.
30 20
14,8
18,0 13,2 8,4
19,5 11,6 9,2
10,9
10 0 A
laki-laki perempuan AB B Kuliah Tutorial
Gambar 6 Sebaran persentase kategori skor TOEFL berdasarkan jenis kelamin. Berdasarkan status perkawinan, persentase mahasiswa yang berstatus belum kawin sebesar 56,5% dan berstatus kawin sebesar 43,5%. Pada gambar 7 terlihat bahwa mahasiswa yang berstatus belum kawin
6
55,1
60
41,1
40 30
70,1
70 60 50 40
54,9 38,2 22,5
30 20 10 0
3,9
20
9,1
10
16,4 14,715,5 12,3
8,7 4,2
A
15,4 9,4 2,6 2,6
2
AB
B
3 Tutorial
Kuliah
belum kawin
kawin AB
18,7 13,0 11,2
Gambar 8 Sebaran persentase kategori skor TOEFL berdasarkan daerah asal perguruan tinggi.
0
A
19,0
11,8 6,9
1
22,8
B
Kuliah
Tutorial
Gambar 7 Sebaran persentase kategori skor TOEFL berdasarkan status perkawinan. Untuk analisis deskriptif berdasarkan daerah asal perguruan tinggi, mahasiswa dibagi menjadi tiga kelompok yaitu mahasiwa yang berasal dari perguruan tinggi yang berada di Pulau Sumatera dan sekitarnya (wilayah 1), Pulau Jawa dan Madura (wilayah 2), dan Pulau Kalimantan, Sulawesi, Papua dan sekitarnya (wilayah 3). Sebaran hasil ujian awal TOEFL berdasarkan asal perguruan tinggi dapat dilihat pada lampiran 1. Sebagian besar mahasiswa (63,7%) berasal dari perguruan tinggi di wilayah 2, sisanya berasal dari wilayah 1 sebesar 16,9% dan wilayah 3 sebesar 19,4%. Secara berturutturut mahasiswa yang mempunyai kategori skor TOEFL lebih tinggi yaitu mahasiswa yang daerah asal perguruan tingginya berada di wilayah 2,1, dan 3. Hal ini ditunjukkan pada gambar 8. Pada wilayah 2, mahasiswa yang termasuk dalam kategori A sebesar 19%, sedangkan wilayah 1 sebesar 3,9% dan wilayah 3 sebesar 2,6%. Hal serupa juga terjadi pada kategori AB dan B. Mahasiswa yang termasuk dalam kategori AB pada wilayah 2 sebesar 11,2% dan pada wilayah 1 dan 3 sebesar 6,9% dan 2,6%. Begitu juga dengan kategori B pada wilayah 2,1, dan 3.
Berdasarkan usia, mahasiswa dibagi menjadi tiga kelompok usia yaitu usia < 30 tahun, 30-40 tahun, dan > 40 tahun, dengan persentase berturut-turut sebesar 62,1%, 33,1%, dan 4,8%. Hubungan antara kategori skor TOEFL dengan usia dapat dilihat pada gambar 9. Terlihat dengan bahwa bertambahnya usia, mahasiswa cenderung mendapat skor TOEFL yang lebih rendah. Hal ini ditandai dengan semakin tinggi persentase mahasiswa yang mendapat kategori kuliah dan tutorial. Persentase terendah terdapat pada usia < 30 tahun (57,9%), kemudian kelompok usia 30-40 tahun (77,5%) dan kelompok usia > 40 tahun mempunyai persentase yang paling tinggi (89,7%). 75,9
80 70 56,0
60 Persentase
Persentase
50
80
Persentase
cenderung mendapat kategori skor TOEFL yang lebih tinggi daripada mahasiswa yang berstatus kawin. Sebanyak 43% mahasiswa yang berstatus belum kawin mendapat kategori A, AB, dan B, sedangkan pada mahasiswa berstatus kawin hanya 22%.
50
40,3
40 21,5
17,6 16,0 13,9 12,3
30 20
10,5 9,0
10
3,0
13,8 6,9 3,4 0,0
0 <30 tahun A
AB
30-40 tahun B
Kuliah
>40 tahun Tutorial
Gambar 9 Sebaran persentase kategori skor TOEFL berdasarkan usia. Berdasarkan capaian IPK pada waktu S1 dapat dikelompokkan menjadi tiga kelompok yaitu kelompok mahasiswa dengan IPK S1 ≤ 2,80, IPK S1 2,81-3,50, dan IPK S1 > 3,50. Persentase terbesar terdapat pada kelompok mahasiswa dengan IPK S1 2,81-3,50 yaitu 68,5%. Kelompok mahasiswa dengan IPK S1 ≤ 2,8 dan IPK S1 > 3,5 mempunyai persentase
7
58,0
60
52,1
50 Persentase
yang hampir sama yaitu 15,6% dan 15,9%. Hubungan yang ditunjukkan antara skor TOEFL dengan IPK S1 yaitu dengan semakin besar IPK S1 maka mahasiswa cenderung mendapat skor TOEFL yang tinggi. Seperti yang terlihat pada gambar 11, mahasiswa dengan IPK S1 ≤ 2,80 mendapat skor TOEFL A, AB, dan B sebanyak 29,8% dan sebanyak 33,8% pada IPK S1 2,81-3,50. Persentase terbesar pada kelompok IPK S1 > 3,50 yaitu 39,6%.
41,5
40 30 20
16,1 12,8 14,9 14,6
53,2
Persentase
42,7
40 30
19,3 14,9 17,0
20
12,89,411,6
8,5 6,4
19,8
17,7 11,5 8,3
10 0 <=2,8 A
AB
2,81-3,50 B
Kuliah
>3,5 Tutorial
Gambar 10 Sebaran persentase kategori skor TOEFL berdasarkan IPK S1.
Selain itu juga dilihat deskripsi selang waktu dari S1 ke S2. Variabel selang waktu S1 ke S2 dihitung dengan mengurangkan tahun masuk S2 yaitu tahun 2009 dengan tahun lulus S1. Hasilnya dikelompokkan menjadi tiga kelompok. Sebanyak 55,5% mahasiswa dikelompokkan ke dalam selang waktu ≤ 4 tahun dan 28% pada selang waktu 5-9 tahun. Sisanya sebanyak 16,6% dikelompokan pada selang waktu ≥ 10 tahun. Mahasiswa cenderung mendapat skor TOEFL yang lebih rendah dengan semakin lamanya selang waktu S1 ke S2 atau sebaliknya. Hal ini sejalan dengan hubungan yang ditunjukkan pada variabel usia. Pada gambar 11 terlihat bahwa mahasiswa dengan selang waktu ≤ 4 tahun mendapat kategori kuliah dan tutorial sebesar 57,6%. Persentase yang lebih besar ditujukkan pada selang waktu 5-9 tahun yaitu 71,6% dan pada selang waktu ≥ 10 tahun persentasenya sebesar 84%.
9,5 4,7
8,0 6,0 2,0
0 <=4 tahun
Gambar 11
46,9
50
14,2
10
A
60
26,0
19,5
AB
5-9 tahun B
Kuliah
>=10 tahun Tutorial
Sebaran persentase kategori skor TOEFL berdasarkan selang waktu S1 ke S2.
Evaluasi Pengaruh Tutorial dengan Analisis Regresi Diskontinuitas Program tutorial diberikan kepada mahasiswa yang mendapat skor TOEFL < 420, sedangkan mahasiswa yang mendapat skor TOEFL 420-449 dapat langsung mengikuti kuliah. Tutorial menjadi syarat bagi mahasiswa yang mendapat skor TOEFL di bawah 420 untuk mengikuti kuliah, sehingga dalam hal ini skor 420 digunakan sebagai cut off dalam menentukan pemberian tutorial. Pemberian tutorial sebelum kuliah ini bertujuan untuk meningkatkan nilai akhir Bahasa Inggris, sehingga apabila dibuat persamaan garis regresi akan terdapat suatu diskontinuitas pada titik cut-off. Gambar 12 merupakan plot skor TOEFL (pretest) dengan nilai akhir (posttest) untuk rancangan tersebut. Sebagai kelompok pembanding yaitu kelompok mahasiswa dengan skor TOEFL 420-449 dan kelompok intervensi yaitu mahasiswa dengan skor TOEFL < 420. Evaluasi terhadap pengaruh tutorial dilakukan pada titik cut-off yaitu pada skor 420. Terlihat bahwa pada titik cut off tersebut terdapat suatu diskontinuitas garis regresi, namun secara visual menunjukkan adanya penurunan atau diskontinuitas negatif. Hal ini diduga karena rentang nilai pretest pada kelompok intervensi terlalu lebar. Kemungkinan pengaruh tutorial berbeda untuk pretest pada rentang nilai tersebut, sehingga untuk melihat pengaruhnya dicoba dilakukan pengelompokan.
8
k elompok interv ensi pembanding
90
nilai akhir (posttest)
80 70 60 50 40 30 20 300
320
340
360 380 400 skor TOEFL (pretest)
420
440
460
Gambar 12 Plot skor TOEFL (pretest) dengan nilai akhir (posttest). Dengan mencoba pada berbagai titik skor TOEFL maka diperoleh hasil bahwa pemberian tutorial akan berpengaruh pada kelompok skor TOEFL 380-419. Gambar 13 memperlihatkan plot skor TOEFL (pretest) dengan nilai akhir (posttest) setelah disekat pada skor 380. Seperti yang terlihat pada gambar, kelompok mahasiswa dengan skor TOEFL < 380 cenderung memiliki nilai akhir yang rendah yang ditunjukkan dengan warna hijau (pretest rendah), sehingga jika kelompok mahasiswa tersebut tetap dimasukkan dalam evaluasi akan mempengaruhi hasil keefektifannya. Identifikasi terhadap mahasiswa dengan skor TOEFL < 420 dan nilai akhir < 50 dapat dilihat pada lampiran 2. Pengaruh efektivitas tutorial secara visual terlihat pada kelompok tutorial dengan skor TOEFL 380-419 (kelompok intervensi) dengan kelompok kuliah (kelompok pembanding) yang masing-masing pada gambar ditunjukkan dengan warna hitam dan merah. Pemeriksaan hubungan secara visual
pada cut-off 420 menunjukkan bahwa terdapat diskontinuitas garis regresi yang berupa perubahan secara vertikal. Selain itu secara visual pada garis regresi yang mengepaskan titik-titik pada kelompok intervensi maupun kelompok pembanding tidak terlihat adanya suatu lekukan. Hal ini mengindikasikan adanya hubungan linier. Langkah selanjutnya adalah memodelkan hubungan pre-post test untuk kelompok intervensi dan kelompok pembanding. Pada saat membuat model, hasil pengamatan secara visual digunakan sebagai acuan untuk menentukan derajat polinomial. Derajat polinom yang digunakan adalah polinom berderajat dua. Hal ini berdasarkan pada aturan ibu jari yaitu jika hubungannya linier, maka sebagai model overspesifiednya ditransformasi naik sampai orde ke dua (Trochim 1990). Hasil pemodelan menggunakan model polinom berderajat dua atau kuadratik memberikan dugaan koefisien seperti yang ditunjukkan pada Tabel 2.
kelompok intervensi pembanding pretest rendah
90
Nilai akhir (Posttest)
80 70 60 50 40 30 20 300
320
340
360 380 400 420 Skor TOEFL (Pretest)
440
460
Gambar 13 Plot skor TOEFL (pretest) dengan nilai akhir (posttest) setelah disekat pada skor 380.
9
Tabel 2 Model dugaan dan revisi model Variabel model kuadratik Konstanta Pretest (Linier) Dummy pengelompokan Pretest *dummy pengelompokan Pretest 2(Kuadratik) Pretest 2 *dummy pengelompokan revisi 1 : eliminasi bentuk kuadratik Konstanta Pretest (Linier) Dummy pengelompokan Pretest *dummy pengelompokan revisi 2 : eliminasi interaksi linier Konstanta Pretest (Linier) Dummy pengelompokan
Hasil ini merupakan hasil dengan komponen x (skor TOEFL) yang telah ditransformasi. Transformasi dilakukan dengan mengurangkan setiap nilai pretest dengan nilai cut off. Pada model tersebut pengaruh program diduga sebesar 0,88 dengan nilai p sebesar 0,87 yang secara statistik tidak signifikan pada taraf nyata 5%. Begitu juga dengan koefisien derajat polinom tertinggi menunjukkan pengaruh yang tidak signifikan. Langkah selanjutnya dilakukan pendugaan kembali dengan mengeluarkan derajat polinom ordo kedua. Hasilnya seperti yang terlihat pada revisi 1. Pengaruh program sebesar 1,78 yang menunjukkan adanya peningkatan meskipun secara statistik tidak signifikan. Parameter komponen interaksi linier diduga sebesar 0,10 dengan nilai p sebesar 0,49 yang juga tidak signifikan. Dengan mengeluarkan komponen tersebut, diperoleh model revisi 2. Pengaruh program pada model tersebut sebesar 1,54. Meskipun koefisien tersebut tidak signifikan dan lebih kecil dari dugaan sebelumnya, namun model dengan mengeliminasi komponen interaksi linier memberikan keragamaan yang paling kecil. Kebaikan antar model dapat dilihat dari nilai R-sq(adj). Nilai R-sq(adj) terbesar dari ketiga model tersebut terdapat pada model revisi kedua yaitu model dengan mengeliminasi interaksi linier. Pemenuhan asumsi dalam regresi linier dapat didiagnostik secara deskriptif dengan membuat grafik plot sisaan. Hasil plot sisaan untuk ketiga model tersebut dapat dilihat pada lampiran 3. Kehomogenan sisaan dapat dilihat
b
SE(b)
P
69,18 -0,08 0,88 0,40 0,01 -0,01 s=8,54
2,33 0,39 5,34 0,60 0,01 0,02 R2 =23,8%
0,00 0,84 0,87 0,50 0,46 0,57 R2 (adj)=21,6%
68,04 0,20 1,78 0,10 s=8,50
1,74 0,10 2,93 0,14 R2 =23,6%
0,00 0,05 0,54 0,49 R2 (adj)=22,2%
67,26 0,25 1,54 s=8,49
1,34 0,07 2,90 R2 =23,4%
0,00 0,00 0,60 R2(adj)=22,5%
dari plot sisaan terhadap nilai dugaannya. Berdasarkan plot sisaan terhadap nilai dugaannya untuk ketiga model tersebut menunjukkan pola sisaan yang homogen. Plot sisaan terhadap urutan waktu digunakan untuk melihat ada atau tidaknya korelasi antar amatan. Pada ketiga model tersebut sisaan tidak menunjukkan adanya korelasi antar amatan. Plot sisaan dengan peluang normal dan histogram sisaan untuk ketiga model memberikan hasil yang tidak jauh berbeda. Terlihat bahwa plot sisaan terhadap peluang normal membentuk garis lurus dan histogram yang mengikuti bentuk seperti genta. Hal ini menunjukkan bahwa sisaan menyebar normal. Hasil pemodelan yang diperoleh menunjukkan bahwa tutorial berpengaruh positif sebesar 1,54 meskipun secara statistik pengaruh tersebut tidak signifikan. Nilai R-sq model yang relatif kecil kemungkinan disebabkan karena adanya faktor lain yang berpengaruh terhadap nilai akhir Bahasa Inggris. Sehingga dicoba dimasukkan variabel-variabel yang kemungkinan berpengaruh terhadap nilai akhir Bahasa Inggris. Dengan memasukkan peubah bebas usia, jenis kelamin, dan IPK S1 diperoleh model seperti pada Tabel 3. Pengaruh usia terhadap nilai akhir Bahasa Inggris sebesar 0,37, sedangkan pengaruh IPK S1 sebesar 3,05. Rata-rata perbedaan nilai akhir Bahasa Inggris antara mahasiwa yang berjenis kelamin perempuan dan laki-laki sebesar 2,32. Pengaruh ketiga variabel tersebut signifikan pada taraf nyata 10%. Terlihat bahwa dengan penambahan ketiga variabel bebas ke dalam
10
model meningkat R-sq(adj) model menjadi 35,2%. Diagnostik sisaan untuk model tersebut dapat dilihat pada lampiran 3. Tabel 3 Model akhir dengan menambahkan peubah usia, jenis kelamin, dan IPK S1 Variabel Konstanta Pretest (Linier) Dummy pengelompokan Usia IPK S1 Jenis Kelamin
b 67,44 0,26
SE(b) 7,95 0,06
P 0,00 0,00
1,79 -0,37 3,05 2,32
2,71 0,12 1,89 1,23
0,51 0,00 0,10 0,06
R2=34,4%
R2(adj)=32,5%
S=7,92
Adanya faktor selain perlakuan atau program yang menyebabkan perubahan terhadap nilai akhir Bahasa Inggris menjadi ancaman terhadap validitas internal. Ancaman terhadap validitas internal yang terjadi pada rancangan RD yaitu seleksi-maturasi dan seleksi-regresi. Seleksi-maturasi terjadi karena tingkat maturasi yang berbeda antara kelompok intervensi dengan kelompok pembanding. Hal ini menyebabkan perubahan nilai akhir Bahasa Inggris bukan hanya karena pemberian program melainkan karena perbedaan tersebut. Sedangkan seleksi-regresi terjadi karena adanya nilai ekstrim pada skor TOEFL (pretest) namun pada saat posttest kelompok nilai tersebut mengalami peningkatan nilai akhir Bahasa Inggris meskipun pemberian program tidak berpengaruh. Peningkatan nilai akhir Bahasa Inggris dapat terjadi karena adanya efek regresi terhadap rataan. Selain itu terdapat ancaman interaksi sosial antar kelompok intervensi dengan kelompok pembanding. Dalam penelitian ini ancaman interaksi sosial yang terjadi yaitu adanya difusi atau imitasi perlakuan. Ancaman sosial ini muncul karena sebagian besar mahasiswa membentuk kelompok belajar atau mengikuti les Bahasa Inggris yang didalamnya terdapat mahasiswa dari kelompok pembanding maupun kelompok intervensi. Hal ini memungkinkan adanya pertukaran informasi antar kelompok mahasiswa. Generalisasi terhadap kesimpulan yang diperoleh terbatas hanya pada orang, tempat, dan waktu pada saat dilakukannya penelitian. Namun hasil penelitian ini dapat digunakan sebagai acuan di tahun mendatang terhadap orang yang berbeda.
KESIMPULAN DAN SARAN Kesimpulan Rancangan regresi diskontinuitas dapat digunakan untuk mengevaluasi pengaruh tutorial mata kuliah Bahasa Inggris pada mahasiswa S2 SPs-IPB tahun ajaran 2009/2010. Secara umum dengan adanya tutorial memberikan pengaruh positif pada kelompok mahasiswa dengan skor TOEFL (pretest) 380-419 meskipun secara statistik tidak signifikan. Pengaruh tutorial belum terlihat pada kelompok mahasiswa dengan skor TOEFL < 380. Terdapat faktor lain selain tutorial yang menyebabkan perubahan terhadap nilai akhir bahasa inggris yaitu usia, IPK S1, dan jenis kelamin. Hal ini akan menjadi ancaman terhadap validitas internal. Ancaman terhadap validitas internal yang terjadi pada rancangan RD yaitu seleksi-maturasi dan seleksi-regresi. Sedangkan ancaman interaksi sosial yang terjadi dalam penelitian ini yaitu difusi atau imitasi perlakuan. Generalisasi terhadap kesimpulan yang diperoleh terbatas hanya pada orang, tempat, dan waktu pada saat dilakukannya penelitian. Namun hasil penelitian ini dapat digunakan sebagai acuan di tahun mendatang terhadap orang yang berbeda. Saran Diperlukan tutorial khusus terhadap mahasiswa yang mempunyai skor TOEFL < 380 untuk meningkatkan nilai akhir Bahasa Inggrisnya. Selain itu perlu meningkatkan kualitas tutorial yang sudah ada supaya pengaruhnya signifikan. DAFTAR PUSTAKA Campbell DT, Stanley JC. 1963. Experimetal and Quasi-Experimental Designs for Research. London: Houghton Mifflin Company. Cook TD, Campbell DT. 1979. Quasi Experimentation Design & Analysis Issues for Field Settings. Boston. Houghton Mifflin Company. Draper NR, Smith H. 1992. Analisis Regresi Terapan Edisi Kedua. Sumantri B, penerjemah. Jakarta: Gramedia Pustaka Utama. Terjemahan dari: Applied Regression Analysis. Gribbons B, Herman J. 1997. True and quasi experimental design. Washington DC: ERIC. Hines WW, Montgomery DC. 1990. Probabilita dan Statistik Dalam Ilmu
