PENERAPAN RANCANGAN REGRESI DISKONTINUITAS DALAM EVALUASI PENGARUH TUTORIAL BAHASA INGGRIS
ZUNIDHA RATMANAWATI
DEPARTEMEN STATISTIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2010
RINGKASAN ZUNIDHA RATMANAWATI. Penerapan Rancangan Regresi Diskontinuitas dalam Evaluasi Pengaruh Tutorial Bahasa Inggris. Dibimbing oleh BUDI SUSETYO, INDAHWATI, dan ALFA CHASANAH. Tutorial Bahasa Inggris diberikan kepada mahasiswa S2 SPs-IPB yang mendapat skor TOEFL < 420 sebagai syarat untuk mengikuti kuliah, sedangkan mahasiswa yang mendapat skor TOEFL 420-449 dapat langsung mengikuti kuliah. Skor TOEFL 420 menjadi cut off dalam penentuan pemberian tutorial. Penelitian ini mencoba menerapkan rancangan regresi diskontinuitas untuk evaluasi pengaruh tutorial Bahasa Inggris pada mahasiswa S2 SPs-IPB tahun ajaran 2009/2010. Rancangan regresi diskontinuitas diperlukan untuk mengetahui pengaruh suatu program dengan penentuan pemberian program berdasarkan pada cut off. Skor TOEFL pada ujian awal digunakan sebagai ukuran pretest dan nilai akhir mata kuliah Bahasa Inggris sebagai ukuran posttest. Hasil yang diperoleh adalah tutorial memberikan pengaruh positif pada kelompok dengan skor TOEFL (pretest) 380-419 meskipun secara statistik tidak signifikan. Pengaruh tutorial belum terlihat pada kelompok mahasiswa dengan skor TOEFL < 380. Selain itu, terdapat faktor lain di luar pemberian tutorial yang berpengaruh terhadap nilai akhir mata kuliah Bahasa Inggris yaitu usia, IPK S1, dan jenis kelamin. Kata kunci: rancangan regresi diskontinuitas, cut off, tutorial.
PENERAPAN RANCANGAN REGRESI DISKONTINUITAS DALAM EVALUASI PENGARUH TUTORIAL BAHASA INGGRIS
ZUNIDHA RATMANAWATI
Skripsi sebagai salah satu syarat untuk memperoleh gelar Sarjana Statistika pada Departemen Statistika
DEPARTEMEN STATISTIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2010
Judul Skripsi Nama NRP
: Penerapan Rancangan Regresi Diskontinuitas dalam Evaluasi Pengaruh Tutorial Bahasa Inggris : Zunidha Ratmanawati : G14060107
Menyetujui:
Pembimbing I,
Pembimbing II,
Ir. Indahwati, M.Si NIP. 196507121990032002
Dr. Ir. Budi Susetyo, MS NIP. 196211301986031003 Pembimbing III,
Dra. Alfa Chasanah, M.A NIP. 196106111986012001
Mengetahui: Plh. Ketua Departemen Statistika Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor
Dr. Ir. I Made Sumertajaya, M.Si NIP. 196807021994021001
Tanggal Lulus :
KATA PENGANTAR Puji dan syukur penulis panjatkan kehadirat Allah SWT atas segala limpahan rahmat, hidayah dan kasih sayang-Nya, sehingga penulis dapat menyelesaikan karya ilmiah ini. Karya ilmiah ini memiliki judul “Penerapan Rancangan Regresi Diskontinuitas dalam Evaluasi Pengaruh Tutorial Bahasa Inggris”. Karya ilmiah ini merupakan syarat untuk memperoleh gelar Sarjana Statistika pada Departemen Statistika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Terima kasih penulis ucapkan kepada: 1. Dr.Ir. Budi Susetyo MS, Ir. Indahwati, M.Si, dan Dra. Alfa Chasanah M.A yang telah meluangkan waktu untuk membimbing, berdiskusi, serta memberi arahan sehingga karya ilmiah ini dapat diselesaikan. 2. Prof. Dr. Ir. Aunuddin, M.Sc selaku dosen penguji luar yang telah memberikan saran dan masukan kepada penulis. 3. Dosen-dosen Statistika atas ilmu yang diberikan serta nasehat yang membangun. 4. Bapak, ibu, mbak ik yang telah mengajarkan bahwa usaha, doa, dan kesabaran merupakan kombinasi terbaik untuk mencapai kesuksesan. 5. Dian, Yule, Iin, Ira, Rahma, Linda, Sachnaz, serta Muhammad Fariz Isnanto atas semangat, doa, dan dukungannya. 6. Teman-teman Statistika 42,43,44 dan 45 “there’s no statistics without variance”. 7. Staf Departemen Statistika yang telah membantu dalam penyelesaian karya ilmiah ini. 8. Tanoto Foundation atas beasiswa yang telah diberikan. Semoga karya ilmiah ini dapat bermanfaat bagi semua pihak.
Bogor, Oktober 2010
Zunidha Ratmanawati
RIWAYAT HIDUP Penulis dilahirkan di Temanggung pada tanggal 11 Juni 1989. Penulis merupakan anak kedua dari dua bersaudara, dari pasangan Suratman dan Sri Nuryani. Pendidikan dasar diselesaikan penulis di SD N 2 Gemawang tahun 2000, kemudian dilanjutkan di SLTP N 1 Ngadirejo dan lulus tahun 2003. Tahun 2006 penulis menyelesaikan pendidikan menengah atas di SMA N 1 Temanggung, dan pada tahun yang sama penulis diterima di Institut Pertanian Bogor melalui jalur Undangan Seleksi Masuk IPB (USMI). Penulis diterima di Departemen Statistika Fakultas Matematika dan Ilmu Pengetahuan Alam pada tahun 2007 dan mengambil minor Matematika Keuangan dan Aktuaria. Selama mengikuti perkuliahan, penulis aktif dalam kepengurusan Himpunan Keprofesian Gamma Sigma Beta (GSB) sebagai staf divisi Analisis Data tahun 2008/2009. Penulis juga pernah menjadi asisten Mata Kuliah Metode Statistika tahun ajaran 2007/2008 dan 2008/2009. Pada bulan Februari sampai dengan April 2010, penulis menjalani praktek lapang di Pusat Data dan Informasi Pertanian Kementerian Pertanian RI. Selain itu penulis juga pernah melakukan magang di Badan Pusat Statistik (BPS) Kabupaten Temanggung pada bulan Juli 2008.
DAFTAR ISI Halaman
DAFTAR GAMBAR ...................................................................................................................... vii DAFTAR TABEL .......................................................................................................................... vii DAFTAR LAMPIRAN ................................................................................................................... vii PENDAHULUAN Latar Belakang............................................................................................................................ 1 Tujuan ........................................................................................................................................ 1 TINJAUAN PUSTAKA Rancangan Percobaan Kuasi (Quasi Experimental Design) ....................................................... 1 Validitas Internal dan Eksternal .................................................................................................. 1 Rancangan Regresi Diskontinuitas (Regression Discontinuity Design) ..................................... 2 Analisis Regresi Diskontinuitas .................................................................................................. 3 METODOLOGI Data ............................................................................................................................................. 4 Metode ......................................................................................................................................... 5 HASIL DAN PEMBAHASAN Deskripsi Mata Kuliah Bahasa Inggris ........................................................................................ 5 Analisis Deskriptif ....................................................................................................................... 5 Evaluasi Pengaruh Tutorial dengan Analisis Regresi Diskontinuitas .......................................... 7 KESIMPULAN DAN SARAN Kesimpulan ............................................................................................................................... 10 Saran ......................................................................................................................................... 10 DAFTAR PUSTAKA ..................................................................................................................... 10 LAMPIRAN .................................................................................................................................... 12
DAFTAR GAMBAR Halaman
1.
Hubungan pre-post test sebelum diberi program ............................................................... 3
2.
Pengaruh positif pemberian program ................................................................................. 3
3.
Pengaruh negatif pemberian program ................................................................................ 3
4.
Kategori skor TOEFL ........................................................................................................ 4
5.
Persentase hasil ujian awal TOEFL .................................................................................... 5
6.
Sebaran persentase kategori skor TOEFL berdasarkan jenis kelamin ................................ 5
7.
Sebaran persentase kategori skor TOEFL berdasarkan status perkawinan ....................... 6
8.
Sebaran persentase kategori skor TOEFL berdasarkan daerah asal perguruan tinggi ........ 6
9.
Sebaran persentase kategori skor TOEFL berdasarkan usia .............................................. 6
10. Sebaran persentase kategori skor TOEFL berdasarkan IPK S1 .......................................... 7 11. Sebaran persentase kategori skor TOEFL berdasarkan selang waktu S1 ke S2 ................. 7 12. Plot skor TOEFL (pretest) dengan nilai akhir (posttest) .................................................... 8 13. Plot skor TOEFL (pretest) dengan nilai akhir (posttest) setelah disekat pada skor 380 ..... 8
DAFTAR TABEL Halaman
1.
Rancangan regresi diskontinuitas pada evaluasi tutorial Bahasa Inggris ........................... 2
2.
Model dugaan dan revisi model ......................................................................................... 9
3.
Model akhir dengan menambakan peubah usia, jenis kelamin, dan IPK S1 ................... 10
DAFTAR LAMPIRAN Halaman
1.
Sebaran hasil ujian awal TOEFL berdasarkan asal perguruan tinggi ................................ 13
2.
Identifikasi terhadap mahasiswa dengan skor TOEFL < 420 dan nilai akhir < 50 ........... 17
3.
Plot sisaan (a) model kuadratik, (b) model revisi 1, (c) model revisi 2, dan (d) model akhir ....................................................................................................................... 18
1
PENDAHULUAN
TINJAUAN PUSTAKA
Latar Belakang Rancangan yang digunakan dalam evaluasi suatu program dengan kriteria pemberian intervensi/perlakuan berdasarkan pada nilai cut off disebut rancangan regresi diskontinuitas (regression discontinuity design). Rancangan ini termasuk dalam bagian rancangan percobaan kuasi dimana asumsi keacakan tidak terpenuhi. Pada rancangan regresi diskontinuitas terdapat ketidakacakan ketika menempatkan individu ke dalam kelompok berdasarkan nilai cut-off pada pretest. Rancangan ini banyak diterapkan di bidang pendidikan. Dalam bidang pendidikan, pengajar sering memberikan intervensi yang dilakukan untuk meningkatkan kualitas peserta didiknya. Salah satu upaya yang dilakukan adalah pemberian tutorial yang diberikan kepada peserta didik yang mempunyai tingkat pemahaman di bawah rata-rata. Alat ukur yang digunakan untuk mengukur tingkat pemahaman peserta didik adalah skor nilai ujian. Skor nilai ujian dapat digunakan sebagai cut-off untuk memilih peserta didik yang akan mendapat tutorial, sehingga akan terbentuk dua kelompok yaitu kelompok yang dikenai program dan kelompok yang tidak dikenai program (kontrol). Harapannya kelompok peserta didik dengan nilai ujian di bawah kriteria cut-off setelah mendapatkan tutorial akan meningkatkan skor ujian mereka. Namun kebanyakan dari pengajar hanya menjalankan program tanpa mengetahui apakah program tersebut bermanfaat meningkatkan kualitas peserta didiknya atau tidak. Oleh karena itu, diperlukan evaluasi melalui penerapan rancangan regresi diskontinuitas.
Rancangan Percobaan Kuasi (Quasi Experimental Design) Rancangan percobaan kuasi (quasi experimental design) adalah salah satu jenis rancangan yang digunakan ketika pemberian penugasan tidak memungkinkan dilakukan secara acak (Gribbons 1997). Rancangan ini biasanya digunakan dalam evaluasi program pendidikan. Pada rancangan tersebut digunakan pre-post test dan tidak memberikan perlakuan terhadap kelompok pembanding (kontrol). Campbell dan Stanley (1963) menjelaskan bahwa terdapat beberapa tipe rancangan percobaan kuasi. Rancangan tersebut yaitu time series design, equivalent time samples design, equivalent materials samples design, nonequivalent control group design, qounter balanced design, separates sample pretestposttest design, separates sample pretestposttest control group design, multiple time series, institutional cycle design, dan regression discontinuity design. Sedangkan rancangan percobaan kuasi yang umum digunakan adalah nonequivalent control group design dan regression discontinuity design (Trochim 2006, diacu dalam Web Center for Social Research Methods 2006).
Tujuan Tujuan penelitian ini adalah: 1. Menerapkan rancangan regresi diskontinuitas untuk mengevaluasi pengaruh tutorial mata kuliah Bahasa Inggris terhadap mahasiswa Program Magister (S2) Sekolah Pascasarjana IPB tahun ajaran 2009/2010. 2. Mengukur efektivitas tutorial tersebut menggunakan analisis regresi diskontinuitas.
Validitas Internal dan Eksternal Validitas internal adalah kebenaran perkiraan tentang kesimpulan mengenai sebab-akibat atau hubungan kausal. Rancangan percobaan dikatakan mempunyai validitas internal yang tinggi apabila hasil yang diamati merupakan sebab dari pemberian program yang dilakukan. Dalam penelitian sosial muncul ancaman terhadap validitas internal. Beberapa ancaman terhadap validitas internal yaitu (HRDC 1997): 1. Sejarah: perubahan pada lingkungan yang terjadi sejalan dengan program yang akan mempengaruhi perilaku individu. 2. Maturasi: perubahan terjadi pada individu selama mengikuti program yang diakibatkan oleh perkembangan psikologis secara alamiah. 3. Pengujian: ancaman ini hanya terjadi pada rancangan pre-post test, dimana unit pengamatan menyadari akan adanya suatu pretest sehingga akan berpengaruh pada saat posttest. 4. Instrumentasi: terjadi akibat mengubah instrumen pengukuran yang digunakan
2
atau mengubah skor pengamatan yang telah digunakan sebelumnya. 5. Statistik regresi: terjadi akibat satu kelompok mempunyai skor pretest yang lebih ekstrim dibanding kelompok yang lain. 6. Seleksi: terjadi ketika pemberian penugasan kedalam kelompok program atau kelompok kontrol memberikan hasil kelompok dengan karakterisitik yang berbeda. 7. Mortalitas: unit pengamatan mundur/keluar ketika percobaan masih berjalan. Ancaman interaksi sosial juga dapat mempengaruhi validitas internal. Ancaman tersebut timbul karena penelitian sosial dilakukan di dunia nyata yang menyangkut konteks manusia dimana orang-orang akan bereaksi tidak hanya dengan apa yang mempengaruhi mereka, tetapi juga dengan apa yang terjadi kepada orang lain di sekitar mereka. Berikut adalah ancaman interaksi sosial yaitu (Trochim 2006, diacu dalam Web Center for Social Research Methods 2006): 1. Difusi atau imitasi perlakuan: adanya hubungan sosial antara kelompok program dengan kelompok kontrol sehingga memungkinkan adanya pertukaran informasi dan pengalaman. 2. Persaingan kompensatoris: terjadi karena kelompok pembanding merasa cemburu dengan adanya intervensi terhadap kelompok program sehingga akan memotivasi kelompok kontrol untuk bersaing. 3. Demoralisasi marah: merupakan kebalikan dari kompensasi persaingan, dimana kelompok pembanding merasa kecil hati dengan adanya intervensi terhadap kelompok program. 4. Penyamaan perlakuan sebagai imbangan: berkaitan dengan orang yang mengelola penelitian yang memberikan usaha kepada kelompok pembanding untuk menyamakan dengan kelompok intervensi. Pada prinsipnya rancangan RD mempunyai validitas internal yang kuat sebagai alternatif dari rancangan percobaan acak. Pada prakteknya, validitas dari rancangan RD tergantung dari seberapa baik analisis yang memodelkan hubungan pretestposttest. Validitas eksternal adalah generalisasi kesimpulan hasil percobaan berdasarkan orang, tempat, dan waktu. Ancaman bagi validitas eksternal adalah penjelasan yang mungkin salah dalam membuat generalisasi.
Kesalahan itu dapat terjadi berdasarkan orang, tempat, dan waktu. Meningkatkan validitas eksternal dapat dilakukan dengan mereplikasi studi yang dilakukan. Rancangan Regresi Diskontinuitas (Regression Discontinuity Design) Rancangan regresi diskontinuitas (RD) adalah bagian dari rancangan percobaan kuasi yang dapat dimasukkan dalam bentuk rancangan kelompok pre-post test (Trochim 1984). Rancangan ini dibedakan dengan rancangan pre-post test lainnya dalam hal pemberian penugasaan yaitu dengan menggunakan score cut-off pada pretest. Dalam bentuk notasi rancangan RD dapat digambarkan sebagai berikut: C O1 C O1
X O2 O2
Lambang C menunjukkan pembagian kelompok yang ditetapkan melalui skor cutoff, sedangkan O1 merupakan pengamatan pada saat pretest, dan O2 merupakan pengamatan pada saat posttest, serta X merupakan pelaksanaan program (intervensi). Baris atas merupakan kelompok yang dikenai program (intervensi) sedangkan baris bawah merupakan kelompok pembanding (kontrol). Jika dibuat dalam bentuk tabel untuk program tutorial mata kuliah Bahasa Inggris rancangannya sebagai berikut: Tabel 1
Rancangan regresi diskontinuitas pada evaluasi tutorial Bahasa Inggris kelompok program O1 Tutorial+kuliah O2 (intervensi) cut-off kelompok kuliah O2 pembanding O1 (kontrol)
Pemilihan cut off berdasarkan sumber daya program yang tersedia atau pemilihan cut-off dapat dilakukan secara substantif. Aturan cut-off untuk kasus dua kelompok sederhana yaitu: • Semua orang pada satu sisi cut-off ditugaskan ke dalam satu kelompok. • Semua orang di sisi lain cut-off ditugaskan untuk kelompok yang lain. • Memerlukan ukuran kuantitatif kontinyu pada saat pretest.
3
Dalam rancangan RD, pada saat pretest antara kelompok program dengan kelompok pembanding tidak setara. Hal ini berbeda dengan rancangan percobaan dimana pada rancangan tersebut diasumsikan program dan kelompok pembanding setara sehingga pada saat posttest perbedaan hasilnya dapat dikaitkan. Sebaliknya, pada rancangan RD diasumsikan bahwa tidak ada hubungan pretest dan posttest yang sama antara kedua kelompok. Dengan demikian, hal yang sangat penting untuk diperhatikan dalam rancangan RD terletak pada dua faktor utama yaitu, asumsi tidak ada diskontinuitas palsu dalam hubungan pretest dan posttest yang terjadi pada titik cut-off dan pemodelan yang benar untuk memodelkan hubungan pretest dengan posttest. Pengaruh program pada rancangan RD tidak ditunjukkan dari perbedaan rata-rata posttest antar kelompok, melainkan pada hubungan pretest-posttest pada titik cut-off. Plot hubungan pretest-posttest dapat dilihat pada gambar 1-3. Pada gambar tersebut garis vertikal yang memotong garis regresi merupakan garis skor cut-off. Kelompok di sebelah kiri cut-off merupakan kelompok intervensi dan di sebelah kanannya merupakan kelompok pembanding. Gambar 1 merupakan hubungan pre-post test pada rancangan regresi diskontinuitas sebelum diberi program. Gambar 2 dan 3 merupakan hubungan prepost test setelah diberi program.
P posttest
P pretest
Gambar 1 Hubungan pre-post test sebelum diberi program.
P posttest
P pretest
Gambar 2 Pengaruh program.
positif
pemberian
P posttest
Gambar 3
P pretest Pengaruh negatif program.
pemberian
Analisis Regresi Diskontinuitas Menurut Trochim (1984) terdapat lima asumsi sentral yang harus dipenuhi agar diperoleh model yang sesuai, asumsi tersebut yaitu: 1. Kriteria cut-off. Asumsi ini harus dipenuhi, jika tidak maka akan muncul kesalahan missassignment relatif terhadap cut-off atau sering disebut dengan rancangan regresi diskontinuitas fuzzy yang akan menimbulkan ancaman terhadap validitas internal. 2. Sebaran data pre-post test. Sebaran data pre-post test diasumsikan menyebar mengikuti fungsi polinomial. 3. Keragaman kelompok pembanding pada pretest. Asumsi ini maksudnya harus ada banyak nilai-nilai pretest pada kelompok pembanding untuk memungkinkan estimasi yang memadai tentang hubungan yang benar pada garis regresi. 4. Kedua kelompok harus berasal dari sebaran pretest tunggal. 5. Pelaksanaan program. Diasumsikan bahwa program diberikan seragam terhadap semua anggota dalam kelompok program (intervensi). Spesifikasi model terhadap rancangan RD untuk mendapatkan model yang tidak bias dan efisien dilakukan dengan menggunakan persamaan regresi polinomial. Model regresi polinomial digunakan secara luas dalam masalah di mana responnya adalah curvilinier, karena prinsip-prinsip umum regresi berganda dapat diaplikasikan (Hines & Montgomery 1990). Strategi analisis yang digunakan adalah dengan memulai menentukan model yang overspecified, ini akan menghasilkan estimasi yang tidak bias namun tidak efisien. Kemudian dalam analisis berturut-turut secara bertahap akan dikurangi derajat polinomnya sampai diperoleh model diagnostik yang tepat. Model dasar rancangan ini adalah (Trochim 1984) :
4
Yi = β 0 + β 1 X% i + β 2 Z i + β 3 X% iZi + ... + β n − 1 X%i s + β nX% i s Zi + ε
Keterangan: Yi = pengukuran posttest untuk individu i
% = pengukuran pretest untuk individu i Xi dikurangi nilai dari cut-off, x0 ( x%i = xi x0) Zi = dummy variabel perlakuan (1 jika dikenai program ; 0 jika sebagai kontrol) S = derajat polinomial yang berasosiasi dengan variabel ݔ β0 = intersep kelompok pembanding pada cut off β1 = kemiringan linier β2 = pengaruh program β3 = pengaruh interaksi βn = parameter untuk polinomial sth atau interaksi dengan z εi = komponen sisaan Hipotesis utama yang diuji untuk melihat keefektifan program adalah: H0 : β 2 = 0
H1 : β 2 ≠ 0 Persamaan regresi polinomial di atas apabila dibuat dalam bentuk matriks menjadi: Y = X β +ε
eksplorasi plot antara sisaan (ei) dengan dugaan peubah respon (ŷi). Sisaan saling bebas dapat didiagnostik dengan eksplorasi plot antara sisaan (ei) menurut urutan waktu. Sedangkan asumsi kenormalan sisaan dapat didiagnostik dengan plot sisaan dengan peluang normalnya. METODOLOGI
Data Data yang digunakan dalam penelitian ini adalah data sekunder yang berupa nilai ujian awal dan nilai ujian akhir Bahasa Inggris mahasiswa S2 Sekolah Pascasarjana IPB tahun ajaran 2009/2010. Data diperoleh dari Unit Pelaksana Mata Kuliah Dasar Umum (MKDU). Nilai ujian awal Bahasa Inggris diukur dengan skor Test of English Foreign Language (TOEFL) pada awal semester 1. Data pretest dalam analisis regresi diskontinuitas adalah data mahasiswa dengan skor TOEFL 420-449 dan skor TOEFL < 420 masing-masing sebagai kelompok pembanding dan kelompok intervensi. Sedangkan nilai akhir mata kuliah Bahasa Inggris digunakan sebagai data posttest. Hasil kategori skor TOEFL seperti terlihat pada gambar 4.
Dengan memaksimumkan jumlah kuadrat sisaan diperoleh penduga untuk β yaitu sebagai berikut:
βˆ = ( X ′X ) −1 X ′Y Ukuran kebaikan model (goodness of fits) dilihat dari nilai R-sq dan R-sq(adj). Nilai Rsq menggambarkan proporsi keragaman Y yang dapat dijelaskan oleh model. Sedangkan nilai R-sq(adj) menggambarkan proporsi keragaman Y yang dapat dijelaskan oleh model setelah terkoreksi oleh derajat bebasnya. R2 =1−
∑ ∑
R 2 (adj ) = 1 −
n i =1 n i =1
( y i − yˆ i ) 2 ( yi − y )2
Var (ε ) ∑ ( yi − yˆ )2 ( n − 1 ) = 1− Var (Y ) ∑ ( yi − y )2 n − k
Sedangkan k merupakan banyaknya parameter dalam model dan n merupakan banyaknya amatan. Asumsi yang digunakan sama dengan asumsi yang digunakan dalam analisis regresi linier, yaitu kehomogenan ragam sisaan, sisaan saling bebas, dan kenormalan sisaan. Kehomogenan ragam dapat didiagnostik dari
skor TOEFL
> 500
A
475-499
AB
450-474
B
420-449
kuliah
< 420
tutorial+kuliah
nilai akhir nilai akhir
Gambar 4 Kategori skor TOEFL. Selain itu untuk mengidentifikasi karakteristik mahasiswa digunakan data hasil verifikasi masuk program magister. Variabel yang diamati antara lain: 1. Jenis kelamin 2. Status perkawinan 3. Usia 4. Daerah asal perguruan tinggi 5. Tahun lulus 6. Indeks Prestasi Kumulatif (IPK) S1.
5
HASIL DAN PEMBAHASAN Deskripsi Mata Kuliah Bahasa Inggris Pada setiap awal semester I mahasiswa baru Sekolah Pascasarjana IPB (SPs-IPB) diwajibkan mengikuti ujian awal untuk menentukan status kemampuan bahasa inggrisnya. Mahasiswa yang memenuhi persyaratan akan diberi nilai dan selanjutnya dibebaskan dari mata kuliah Bahasa Inggris. Mahasiswa lain dibagi dalam dua kategori. Kategori 1 dapat langsung mengikuti kuliah Bahasa Inggris di semester I, sedangkan kategori 2 memerlukan pelajaran tutorial di semester I sebelum dapat mengikuti kuliah bahasa inggris di semester II. Mahasiswa yang dapat menunjukkan bukti lulus TOEFL dengan nilai minimum 450 yang diberikan oleh lembaga resmi TOEFL institusional tidak diwajibkan mengikuti mata kuliah ini. Tujuan diberikannya mata kuliah Bahasa Inggris kepada mahasiswa sekolah pascasarjana adalah untuk meningkatkan kemampuan membaca materi akademik, menulis, membuat ringkasan hasil penelitian dan menyusun kalimat dalam bahasa inggris, baik secara pasif maupun aktif. Analisis Deskriptif Jumlah mahasiswa yang tercatat mengikuti ujian awal TOEFL yang diselenggarakan oleh koordinator mata kuliah Bahasa Inggris dan
dapat diidentifikasi karakteristiknya sebanyak 604 orang. Dari 604 mahasiswa tersebut persentase terbesar (47%) adalah mahasiswa dengan skor TOEFL < 420 atau dikategorikan ke dalam kategori tutorial. Mahasiswa dengan kategori kuliah memiliki persentase sebesar 19% dan mahasiswa dengan kategori nilai A persentasenya sebesar 13%. Persentase hasil ujian awal TOEFL selengkapnya disajikan pada gambar 5. AB 9%
A 13%
Tutorial 47%
B 12%
Kuliah 19%
Gambar 5
Persentase TOEFL.
hasil
ujian
awal
Kategori tutorial mempunyai persentase terbanyak, hal ini menunjukkan masih rendahnya kemampuan awal Bahasa Inggris mahasiswa S2 SPs-IPB. Hal ini diduga terkait dengan karakteristik mahasiswa seperti jenis kelamin, status perkawinan, usia, daerah asal perguruan tinggi, IPK S1, serta selang waktu dari S1 ke S2. Berdasarkan jenis kelamin, persentase mahasiswa perempuan sebesar 51,5% dan 48,5% berjenis kelamin laki-laki. Gambar 6 memperlihatkan hubungan antara kategori skor TOEFL dengan jenis kelamin. Mahasiswa perempuan cenderung mendapat skor TOEFL yang lebih tinggi daripada mahasiswa laki-laki. 48,8
45,7
50 40 Persentase
Metode Tahapan-tahapan yang dilakukan dalam penelitian ini adalah: 1. Melakukan analisis deskriptif untuk mengetahui hubungan skor TOEFL dengan jenis kelamin, status perkawinan, usia, daerah asal perguruan tinggi, selang waktu S1 ke S2, dan IPK S1. 2. Melakukan analisis regresi diskontinuitas yang dimulai dengan mentransformasi nilai pretest. Transformasi yang dimaksud adalah mengurangi setiap nilai pretest dengan nilai cut-off. 3. Memeriksa hubungan secara deskriptif dengan membuat plot regresi pre-post test. 4. Menentukan derajat polinom dan interaksi. 5. Memperkirakan model awal dengan persamaan regresi polinom derajat tertinggi (overspesified). 6. Melakukan penyulingan model, yaitu analisis berturut-turut secara bertahap mengurangi derajat polinomnya sampai diperoleh model diagnostik yang tepat. 7. Menginterpretasikan hasil.
30 20
14,8
18,0 13,2 8,4
19,5 11,6 9,2
10,9
10 0 A
laki-laki perempuan AB B Kuliah Tutorial
Gambar 6 Sebaran persentase kategori skor TOEFL berdasarkan jenis kelamin. Berdasarkan status perkawinan, persentase mahasiswa yang berstatus belum kawin sebesar 56,5% dan berstatus kawin sebesar 43,5%. Pada gambar 7 terlihat bahwa mahasiswa yang berstatus belum kawin
6
55,1
60
41,1
40 30
70,1
70 60 50 40
54,9 38,2 22,5
30 20 10 0
3,9
20
9,1
10
16,4 14,715,5 12,3
8,7 4,2
A
15,4 9,4 2,6 2,6
2
AB
B
3 Tutorial
Kuliah
belum kawin
kawin AB
18,7 13,0 11,2
Gambar 8 Sebaran persentase kategori skor TOEFL berdasarkan daerah asal perguruan tinggi.
0
A
19,0
11,8 6,9
1
22,8
B
Kuliah
Tutorial
Gambar 7 Sebaran persentase kategori skor TOEFL berdasarkan status perkawinan. Untuk analisis deskriptif berdasarkan daerah asal perguruan tinggi, mahasiswa dibagi menjadi tiga kelompok yaitu mahasiwa yang berasal dari perguruan tinggi yang berada di Pulau Sumatera dan sekitarnya (wilayah 1), Pulau Jawa dan Madura (wilayah 2), dan Pulau Kalimantan, Sulawesi, Papua dan sekitarnya (wilayah 3). Sebaran hasil ujian awal TOEFL berdasarkan asal perguruan tinggi dapat dilihat pada lampiran 1. Sebagian besar mahasiswa (63,7%) berasal dari perguruan tinggi di wilayah 2, sisanya berasal dari wilayah 1 sebesar 16,9% dan wilayah 3 sebesar 19,4%. Secara berturutturut mahasiswa yang mempunyai kategori skor TOEFL lebih tinggi yaitu mahasiswa yang daerah asal perguruan tingginya berada di wilayah 2,1, dan 3. Hal ini ditunjukkan pada gambar 8. Pada wilayah 2, mahasiswa yang termasuk dalam kategori A sebesar 19%, sedangkan wilayah 1 sebesar 3,9% dan wilayah 3 sebesar 2,6%. Hal serupa juga terjadi pada kategori AB dan B. Mahasiswa yang termasuk dalam kategori AB pada wilayah 2 sebesar 11,2% dan pada wilayah 1 dan 3 sebesar 6,9% dan 2,6%. Begitu juga dengan kategori B pada wilayah 2,1, dan 3.
Berdasarkan usia, mahasiswa dibagi menjadi tiga kelompok usia yaitu usia < 30 tahun, 30-40 tahun, dan > 40 tahun, dengan persentase berturut-turut sebesar 62,1%, 33,1%, dan 4,8%. Hubungan antara kategori skor TOEFL dengan usia dapat dilihat pada gambar 9. Terlihat dengan bahwa bertambahnya usia, mahasiswa cenderung mendapat skor TOEFL yang lebih rendah. Hal ini ditandai dengan semakin tinggi persentase mahasiswa yang mendapat kategori kuliah dan tutorial. Persentase terendah terdapat pada usia < 30 tahun (57,9%), kemudian kelompok usia 30-40 tahun (77,5%) dan kelompok usia > 40 tahun mempunyai persentase yang paling tinggi (89,7%). 75,9
80 70 56,0
60 Persentase
Persentase
50
80
Persentase
cenderung mendapat kategori skor TOEFL yang lebih tinggi daripada mahasiswa yang berstatus kawin. Sebanyak 43% mahasiswa yang berstatus belum kawin mendapat kategori A, AB, dan B, sedangkan pada mahasiswa berstatus kawin hanya 22%.
50
40,3
40 21,5
17,6 16,0 13,9 12,3
30 20
10,5 9,0
10
3,0
13,8 6,9 3,4 0,0
0 <30 tahun A
AB
30-40 tahun B
Kuliah
>40 tahun Tutorial
Gambar 9 Sebaran persentase kategori skor TOEFL berdasarkan usia. Berdasarkan capaian IPK pada waktu S1 dapat dikelompokkan menjadi tiga kelompok yaitu kelompok mahasiswa dengan IPK S1 ≤ 2,80, IPK S1 2,81-3,50, dan IPK S1 > 3,50. Persentase terbesar terdapat pada kelompok mahasiswa dengan IPK S1 2,81-3,50 yaitu 68,5%. Kelompok mahasiswa dengan IPK S1 ≤ 2,8 dan IPK S1 > 3,5 mempunyai persentase
7
58,0
60
52,1
50 Persentase
yang hampir sama yaitu 15,6% dan 15,9%. Hubungan yang ditunjukkan antara skor TOEFL dengan IPK S1 yaitu dengan semakin besar IPK S1 maka mahasiswa cenderung mendapat skor TOEFL yang tinggi. Seperti yang terlihat pada gambar 11, mahasiswa dengan IPK S1 ≤ 2,80 mendapat skor TOEFL A, AB, dan B sebanyak 29,8% dan sebanyak 33,8% pada IPK S1 2,81-3,50. Persentase terbesar pada kelompok IPK S1 > 3,50 yaitu 39,6%.
41,5
40 30 20
16,1 12,8 14,9 14,6
53,2
Persentase
42,7
40 30
19,3 14,9 17,0
20
12,89,411,6
8,5 6,4
19,8
17,7 11,5 8,3
10 0 <=2,8 A
AB
2,81-3,50 B
Kuliah
>3,5 Tutorial
Gambar 10 Sebaran persentase kategori skor TOEFL berdasarkan IPK S1.
Selain itu juga dilihat deskripsi selang waktu dari S1 ke S2. Variabel selang waktu S1 ke S2 dihitung dengan mengurangkan tahun masuk S2 yaitu tahun 2009 dengan tahun lulus S1. Hasilnya dikelompokkan menjadi tiga kelompok. Sebanyak 55,5% mahasiswa dikelompokkan ke dalam selang waktu ≤ 4 tahun dan 28% pada selang waktu 5-9 tahun. Sisanya sebanyak 16,6% dikelompokan pada selang waktu ≥ 10 tahun. Mahasiswa cenderung mendapat skor TOEFL yang lebih rendah dengan semakin lamanya selang waktu S1 ke S2 atau sebaliknya. Hal ini sejalan dengan hubungan yang ditunjukkan pada variabel usia. Pada gambar 11 terlihat bahwa mahasiswa dengan selang waktu ≤ 4 tahun mendapat kategori kuliah dan tutorial sebesar 57,6%. Persentase yang lebih besar ditujukkan pada selang waktu 5-9 tahun yaitu 71,6% dan pada selang waktu ≥ 10 tahun persentasenya sebesar 84%.
9,5 4,7
8,0 6,0 2,0
0 <=4 tahun
Gambar 11
46,9
50
14,2
10
A
60
26,0
19,5
AB
5-9 tahun B
Kuliah
>=10 tahun Tutorial
Sebaran persentase kategori skor TOEFL berdasarkan selang waktu S1 ke S2.
Evaluasi Pengaruh Tutorial dengan Analisis Regresi Diskontinuitas Program tutorial diberikan kepada mahasiswa yang mendapat skor TOEFL < 420, sedangkan mahasiswa yang mendapat skor TOEFL 420-449 dapat langsung mengikuti kuliah. Tutorial menjadi syarat bagi mahasiswa yang mendapat skor TOEFL di bawah 420 untuk mengikuti kuliah, sehingga dalam hal ini skor 420 digunakan sebagai cut off dalam menentukan pemberian tutorial. Pemberian tutorial sebelum kuliah ini bertujuan untuk meningkatkan nilai akhir Bahasa Inggris, sehingga apabila dibuat persamaan garis regresi akan terdapat suatu diskontinuitas pada titik cut-off. Gambar 12 merupakan plot skor TOEFL (pretest) dengan nilai akhir (posttest) untuk rancangan tersebut. Sebagai kelompok pembanding yaitu kelompok mahasiswa dengan skor TOEFL 420-449 dan kelompok intervensi yaitu mahasiswa dengan skor TOEFL < 420. Evaluasi terhadap pengaruh tutorial dilakukan pada titik cut-off yaitu pada skor 420. Terlihat bahwa pada titik cut off tersebut terdapat suatu diskontinuitas garis regresi, namun secara visual menunjukkan adanya penurunan atau diskontinuitas negatif. Hal ini diduga karena rentang nilai pretest pada kelompok intervensi terlalu lebar. Kemungkinan pengaruh tutorial berbeda untuk pretest pada rentang nilai tersebut, sehingga untuk melihat pengaruhnya dicoba dilakukan pengelompokan.
8
k elompok interv ensi pembanding
90
nilai akhir (posttest)
80 70 60 50 40 30 20 300
320
340
360 380 400 skor TOEFL (pretest)
420
440
460
Gambar 12 Plot skor TOEFL (pretest) dengan nilai akhir (posttest). Dengan mencoba pada berbagai titik skor TOEFL maka diperoleh hasil bahwa pemberian tutorial akan berpengaruh pada kelompok skor TOEFL 380-419. Gambar 13 memperlihatkan plot skor TOEFL (pretest) dengan nilai akhir (posttest) setelah disekat pada skor 380. Seperti yang terlihat pada gambar, kelompok mahasiswa dengan skor TOEFL < 380 cenderung memiliki nilai akhir yang rendah yang ditunjukkan dengan warna hijau (pretest rendah), sehingga jika kelompok mahasiswa tersebut tetap dimasukkan dalam evaluasi akan mempengaruhi hasil keefektifannya. Identifikasi terhadap mahasiswa dengan skor TOEFL < 420 dan nilai akhir < 50 dapat dilihat pada lampiran 2. Pengaruh efektivitas tutorial secara visual terlihat pada kelompok tutorial dengan skor TOEFL 380-419 (kelompok intervensi) dengan kelompok kuliah (kelompok pembanding) yang masing-masing pada gambar ditunjukkan dengan warna hitam dan merah. Pemeriksaan hubungan secara visual
pada cut-off 420 menunjukkan bahwa terdapat diskontinuitas garis regresi yang berupa perubahan secara vertikal. Selain itu secara visual pada garis regresi yang mengepaskan titik-titik pada kelompok intervensi maupun kelompok pembanding tidak terlihat adanya suatu lekukan. Hal ini mengindikasikan adanya hubungan linier. Langkah selanjutnya adalah memodelkan hubungan pre-post test untuk kelompok intervensi dan kelompok pembanding. Pada saat membuat model, hasil pengamatan secara visual digunakan sebagai acuan untuk menentukan derajat polinomial. Derajat polinom yang digunakan adalah polinom berderajat dua. Hal ini berdasarkan pada aturan ibu jari yaitu jika hubungannya linier, maka sebagai model overspesifiednya ditransformasi naik sampai orde ke dua (Trochim 1990). Hasil pemodelan menggunakan model polinom berderajat dua atau kuadratik memberikan dugaan koefisien seperti yang ditunjukkan pada Tabel 2.
kelompok intervensi pembanding pretest rendah
90
Nilai akhir (Posttest)
80 70 60 50 40 30 20 300
320
340
360 380 400 420 Skor TOEFL (Pretest)
440
460
Gambar 13 Plot skor TOEFL (pretest) dengan nilai akhir (posttest) setelah disekat pada skor 380.
9
Tabel 2 Model dugaan dan revisi model Variabel model kuadratik Konstanta Pretest (Linier) Dummy pengelompokan Pretest *dummy pengelompokan Pretest 2(Kuadratik) Pretest 2 *dummy pengelompokan revisi 1 : eliminasi bentuk kuadratik Konstanta Pretest (Linier) Dummy pengelompokan Pretest *dummy pengelompokan revisi 2 : eliminasi interaksi linier Konstanta Pretest (Linier) Dummy pengelompokan
Hasil ini merupakan hasil dengan komponen x (skor TOEFL) yang telah ditransformasi. Transformasi dilakukan dengan mengurangkan setiap nilai pretest dengan nilai cut off. Pada model tersebut pengaruh program diduga sebesar 0,88 dengan nilai p sebesar 0,87 yang secara statistik tidak signifikan pada taraf nyata 5%. Begitu juga dengan koefisien derajat polinom tertinggi menunjukkan pengaruh yang tidak signifikan. Langkah selanjutnya dilakukan pendugaan kembali dengan mengeluarkan derajat polinom ordo kedua. Hasilnya seperti yang terlihat pada revisi 1. Pengaruh program sebesar 1,78 yang menunjukkan adanya peningkatan meskipun secara statistik tidak signifikan. Parameter komponen interaksi linier diduga sebesar 0,10 dengan nilai p sebesar 0,49 yang juga tidak signifikan. Dengan mengeluarkan komponen tersebut, diperoleh model revisi 2. Pengaruh program pada model tersebut sebesar 1,54. Meskipun koefisien tersebut tidak signifikan dan lebih kecil dari dugaan sebelumnya, namun model dengan mengeliminasi komponen interaksi linier memberikan keragamaan yang paling kecil. Kebaikan antar model dapat dilihat dari nilai R-sq(adj). Nilai R-sq(adj) terbesar dari ketiga model tersebut terdapat pada model revisi kedua yaitu model dengan mengeliminasi interaksi linier. Pemenuhan asumsi dalam regresi linier dapat didiagnostik secara deskriptif dengan membuat grafik plot sisaan. Hasil plot sisaan untuk ketiga model tersebut dapat dilihat pada lampiran 3. Kehomogenan sisaan dapat dilihat
b
SE(b)
P
69,18 -0,08 0,88 0,40 0,01 -0,01 s=8,54
2,33 0,39 5,34 0,60 0,01 0,02 R2 =23,8%
0,00 0,84 0,87 0,50 0,46 0,57 R2 (adj)=21,6%
68,04 0,20 1,78 0,10 s=8,50
1,74 0,10 2,93 0,14 R2 =23,6%
0,00 0,05 0,54 0,49 R2 (adj)=22,2%
67,26 0,25 1,54 s=8,49
1,34 0,07 2,90 R2 =23,4%
0,00 0,00 0,60 R2(adj)=22,5%
dari plot sisaan terhadap nilai dugaannya. Berdasarkan plot sisaan terhadap nilai dugaannya untuk ketiga model tersebut menunjukkan pola sisaan yang homogen. Plot sisaan terhadap urutan waktu digunakan untuk melihat ada atau tidaknya korelasi antar amatan. Pada ketiga model tersebut sisaan tidak menunjukkan adanya korelasi antar amatan. Plot sisaan dengan peluang normal dan histogram sisaan untuk ketiga model memberikan hasil yang tidak jauh berbeda. Terlihat bahwa plot sisaan terhadap peluang normal membentuk garis lurus dan histogram yang mengikuti bentuk seperti genta. Hal ini menunjukkan bahwa sisaan menyebar normal. Hasil pemodelan yang diperoleh menunjukkan bahwa tutorial berpengaruh positif sebesar 1,54 meskipun secara statistik pengaruh tersebut tidak signifikan. Nilai R-sq model yang relatif kecil kemungkinan disebabkan karena adanya faktor lain yang berpengaruh terhadap nilai akhir Bahasa Inggris. Sehingga dicoba dimasukkan variabel-variabel yang kemungkinan berpengaruh terhadap nilai akhir Bahasa Inggris. Dengan memasukkan peubah bebas usia, jenis kelamin, dan IPK S1 diperoleh model seperti pada Tabel 3. Pengaruh usia terhadap nilai akhir Bahasa Inggris sebesar 0,37, sedangkan pengaruh IPK S1 sebesar 3,05. Rata-rata perbedaan nilai akhir Bahasa Inggris antara mahasiwa yang berjenis kelamin perempuan dan laki-laki sebesar 2,32. Pengaruh ketiga variabel tersebut signifikan pada taraf nyata 10%. Terlihat bahwa dengan penambahan ketiga variabel bebas ke dalam
10
model meningkat R-sq(adj) model menjadi 35,2%. Diagnostik sisaan untuk model tersebut dapat dilihat pada lampiran 3. Tabel 3 Model akhir dengan menambahkan peubah usia, jenis kelamin, dan IPK S1 Variabel Konstanta Pretest (Linier) Dummy pengelompokan Usia IPK S1 Jenis Kelamin
b 67,44 0,26
SE(b) 7,95 0,06
P 0,00 0,00
1,79 -0,37 3,05 2,32
2,71 0,12 1,89 1,23
0,51 0,00 0,10 0,06
R2=34,4%
R2(adj)=32,5%
S=7,92
Adanya faktor selain perlakuan atau program yang menyebabkan perubahan terhadap nilai akhir Bahasa Inggris menjadi ancaman terhadap validitas internal. Ancaman terhadap validitas internal yang terjadi pada rancangan RD yaitu seleksi-maturasi dan seleksi-regresi. Seleksi-maturasi terjadi karena tingkat maturasi yang berbeda antara kelompok intervensi dengan kelompok pembanding. Hal ini menyebabkan perubahan nilai akhir Bahasa Inggris bukan hanya karena pemberian program melainkan karena perbedaan tersebut. Sedangkan seleksi-regresi terjadi karena adanya nilai ekstrim pada skor TOEFL (pretest) namun pada saat posttest kelompok nilai tersebut mengalami peningkatan nilai akhir Bahasa Inggris meskipun pemberian program tidak berpengaruh. Peningkatan nilai akhir Bahasa Inggris dapat terjadi karena adanya efek regresi terhadap rataan. Selain itu terdapat ancaman interaksi sosial antar kelompok intervensi dengan kelompok pembanding. Dalam penelitian ini ancaman interaksi sosial yang terjadi yaitu adanya difusi atau imitasi perlakuan. Ancaman sosial ini muncul karena sebagian besar mahasiswa membentuk kelompok belajar atau mengikuti les Bahasa Inggris yang didalamnya terdapat mahasiswa dari kelompok pembanding maupun kelompok intervensi. Hal ini memungkinkan adanya pertukaran informasi antar kelompok mahasiswa. Generalisasi terhadap kesimpulan yang diperoleh terbatas hanya pada orang, tempat, dan waktu pada saat dilakukannya penelitian. Namun hasil penelitian ini dapat digunakan sebagai acuan di tahun mendatang terhadap orang yang berbeda.
KESIMPULAN DAN SARAN Kesimpulan Rancangan regresi diskontinuitas dapat digunakan untuk mengevaluasi pengaruh tutorial mata kuliah Bahasa Inggris pada mahasiswa S2 SPs-IPB tahun ajaran 2009/2010. Secara umum dengan adanya tutorial memberikan pengaruh positif pada kelompok mahasiswa dengan skor TOEFL (pretest) 380-419 meskipun secara statistik tidak signifikan. Pengaruh tutorial belum terlihat pada kelompok mahasiswa dengan skor TOEFL < 380. Terdapat faktor lain selain tutorial yang menyebabkan perubahan terhadap nilai akhir bahasa inggris yaitu usia, IPK S1, dan jenis kelamin. Hal ini akan menjadi ancaman terhadap validitas internal. Ancaman terhadap validitas internal yang terjadi pada rancangan RD yaitu seleksi-maturasi dan seleksi-regresi. Sedangkan ancaman interaksi sosial yang terjadi dalam penelitian ini yaitu difusi atau imitasi perlakuan. Generalisasi terhadap kesimpulan yang diperoleh terbatas hanya pada orang, tempat, dan waktu pada saat dilakukannya penelitian. Namun hasil penelitian ini dapat digunakan sebagai acuan di tahun mendatang terhadap orang yang berbeda. Saran Diperlukan tutorial khusus terhadap mahasiswa yang mempunyai skor TOEFL < 380 untuk meningkatkan nilai akhir Bahasa Inggrisnya. Selain itu perlu meningkatkan kualitas tutorial yang sudah ada supaya pengaruhnya signifikan. DAFTAR PUSTAKA Campbell DT, Stanley JC. 1963. Experimetal and Quasi-Experimental Designs for Research. London: Houghton Mifflin Company. Cook TD, Campbell DT. 1979. Quasi Experimentation Design & Analysis Issues for Field Settings. Boston. Houghton Mifflin Company. Draper NR, Smith H. 1992. Analisis Regresi Terapan Edisi Kedua. Sumantri B, penerjemah. Jakarta: Gramedia Pustaka Utama. Terjemahan dari: Applied Regression Analysis. Gribbons B, Herman J. 1997. True and quasi experimental design. Washington DC: ERIC. Hines WW, Montgomery DC. 1990. Probabilita dan Statistik Dalam Ilmu
11
Rekayasa dan Manajemen Edisi Kedua. Rudiansyah, penerjemah. Jakarta: UI Press. Terjemahan dari: Probability and Statistics in Engineering and Management Science. [HRDC] Human Resources Development Canada. 1997. Quasi experimental evaluation.Canada: HRDC. Nancy R, Adams JL, and Ariel L. 2008. Evaluating disease management programme effectiveness: an introduction to regression discontinuity design. Journal of Evolution in Clinical Practice 12;124131.USA: Blackwell Publishing. [SPs-IPB] Sekolah Pascasarjana IPB.2009. Katalog Sekolah Pasca Sarjana Institut Pertanian Bogor: SPs-IPB. Trochim WMK. 1984. Research Design for Program Evaluation: The Regression Discontinuity Approach. Beverly Hills, CA: Sage Publications. Trochim WMK. 1990. The RegressionDiscontinuity Design. Di dalam: Sechrest L, Perrin E, Bunker J, editor. Research methodology: strengthening causal interpretations of nonexperimental data. AHCPR Conference Proceeding; Mei 1990. United State: Departement of Health and Human Service. hlm 119-139. Trochim WMK. 2006. Research Methods Knowledge Base. Web Center For Social Research Methods. [terhubung berkala]. [9 http://www.socialresearchmethod.net Juni 2010].
LAMPIRAN
13
Lampiran 1 Sebaran hasil ujian awal TOEFL berdasarkan asal perguruan tinggi No
Perguruan Tinggi
Hasil Ujian Awal TOEFL Tutorial Kuliah B AB A
JUMLAH
PULAU SUMATERA DAN SEKITARNYA 1
Universitas Andalas
2
3
3
2
2
Universitas Jambi
5
1
3
1
3
Universitas Lampung
1
5
1
4
Universitas Riau
3
2
5
Universitas Syah Kuala
14
3
6
Universitas Sriwijaya
9
3
7
Universitas Sumatera Utara
6
1
8
Universitas Negeri Bengkulu
4
1
9
Universitas Negeri Medan
2
10
Universitas Negeri Padang
2
11 12
IAIN Sulthan Thaha Syaifuddin Jambi Universitas Islam Negeri Sultan Syarief Kasim Riau
1
13
Universitas Islam Riau
14
Universitas Islam Sumatera Utara
1
1
15
Universitas Abulyatama Banda Aceh
2
2
16
Universitas Serambi Mekkah
1
1
17
STIKES Abdi Nusa Pangkalpinang PULAU JAWA DAN MADURA
1
1
1
Institut Pertanian Bogor
43
2
Institut Teknologi Bandung
2
3
Institut Teknologi Sepuluh November
1
1
10 2
9 5
1
18 12
5
4
16 5
2
4 1
1
2
1
1
29
Universitas Airlangga
5
Universitas Brawijaya Universitas Diponegoro Universitas Gajah Mada
7
3
4 7
2 5
Universitas Indonesia
2
1
9
12
2
4 6 7 8
2
32
27
48
2 1
2
2
10
Universitas Jendral Sudirman Universitas Pajajaran
7
5
11
179
2 2
2
14
1 1
4
2 5
9 22
1
1
4
9
1
1
6
3
8
26
4 3
Universitas Sebelas Maret
1
1
12
1
Universitas Trunojoyo Madura
1
1
2
13
Universitas Terbuka
2
1
3
14
Universitas Negeri Jakarta
3
2
15
Universitas Negeri Jember
2
1
16
Universitas Negeri Malang
1
1
17
Universitas Negeri Semarang
1
1
18
Universitas Negeri Yogyakarta
1
1
19
Universitas Pendidikan Indonesia
3
2
20
Universitas Islam Negeri Jakarta
2
2
3
1
8 3 2
1
3 2
1
2
8
1
3
14
No 21 22 23
Perguruan Tinggi IKIP Muhammadiyah Jakarta
Hasil Ujian Awal TOEFL Tutorial 1
Kuliah 1
B
AB
JUMLAH A 2
1 1
1 1
24
STAIN Cirebon Institut Keuangan Perbankan dan Informatika Asia Perbanas Institut Manajemen Koperasi Jatinangor
1
1
25
Institut Pertanian Malang
1
26 27
Institut Pertanian Stiper Yogyakarta Institut Teknologi Indonesia Jakarta Institut Sains dan Teknologi AKPRIND Yogyakarta Institut Sains dan Teknologi Al-Kamal Jakarta
2
28 29 30 31 32 33
Sekolah Tinggi Pertanian Jawa Barat Sekolah Tinggi Pertanian Tribuana Malang Sekolah Tinggi Teknik Bina Tunggal Bekasi Sekolah Tinggi Teknik Lingkungan Yogyakarta
1 1
1
2 2 1 2
1
1
1
1
1
1 1
1
1
1
1
34
STIE Pariwisata YAPRI Bandung
1
1
35
STIE Triguna Bogor
1
1
36
STIE Widya Wiwaha Yogyakarta
37 38
STMIK Bandung
1 1
1 1
Universitas Ahmad Dahlan
1
1
39
Universitas Bandung Raya
1
1
40
Universitas Bina Nusantara Universitas Borobudur
41 42 43
1
1
Universitas Dian Nuswantoro
1 1
1 1 1
Universitas Duta Wacana Yogyakarta
1
44
Universitas Gunadarma
1
45
Universitas Hang Tuah Surabaya
46
Universitas Ibnu Khaldun
2
2
47
Universitas Indonesia Esa Unggul
1
1
48
Universitas Islam "45" Bekasi
1
1
49 50 51 52
Universitas Islam Bandung Universitas Islam Indonesia Universitas Islam Malang Universitas Islam Sunan Kalijaga Yogyakarta Universitas Katolik Parahyangan Bandung Universitas Komputer Indonesia Bandung Universitas Mercu Buana Universitas Merdeka Malang Universitas Muhammadiyah Malang Universitas Nusa Bangsa
1 1 1 1
53 54 55 56 57 58
2
1
4
1
1
1 2 1 1
1
1 1 2 1 1
1 1 2 1 1
1
1
15
No
Perguruan Tinggi
Hasil Ujian Awal TOEFL Tutorial
59
Universitas Pakuan
7
60
Universitas Pancasila
1
61 62
Universitas Pasundan Bandung Universitas Pembangunan Nasional Veteran Yogyakarta Universitas PGRI Yogyakarta Universitas Sains dan Teknologi Palapa Malang Universitas Satya Negara Indonesia Jakarta Universitas Singaperbangsa Karawang Universitas Sunan Gunung Jati Bandung Universitas Tribhuwana Tunggadewi Universitas Wangsa Manggala Yogyakarta
2
63 64 65 66 67 68 69
Kuliah
B
AB
JUMLAH A 1
8 1
1
3 1
1 1 1
1 1 1
1
1 3 1 1
1 3 1 1
70
Universitas Widya Darma Klaten
1
1
71
Universitas Winaya Mukti Bandung
2
2
72 73
Universitas Wiralodra Indramayu Universitas Wisnuwardhana Malang
1 1
1 1
PULAU KALIMANTAN, SULAWESI, PAPUA, DAN SEKITARNYA 1
Universitas Cendrawasih
2
Universitas Haluoleo Kendari
5
1
3
Universitas Hasanudin
13
4
4
Universitas Khairun Ternate
2
5
Universitas Lambung Mangkurat
6
6
Universitas Mataram
7
Universitas Mulawarman Samarinda
8
Universitas Nusa Cendana Kupang
1
7
1
8 1 7
3
7 27 2
2
8
7
1
8
2
1
3 2
3
9
Universitas Palangkaraya
1
10
Universitas Pattimura Ambon
4
1
11
Universitas Sam Ratulangi Manado
4
1
5
12
Universitas Tadulako
1
1
2
13
Universitas Tanjungpura Pontianak
6
2
14
Universitas Negeri Makasar
2
2
15
Universitas Negeri Manado
1
1
16
Universitas Negeri Papua
10
17
STAIN Warmpone Sulawesi Selatan
18
Sekolah Tinggi Ilmu Pertanian Bangka
1
1
19 20
Sekolah Tinggi Pertanian Kutai Timur STIE Kristen Wira Wacana Sumba Kupang
1 1
1 1
21
STIE Yayasan Pendidikan Ujungpandang
1
1
1 2
7
2
10
1
11
1
1
16
No
Perguruan Tinggi
Hasil Ujian Awal TOEFL Tutorial
Kuliah
B
AB
JUMLAH A
22
STIKES Indonesia Jaya Palu
1
1
23
Universitas Muhammadiyah Kupang
1
1
24
Universitas Muslim Indonesia Makassar
3
25
Universitas Panca Bhakti Pontianak
1
1
26
Universitas Satria Makasar
1
1
27
Universitas Timor Kupang
1
1
285
1
113
4
73
53
80
604
17
Lampiran 2 Identifikasi terhadap mahasiswa dengan skor TOEFL < 420 dan nilai akhir < 50
No
Asal Perguruan Tinggi
Skor TOEFL
Nilai tutorial
Nilai Akhir
IPK S1
Usia
Selang Waktu S1 ke S2
Jenis Kelamin
Status perkawinan Kawin
1
Institut Pertanian Bogor
380
69
42
2,50
33,33
10
P
2
Institut Pertanian Bogor
387
61
27
2,87
30,00
6
L
Kawin
3
Universitas Syiah Kuala
370
50
46
3,55
26,42
2
P
Belum Kawin
4
Universitas Syiah Kuala
327
55
46
3,22
23,08
0
L
Belum Kawin
5
Universitas Syiah Kuala
373
50
45
27,00
2
L
Belum Kawin
6
Universitas Syiah Kuala
357
59
43
27,75
4
L
Belum Kawin
7
Universitas Negeri Padang
403
56
49
3,19 T=2,57; UP= 3,07 2,94
33,00
9
P
Kawin
8
367 363
52 58
46
9
Universitas Jambi Universitas Jambi
P L
Kawin Belum Kawin
10
Universitas Hasanudin
383
51
11
Universitas Tadulako
357
55
12 13
Universitas Abulyatama Universitas Serambi Mekkah Universitas Bandung Raya
343
50
400
14 15 16
Universitas Borobudur Sekolah Tinggi Pertanian Kutai Timur
37,00
12
48
2,91 3,13
25,83
1
46
3,29
38,50
9
P
Kawin
47
3,41
24,67
1
L
Belum Kawin
47
3,10
25,33
1
L
Belum Kawin
59
46
2,85
39,25
11
P
Kawin
397
52
32,17
3
L
Belum Kawin
57
47 49
3,03
360
2,70
37,50
12
L
Kawin
363
51
45
3,56
27,58
3
L
Belum Kawin
18
Plot sisaan (a) model kuadratik, (b) model revisi 1, (c) model revisi 2, dan (d) model akhir
Normal Probability Plot
Versus Fits
99,9
50 10
90
0
-20
50
1
-40 -20
0 Residual
60
64 68 Fitted Value
Hist ogram
72
76
-40
0
7,5
-20
15,0
60
20
40
60 80 100 120 140 160 180 Observation Order
Versus Fits
-7,5 0,0 Residual
7,5
15,0
1
10
40
60 80 100 120 140 160 180 Observation Order
Versus Fits 20
99
-20
Residual
90
0
Percent
Residual
50 10
1
0
-20
1
-40
0,1
-40
-20
0 Residual
0,1
20
60
64
Histogram
68 Fitted Value
72
76
-30
Versus Order
30
15
30
0
-20
-40 -30,0 -22,5 -15,0 -7,5 0,0 Residual
7,5
15,0
Versus Order
18 12
0
-20
0 1
(c)
60 70 Fitted Value
20
6 0
50
24 Frequency
Residual
10
0 Residual
Histogram
20
20
-15
Residual
Percent
50
20
Normal Probability Plot 99,9
20
90
0
-20
(b)
Normal Probability Plot 99
75
-40 -30,0 -22,5 -15,0
(a)
99,9
70
20
10
0 1
65 Fitted Value
Versus Order
20
-40 -7,5 0,0 Residual
20
30
Frequency
Residual
10
0 Residual
Hist ogram
20
20
-30,0 -22,5 -15,0
-20
Versus Order
30
0
-40
0,1
20
Residual
-40
Frequency
0
-20
10
1 0,1
Frequency
Versus Fits 20
99
Percent
Residual
90
Percent
Normal Probability Plot 99,9
20
99
Residual
Lampiran 3
20
40
60 80 100 120 140 160 180 Observation Order
-30,0 -22,5 -15,0 -7,5 0,0 Residual
7,5
15,0
(d)
1
20
40
60 80 100 120 140 160 Observation Order
80
