BAB III METODE PENELITIAN. 3.1 Penelitian Evaluasi (Evaluation Research) Berbasis Model CIPP

BAB III METODE PENELITIAN

3.1 Penelitian Evaluasi (Evaluation Research) Berbasis Model CIPP Seperti tersirat pada bagian 4 Bab I dalam tesis ini bahwa tujuan penelitian adalah untuk mengevaluasi program Intensive Course (IC) berdasarkan empat aspek evaluasi, yakni konteks (context), masukan (input), proses (process), dan hasil (product). Hal ini berarti jenis penelitian yang dilakukan oleh peneliti adalah penelitian evaluasi (evaluation research). Beberapa ahli di bidang evaluasi memberikan definisi tentang penelitian evaluasi sesuai dengan latar belakang keilmuannya. Rossi (Worthen dan Sanders, 1987:27) misalnya mengatakan bahwa “Evaluation research is not equivalent to evaluation. To the extent that an evaluation is based on empirical evidence collected in ways that are susceptible to replication and treated with due regard to issues of internal, external, and construct validity, then the evaluation in question is evaluation research.” Dari pernyataan Rossi tersebut tersirat bahwa evaluasi tidak sama dengan penelitian. Akan tetapi, apabila suatu evaluasi dilakukan berdasarkan bukti/fakta empirik (empirical evidence) dan mengacu kepada internal validity, external validity, dan construct validity, maka evaluasi semacam itu disebut dengan penelitian evaluasi. Di sini secara tidak langsung Rossi menegaskan bahwa penelitian evaluasi menggunakan prinsip-prinsip penelitian ilmiah. Hal ini seperti ditegaskan oleh Worthen dan Sanders (1987:28) bahwa “Rossi views evaluation research, therefore, as the aaplication of social science research methods to evaluation

68

issues.” Selanjutnya kedua pakar evaluasi di atas memberikan penekanan bahwa penelitian dan evaluasi memiliki tujuan yang berbeda, walaupun evaluasi menggunakan metode penelitian ilmu sosial. Mereka menyimpulkan: “Research seeks conclusions, evaluation leads to decisions (Worthen dan Sanders, 1987:29).” Sama halnya dengan Rossi, Worthen dan Sanders, Gall et al. juga memberikan perbedaan yang jelas antara penelitian dengan penelitian pendidikan (educational evaluation – Gall et al. tidak menggunakan istilah evaluation research). Gall et al. (2003:542) mendefinisikan educational evaluation sebagai “the process of making judgments about the merit, value, or worth of educational programs. (We use the term program as a generic label for the various phenomena – methods, materials, organizations, individuals, etc. – that are the focus of educational evaluation).” Di sini, Gall et al. menekankan educational evaluation pada proses membuat penilaian/keputusan (the process of making judgments). Gall et al. dalam hal ini sepakat dengan Worthen dan Sanders, dimana tujuan dilakukannya evaluasi adalah untuk membuat decisions berdasarkan judgments yang diberikan. Jenkins (Bennett, 2003:5) menegaskan kembali pemikiran dari Gall et al. serta Worthen dan Sanders dengan menyebutkan: “Educational evaluation is the process of delineating, obtaining, and providing useful information for judging decision alternatives.” Terkait dengan evaluasi program yang dilakukan oleh peneliti dalam tesis ini, Kiely dan Rea-Dickins memberikan pemahaman yang jelas tentang evaluasi program dalam pembelajaran bahasa. Mereka menyebutkan:

69

“Evaluation is a form of enquiry, ranging from research to systematic approaches to decision-making. …The common thread – the making of judgements in a shared context – gives a problematically wideranging basket of activities. Thus, in the context of an innovative language program, evaluation might include periodic reviews of the budget, staff appraisal and decisions relating to professional development, iterated classroom observation for professional development of teachers or for quality assurance purposes, narratives of experience from participants, as well as a one-off study to inform on the success of the innovation. (Kiely dan Rea-Dickins , 2005:6)” Pernyataan Kiely dan Rea-Dickins di atas juga mendukung pernyataan beberapa pakar evaluasi di atas, dimana tujuan akhir dari educational evaluation adalah untuk membuat penilaian terhadap nilai (merit), value, atau arti (worth) dari suatu program. Kiely dan Rea-Dickins juga menyebutkan terkait dengan konteks program bahasa, kegiatan evaluasi meliputi reviu secara berkala terhadap anggaran dan kinerja staf, dan mengambil keputusan-keputusan terkait dengan observasi kelas untuk kepentingan pengembangan profesionalisme guru atau untuk tujuan penjaminan mutu, pengalaman pembelajaran peserta didik, maupun keputusan terhadap keberhasilan program inovasi tersebut. Definisi penelitian evaluasi atau beberapa ahli di atas menyebutnya dengan educational evaluation telah memberikan gambaran yang jelas tentang apa target/tujuan dari penelitian evaluasi ini, yakni memberikan penilaian/ pertimbangan (judgment) terhadap merit, value, atau worth dari suatu program dalam hal ini program IC sebagai dasar untuk pengambilan keputusan (decision making) terhadap program tersebut. Dalam penelitian ini, terdapat empat jenis keputusan yang dihasilkan sesuai dengan empat jenis evaluasi yang dilakukan terhadap program IC ini, yakni context, input, process, dan product. Keputusankeputusan tersebut seperti dikemukakan oleh Stufflebeam et al. (1971:218)

70

diantaranya: Context evaluation serves planning decisions to determine objectives; input evaluation serves structuring decisions to determine project designs; process evaluation serves implementing decisions to control project operations; and product evaluation serves recycling decisions to judge and react to project attainments.” Dengan demikian hasil akhir dari penelitian evaluasi terhadap program IC ini adalah dihasilkannya rekomendasi berdasarkan empat keputusan penting seperti yang diutarakan oleh Stufflebeam et al. yang diantaranya adalah keputusan perencanaan (planning decisions), keputusan perancangan (structuring decisions), keputusan pelaksanaan (implementing decisions) dan keputusan pendaur-ulangan (recycling decisions).

3.1.1 Pendekatan dalam Penelitian Evaluasi 3.1.1.1 Pendekatan Kuantitatif dalam Penelitian Evaluasi Hasan (2008) mengklasifikasikan model evaluasi CIPP sebagai model evaluasi kuantitatif. Hal ini disebabkan model evaluasi CIPP pada awalnya dikembangkan berdasarkan paradigma positivistik. Pendapat serupa juga dikemukakan oleh Gall et al. (2003:555) yang menyebutkan: “The quantitative approaches described (including CIPP Model) rely primarily on positivist methods of inquiry. They emphasize objective measurement, representative sampling, experimental control, and the use of statistical techniques to analyze data.” Berdasarkan paradigma positivistik ini maka pendekatan yang dipakai dalam proses pengumpulan datanya adalah pendekatan kuantitatif dengan tradisi psikometrik. Tradisi psikometrik menurut Hasan (2008:187) menekankan pada

71

penggunaan prosedur dan alat evaluasi berdasarkan prosedur yang dikenal dalam pengukuran dan metodologi positivistik. Sementara itu, Sugiyono (2008) mengatakan bahwa metode kuantitatif juga sering disebut dengan metode tradisional karena metode ini sudah cukup lama digunakan sehingga sudah mentradisi sebagai metode untuk penelitian. Metode ini disebut sebagai metode positivistik karena berlandaskan pada filsafat positivisme. Metode kuantitatif ini dianggap sebagai metode ilmiah (scientific) karena telah memenuhi kaidah-kaidah ilmiah yaitu konkrit/empiris, obyektif, terukur, rasional, dan sistematis. Karena sifatnya yang obyektif dan pasti ini maka metode kuantitatif menggunakan data penelitian yang berupa angka-angka dan analisis statistik sebagai landasan dalam mengambil kesimpulan. Arikunto (2006) juga mengemukakan bahwa penelitian kuantitatif banyak menggunakan angka, mulai dari pengumpulan data, penafsiran terhadap data tersebut, serta penampilan hasilnya. Demikian juga pemahaman dan kesimpulan penelitian akan lebih baik apabila juga disertai tabel, grafik, bagan dan sebagainya. Namun selain data yang berupa angka, dalam penelitian kuantitatif juga menyertakan data berupa informasi kualitatif. Sebagai penjelasan lebih lanjut Arikunto (2006) mengemukakan karakteristik penelitian kuantitatif antara lain: 1.

Memiliki kejelasan dalam unsur tujuan, pendekatan, subyek, sumber data sudah mantap, dan rinci sejak awal,

2.

Segala sesuatu yang berkaitan dengan langkah penelitian direncanakan sampai matang ketika persiapan disusun,

3.

Dapat menggunakan sampel, dan hasil penelitian diberlakukan untuk

72

populasi, 4.

Menggunakan hipotesis (jika memang perlu). Dalam penelitian ini sesuai dengan sifatnya yang evaluatif, maka tidak mengemukakan hipotesis,

5.

Jelas langkah-langkah dan hasil yang diharapkan dalam desainnya,

6.

Kegiatan pengumpulan data memungkinkan untuk diwakilkan,

7.

Analisis data dilakukan sesudah semua data terkumpul. Metode yang digunakan dalam penelitian ini adalah metode kuantitatif

non-eksperimen, didasarkan pada apa yang dikemukakan oleh Hasan (2008) bahwa evaluasi harus berkaitan dengan kegiatan kurikulum yang terjadi dalam kenyataan. Sebagian ahli berpendapat bahwa penggunaan metode eksperimen sudah dianggap bertentangan dengan kaedah evaluasi. Seperti telah dikemukakan oleh Hasan, hal tersebut menunjuk bahwa pada kenyataannya metode eksperimen merupakan manipulasi dari kenyataan yang ada dalam keseharian untuk menemukan fenomena yang dikaji. Fenomena yang ada dalam keseharian tidak memberikan kemungkinan bagi eksperimen untuk mengkaji fenomena dan data yang diinginkan. Dengan menggunakan metode non-eksperimen, untuk mendapatkan data peneliti hanya merekam keadaan yang telah ada atau sedang terjadi, dan tidak memunculkan data secara sengaja atau dengan kata lain sengaja menimbulkan data baru (Arikunto, 2006). Karena itu peneliti tidak mengadakan tes tersendiri untuk mengukur tingkat pencapaian siswa, tetapi menggunakan nilai tes yang telah dimiliki oleh dosen sebagai hasil tes formatif dan sumatif. Selanjutnya, dari beberapa model evaluasi kurikulum kuantitatif, peneliti

73

menggunakan pemikiran model evaluasi CIPP yang dikemukakan oleh Stufflebeam, et al. (1971) seperti yang telah diuraikan dalam bab II, dengan kerangka kerja yang telah dijelaskan, yaitu mencakup empat komponen evaluasi antara lain context, input, process, dan product. Pemilihan model ini didasarkan pada suatu pandangan bahwa model evaluasi ini merupakan model yang menekankan

kehati-hatian

dalam

memberikan

pertimbangan

(judgement)

mengenai nilai aspek yang bervariasi sebagai satu kekuatannya yang penting (Hasan, 2008). Di samping itu model ini menyediakan wawasan yang luas mengenai kekuatan dan kelemahan kurikulum/program dan juga menyelidiki hubungan antara semua aspek program (Brinkerhoff et al., 1986).

3.1.1.2 Pendekatan Kualitatif dalam Penelitian Evaluasi Ada beberapa istilah yang digunakan untuk pendekatan kualitatif, yaitu penelitian atau inkuiri naturalistik atau alamiah, etnografi, interaksionis simbolik, fenomenologis, studi kasus, interpretatif, dan deskriptif. Creswell (2008:46) mendefinisikan penelitian kualitatif sebagai “A type of educational research in which the researcher relies on the views of participants; asks broad, general questions; collects data consisting largely of words (or text) from participants; describes and analyzes these words for themes; and conducts the inquiry in a subjective, biased manner.” Definisi yang diberikan oleh Creswell tersebut menunjukkan bahwa prinsip dasar/filosofi penelitian kualitatif sangat berlawanan dengan penelitian kuantitatif seperti dijelaskan pada bagian sebelumnya. Penelitian kualitatif berakar pada latar alamiah sebagai sesuatu yang utuh,

74

mengandalkan manusia sebagai alat penelitian, melakukan analisis data secara induktif, mengarahkan sasaran penelitiannya pada usaha menemukan teori dari dasar (grounded theory), bersifat deskriptif, lebih mementingkan proses daripada hasil, dan hasil penelitiannya disepakati oleh peneliti dan subyek penelitian. Penelitian kualitatif dari sisi definisi lainnya disebutkan bahwa penelitian ini merupakan penelitian yang memanfaatkan wawancara terbuka untuk menelaah dan memahami sikap, pandangan, perasaan, dan prilaku individu atau sekelompok orang. Definisi ini hanya mempersoalkan satu metode penelitian, yakni wawancara terbuka, dan yang paling penting dari definisi tersebut adalah mempersoalkan apa yang diteliti yaitu upaya memahami sikap, pandangan, perasaan dan prilaku baik individu maupun sekelompok orang. Pendekatan/ penelitian kualitatif ini juga disebut sebagai metode artistik, karena proses penelitian lebih bersifat seni (kurang terpola), dan dikenal juga sebagai metode interpretif karena data hasil penelitian lebih berkenaan dengan interpretasi terhadap data yang ditemukan di lapangan. Metode penelitian kualitatif juga sering disebut metode penelitian naturalistik karena penelitiannya dilakukan pada kondisi yang alamiah (natural setting) atau metode penelitian etnografi, karena pada awalnya metode ini lebih banyak digunakan untuk penelitian antropologi budaya. Sugiyono (2008) menyatakan bahwa penelitian kualitatif juga bertumpu pada filsafat post-positivisme yang sering juga disebut sebagai paradigma interpretif dan konstruktif, yang memandang realitas sosial sebagai sesuatu yang holistik/utuh, kompleks, dinamis, penuh makna, dan hubungan gejala bersifat

75

interaktif (reciprocal). Penelitian dilakukan pada obyek yang alamiah. Obyek yang alamiah adalah obyek yang berkembang apa adanya, tidak dimanipulasi oleh peneliti dan kehadiran peneliti tidak begitu mempengaruhi dinamika pada obyek tersebut. Dalam penelitian kualitatif instrumennya adalah orang atau peneliti itu sendiri. Untuk dapat menjadi instrumen, maka peneliti harus memiliki bekal teori dan wawasan yang luas, sehingga mampu bertanya, menganalisis, memotret, dan mengkonstruksi situasi sosial yang diteliti menjadi lebih jelas dan bermakna. Untuk mendapatkan pemahaman yang lebih luas dan mendalam terhadap situasi sosial pendidikan yang diteliti, maka teknik pengumpulan data bersifat triangulasi, yakni menggunakan berbagai teknik pengumpulan data secara gabungan/simultan. Analisis data yang dilakukan bersifat induktif berdasarkan fakta-fakta yang ditemukan di lapangan dan selanjutnya dikonstruksikan menjadi hipotesis atau teori. Sukmadinata (2008) menegaskan bahwa metode penelitian kualitatif digunakan untuk mendapatkan data yang mendalam, suatu data yang mengandung makna. Makna adalah data yang sebenarnya, data yang pasti yang merupakan suatu nilai dibalik data yang tampak. Oleh karena itu dalam penelitian kualitatif tidak menekankan pada generalisasi, tetapi lebih menekankan pada makna. Generalisasi dalam penelitian kualitatif dinamakan transferability. Penelitian evaluasi yang berbasis CIPP ini juga menggunakan metode penelitian kualitatif, yakni mencari makna dari data yang diperoleh melalui wawancara, dan analisis dokumen. Makna yang diperoleh dari analisis kualitatif terhadap hasil wawancara dan analisis dokumen berfungsi mendukung/

76

memperkuat data kuantitatif dari kuesioner yang disebarkan kepada para narasumber (mahasiswa, dosen pengajar IC, dan pengelola jurusan). Terkait dengan penggunaan model evaluasi CIPP dalam penelitian ini, Gall et al. (2003:562) mengatakan bahwa “Although the CIPP model

has been used

primarily in quantitative evaluation research, there is no reason why it cannot be adapted for evaluation research from a qualitative perspective.” Di sini Gall et al. jelas mengemukakan bahwa model evaluasi CIPP juga bisa digunakan dengan pendekatan kualitatif.

3.1.1.3 Pendekatan Campuran (Mixed Approach) untuk Evaluasi Program Intensive Course (IC) Sukmadinata (2008:130) mengatakan bahwa meskipun ada perbedaan asumsi dan prinsip-prinsip dasar dari penelitian kuantitatif dan kualitatif, termasuk di dalamnya penelitian evaluatif kuantitatif dan penelitian evaluatif kualitatif, tetapi ada ahli-ahli yang berpandangan pragmatis, lebih melihat penerapan antara kedua pendekatan penelitian tersebut. Mereka yang berpandangan pragmatis memadukan kedua pendekatan menjadi pendekatan campuran. Setiap metode penelitian memiliki kelebihan dan kekurangan. Oleh karena itu keberadaan metode evaluatif kualitatif dan metode evaluatif kuantitatif tidak perlu diperdebatkan karena keduanya justru saling melengkapi satu dengan yang lain. Metode penelitian kuantitatif cocok digunakan untuk penelitian yang masalahnya sudah jelas, dan umumnya dilakukan pada populasi yang luas sehingga hasil penelitian kurang mendalam. Sementara itu metode penelitian

77

kualitatif cocok digunakan untuk meneliti dimana masalahnya belum jelas, dilakukan pada situasi sosial yang tidak luas, sehingga hasil penelitian lebih mendalam dan bermakna. Metode kuantitatif cocok untuk menguji hipotesis/teori sedangkan metode kualitatif cocok untuk menemukan hipotesis/teori (grounded theory). Akan tetapi, walaupun kedua pendekatan tersebut dipadukan, tetap saja mixed method/approach memiliki kelebihan dan kekurangan. Kelebihan dan kekurangan metode campuran tersebut dapat dilihat pada Tabel 3.1 di bawah. Penelitian ini menggunakan prosedur penelitian campuran (prosedur kuantitatif dan kualitatif), sebagaimana telah diuraikan dalam sub-bab di atas. Karena menggunakan metode campuran (mixed method), maka tentu saja data yang dikumpulkan berupa data kuantitatif dan data kualitatif. Data kuantitatif diperoleh melalui kuesioner dan data kualitatif didapatkan melalui wawancara dan analisis dokumen. Kedua jenis data tersebut diperoleh dari mahasiswa, dosen pengajar IC dan pengelola jurusan. Penggunaan pendekatan/metode campuran ini tentu saja memberikan keuntungan seperti disebutkan di atas. Teddlie dan Tashakkori (2009:33) dengan tegas menyimpulkan bahwa: “A major advantage of mixed methods research is that it enables the researcher to simultaneously ask confirmatory and exploratory questions and therefore verify and generate theory in the same study.”

78

Tabel 3.1: Kelebihan dan Kekurangan Mixed Approach Kelebihan Kekurangan 1. Kata-kata, gambar, dan narasi bisa digunakan untuk menambah makna bagi angka-angka yang didapat. 2. Angka-angka bisa digunakan untuk memperkuat makna dari kata-kata, gambar, dan narasi. 3. Metode/pendekatan ini tentu saja memiliki kelebihan dan kekurangan dari pendekatan kualitatif dan kuantitatif. 4. Peneliti bisa mengajukan dan menguji grounded theory. 5. Pendekatan/metode campuran ini bisa menjawab pertanyaan penelitian yang lebih luas dan lengkap karena peneliti tidak terikat oleh satu pendekatan/metode saja. 6. Peneliti bisa memanfaatkan kelebihan dari satu metode/ pendekatan untuk menutupi kelemahan dari metode/pendekatan lainnya (ini merupakan prinsip dari saling melengkapi).

1. Peneliti sulit untuk menerapkan dua jenis metode/pendekatan ini sendirian, kalau kedua jenis metode/pendekatan diterapkan secara bersamaan (concurrent). Hal ini memerlukan satu tim penelitian. 2. Peneliti harus belajar banyak tentang kedua jenis metode/ pendekatan ini sehingga mampu mengintegrasikan kedua jenis metode/pendekatan ini dengan baik 3. Metode/pendekatan campuran ini cenderung lebih banyak mengeluarkan biaya. 4. Metode/pendekatan campuran ini juga memerlukan waktu yang lebih banyak. 5. Masing terdapat beberapa perdebatan di antara para ahli metodologi penelitian (seperti: bagaimana mencampur pertanyaan penelitian, bagaimana menganalisis data kuantitatif secara kualitatif, bagaimana menginterpretasikan hasil penelitian yang berlawanan).

7. Bisa memperkuat kesimpulan penelitian melalui convergence dan corroboration dari temuan penelitian (ini adalah prinsip dari triangulasi). 8. Metode/pendekatan campuran ini bisa menambah wawasan dan pemahaman yang mungkin terlewatkan oleh suatu pendekatan. 9. Bisa digunakan untuk meningkat-kan generalisasi dari hasil penelitian. 10. Penggunaan metode/pendekatan kualitatif dan kuantitatif secara bersama-sama bisa memberikan pengetahuan yang lebih lengkap guna menunjang semua teori dan praktek. (Diterjemahkan dari: http://www.southalabama.edu/coe/bset/johnson/lectures/lec14.htm)

79

3.1.2 Model Penelitian Campuran Kualitatif-Kuantitatif Menurut Sukmadinata (2008:130-131) sebenarnya ada lima macam model penelitian campuran kuantitatif-kualitatif, tetapi yang terkenal dan banyak digunakan hanya tiga, yaitu model: komplementer, pengembangan dan perluasan. 1) Model komplementer (complementary model), menguraikan, mengembangkan, mengilustrasikan, menjelaskan hasil yang diperoleh dari satu metode dengan metode lainnya. Bentuk campurannya adalah simultan atau keduanya digunakan bersama-sama. 2) Model pengembangan (developmental model), menggunakan hasil dari satu metode untuk mengembangkan atau melengkapi informasi bagi metode yang lain, informasi untuk penentuan sampel, teknik pengumpulan data, dan lainlain. Bentuk campurannya adalah paralel. 3) Model ekspansi (expansion model), memperluas lingkup dan memperkaya hasil penelitian dengan menggunakan metode yang berbeda untuk mengevaluasi komponen pendidikan yang berbeda, atau untuk menjawab pertanyaan-pertanyaan penelitian yang beraneka. Bentuk campurannya adalah sekuensial atau paralel. Dalam penelitian ini, model yang digunakan adalah model komplementer (complementary model) karena data kuantitatif yang diperoleh akan didukung/ dipertegas lagi dengan data kualitatif.

80

3.1.3 Pelaksanaan Evaluasi Program Langkah-langkah yang diambil oleh peneliti dalam melaksanakan evaluasi terhadap program IC sama dengan langkah-langkah yang digunakan dalam suatu penelitian. Gall et al. (2003:543) mengemukakan: “An evaluation study follows essentially the same steps as those involved in doing a research study. Several additional factors must be considered, however, depending upon the evaluation model that is used.” Karena penelitian evaluasi ini menggunakan model evaluasi CIPP maka tentu saja pola evaluasinya menyesuaikan model tersebut. Gall et al. selanjutnya menyebutkan delapan langkah yang digunakan dalam melakukan evaluasi program, seperti: a) Menjelaskan alasan melakukan evaluasi (clarifying reasons for doing an evaluation) b) Memilih model evaluasi (selecting an evaluation model) c) Mengidentifikasi stakeholder (identifying stakeholders) d) Menentukan apa yang akan dievaluasi (deciding what is to be evaluated) e) Mengidentifikasi pertanyaan evaluasi (identifying evaluation questions) f) Mengembangkan desain dan jadual evaluasi (developing an evaluation design and time line) g) Mengumpulkan dan menganalisis data evaluasi (collecting and analyzing evaluation data) h) Melaporkan hasil evaluasi (reporting evaluation results) Untuk memberikan gambaran yang lebih jelas terhadap bagaimana delapan langkah evaluasi program tersebut dijalankan, peneliti menjelaskan secara singkat

81

hal-hal yang akan dilakukannya, sebagai berikut:

3.1.3.1 Menjelaskan alasan melakukan evaluasi Keinginan untuk melakukan studi evaluasi bisa berasal dari dua sumber, yakni keingin-tahuan evaluator itu sendiri terhadap keberhasilan suatu program dan atas permintaan stakeholder/lembaga kepada evaluator untuk melakukan evaluasi terhadap program yang sedang/telah dilaksanakan oleh stakeholder/ lembaga tersebut. Kemungkinan lainnya adalah keinginan dari seorang evaluator untuk mengevaluasi suatu program yang kemudian didukung oleh pihak stakeholder/lembaga tempat evaluator bekerja. Jika sumber yang kedua dikemukakan, maka evaluator harus mengetahui semua alasan mengapa stakeholder/ lembaga meminta evaluasi tersebut dilakukan. Selanjutnya evaluator mempertimbangkan apakah alasan tersebut masuk akal dan etis. Jika alasan yang diberikan tidak sesuai dengan etika evaluasi, maka evaluator tersebut sebaiknya menolak permintaan tersebut. Jika sumber pertama yang menjadi alasan dilakukannya evaluasi, dimana peneliti memiliki pertanyaan-pertanyaan yang ingin ia jawab berkaitan dengan pelaksanaan suatu program, maka peneliti tersebut juga harus mengikuti etika dalam melakukan evaluasi dan juga harus bisa memposisikan dirinya sebagai internal evaluator atau external evaluator. Studi evaluasi yang dilakukan dalam tesis ini berasal dari dua sumber, yakni peneliti/evaluator itu sendiri dan permintaan dari pihak lembaga dalam hal ini pengelola Jurusan Pendidikan Bahasa Inggris. Hal ini telah diuraikan dengan

82

jelas dalam latar belakang penelitian pada Bab I, dimana alasan utama dievaluasinya program IC ini karena program ini telah dilaksanakan selama lebih dari sepuluh tahun dan tidak pernah dilakukan evaluasi terhadapnya. Alasan lainnya yang mendukung alasan utama tersebut adalah 1) perubahan sks/js dari program IC yang semula 18 sks/27 js menjadi 10 sks/10 js menuntut perbaikan terhadap buku/bahan ajar yang selama ini dipakai, dan 2) materi program IC dinilai kurang relevan terhadap perubahan jaman, dan 3) kebutuhan akan kompetensi lainnya untuk menunjang profesionalisme guru saat ini. Alasan-alasan tersebut yang mendasari peneliti mengajukan diperlukannya evaluasi terhadap program IC ini yang selanjutnya didukung oleh pengelola jurusan untuk dilaksanakan.

3.1.3.2 Memilih model evaluasi Gall et al. (2003:544) dengan jelas mengatakan: “Clarifying the reasons for an evaluation request is useful in selecting an appropriate model. This task requires careful deliberation, as there are many models from which to choose.” Pemilihan model evaluasi sepenuhnya tergantung kepada alasan/pertanyaan yang ingin dijawab. Mencermati kelima pertanyaan yang diajukan di atas, maka peneliti/evaluator memilih model CIPP yang diformulasikan oleh Stufflebeam et al. sebagai dasar dilakukannya evaluasi terhadap program IC. Dipilihnya model evaluasi ini karena kelima pertanyaan penelitian tercermin dalam empat aspek evaluasi yakni context, input, process, dan product.

83

3.1.3.3 Mengidentifikasi stakeholder Setelah menentukan alasan mengevaluasi program IC dan memilih model evaluasi yang sesuai dengan alasan dilakukannya evaluasi, langkah penting selanjutnya adalah menentukan stakeholder dari program yang dievaluasi. Gall et al. (2003:547) memberikan definisi yang jelas tentang stakeholder, yaitu: “Anyone who is involved in the program being evaluated or who might be affected by or interested in the findings of the evaluation.” Peran stakeholder begitu penting karena membantu: 1) memperkuat alasan dilakukannya evaluasi, 2) menjawab pertanyaan-pertanyaan evaluasi, 3) menentukan desain penelitian, 4) menginterpretasi hasil penelitian, dan 5) menyusun laporan hasil-hasil penelitian tersebut kepada pihak-pihak yang berkepentingan. Dalam penelitian evaluasi ini, terdapat tiga kelompok stakeholder yang diidentifikasi dan bersinggungan langsung dengan program IC, yakni mahasiswa, dosen, serta pengelola jurusan. Mahasiswa merupakan subyek dari program IC, dosen merupakan pelaksana, dan pengelola jurusan merupakan pengontrol dan sekaligus fasilitator dari pelaksanaan program IC itu sendiri. Ketiga kelompok stakeholder tersebut memberikan kontribusi yang berbeda terhadap evaluasi yang dilakukan.

3.1.3.4 Menentukan apa yang akan dievaluasi Langkah selanjutnya setelah mengidentifikasi stakeholder adalah menentukan komponen-komponen program yang dievaluasi atau Gall et al. menyebutnya dengan program delineation, yaitu “the process of identifiying the

84

most important characteristics of the program to be evaluated (Gall at al. 2003: 546).” Seperti disebutkan dalam bagian Rumusan Masalah pada Bab I, Peneliti mengidentifikasi lima komponen utama dalam program IC yang dievaluasi seperti analisis kebutuhan, tujuan/kompetensi, materi/bahan ajar, metode pembelajaran, serta evaluasi/asesmen. Empat dari lima komponen tersebut merupakan komponen dari kurikulum/program pendidikan. Komponen-komponen itu selanjutnya dievaluasi kesesuaian antar komponennya dan dinilai tingkat keberhasilan dari masing-masing komponennya.

3.1.3.5 Mengidentifikasi pertanyaan evaluasi Dari alasan-alasan perlunya dilakukan evaluasi terhadap program IC seperti dikemukakan dalam langkah pertama di atas, peneliti selanjutnya merumuskan pertanyaan evaluasi. Lee Cronbach (Gall et al., 2003:548) menyebutkan dua tahap dalam memilih pertanyaan untuk evaluasi program. Tahap pertama adalah divergent phase yang dimulai dengan membuat daftar (list) pertanyaan, isu, serta informasi yang dibutuhkan. Pertanyaan, isu, serta informasi tersebut selanjutnya diurut berdasarkan tingkat kepentingannya (degree of importance) dan dipilih beberapa diantaranya untuk dijadikan pertanyaan evaluasi. Tahap ini dinamakan convergent phase. Cronbach (Gall et al., 2003:548) mengemukakan: “It (convergent phase) involves reducing the initial list of evaluation questions to a manageable number. This phase is necessary because of the expense involved in answering each evaluation question. The evaluator, in collaboration with significant stakeholders, must winnow the list to the most

85

important questions that can be answered with available resources.” Berpedoman kepada kedua langkah yang direkomendasikan oleh Cronbach, peneliti akhirnya memilih lima pertanyaan yang ingin dijawab dalam evaluasi yang dilakukan terhadap program IC ini, diantaranya: 1) Apakah program IC yang dilaksanakan selama ini sesuai dengan kompetensi yang dibutuhkan saat ini, 2) Apakah desain program IC sudah sesuai dengan kompetensi yang ingin dicapai, 3) Apakah proses pelaksanaan program IC sudah mencapai kompetensi yang diharapkan, 4) Seperti apa hasil yang dicapai mahasiswa selama dan pada akhir semester melalui program IC ini, dan 5) Aspekaspek mana dari program IC yang cukup berhasil dan yang masih perlu perbaikan. Kelima pertanyaan tersebut oleh peneliti/ evaluator diajukan kepada pihak pengelola jurusan yang kemudian disambut baik untuk dijawab melalui penelitian evaluasi ini.

3.1.3.6 Mengembangkan desain dan jadual evaluasi Begitu pertanyaan evaluasi ditentukan, peneliti mengembangkan desain dan jadual evaluasi. Sebelum mengembangkan desain evaluasi, peneliti terlebih dahulu harus menentukan posisinya sebagai evaluator, apakah sebagai internal evaluator atau external evaluator. Dalam penelitian evaluasi ini, peneliti memposisikan dirinya sebagai internal evaluator karena peneliti sendiri adalah salah seorang staf yang terlibat dalam program IC ini. Karena posisinya sebagai internal evaluator tersebut, peneliti mendapatkan beberapa keuntungan dalam melakukan evaluasi seperti disebutkan oleh Hasan (2008). Menurut Hasan

86

(2008:50-51), terdapat paling tidak tiga keuntungan yang didapatkan oleh seorang internal evaluator ketika melakukan evaluasi, yakni: 1) Evaluator mengenal karakteristik evaluan dengan sangat baik karena keterlibatannya dalam berbagai kegiatan kurikulum (dalam hal ini program IC), 2) Akses yang mudah terhadap data yang diinginkan karena kedekatannya dengan stakeholder sebagai informan, dan 3) Kemudahan dan efisiensi dalam melakukan proses check-recheck informasi/data yang diperoleh sehingga memungkinkan menghasilkan informasi/ data yang memiliki tingkat validitas yang tinggi. Setelah menentukan posisinya, peneliti selanjutnya mengembangkan desain penelitian/evaluasi, termasuk di dalamnya mengembangkan instrumen evaluasi/penelitian yang digunakan untuk mengumpulkan data/informasi yang diinginkan dari para stakeholders. Instrumen evaluasi yang dikembangkan meliputi kuesioner, pedoman wawancara, dan pedoman analisis dokumen.

3.1.3.7 Mengumpulkan dan menganalisis data evaluasi Instrumen evaluasi/penelitian yang dikembangkan di atas, selanjutnya digunakan dalam tahap ini, yaitu mengumpulkan data/informasi yang diperlukan untuk menunjang evaluasi. Gall et al. (2003:550) mengatakan: “Data collection and analysis in both evaluation studies and research studies are similar.” Menurut Gall et al. langkah-langkah mengumpulkan dan menganalisis data dalam evaluasi bisa menggunakan langkah-langkah yang dipakai dalam penelitian. Langkah-langkah tersebut secara lebih detail dijabarkan dalam bagian 3.3 dan 3.5 pada bab ini.

87

3.1.3.8 Melaporkan hasil evaluasi Laporan yang dihasilkan dari penelitian evaluasi ini berupa master’s thesis yang di dalamnya berisikan keseluruhan langkah di atas serta kesimpulankesimpulan yang bersumber dari hasil penelitian. Berdasarkan hasil penelitian itu pula peneliti/evaluator memberikan beberapa rekomendasi kepada para stakeholders ataupun pihak-pihak yang berkepentingan dengan laporan penelitian evaluasi ini.

3.2 Lokasi, Populasi, dan Sampel Penelitian Dalam judul tesis ini dengan jelas disebutkan lokasi dimana penelitian evaluasi ini dilakukan, yakni Jurusan Pendidikan Bahasa Inggris (JPBI) Universitas Pendidikan Ganesha (Undiksha). Pemilihan lokasi ini dikarenakan beberapa hal, yaitu program IC mulai dilaksanakan di JPBI Undiksha pada tahun akademik 1999/2000 sampai dengan sekarang. Dalam kurun waktu tersebut program ini belum pernah dievaluasi pelaksanaannya. Akan tetapi, beberapa perubahan telah dilakukan terhadap program ini diantaranya perubahan sks/js yang semula 18 sks/27 js berubah menjadi 6 sks/6 js, dan berubah lagi menjadi 10 sks/10 js. Perubahan sks/js tidak berdasarkan pada evaluasi ataupun kajian ilmiah yang semestinya memberikan validitas terhadap perubahan tersebut. Perubahan sks/js juga tidak disertai dengan perubahan materi/bahan ajar untuk program IC yang sekarang memiliki 10 sks/10 js. Walaupun buku ajar/modul yang digunakan selama ini hanya terdiri dari 3 – 4 jilid handbook dari 6 jilid handbook yang semestinya dipakai selama pelaksanaan program dan juga 6 jilid workbook yang

88

harus dimanfaatkan oleh mahasiswa sebagai latihan di rumah dinilai tidak memberikan hasil yang maksimal terhadap maksud dan tujuan diselenggarakannya program IC ini. Fenomena di atas memicu keinginan peneliti untuk melakukan evaluasi yang lebih valid dan akuntabel sehingga dihasilkan keputusan sekaligus rekomendasi terhadap bagaimana sebaiknya program IC ini ke depan. Dengan demikian penelitian evaluasi yang dilakukan ini bersifat studi kasus karena hanya terfokus pada evaluasi pelaksanaan program IC di JPBI Undiksha. Alasan lain dari pemilihan lokasi tersebut adalah peneliti sendiri merupakan salah seorang staf pengajar di JPBI Undiksha. Sehingga pertimbangan utama terhadap pemilihan lokasi ini adalah kontribusi/manfaat yang diperoleh dari hasil penelitian yang bisa digunakan oleh pihak penyelenggara program dalam hal ini JPBI sendiri sebagai landasan/acuan dalam memperbaharui program IC ini nantinya. Pertimbangan lainnya adalah akses yang mudah dan efisien terhadap data/informasi yang diinginkan dari stakeholders. Kemudahan akses ini secara tidak langsung akan menghasilkan data/informasi dalam tingkat validitas yang tinggi (karena peneliti sendiri bertindak sebagai internal evaluator). Selanjutnya, populasi dari penelitian evaluasi ini sudah barang tentu adalah seluruh mahasiswa, staf dosen, dan pengelola JPBI. Populasi dari kelompok mahasiswa dapat dilihat pada tabel-tabel berikut ini.

89

Tabel 3.2 Kelompok Populasi dan Sampel Mahasiswa Jumlah Jumlah Sampel No. Semester Kelas Mahasiswa (30 %) 1 II A 29 orang 9 orang 2

II

B

31 orang

9 orang

3

II

C

33 orang

10 orang

4

II

D

37 orang

11 orang

5

IV

A

24 orang

7 orang

6

IV

B

33 orang

10 orang

7

IV

C

32 orang

10 orang

8

IV

D

30 orang

9 orang

9

VI

A

24 orang

7 orang

10

VI

B

28 orang

8 orang

11

VI

C

27 orang

8 orang

12

VI

D

27 orang

8 orang

13

VIII

A

33 orang

10 orang

14

VIII

B

27 orang

8 orang

15

VIII

C

26 orang

8 orang

16

VIII

D

25 orang

8 orang

466 orang

140 orang

Total

Mengingat besarnya populasi mahasiswa dalam penelitian ini, evaluator melakukan sampling yakni stratified random sampling. Fraenkel dan Wallen (1993:83) mendefinisikan stratified random sampling sebagai a process in which certain subgroups, or strata, are selected for the sample in the same proportion as they exist in the population. Pemilihan jenis sampling ini didasarkan pada keuntungan dari penggunaan jenis sampling ini dimana sampel yang dipilih bisa dianggap mewakili populasi yang ada, seperti diungkapkan oleh Fraenkel dan Wallen (1993:84) yang mengatakan bahwa: “It (stratified random sampling) increases the likelihood of representativeness, especially if one’s sample is not

90

very large.” Berdasarkan definisi dan keuntungan dari metode sampling tersebut, peneliti mengambil sampel penelitian sejumlah 30 % dari masing-masing semester/tingkat. Pengambilan 30 % sampel mengacu kepada contoh pengambilan sampel penelitian yang diajukan oleh Fraenkel dan Wallen (1993:84). Jumlah sampel dari masing-masing semester/tingkat dapat dilihat dalam tabel di atas. Terhadap dosen IC dan pengelola jurusan, peneliti menggunakan populasi sebagai subyek penelitian mengingat jumlahnya yang sedikit. Jumlah dosen pengajar IC adalah 13 orang yang sebagian besar merupakan dosen muda. Deskripsi dari ke-13 orang dosen IC tersebut dapat dilihat dalam tabel berikut ini. Tabel 3.3 Populasi Dosen Pengajar IC No. Jabatan Fungsional Jumlah 1 Lektor Kepala

1 orang

2 Lektor

2 orang

3 Asisten Ahli

10 orang Total

13 orang

Seperti terlihat dalam tabel di atas, hanya satu orang lektor kepala yang dilibatkan dalam program IC, dua orang lektor, dan sisanya 10 orang masih berstatus asisten ahli. Alasan pelibatan dosen-dosen muda tersebut adalah memberikan kesempatan yang lebih banyak kepada mereka untuk memperdalam penguasaan pengajaran bahasa Inggris di tingkat dasar sekaligus memperbanyak “jam terbang” mereka sehingga dengan demikian menambah pengalaman mengajar dosen-dosen muda tersebut. Sedangkan populasi pengelola jurusan adalah tiga orang yang terdiri dari ketua jurusan, sekretaris jurusan, dan ketua laboratorium.

91

3.3 Teknik Pengumpulan Data Arikunto dan Jabar (2008:89) dengan tegas mengatakan bahwa evaluasi program adalah penelitian, maka metode pengumpulan data yang digunakan dalam evaluasi program sama dengan metode pengumpulan data dalam penelitian. Dengan demikian, untuk memperoleh data yang menunjang penelitian evaluasi ini peneliti menggunakan beberapa metode/teknik pengumpulan data seperti analisis dokumen, angket (kuesioner), dan wawancara. Peneliti menggunakan angket (kuesioner) untuk mengumpulkan data primer, sedangkan analisis dokumen dan wawancara dilakukan untuk mengumpulkan data pendukung dan sekaligus melakukan triangulasi data. Teknik observasi dan tes tidak digunakan karena program IC hanya dilaksanakan pada semester pertama (semester ganjil) untuk mahasiswa tahun pertama, sedangkan penelitian ini dilakukan pada semester kedua (semester genap). Berikut dijelaskan fungsi dari masing-masing teknik pengumpulan data tersebut.

3.3.1 Angket (Kuesioner) Gall et al. (2003:222) memberikan definisi angket (kuesioner) sebagai: “Document that asks the same questions of all individuals in the sample. (If the sample has subgroups, the questions asked of each subgroup may vary).” Selanjutnya Gall et al. menjelaskan “Respondents record a written or typed response to each questionnaire item. Also, the respondents typically control the data-collection process: They can fill out the questionnaire at their convenience, answer the items in any order, take more than one sitting to complete it, make

92

marginal comments, or skip questions.” Definisi yang dikemukakan oleh Gall et al. menyiratkan bahwa kuesioner merupakan suatu catatan tertulis yang berisikan pertanyaan/pernyataan yang bertujuan untuk mendapatkan respon dari sampel (subyek) penelitian. Pertanyaan/pernyataan yang diberikan harus sama untuk satu kelompok sampel dan kemungkinan berbeda untuk kelompok sampel lainnya. Pertanyaan/pernyataan tersebut harus mengacu kepada pertanyaan penelitian. Dalam penelitian ini, peneliti menggunakan tiga kelompok sampel yang berbeda, yakni kelompok mahasiswa, dosen pengajar IC, dan kelompok pengelola jurusan. Ketiga subgroups tersebut mendapatkan pertanyaan/pernyataan yang hampir sama dan tentu saja pertanyaan/pernyataan yang diberikan mengarah kepada pertanyaan penelitian yang ingin dicari jawabannya. Ketiga kelompok responden tersebut diberikan keleluasaan untuk menjawab pertanyaan dalam kuesioner tanpa merasa tertekan oleh tempat, waktu, dan pihak lain yang memiliki kepentingan terhadap hasil penelitian ini. Peneliti mempersilakan responden untuk mengisi kuesioner di tempat manapun yang mereka anggap nyaman sehingga dengan demikian mereka bebas dari intervensi pihak manapun, dan mengerjakannya selama kurang lebih satu minggu. Dengan keleluasaan tersebut hasil yang diperoleh diharapkan menjadi lebih maksimal. Dengan kondisi seperti itu maka peneliti mendapatkan dua keuntungan dari menggunakan kuesioner, diantaranya waktu yang diperlukan untuk mengumpulkan data menjadi lebih singkat (hanya perlu waktu satu minggu bagi responden untuk mengisi kuesioner) dan data/informasi yang diperoleh menjadi lebih banyak karena kuesioner tersebut disebar kepada banyak responden dalam waktu yang

93

bersamaan dan dikumpulkan dalam waktu yang sama pula. Kuesioner yang digunakan dalam penelitian ini bersifat terstruktur (closed) dan tidak terstruktur (unstructured). Kuesioner terstruktur (closed) mengarahkan responden untuk memberikan respon terhadap pilihan jawaban yang diberikan dan mengarahkan kepada item-item tertentu yang memerlukan (rangkaian) jawaban/respon yang singkat. Kuesioner tidak terstruktur (unstructured questionnaire) memberikan peluang kepada responden untuk memberikan respon/jawaban berdasarkan fakta/pengetahuan/pendapat/saran/kritik mereka sendiri. Penggunaan kedua jenis kuesioner tersebut disebabkan oleh kelompok responden yang menjadi subyek dalam penelitian ini. Seperti disebutkan pada bagian sampel penelitian, terdapat 140 responden mahasiswa, 13 orang dosen pengajar IC, dan tiga orang pengelola jurusan yang menjadi sumber data/ informasi dalam penelitian ini. Kuesioner terstruktur memudahkan peneliti melakukan tabulasi dan analisis data, sedangkan kuesioner tidak terstruktur bersifat melengkapi data yang tidak diperoleh melalui kuesioner terstruktur. Gabungan kedua jenis kuesioner tersebut juga disebabkan oleh pendekatan yang dipakai dalam penelitian ini, yakni mixed approach (penggabungan antara pendekatan kualitatif dan kuantitatif). Penggunaan kedua jenis kuesioner ini didasarkan pada teori yang dikemukakan oleh Cohen et al. (2000:247) yang menyebutkan: “Though there is a large range of questionnaire, there is a simple rule of thumb: the larger the size of the sample, the more structured, closed, and numerical the questionnaire may have to be, and the smaller the size of the sample, the less structured, more open and word-based the questionnaire may be. Highly structured, closed questions are useful in that they can generate frequencies of response

94

amenable to statistical treatment and analysis. They also enable comparisons to be made across groups in the same sample. Indeed, it would be almost impossible, as well as unnecessary, to try to process vast quantities of word-based data in a short time frame. If a sitespecific case study is required, then qualitative, less structured, wordbased and open-ended questionnaires may be more appropriate as they can capture the specificity of a particular situation. Where measurement is sought then a quantitative approach is required; where rich and personal data are sought, then a word-based qualitative approach might be more suitable.”

Selain berpedoman kepada kedua sifat kuesioner di atas, peneliti juga mengembangkan kuesioner dalam penelitian ini dalam bentuk: a) Biodata Survey, digunakan untuk memperoleh fakta/data tentang latar belakang responden, seperti usia, tempat/tanggal lahir, jenis kelamin, status perkawinan, lama dan tempat belajar bahasa Inggris, dan sebagainya. b) Opinion survey, digunakan untuk menggali opini atau pendapat responden tentang program yang dilaksanakan, tujuan yang ingin dicapai, materi, metode, dan tes yang dipergunakan, dan sebagainya. c) Self-rating, meminta responden untuk mengukur kemampuannya sendiri (selfrate), tingkat motivasi belajar, tingkat ketertarikannya terhadap penggunaan materi, metode, dan sebagainya. d) Judgmental rating, bertujuan untuk mendapatkan penilaian (judgment) dari responden terhadap berbagai aspek dalam suatu program, seperti penilaian terhadap efektivitas materi yang digunakan dalam suatu program, penilaian seberapa bermanfaat/menarik materi tersebut menurut responden, dan lain sebagainya. e) Q sort, bertujuan untuk meminta penilaian responden mengenai sikap,

95

pandangan, opini mereka terhadap suatu program, serta menentukan sejauhmana tingkat/level sikap, pandangan, opini mereka terhadap program tersebut. Menurut Brown (1995:50-51), peneliti bisa menggunakan kelima bentuk kuesioner tersebut untuk mendapatkan data/informasi yang lebih valid dan reliable.

3.3.2 Analisis Konten Dokumen dan Media Komunikasi Lainnya Menurut Gall at al. (2003:278) analisis terhadap konten dokumen dan media komunikasi lainnya dapat berupa: a) Written documents, berupa bahan (material) yang tertulis termasuk di dalamnya textbooks, tugas-tugas mahasiswa, tes, data sekolah/jurusan, surat kabar, memo, dan media tertulis lainnya. b) Visual media, berupa foto, lukisan, poster, dan media gambar lainnya yang mungkin bisa dianalisis. c) Audio media, peneliti bisa menganalisis rekaman suara dari kaset, CD/DVD, atau program radio. d) Media campuran, berupa berbagai jenis media lainnya seperti program TV, CD-ROM discs yang berisikan materi yang bisa dicetak, visual images, dan suara. Dokumen dan berbagai jenis media komunikasi di atas berisikan pesan/data/ informasi yang bisa dipergunakan untuk membantu peneliti menjawab pertanyaan penelitian. Setelah dokumen dan media komunikasi di atas dikumpulkan, selanjutnya dilakukan analisis terhadap isi/konten dari dokumen dan media

96

tersebut. Gall et al. (2003) memberikan langkah-langkah dalam melakukan analisis terhadap isi/konten dari dokumen/media berdasarkan dua pendekatan penelitian, yakni kualitatif dan kuantitatif.

3.3.3 Wawancara Cohen (2000:269) mendefinisikan wawancara (research interview): “A two-person conversation initiated by the interviewer for the specific purpose of obtaining research-relevan information, and focused by him on content specified by research objectives of systematic description, prediction, or explanation. It involves the gathering of data through direct verbal interaction between individuals.” Berdasarkan definisi tersebut tentu saja wawancara (interview) berbeda dengan kedua metode pengumpulan data di atas, dimana wawancara memerlukan adanya interaksi secara verbal antara dua individu dengan tujuan untuk mengumpulkan data/informasi yang nantinya digunakan sebagai dasar untuk menjawab pertanyaan penelitian. Menurut Cohen (2000:268) pula wawancara memiliki beberapa tujuan, diantaranya: 1. Wawancara bisa digunakan sebagai instrumen penelitian utama untuk mengumpulkan informasi sesuai dengan tujuan penelitian. Tuckman (1972) mengatakan bahwa wawancara membuka akses “ke dalam kepala responden” untuk mengetahui apa yang diketahui oleh responden tersebut (knowledge and/or information), apa yang ia (tidak) suka (values and preferences), dan apa yang ia pikir terhadap suatu masalah/fenomena (attitudes and beliefs).

97

2. Wawancara bisa digunakan untuk menguji hipotesis atau untuk mengajukan hipotesis baru, atau sebagai alat untuk membantu mengidentifikasi variabel dan hubungan antar variabel. 3. Wawancara bisa juga digunakan untuk mendukung penggunaan metode pengumpulan data lainnya. Dalam hal ini wawancara digunakan untuk memfollow-up hasil yang tidak diinginkan, contohnya memvalidasi/mentriangulasi data/informasi yang diperoleh melalui metode pengumpulan data lainnya seperti kuesioner, dan analisis dokumen. Berdasarkan tujuan dilakukannya wawancara, Patton mengemukakan beberapa jenis wawancara seperti: informal conversational interview, interview guide approach, standardized open-ended interview, dan Closed quantitative interview. Tabel 3.4 di bawah menjelaskan tentang karakteristik, kekuatan, dan kelemahan dari masing-masing jenis interview. Untuk mendapatkan data/informasi yang diinginkan, peneliti memilih menggunakan interview jenis pertama dan kedua, yaitu informal conversational interview dan interview guide approach. Jenis wawancara yang pertama digunakan untuk menggali data/informasi yang ditujukan langsung kepada dosen pengajar IC dan pengelola jurusan tanpa harus terpaku pada outline yang dibuat. Hal ini dilakukan untuk mengantisipasi kesibukan para dosen ketika mengajar ataupun mengganggu aktivitas pengelola jurusan di kampus. Dengan melakukan wawancara jenis ini data/informasi dapat diperoleh dengan cepat dan mudah, responden pun masih bisa melakukan kegiatannya tanpa merasa terganggu oleh kehadiran peneliti/evaluator. Sedangkan jenis wawancara yang kedua ditujukan

98

kepada responden mahasiswa. Tujuannya adalah untuk mendapatkan data/ informasi yang sama kepada semua responden mahasiswa. Wawancara yang kedua ini juga dilakukan dengan menggunakan jadual di luar jam perkuliahan responden mahasiswa, sehingga mereka merasa tidak terganggu oleh kegiatan wawancara yang dilakukan oleh peneliti. Tabel 3.4 Kekuatan dan Kelemahan dari Berbagai Jenis Interview

(Sumber: Patton, 1980:206)

99

3.4 Instrumen Penelitian Dalam setiap penelitian, instrumen merupakan sesuatu yang mempunyai kedudukan sangat penting, karena instrumen akan menentukan kualitas data yang dikumpulkan. Semakin tinggi kualitas instrumen, semakin tinggi pula hasil evaluasinya (Arikunto dan Jabar, 2008:92). Dengan demikian kualitas suatu penelitian/evaluasi ditentukan oleh paling tidak empat kriteria berikut ini: a. Sahih (valid), yaitu mengukur apa yang semestinya diukur (measure what it should measure). b. Keterandalan (reliable), yaitu instrumen tersebut bisa digunakan kapanpun dengan hasil yang kurang lebih sama. c. Practicable, yaitu instrumen tersebut mudah digunakan, mudah dimengerti, praktis, dan tidak rumit. d. Ekonomis, yaitu instrumen tersebut tidak banyak membuang uang, waktu, dan tenaga dalam penyusunannya. Seperti disebutkan sebelumnya bahwa terdapat tiga jenis metode/teknik pengumpulan data yang digunakan dalam penelitian evaluasi ini, diantaranya adalah analisis dokumen, angket (kuesioner), dan wawancara. Untuk memberikan arah/pedoman terhadap hal-hal yang dievaluasi, peneliti terlebih dahulu menentukan komponen yang dievaluasi. Tabel di bawah ini memberikan gambaran yang lebih jelas dan rinci tentang kaitan antara aspek dan komponen yang dievaluasi, indikator yang dikembangkan berdasarkan komponen tersebut, sumber diperolehnya data, metode/teknik pengumpulan data, serta instrumen yang dipakai. Selanjutnya berdasarkan komponen/indikator yang dievaluasi itulah, instrumen-instrumen

penelitian

di

atas

dirancang

dan

digunakan. 100

Tabel 3.5 Kaitan antara Aspek, Komponen, Indikator, Sumber Data, Metode, dan Instrumen Pengumpulan Data Komponen Sub-Komponen A. Evaluasi Konteks (Context Evaluation) 1.1 Tujuan Program Penguasaan Intensive Course ketrampilan berbahasa

Indikator 1. 2. 3. 4.

Ketrampilan berbicara Ketrampilan menyimak Ketrampilan menulis Ketrampilan membaca

Sumber Data

Metode

1. 2. 3. 4.

Pengelola Jurusan Dosen Pengajar Mahasiswa Dokumen

1. Analisis Dokumen 2. Kuesioner 3. Wawancara

Instrumen 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Kuesioner 2. Panduan wawancara

Penguasaan komponen bahasa

5. Tata bahasa 6. Kosakata

1. 2. 3. 4.



Kompetensi linguistik/ profesional

7. 8. 9. 10.

1. 2. 3. 4.



Kompetensi penunjang

11. Kompetensi kepribadian 12. Kompetensi sosial

1. 2. 3. 4.



1.3 Landasan Pengembangan Program

13. Perkembangan ilmu pengetahuan dan teknologi, psikologis, dan sosial budaya

1. 2. 3. 4.



1.4 Saran-saran perbaikan program B. Evaluasi Masukan (Input Evaluation) 2.1 Pengembangan Pengembangan

14. Saran-saran perbaikan program terkait aspek konteks

1. Pengelola Jurusan 2. Dosen Pengajar 3. Mahasiswa

1. Kuesioner 2. Wawancara

1. Tujuan program IC

1. Pengelola Jurusan

1. Analisis Dokumen

1.2 Kebutuhan saat ini


1. Panduan

101

Dokumen Kurikulum

2.2 Alat/Bahan/ Media/Sumber Pembelajaran

2.3 Penyiapan

Silabus/GBPP

2. Materi program IC 3. Metode pembelajaran IC 4. Evaluasi hasil belajar

2. Dosen Pengajar 3. Dokumen


Pengembangan Satuan Acara Perkuliahan (SAP)

5. 6. 7. 8.

1. Pengelola Jurusan 2. Dosen Pengajar 3. Dokumen


Penyediaan alat/bahan pembelajaran

9. Penyediaan peralatan elektronik (LCD, dsb) 10. Penyediaan bahan penunjang pembelajaran (kaset, CD, dsb.)

1. 2. 3. 4.



Penyediaan media pembelajaran

11. Penyediaan buku ajar/modul 12. Penyediaan media pembelajaran lainnya

1. 2. 3. 4.



Penyediaan sumber belajar

13. Penyediaan buku penunjang (textbooks) 14. Penyediaan media cetak (suratkabar, majalah, dsb) 15. Penyediaan internet

1. 2. 3. 4.



Kualitas materi/buku ajar

16. Kesesuaian materi dengan tujuan/kompetensi 17. Tingkat kesulitan materi 18. Variasi materi 19. Ruang lingkup materi IC 20. Kesesuaian materi dengan kebutuhan mahasiswa 21. Kesesuaian materi dengan landasan program IC 22. Pemberian tes awal

1. 2. 3. 4.



Penyiapan mahasiswa

Tujuan pembelajaran Materi pembelajaran Metode pembelajaran Evaluasi pembelajaran

1. Dosen Pengajar

1. Analisis Dokumen

dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara

1. Panduan

102

sumber daya manusia

sebelum perkuliahan

23. Orientasi tentang program IC

2. Mahasiswa 3. Dokumen


Penyiapan dosen pengajar IC

24. Pelibatan dalam seminar tentang Program IC 25. Pelibatan dalam workshop program IC 26. Pelaksanaan teacher sharing di jurusan 27. Pelaksanaan magang pada perguruan tinggi lainnya 28. Pertukaran dosen pengajar IC antar perguruan tinggi 29. Penyediaan ruang kuliah 30. Penyediaan laboratorium bahasa 31. Penyediaan perpustakaan



1. 2. 3. 4.



2.4 Penyediaan sarana/fasilitas pendukung

Penyediaan bangunan fisik

2.5 Penyediaan anggaran

Penyediaan anggaran belanja rutin

32. Penyediaan anggaran untuk teaching aids dan mebuler 33. Penyediaan anggaran untuk bahan/media/sumber pembelajaran



Penyediaan honor dosen pengajar IC

34. Penyediaan honor mengajar 35. Penyediaan honor memeriksa tugas/ujian



36. Saran-saran perbaikan program terkait aspek masukan



1. Pendistribusian tugas mengajar 2. Pengaturan jadwal perkuliahan 3. Pengelolaan anggaran


1. Analisis Dokumen 2. Kuesioner

2.6 Saran-saran perbaikan program C. Evaluasi Proses (Process Evaluation) 3.1 Peran pengelola jurusan

dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara

1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Kuesioner 2. Panduan wawancara

1. Panduan dokumentasi 2. Kuesioner

103

4. Monitoring dan evaluasi 3.2 Penyampaian dokumen kurikulum kepada mahasiswa 3.3 Presentasi materi IC

3.4 Manajemen kelas

3.5 Pemanfaatan alat/bahan/media /sumber pembelajaran

3. Wawancara

5. Penyampaian silabus 6. Penyampaian SAP

1. 2. 3. 4.



Penguasaan materi

7. Pemahaman materi 8. Penjelasan materi perkuliahan



Penyajian materi

9. 10. 11. 12. 13. 14. 15. 16.

1. 2. 3. 4.



1. 2. 3. 4.



Peran dosen di kelas

Efektivitas penyajian materi Ketuntasan pembahasan materi Pemberian kesempatan bertanya Penyimpulan materi perkuliahan Keterbukaan menerima saran/kritik Fasilitator Motivator Counselor

Peran mahasiswa di kelas

17. Pembelajaran Individual 18. Pembelajaran Kelompok

1. 2. 3. 4.



Pemanfaatan alat/bahan pembelajaran

19. Pemanfaatan peralatan elektronik (LCD, dsb) 20. Pemanfaatan bahan pembelajaran (kaset, CD, dsb.)

1. 2. 3. 4.



Pemanfaatan media

21. Pemanfaatan buku ajar/ modul

1. Pengelola Jurusan

1. Analisis

3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan

104

pembelajaran

22. Pemanfaatan media pembelajaran lainnya

2. Dosen Pengajar 3. Mahasiswa 4. Dokumen

Dokumen 2. Kuesioner 3. Wawancara

Pemanfaatan sumber belajar

23. Pemanfaatan buku penunjang (textbooks) 24. Pemanfaatan media cetak (surat kabar, majalah, dsb) 25. Pemanfaatan internet 26. Kesesuaian metode dengan tujuan IC 27. Kesesuaian metode dengan kondisi mahasiswa

1. 2. 3. 4.



1. 2. 3. 4.



28. Kesesuaian alat/media dengan metode pembelajaran 29. Efektivitas alat/media terhadap metode

1. 2. 3. 4.



3.7 Asesmen/ evaluasi Pembelajaran

30. Kesesuaian UTS dengan Tujuan IC 31. Kesesuaian UAS dengan Tujuan IC

1. 2. 3. 4.



3.8 Saran-saran perbaikan program D. Evaluasi Hasil (Product Evaluation) 4.1 Penguasaan Penguasaan kompetensi ketrampilan berbahasa selama pelaksanaan program

32. Saran-saran perbaikan program terkait aspek proses/pelaksanaan program



1. 2. 3. 4.

1. 2. 3. 4.


3.6 Metode pembelajaran

Efektivitas metode pembelajaran

Dukungan alat/media terhadap metode



dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Kuesioner 2. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara

105

4.2 Penguasaan kompetensi setelah pelaksanaan program



1. 2. 3. 4.



1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara

Penguasaan ketrampilan berbahasa

7. 8. 9. 10.

1. 2. 3. 4.





1. 2. 3. 4.



1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara 1. Panduan dokumentasi 2. Kuesioner 3. Panduan wawancara


106

3.4.1 Angket (Kuesioner) Bagian 3.3.1 di atas telah banyak mengulas tentang definisi, sifat, dan bentuk kuesioner yang digunakan dalam penelitian ini. Pada bagian ini peneliti secara khusus memaparkan langkah-langkah yang digunakan dalam mengembangkan kuesioner untuk mengevaluasi program IC. Gall et al. (2003:224-36) mengajukan delapan langkah yang bisa digunakan dalam mengembangkan kuesioner, akan tetapi peneliti tidak menggunakan kedelapan langkah tersebut karena penyebaran kuesioner dilakukan secara langsung kepada sampel yang dipilih. Langkah-langkah yang digunakan dalam penelitian ini diantaranya: a. Menentukan tujuan penelitian (defining research objectives) Menentukan tujuan penelitian merupakan hal terpenting yang seharusnya dilakukan oleh seorang peneliti ketika melakukan suatu kajian ilmiah. Tujuan penelitian tidak saja memperjelas alasan dilakukannya penelitian, akan tetapi tujuan penelitian juga berfungsi untuk mengontrol kegiatan penelitian baik dalam hal penentuan sampel, pengumpulan data, maupun analisis terhadap data yang diperoleh. Dengan demikian, tujuan penelitian secara tidak langsung menjadi pedoman bagi peneliti dalam melakukan kegiatan ilmiah yang dilakukannya. Adapun tujuan utama dari penelitian ini adalah mengevaluasi efektivitas dan kesesuaian antar komponen dalam program IC. Penentuan tujuan ini selanjutnya mengarahkan peneliti dalam melaksanakan langkahlangkah berikutnya. b. Memilih sampel penelitian (selecting a sample) Pemilihan sampel juga telah dijelaskan panjang lebar dalam bagian 3.2 di atas.

107

Mengacu kepada tujuan yang dikemukakan pada langkah sebelumnya, peneliti memilih tiga kelompok sampel dalam penelitian ini, yakni mahasiswa, dosen, serta pengelola Jurusan Pendidikan Bahasa Inggris. Jumlah sampel yang dipilih bervariasi, yakni sampel mahasiswa berjumlah 140 orang (30 % dari jumlah keseluruhan mahasiswa yang terbagi ke dalam empat tingkat), sampel dosen berjumlah 13 orang (yang sebagian besar merupakan dosen muda), dan tiga orang pengelola jurusan (ketua dan sekretaris jurusan serta ketua laboratorium). c. Mendesain kuesioner (designing the questionnaire) Setelah menentukan sampel penelitian, peneliti/evaluator mendesain kuesioner berdasarkan sifat dan bentuk yang diinginkan serta mengacu kepada kisi-kisi komponen, sub-komponen, serta indikator dalam Tabel 3.5 di atas. Kuesioner terstruktur (termasuk di dalamnya open-ended questionnaire) mengarahkan responden untuk memilih respon/jawaban yang telah disediakan dengan cara melingkari angka (dalam skala 1 – 4) yang sesuai dengan respon/jawaban yang ingin ia berikan serta memberikan tanda centang (√) untuk respon/jawaban yang memerlukan pilihan lebih dari satu. Sedangkan kuesioner

tidak

terstruktur

(unstructured

questionnaire)

memerlukan

respon/jawaban tertulis, dimana responden bisa menuliskan pendapat, saran, ide, kritik, perasaan, penilaian pribadi, dan sebagainya. Kuesioner yang dikembangkan ini menggunakan lima jenis kuesioner seperti disebutkan pada bagian 3.3.1 di atas, yakni biodata survey, opinion survey, self-ratings, judgmental ratings, dan Q sort. Penggunaan kelima bentuk kuesioner tersebut

108

sesuai dengan tujuan penelitian yakni mengumpulkan biodata responden, data tentang pembelajaran bahasa Inggris awal dari responden mahasiswa, serta penilaian dari ketiga kelompok respon-den terhadap efektivitas pelaksanaan program IC beserta kesesuaian antar komponen dalam program tersebut. Kuesioner yang didesain tersebut dapat dilihat pada Lampiran Kuesioner. d. Menguji/memvalidasi kuesioner (pilot-testing the questionnaire) Kuesioner yang dirancang tersebut menggunakan pendekatan kualitatif dan kuantitatif. Oleh karenanya, pengujiannya pun menggunakan kedua pendekatan tersebut. Untuk mengukur tingkat validitas dan reliabilitas instrumen kuesioner ini, peneliti melakukan: 1) uji-coba kuesioner kepada beberapa sampel mahasiswa dan dosen, dan 2) expert judgment (penilaian dari pakar evaluasi dan pembelajaran bahasa Inggris di Undiksha). Kedua pengujian tersebut dimaksudkan untuk mengukur content dan construct validity serta reliabilitas dari kuesioner itu sendiri. Gall et al. (2003:621) mendefinisikan content validity sebagai “The extent to which inferences from an instrument’s test result adequately represent the content or conceptual domain that the instrument is claimed to measure,” dan construct validity sebagai “The extent to which inferences from an instrument’s test result accurately reflect the construct that the instrument is claimed to measure.” Sementara itu, Cohen (2000:117-19) menjelaskan reliabilitas dalam penelitian kuantitatif sebagai “a synonym for consistency and replicability over time, over instruments and over groups of respondents” dan reliabilitas dalam penelitian kualitatif sebagai “a fit between what researchers record as data and what actually occurs in

109

the natural setting that is being researched, i.e. a degree of accuracy and comprehensiveness of coverage.” e. Menyebarkan kuesioner (distributing the questionnaire) Setelah melalui tahap pengujian dan revisi, kuesioner tersebut selanjutnya disebarkan kepada ketiga kelompok sampel yang terlebih dahulu sudah dipilih. Peneliti memberikan waktu untuk mengisi kuesioner selama satu minggu dan responden bisa mengisi kuesioner tersebut di tempat dimana mereka merasa nyaman dan tidak tertekan oleh pihak manapun baik yang berkepentingan maupun tidak berkepentingan terhadap data/hasil dari kuesioner tersebut. f. Menganalisis kuesioner data (analyzing questionnaire data) Satu minggu berikutnya, peneliti menghubungi semua responden untuk mendapatkan kembali kuesioner yang sudah terisi. Peneliti masih memberikan batas waktu satu minggu lagi bagi responden yang belum selesai menjawab semua

item

dalam

kuesioner

tersebut.

Setelah

semua

responden

mengembalikan kuesioner, peneliti selanjutnya melakukan tabulasi data dan analisis data. Kedua langkah ini dijelaskan secara lebih detail pada bagian 3.5 di bawah.

3.4.2 Pedoman analisis konten/dokumen Penelitian evaluasi terhadap program IC ini menggunakan pendekatan campuran (mixed approach). Dengan demikian dalam melakukan analisis konten/ dokumen, peneliti menggabungkan kedua pendekatan tersebut.

110

3.3.2.1 Analisis konten dalam penelitian kuantitatif Gall et al. (2003:278) mendefinisikan analisis konten (content analysis) sebagai: “A research technique for the objective, systematic, and quantitative description of the manifest content of communication.” Selanjutnya Gall et al. menjelaskan: “Most content analyses in education involve collecting data on various aspects of the messages encoded in the communication product. These analyses generally involve fairly simple classifications or tabulations of specific information. Content analysis of student compositions for language arts classes, for example, could be used to develop a typology of grammatical and spelling errors as well as information on the frequency of different types of errors. This information can be used to revise language arts courses or develop remedial program (Gall et al, 2003:278).”

Pesan/data/informasi dalam suatu dokumen seperti textbook, handbook, tugas-tugas mahasiswa, tes dan dokumen tertulis lainnya, serta media komunikasi yang disebutkan di atas bisa dianalisis menggunakan langkah-langkah dalam analisis konten yang diajukan oleh Gall et al. (2003:279-281) berikut ini: a. Menentukan pertanyaan penelitian, hipotesis, atau tujuan penelitian Dalam langkah pertama ini, peneliti terlebih dahulu menentukan pertanyaan penelitian guna memberikan arah/pedoman terhadap pengumpulan dokumen/ media komunikasi yang akan dianalisis. b. Memilih sampel dokumen/media komunikasi yang akan dianalisis Setelah menentukan pertanyaan penelitian, peneliti selanjutnya memilih sampel dokumen/media komunikasi yang akan dianalisis. Sampel dapat berupa textbook, handbook, atau media komunikasi lainnya yang relevan dengan pertanyaan penelitian.

111

c. Mengembangkan prosedur pemberian label kategori Inti dari analisis konten adalah melakukan kodifikasi pesan dokumen ke dalam kategori. Masing-masing kategori mewakili variabel yang berbeda sesuai dengan

pertanyaan/tujuan

penelitiannya.

Pemberian

kategori

tersebut

berdasarkan kepada Tabel 3.5 yang menjadi kisi-kisi dalam melakukan kategorisasi dalam analisis konten/dokumen. d. Melakukan konten analisis Konten analisis yang biasa dilakukan adalah menghitung frekuensi/presentase kemunculan masing-masing kategori dalam dokumen/media komunikasi yang dijadikan sampel. e. Melakukan interpretasi hasil analisis konten Langkah terakhir adalah memberikan makna terhadap hasil analisis konten. Interpretasi hasil analisis konten tersebut mengacu kepada tujuan penelitian serta kajian teoretik dan konseptual yang dijadikan pedoman dalam analisis data.

3.3.2.2 Analisis dokumen dan record dalam pendekatan kualitatif Lincoln dan Guba (Gall et al., 2003:282) membedakan antara document dan record. Mereka mendefinisikan document sebagai “Written communications that are prepared for personal rather than official reasons,” sedangkan record adalah “Written communications that have an official purpose.” Contoh dokumen adalah surat pribadi, diari, dan sebagainya, sedangkan contoh record adalah textbook, kontrak kerja, surat pajak, artikel surat kabar, dan sebagainya.

112

Ketika melakukan analisis konten terhadap dokumen dan record sebagai sumber data penelitian, peneliti secara umum bisa mengikuti langkah-langkah sebagai berikut: a. Mengidentifikasi dokumen dan record yang sesuai dengan kondisi/latar belakang penelitian. b. Menentukan dokumen dan record yang relevan dengan tujuan penelitian. c. Mengumpulkan dokumen dan record untuk dianalisis berdasarkan pedoman etika penelitian. d. Melakukan analisis konten dan menentukan validitas dokumen dan record yang dianalisis. Hasil analisis konten yang dilakukan secara kualitatif tidak bisa dinyatakan dalam bentuk kuantitatif. Akan tetapi, dokumen dan record yang menjadi sumber data dapat dianalisis dari perspektif dan untuk tujuan yang berbeda dalam pendekatan kualitatif. Gall et al. (2003) menjelaskan hasil analisis konten secara kualitatif dapat berupa interpretasi dan hipotesis yang didasarkan pada dua konteks, yakni konteks dimana dokumen dan record tersebut dikembangkan dan konteks dimana kedua sumber data tersebut diinterpretasikan untuk tujuan penelitian. Terdapat lima kriteria yang harus diperhatikan ketika melakukan interpretasi terhadap hasil analisis konten: 1. Internal coherence, yang berarti bahwa bagian-bagian yang berbeda dari argumen teoretik tidak saling bertentangan dan kesimpulan yang dibuat mengikuti premis yang diajukan;

113

2. External coherence, yang berarti bahwa interpretasi yang dibuat sesuai dengan teori yang dipakai; 3. Keterhubungan antara teori dan data; 4. Keberhasilan hipotesis teoretik, yakni seberapa banyak perspektif yang dibuka; dan 5. Kepercayaan, professional credentials, dan status dari penulis dan pendukung dari interpretasi tersebut.

3.4.3 Pedoman wawancara Seperti disebutkan pada bagian 3.3.3 di atas bahwa peneliti menggunakan informal conversational interview dan interview guide approach (semistructured interview) sebagai dasar pengembangan instrumen wawancara. Informal conversational interview dilakukan kepada dosen dan pengelola jurusan untuk mengantisipasi kesibukan dari kedua kelompok sampel tersebut. Sedangkan interview guide approach (semistructured interview) dilakukan kepada sampel mahasiswa, dimana peneliti terlebih dahulu merancang format wawancara sebagai panduan peneliti dalam melakukan wawancara. Dalam mengembangkan pedoman wawancara tersebut, peneliti menggunakan langkah-langkah pengembangan wawancara yang diajukan oleh Gall et al. (2003:236-51). Langkah-langkah tersebut juga dimodifikasi oleh peneliti menjadi tujuh langkah dari delapan langkah yang direkomendasikan, diantaranya: a. Menentukan tujuan wawancara (defining the purpose of the interview) Pada tahap ini peneliti terlebih dahulu merumuskan tujuan dilakukannya

114

wawancara. Hal ini penting dilakukan untuk memberikan arah/pedoman kepada pewawancara (interviewer) ketika melakukan percakapan dengan para responden. Tujuan dilakukannya wawancara dalam penelitian ini adalah untuk triangulasi data, dimana dari data primer yang diperoleh melalui kuesioner akan dicross-check kebenarannya kembali kepada ketiga kelompok responden yang menjadi sampel dalam penelitian ini. Sehingga data/informasi yang diperoleh menjadi lebih valid. b. Memilih sampel (selecting a sample) Sampel yang menjadi responden dalam wawancara sama dengan sampel yang menjadi responden kuesioner. Akan tetapi tidak menutup kemungkinan peneliti mewawancarai sampel mahasiswa dan dosen lainnya yang dianggap mempunyai pengetahuan/pendapat tentang program IC sebagai obyek penelitian. Hal ini dimungkinkan mengingat tujuan penggunaan instrumen wawancara adalah untuk melakukan triangulasi data seperti disebutkan pada langkah pertama di atas. c. Mendesain format wawancara (designing the interview format) Berdasarkan pendekatan yang dipergunakan dalam penelitian ini, yakni mixed approach (gabungan antara pendekatan kualitatif dan kuantitatif) maka peneliti menggunakan dua format wawancara. Kedua format tersebut adalah informal conversational interview dan interview guide approach (semistructured interview). Format pertama berdasarkan pada pendekatan kualitatif dimana penggunaannya untuk menggali data/informasi yang sedalam-dalamnya dari sampel penelitian tanpa merasa tertekan oleh format wawancara yang ketat

115

dan memakan banyak waktu. Jenis wawancara ini bisa dilakukan dimana dan kapan saja tanpa mengganggu aktivitas/kesibukan para responden. Dengan demikian wawancara jenis ini peneliti tujukan kepada dosen dan pengelola jurusan yang memiliki tingkat aktivitas mengajar yang cukup padat. Wawancara jenis ini juga terkadang dilakukan kepada mahasiswa dengan maksud memperoleh penilaian secara umum terhadap pelaksanaan program IC dan aktivitas pembelajaran yang dilakukan oleh dosen pengajar IC. Di sini peneliti tidak merekam hasil interview dalam bentuk recording dan hanya membuat catatan saja. Dengan tidak adanya recording responden mahasiswa merasa lebih bebas mengungkapkan penilaian mereka baik terhadap program IC, dosen, maupun peran pengelola jurusan dalam program IC ini. Sedangkan format kedua ditujukan kepada sampel mahasiswa yang dimaksudkan untuk memperoleh data/informasi yang sama dan detail tentang penilaian mahasiswa terhadap empat aspek yang dievaluasi dalam program IC. d. Mengembangkan pertanyaan wawancara (developing questions) Pengembangan pertanyaan wawancara bisa dilakukan sebelum proses wawancara dimulai ataupun selama proses wawancara tersebut berlangsung. Pengembangan pertanyaan wawancara ini juga tergantung kepada format wawancara yang digunakan. Karena peneliti menggunakan dua format wawancara di atas, maka tidak ada tuntutan untuk mengembangkan pertanyaan wawancara yang bersifat baku. Pertanyaan dalam wawancara mengacu kepada kisi-kisi pada Tabel 3.5 sebagai dasar pelaksanaan evaluasi program IC dan tentu saja pertanyaan tidak akan terpaku pada kisi-kisi

116

komponen, sub-komponen dan indikator yang terdapat dalam tabel tersebut, akan tetapi pertanyaan bisa dikembangkan seiring dengan jawaban yang diberikan oleh responden, Dengan demikian data/informasi yang diperoleh pun lebih dalam dan lengkap. e. Menguji-cobakan wawancara (pilot-testing the interview) Gall et al. (2003) menyebutkan walaupun interview memberikan banyak data/ informasi penting, terkadang interview juga bisa bias. Dengan demikian pedoman wawancara (interview guide) dan prosedur pelaksanaan wawancaranya harus diuji-cobakan untuk memastikan bahwa wawancara tersebut nantinya menghasilkan data yang valid dan tidak bias. Selama wawancara, pewawancara harus hati-hati terhadap masalah-masalah komunikasi baik dari volume suara, nada suara, maupun gerakan tubuh, motivasi responden, atau hal-hal lainnya yang dapat menimbulkan interpretasi negatif dari pihak responden. Untuk memperoleh data/informasi yang valid dan reliable, maka uji-coba merupakan langkah yang harus dilakukan oleh peneliti. f. Melaksanakan wawancara (conducting the interview) Berdasarkan pengalaman yang diperoleh ketika melakukan tahap uji-coba di atas, pewawancara akan menjadi lebih berhati-hati dalam melakukan wawancara. Gall et al. (2003) menyebutkan dua hal yang mesti diperhatikan pada tahap wawancara ini, yaitu tugas-tugas wawancara (interviewing tasks) dan merekam data wawancara (recording interview data). Tugas-tugas wawancara berkaitan dengan bagaimana pewawancara memposisikan dirinya terhadap responden, hubungan emosional, mendapatkan kepercayaan dari

117

responden, memahami bahasa dan budaya responden, dan sensitivitas pewawancara terhadap gerakan tubuh responden. Merekam data wawancara baik melalui catatan ataupun kaset merupakan bagian yang penting karena pada tahap ini peneliti/pewawancara bisa mereviu kembali data/informasi yang diperoleh tanpa harus mengulang kembali wawancara kepada responden. g. Menganalisis data interview (analyzing interview data) Langkah yang dilakukan pada tahap ini hampir sama dengan tahap analisis data pada instrumen kuesioner di atas, dimana data wawancara yang bersifat kuantitatif dianalisis dengan statistik deskriptif (berdasarkan frekuensi dan persentase), sedangkan data wawancara yang bersifat kualitatif akan dideskripsikan menggunakan kalimat untuk mendukung data yang diperoleh melalui wawancara dan analisis konten/dokumen.

3.5 Teknik Analisis Data Penelitian evaluatif umumnya bertujuan untuk memberikan rekomendasi kepada pihak penyelenggara program. Rekomendasi tersebut tentu saja berlandaskan pada data atau informasi yang diperoleh dari lapangan baik yang berasal dari tempat (place), orang (person), ataupun dokumen (paper). Informasi atau data tersebut selanjutnya diberikan perlakuan atau yang lebih dikenal dengan istilah pengolahan data. Arikunto dan Jabar (2008:128) mengatakan bahwa mengolah data adalah suatu proses mengubah wujud data yang diperoleh, biasanya masih termuat di dalam instrumen atau catatan-catatan yang dibuat peneliti (evaluator), menjadi sebuah sajian data yang dapat disimpulkan dan

118

dimaknai. Seperti dijelaskan dalam instrumen penelitian, data atau informasi yang diperoleh dalam penelitian evaluasi ini berasal dari tiga sumber yakni: 1) dokumen yang merupakan syarat administrasi dari suatu program, 2) angket (kuesioner) yang disebarkan kepada ketiga narasumber (mahasiswa, dosen, serta pengelola jurusan), dan 3) wawancara terhadap ketiga narasumber tersebut. Selanjutnya, Arikunto dan Jabar (2008:130) menyebutkan data mentah yang diperoleh dari proses pengumpulan data sifatnya bervariasi: 1. Data yang diperoleh dengan menggunakan dokumen berupa angka-angka atau simbol-simbol yang menunjuk peringkat kondisi objek yang ditelaah. 2. Data yang diperoleh dengan menggunakan angket (kuesioner) maka data yang diperoleh berupa centangan atau tanda checklist (√) pada pilihan-pilihan, lingkaran-lingkaran pada angka atau huruf/kata yang disediakan dalam instrumen, atau kalimat-kalimat jawaban yang sifatnya kualitatif. 3. Data yang diperoleh dengan wawancara, wujud data yang diperoleh berbentuk centangan, lingkaran, dan kalimat jawaban yang diberikan oleh responden (interviewee) dan dicatat oleh petugas pengumpul data atau peneliti/evaluator. Data-data mentah di atas berikutnya disajikan/diolah untuk memudahkan pemaknaan/penafsiran terhadap data itu sendiri sehingga proses analisisnya menjadi lebih reliabel dan valid. Penyajian/pengolahan data mentah tersebut dilakukan melalui dua tahapan (Arikunto dan Jabar, 2008:129-130), yaitu:

119

3.5.1 Tabulasi data Tabulasi merupakan proses menyajikan data dalam bentuk tabel. Tabulasi merupakan coding sheet yang memudahkan peneliti dalam mengolah dan menganalisis data yang diperoleh, baik secara manual maupun menggunakan komputer. Tabulasi ini berisikan variabel-variabel objek yang akan diteliti dan angka-angka sebagai simbolisasi (label) dari kategori berdasarkan variabelvariabel yang diteliti. Dalam penelitian evaluasi ini, peneliti mentabulasi data yang diperoleh melalui kuesioner, dimana kuesioner yang disebarkan tersebut menekankan pada empat aspek (yakni: konteks, masukan, proses, dan hasil) yang dijadikan acuan dalam mengevaluasi program Intensive Course (IC) di Jurusan Pendidikan Bahasa Inggris. Dalam keempat aspek tersebut terdapat beberapa komponen/variabel yang diteliti dan komponen/variabel dari masing-masing aspek tersebut selanjutnya dirinci lagi menjadi beberapa indikator. Untuk memudahkan pemaknaan/ penafsiran data, peneliti memberikan kategori dan kode/label dalam bentuk nominal maupun ordinal terhadap indikator-indikator tersebut.

3.5.2 Pengolahan/Analisis Data Kegiatan menganalisis data merupakan kegiatan lanjutan setelah data terkumpul dan ditabulasi. Dari pengolahan data, bisa didapatkan keterangan/ informasi yang bermakna atas sekumpulan angka, simbol, atau tanda-tanda yang didapatkan dari lapangan. Informasi tersebut akan menggambarkan kondisi yang ingin diketahui tentang program pendidikan yang dievaluasi. Berdasarkan

120

informasi itulah evaluator akan memberikan rekomendasi-rekomendasi kepada para pemegang kebijakan pendidikan yang terkait maupun stakeholder (Arikunto dan Jabar, 2008:143). Data yang diperoleh dalam penelitian ini bersifat kuantitatif dan kualitatif. Data kuantitatif berasal dari kuesioner yang disebar kepada ketiga kelompok responden, sedangkan data kualitatif berasal dari analisis dokumen, wawancara, serta kuesioner. Pengolahan data kuantitatif dalam penelitian ini menggunakan statistik deskriptif melalui perhitungan komputer dengan menggunakan SPSS 17,0. Statistik deskriptif adalah suatu teknik pengolahan data yang tujuannya untuk melukiskan dan menganalisis kelompok data tanpa membuat atau menarik kesimpulan atas populasi yang diamati. Statistik jenis ini memberikan cara untuk mengurangi

jumlah

data

ke

dalam

bentuk

yang

dapat

diolah

dan

menggambarkannya dengan tepat mengenai rata-rata, perbedaan, hubungan, dan sebagainya. Statistik deskriptif digunakan untuk menguraikan data yang sepertinya tidak tersusun dan memaknainya (Arikunto dan Jabar, 2008:143). Perhitungan statistik deskriptif yang akan dilakukan adalah: 1. Daftar distribusi frekuensi dan persentase Daftar distribusi frekuensi menunjukkan menunjukkan rincian skor dari suatu perangkat data beserta frekuensinya masing-masing dalam suatu pengukuran. Daftar distribusi frekuensi menggambarkan seberapa sering masing-masing skor pada perangkat data itu muncul (Furqon, 2008:22). Dalam penelitian evaluasi ini, skor yang dimaksud adalah penilaian (1 – 4, dalam skala Likert) yang diberikan oleh masing-masing kelompok responden terhadap indikator-

121

indikator yang dievaluasi. Sedangkan persentase menunjukkan berapa persen responden dalam suatu kelompok memberikan suatu penilaian terhadap indikator tersebut. 2. Rata-rata (mean) dan rata-rata gabungan Rata-rata (mean) atau lebih tepatnya disebut rata-rata hitung (arithmetic mean) merupakan ukuran gejala pusat yang sering digunakan. Rata-rata dapat didefinisikan sebagai jumlah nilai dibagi oleh jumlah (banyaknya/frekuensi) subjeknya (Furqon, 2008:41). Seperti disebutkan dalam bagian 3.4.2 di atas, peneliti menggunakan kuesioner untuk mengumpulkan data tentang penilaian yang diberikan oleh para responden terhadap suatu indikator. Nilai yang diberikan oleh para responden berada pada rentang 1 – 4 skala Likert. Nilai dari para responden tersebut selanjutnya diolah untuk mencari rata-rata penilaian dalam suatu kelompok responden. Di samping menentukan nilai rata-rata kelompok responden, peneliti juga menghitung nilai rata-rata gabungan ketiga kelompok responden. Perhitungan nilai rata-rata gabungan ini bertujuan untuk memudahkan peneliti membuat kesimpulan penilaian terhadap suatu indikator. Untuk memudahkan kesimpulan penilaian tersebut, peneliti terlebih dahulu menentukan rentang penilaiannya seperti terlihat dalam tabel berikut ini:

122

Tabel 3.6 Kategori Nilai Rata-Rata Kelompok/Gabungan Rentang Kategori 1,00 – 1,50

Sangat relevan, sangat efektif, sangat memadai, sangat sesuai, sangat baik, dan selalu

1,51 – 2,50

Relevan, efektif, memadai, sesuai, baik, dan sering

2,51 – 3,50

Kurang relevan, kurang efektif, kurang memadai, kurang sesuai, kurang, dan jarang

3,51 – 4,00

Tidak relevan, tidak efektif, tidak memadai, tidak sesuai, sangat kurang, dan tidak pernah (Diadaptasi dari: Arikunto dan Jabar, 2008)

3. Modus (mode) Modus (mode) merupakan nilai yang paling sering muncul dalam suatu pengukuran (Furqon, 2008:35). Penggunaan modus dalam penelitian ini dimaksudkan untuk memberikan dukungan terhadap nilai rata-rata, dimana melalui modus akan terlihat kecenderungan para respoden dalam suatu kelompok memberikan penilaian tertentu pada suatu indikator. 4. Simpangan standar/baku (standard deviation) Simpangan standar/baku yang sering dilambangkan dengan huruf s untuk simpangan standar/baku sampel dan σ (sigma) untuk simpangan standar/baku populasi merupakan indeks variabilitas seperangkat data (suatu distribusi). Makin bervariasi suatu perangkat data makin besarlah simpangan bakunya, dan sebaliknya (Furqon, 2008:64). Perhitungan standar baku dalam penelitian ini bertujuan untuk menentukan homogenitas kelompok responden. Semakin kecil nilai simpangan bakunya, maka semakin homogen kelompok responden tersebut, dan sebaliknya.

123

BAB III METODE PENELITIAN. 3.1 Penelitian Evaluasi (Evaluation Research) Berbasis Model CIPP

Recommend Documents