Catatan dari Diskusi Pros and Cons Penggunaan Metodologi Penelitian dalam Tracer Study antara menggunakan Alumni (Cohort atau Graduate) dengan Angkatan (Entry of Cohor atau Entry of Class) Abstrak
Pada saat sesi diskusi dalam EXLIMA di Bali 2015 waktu lalu, memang banyak yang belum atau tidak saya ungkap karena khawatir terjadi perdebatan yang panjang dan membuat suasana kurang kondusif, sehingga saya lebih memilih untuk pasif atau kecuali ada yang bertanya dan menjelaskan secukupnya. Belum lagi komputer saya yang mengalami crash sebelum acara sehingga saya tidak menyampaikan beberapa hal yang sudah disiapkan, namun sebagiannya ada dalam catatan saya berikut ini.
1. Selama Tracer Study itu dilakukan dengan menggunakan metoda sensus, atau sensal (bahasa Jerman), maka selama itu pula jumlah Response Rate menjadi sangat penting menyangkut kualitas dan validitas datanya. Response Rate yang hanya memperoleh 50 persen atau bahkan di bawah itu, tidak bisa dipakai untuk mewakili dan membaca 50% lainnya yang tidak mengisi kuesioner. Artinya data itu hanya valid untuk 50% yang mengisi saja, atau ia hanya menggambarkan setengah dari profil alumninya yang menjadi target respondennya. Berbeda apabila mengunakan metode sampling, dengan 10% bisa mewakili yang lainnya, namun tentu saja metode pengambilan samplingnya jelas dan bisa dipertanggungjawabkan, dan tidak bisa hanya yang mengisi saja kemudian disebutkan sebagai mewakili atau sampling dari target responden/populasinya seperti yang dilakukan pada praktek atau pelaksanaan Tracer Study selama ini. Bias antara kedua hal ini yang mengemuka pada saat diskusi, seharusnya tidak boleh dan tidak bisa disamakan antara sampling dengan sensus. Oleh karenanya, Response Rate yang tinggi hingga mencapai 93% seperti telah dicapai oleh Tracer Study di ITB tahun 2015 itu jelas jauh lebih valid menggambarkan profile alumninya yang menjadi target respondennya pada waktu tertentu itu. 2. Kelemahan metoda tradisional (menurut istilah saya) yang Response Rate hanya mencapai sekitar 50% meski pengalaman telah mencapai hampir 10 tahun di Indonesia atau di atas 25 tahun di Eropa, haruslah dipandang sebagai persoalan yang perlu dilakukan berbagai inovasi sepanjang tidak keluar dari guideline dan tujuan diselenggarakannya Tracer Study. ITB telah membuat konsep dan mengimplementasikannya (penggabungan formal dan informal, struktural dan kultural) untuk di ITB sendiri khususnya dan di Indonesia umumnya, yang disesuaikan dengan tradisi dan budaya di negeri ini sendiri yang tentu saja tidak cocok atau belum tentu cocok bila diterapkan di negara lain. Dengan pendekatan ini, hasilnya untuk peningkatan response rate jelas tidak terbantahkan lagi, dari 49% di 2012, 72% di 2013, 80% di 2014 dan 93% di 2015. Jika dibandingkan dengan pencapaian yang hanya 50% jelas tidak comparable. 3. Menyangkut penentuan tahun setelah lulus dari Target Responden. Ditetapkan 2 tahun setelah lulus oleh UI secara sepihak (bukan DIKTI, dalam buku panduannya ditetapkan 1-3 tahun setelah lulus) untuk diterapkan di seluruh Indonesia sangat perlu dipertimbangkan lagi, karena itu hanyalah interpretasi penyelenggara Tracer Study dari Universitas Indonesia (UI), yang sebetulnya punya beberapa kelemahan. Kelemahan yang paling nyata adalah apabila kita masukkan/pertimbangkan pertanyaan yang terkait dengan mengapa terlambat dalam menyelesaikan kuliah (lihat dalam pertanyaan Core Questioner), maka 2 tahun itu belum cukup, karena ada beberapa kasus yang belum lulus, keterlambatan kuliah maksimal bukan hanya 2 tahun, tetapi 3 tahun. Jadi seharusnya yang mendekati ideal adalah Tracer Study itu apabila di Indonesia dilakukan secara fixed yakni 3 tahun setelah lulus atau sliding rentang 1-3 tahun setelah lulus sebagaimana dalam buku panduan penyelenggaran Tracer Study oleh DIKTI. Jadi panduan dalam buku yang dikeluarkan DIKTI sudah benar, Tracer Study dilakukan dalam rentang 1-3 tahun setelah lulus, tidak difixed kan 2 tahun setelah lulus (yang memang tidak mungkin dibuat fixed). 4. Penentuan target responden dalam Tracer Study itu sebenarnya akan selalu bersifat “Sliding” artinya “range” atau ”rentang”, tidak mungkin atau akan selalu sulit membuat waktu awal itu sebagai sesuatu yang tetap atau fixed (menyusahkan diri sendiri!). Karena pada dasarnya seperti ditetapkan 2 tahun setelah lulus atau 3 tahun setelah lulus itu sebenarnya adalah “rentang” dalam 1 tahun itu. Tiap universitas berbeda-beda dalam penyelenggaraan wisuda, misalnya di ITB terjadi 3x wisuda yakni pada bulan April, Juli dan Oktober, jadi kalau dalam satu tahun itu, sebenarnya ada “range” atau “rentang” tersebut dalam satu tahun itu. Di Unpad ada 4x wisuda dalam setahun, kalau mau kita fixed kan yang mana?. Karena setiap universitas juga berbeda-beda. Apabila menggunakan pendekatan entry of cohort, pada dasarnya merupakan rentang dalam 1-3 tahun. Karena riset untuk target responden pada angkatan tertentu diambil 7 tahun setelah masuk, dan artinya ada yang 1 tahun setelah lulus, ada yang 2 tahun setelah lulus, dan ada yang 3 tahun setelah lulus (waktu kuliah apabila tepat waktu 4 tahun), di luar itu hampir sama sekali tidak ada. Apabila kita mendasarkan pada “range” atau “rentang” ini, maka pada dasarnya sama, karena keduanya merupakan “range” atau “sliding”. Jika diibaratkan sambungan dalam konstruksi, ini merupakan sambungan sendi, bukan sambungan mati, jadi bisa bergerak atau bergeser dalam batas tertentu, hanya bedanya pergerakan pendekatan cohort bergerak dalam rentang 1 tahun, maka yang menggunakan entry of cohort bergerak dalam rentang 1-3 tahun. 5. Pertanyaan lanjutan no 4, apakah memang akan berbeda jauh antara yang rentang 1 tahun (bulan berbeda) setelah lulus dengan yang rentang 1-3 tahun setelah lulus? Menjawab ini sebaiknya data harus berbicara. Lebih baik mengandalkan data dibandingkan membuat opini-opini atau pendapat yang tidak memiliki data atau risetnya. ITB telah melakukan perbandingan ini, analisis Tracer Study yang berdasarkan tahun angkatan (entry of Cohort) pada tahun 2013 (angkatan 2006, dengan response rate 72%), tahun 2014 (angkatan 2007, dengan response rate 80%), dan 2015 (angkatan 2008, dengan response rate 93%), dibandingkan dengan analisis Tracer Study menggunakan lulusan, yaitu Lulusan pada tahun 2012 (dengan response rate 80%), ternyata hampir sama atau tidak ada perbedaan yang signifikan. Lihat table 1. Perbedaan yang paling mungkin muncul hanya menyangkut pertanyaan-pertanyaan terkait employability khususnya gaji atau jabatan, itu pun tidak signifikan bedanya. Karena dapat dipahami bahwa rentang 1-3 tahun setelah lulus, sudah dipastikan masih masuk dalam kriteria “early career”, dan masih dalam waktu peralihan antara dunia pendidikan ke dunia kerja (bandingkan dengan Jepang yang menginterpretasikan 10 tahun setelah lulus pun masih disebut sebagai “early career”). Untuk waktu tunggu pun masih sama karena dihitungnya didasarkan pada berapa lama waktu tunggu adalah dari sejak kelulusannya. Apalagi untuk pertanyaan-pertanyan yang menyangkut feedback untuk institusi, baik tentang kurikulum, kompetensi, peran lembaga atau perguruan tinggi terhadap kompetensi, kondisi selama belajar mengajar, sarana dan prasarana di kampus, kegiatan kemahasiswaan, dan lain sebagainya (yang jauh lebih banyak), tidak mungkin terjadi perbedaan apabila hanya berbeda 1 hingga 3 tahun setelah kelulusan. Pasti sama. Justru masukan yang banyak ditandai dengan response rate yang tinggi akan jelas menggambarkan profile alumni itu, dan feedback nya untuk kampus atau lembaga jelas lebih signifikan karena validitasnya sudah hampir tidak diragukan lagi (bayangkan 93% responden mengisi dan memberi feedback untuk perbaikan kampus).
Tabel 1. Perbandingan Data Analisis antara Lulusan dengan Angkatan
Lulusan No
Keterangan Data
1
2
3
4
5
6
Total responden
2012
2006
Selesai
80%
72%
Bekerja
68%
70%
Bekerja dan wiraswasta
5%
6%
Tidak bekerja/melanjutkan studi
21%
19%
Wirausaha
6%
5%
Sesuai
72%
75%
Sebelum lulus
3,99
4,38
Setelah lulus
2,65
2,27
Sebelum lulus
3,65
2,93
Setelah lulus
4,38
3,85
Lokal
17%
17%
Nasional
41%
47%
Multinasional
42%
36%
Status pekerjaan
Kesesuaian pekerjaan dengan kuliah
Lama mencari kerja
Lama mendapatkan kerja
Kategori perusahaan
B = Pertambangan
B (23%)
B (22%)
B
M = Jasa Profesional
M (12%)
M (13%)
M
C = Industri pengolahan
C (10%)
C (10%)
C
J = Informasi
J (9%)
K (10%)
F
F = Konstruksi
F (9%)
F (9%)
J
Instansi pemerintah
22%
25%
Organisasi non-profit/LSM
2%
1%
Perusahaan swasta
66%
65%
Perusahaan sendiri
9%
9%
Direktur
1%
2%
Pemilik
6%
5%
Manajer
5%
6%
Staf
86%
86%
Magang
2%
1%
Bekerja
9,2 juta
12,4 juta
8
Bekerja dan wiraswasta
8,7 juta
7,4 juta
6
Wirausaha
6,9 juta
8,3 juta
8
Kategori bidang usaha 7
8
9
10
Perusahaan tempat bekerja
Jabatan
Rata-rata penghasilan
Pendekatan angkatan (Entry of Cohort), setelah data masuk sebenarnya dapat dan sangat mudah dilakukan analisis yang didasarkan pada lulusan (Cohort) juga, karena data tinggal dikategorikan menurut lulusan. Pendekatan Entry of Cohort adalah breakthrough untuk memecahkan kebuntuan persoalan response rate yang selama berpuluh tahun selalu rendah dengan mengadaptasikan budaya dan tradisi lokal atau di Indonesia sendiri. Persoalan analisis tinggal kita analisis yang didasarkan pada angkatan atau lulusan itu sama saja dan bisa, bahkan dari bukti yang dilakukan oleh ITB bedanya pun tidak signifikan. Karena hasil analisis akan selalu bergerak dan berubah sedikit juga tiap tahun. Metode dan pendekatan ini, akan lebih menjanjikan response rate yang lebih baik, dan dapat digunakan untuk berbagai universitas di seluruh Indonesia khususnya untuk S1. Mungkin hari ini baru ITB dan beberapa universitas di Indonesia yang melakukannya, tetapi kedepan, dapat dipastikan akan lebih banyak yang menggunakan metode dan pendekatan seperti ini. Apabila ini berbeda dengan penyelenggaraan Tracer Study di Negara lain, tentu memang demikian lah seharusnya karena tradisi dan budayanya berbeda. Namun dapat dijamin bahwa response rate nya akan jauh lebih banyak dan jauh lebih signifikan dibandingkan dengan Tracer Study dari berbagai Negara lainnya. Indonesia bisa menjadi Juara Dunia dalam penyelenggaraan Tracer Study, dan kesuksesannya bisa menjadi model yang dapat dipelajari dari Negara-negara lainnya.
