Aspek penting dalam penilaian proposal penelitian Suminar Setiati Achmadi
[email protected]
Hakikat telaah proposal Dapat diperoleh proposal bermutu Terbebas dari benturan kepentingan Diperlukan tim penelaah yang objektif Diperlukan sistem & skor penilaian Satu proposal ditelaah > 1 orang Tim bekerja mandiri & membuat komentar terpadu Nilai & saran tim menjadi masukan bagi pengusul Masukan tim menjadi pertimbangan bagi Dit. Litabmas Dit. Litabmas memutuskan pemenang berdasarkan prioritas/ketersediaan dana
Perbedaan skema penelitian (terutama luarannya) Ustranas: Penaggulangan masalah nasional & spin-off KSLN&PubInt’l: Jejaring kerja sama & publikasi int’l. Stranas: Penanggulangan masalah nasional Hikom: Publikasi, buku ajar, HKI (apabila relevan) Rapid: Kerja sama dgn. industri, menghasilkan produk PU-PT: Produk teknologi, publikasi, HKI, kebijakan Hibah Tim Pascasarjana: Disertasi, tesis, publikasi PHB: Produk (tangible/intangible), HKI (bila relevan) Penelitian Fundamental: Publikasi Hibah Pekerti: Peningkatan kemampuan TPP Disertasi Doktor: Disertasi, publikasi, lulus tepat waktu
Sistem penilaian proposal Menggunakan form penilaian (manual/aplikasi) Kriteria & Indikator Penilaian Spesifik untuk setiap skema penelitian, dengan bobot berbeda Tim penelaah memberi skor setiap kriteria •
(Misalnya: skor 1, 2, 4, 5, atau 1, 2, 3, 5, 6, 7)
•
Tidak ada nilai tengah; tegas memberi nilai Nilai = Bobot x Skor Lihat Panduan Pelaksanaan Penelitian Edisi IX 2013
Kelemahan umum proposal • Perumusan masalah lemah • Untuk penelitian berbiaya besar dan multitahun: belum ada kerja awal • Metode tidak rinci, tidak dikaitkan dengan tata waktu dan biaya yang diusulkan • Keprimeran dan kemutakhiran pustaka acuan • Tidak mematuhi panduan penyusunan proposal (komponen gaji/upah, eligibilitas peneliti, format) • Track record luaran (publikasi, HKI) yg relevan (CV)
Gagasan penelitian - proposal What?
Why?
Masalah yang akan diatasi
How?
Why you?
Contoh Sistem Penilaian – Dosen Muda No
KRITERIA
INDIKATOR PENILAIAN
1
Perumusan Masalah
Ketajaman Perumusan Masalah dan Tujuan Penelitian
2
Pengembangan Ipteks, PembaManfaat Hasil ngunan, dan atau Pengembangan Penelitian Kelembagaan
20
3
Tinjauan Pustaka
Relevansi, Kemutakhiran, dan Penyusunan Daftar Pustaka
15
4
Metode Penelitian
Ketepatan Metode yang Digunakan
25
5
Kelayakan Penelitian
Kesesuaian Jadwal, Kesesuaian Keahlian Personalia, dan Kewajaran Biaya
10
JUMLAH
BOBOT (%)
SKOR
NILAI
30
100
Skor: 1 = Sangat kurang, 2 = Kurang, 4 = Baik, 5 = Sangat baik
Nilai = Bobot x Skor (batas lolos 350)
Contoh Sistem Penilaian – Hibah Bersaing Kriteria 1 Perumusan masalah
2 Luaran - Pengembangan ipteks - Penunjang pembangunan - Pengembangan institusi 3 Tinjauan pustaka
4 5 -
Metode Kelayakan Jadwal Biaya Personalia Sarana/prasarana
Indikator penilaian a Ketajaman perumusan masalah b Tujuan penelitian
Bobot (%) 15
c Pentingnya penelitian yang direncanakan
35
d Telaah pustaka/kemajuan yang telah dicapai dan kajian pendahuluan e Desain penelitian
15
f Uraian umum g Perincian anggaran h Biodata i Dukungan sarana/prasarana TOTAL
15 20
100
Skor Nilai
Kriteria penilaian proposal MP3EI No 1 2 3 4
Kriteria Penilaian Tingkat keprioritasan dalam skala nasional dan solusi permasalahan yang ingin diatasi dalam program penelitian yang diusulkan Manfaat penelitian yang dapat diterapkan untuk memecahkan isu strategis sesuai MP3EI Keutuhan peta jalan (road map) penelitian Rekam jejak (track record) tim peneliti dan kelayakan sumber daya lain Jumlah
Skor: 1-7
Bobot Skor (%) 25 30 20 25 100
Nilai
Borang penilaian monev terpusat MP3EI No
Kriteria Penilaian
Kesesuaian hasil dengan isu strategis nasional dengan MP3EI Tingkat realisasi kegiatan dibandingkan dengan 2. target yang direncanakan Luaran yang telah dicapai: a. Teknologi (proses/produk) 3. b. Model/kebijakan c. Karya kreatif Usulan kegiatan tahun berikutnya: 4. a. Relevansi dan kesinambungan sasaran b. Kelayakan keberlanjutan Jumlah 1.
Skor: 1-7
Bobot (%) 30 25
20
25 100
Skor
Nilai
Contoh alasan penolakan Perumusan masalah lemah, kurang mengarah, tujuan tidak jelas Kontribusi hasil penelitian tidak jelas, kurang spesifik Pustaka kurang menunjang, tidak relevan, kurang mutakhir, umumnya bukan artikel jurnal ilmiah/ paten, penyusunan daftar pustaka kurang baik Metode kurang tepat & kurang terperinci, langkah penelitian tidak jelas Kualifikasi tim peneliti kurang, anggaran biaya tidak terperinci atau dinilai terlalu tinggi, kesesuaian jadwal Lain-lain: Format salah, topik sudah banyak diteliti
Telaah substansi proposal Sistematika proposal setiap skema sedikit berbeda tetapi secara umum mencakup: • Judul Penelitian & Abstrak • Pendahuluan (Latar belakang, Rumusan masalah, Tujuan & Manfaat penelitian) • Kajian Pustaka (Road-map apabila ada) • Metode Penelitian • Jadwal Kegiatan • Daftar Pustaka • Lampiran (Sarana & Prasarana, Anggaran penelitian, • Biodata tim peneliti) Setiap butir tsb harus ditelaah secara cermat, obyektif & taat asas
Telaah Judul & Abstrak Judul tidak terlalu panjang, spesifik (tidak general) sesuai dengan research question/permasalahan, & tidak menimbulkan multitafsir Abstrak harus ditulis ringkas, tetapi mencakup permasalahan, tujuan & target yang ingin dicapai, serta metode penelitian & rencana kegiatan Dengan membaca abstrak, secara garis besar sudah dapat dipahami tujuan & kegiatan yang akan dilakukan, serta target yang ingin dicapai
Telaah Bab Pendahuluan Meliputi: Perumusan masalah tajam, mengarah, tujuan penelitian & kontribusinya jelas Daya ungkap peneliti tentang permasalahan lugas, bukan sekadar “kliping” dari bacaan yang dianggap relevan Uraian ringkas, langsung pada deskripsi masalah Masalah yang dirumuskan didukung pustaka/ informasi mutakhir (state of the art) Perlu ada cara pendekatan penyelesaian masalah Rumusan masalah tidak harus dengan kalimat tanya
Lanjutan: Cukup 2-3 paragraf, tidak lebih dari 2 halaman, dengan pernyataan-pernyataan yang lugas Untuk penelitian lanjutan, hasil penelitian sebelumnya perlu diungkap Ditulis pernyataan singkat mengenai tujuan, seperti: menjajaki, menguraikan, menerangkan, membuktikan, menerapkan konsep/dugaan, membuat prototipe Tidak menggunakan kata “mengetahui”/“memahami”/ ”melihat”, yang terkesan hanya inventarisasi belaka Tujuan penelitian harus dapat memberi kesan bahwa akan ada perubahan (implikasi) dari hasil penelitian (Misalnya: perubahan kebijakan/iptek, bukan sekadar informasi baru)
Telaah Bab Kajian Pustaka Cermati: kepustakaan kurang menunjang, pustaka tidak relevan & kurang mutakhir, bukan acuan primer Uraian terlalu ekstensif, banyak teori yang terkesan “hanya kliping”, kurang ada ulasan dari peneliti Mutu karya ilmiah ditentukan oleh mutu acuan (acuan primer: artikel jurnal, paten, & disertasi yang relevan 10 tahun terakhir. Buku ajar = acuan sekunder) Menggambarkan bahwa state of the art dikuasai Lebih utama % keprimeran & kemutakhiran, bukan jumlah pustaka Tidak mengutip kutipan (misalnya: A dalam B)
Lanjutan: •
Perhatikan untuk pengacuan ke internet: Tidak sembarang mengacu Perhatikan otoritas keilmuan/kepakaran penulis Tidak semua informasi dari situs internet dapat dipertanggung-jawabkan isinya (tidak semua situs permanen) Lebih utama/dipilih acuan yang sifatnya cetakan Lazimnya artikel yang yang telah dipublikasikan menuliskan keterangan tambahan “nama jurnal” & “terhubung berkala”
Telaah Bab Metode Penelitian Cermati: Metode kurang tepat & tidak rinci tahapannya Bukan “metodologi penelitian” → tak perlu ada definisi tentang metode Metode yang digunakan sudah out of date Tahapan penelitian dideskripsikan dengan jelas agar dapat menjustifikasi jadwal kerja & biaya Apabila ada sampling, harus ada teknik samplingnya Cara analisis data harus dijelaskan dengan baik Untuk penelitian multitahun, harus dijelaskan kegiatan & target/luaran tahunan dalam bentuk bagan alir
Telaah Bab Jadwal Kegiatan Cermati: Jadwal harus sesuai dengan skema penelitian dan wajar (misalnya 10 bulan/tahun) Kegiatan bersifat multitahun (kecuali Penelitian Dosen Pemula; Penelitian Fundamental bisa 1 tahun) Digambarkan dengan diagram palang Pelaksanaan kegiatan rinci sesuai dengan yang tertera pada Metode Penelitian Waktu yang diperlukan untuk melaksanakan kegiatan wajar (tidak diulur-ulur) Beberapa kegiatan dapat dilakukan serempak & tidak perlu berurutan (apalagi banyak anggota tim yang terlibat & multidisiplin)
Telaah Daftar Pustaka Sistem penulisan acuan harus baku Sistem nama-tahun (Harvard system) nama penulis didaftar berdasarkan abjad “nama belakang (nama keluarga)” Sistem nomor (Vancouver system) Tidak perlu pengabjadan, tetapi urutan kemunculan dalam teks Pustaka yang diacu adalah pustaka yang didaftarkan “Komunikasi pribadi” dengan pakar ditulis di catatan kaki Baik jika ada publikasi dari pengusul
Penulisan pustaka acuan Teks
Daftar Pustaka
• Rahman (2008) • Rahman dan Budi (2007) • Rahman et al. (2009)
• Rahman A. 2008 • Rahman A, Budi S. 2007 • Rahman A, Budi S, Abduh M. 2009.
Tujuan pembuatan daftar: Memudahkan pembaca untuk menelusur kembali Sarana pengindeksan nama penulis
Telaah Rencana Anggaran Rincian anggaran per tahun (untuk 2-3 tahun) Pagu Rp10 juta sampai Rp1 miliar/tahun Harga wajar, ada justifikasi & tidak melebihi pagu Harus sesuai dengan tahap kegiatan yang direncanakan Rincian komponen: - Bahan habis (bahan kimia, komponen elektronik) - Peralatan = rakitan percobaan (tidak untuk alat induk) - Peralatan utama di laboratorium agar disebutkan - Perjalanan (seminar, analisis sampel ke lembaga lain) - Gaji/Upah (tidak untuk tenaga ahli di luar tim) - Lain-lain (administrasi, komunikasi, pendaftaran paten, biaya publikasi, dokumentasi)
Telaah Biodata Tim Peneliti Cermati: kelayakan peneliti ditinjau dari kualifikasi Rekam jejak penelitian relevan dengan topik Cek nama, kualifikasi, jabatan & tanda tangan Butir penting: riwayat pendidikan, pengalaman penelitian (terutama yang kompetitif), pengalaman publikasi (terutama berkala nasional terakreditasi/ bereputasi internasional), HKI, rekayasa sosial Cek apakah penelitian yang pernah dilakukan berakhir dengan publikasi pada tahun berikutnya Pengusul konsisten pada minat penelitiannya (bukan tipe “kutu loncat”)
Telaah Lain-lain Proposal belum sesuai format Peneliti tidak memenuhi persyaratan untuk skema Tidak ada unsur kebaruan/novelty) Permasalahan kurang sesuai dng bidang ilmu peneliti Untuk skim penelitian lanjut (misalnya: PHB, Stranas, Rapid, Unggulan Stranas), kegiatan inventarisasi/ identifikasi kurang layak/bukan prioritas Cek: sarana & prasarana penunjang (milik PT) sehingga tidak perlu biaya sewa (bentuk sharing PT)
Lanjutan: Jika ada sumber dana selain dari Dit. Litabmas, dapat nilai tambah Penelaah dapat memberi komentar (naratif) untuk bab yang dinilai rendah Komentar harus spesifik & jelas, tidak bermakna ganda (berlaku bagi keunggulan/kelemahan proposal) Segi kebahasaan juga penting (ejaan, istilah, kalimat & paragraf, tanda baca dsb.) mencerminkan pengalaman publikasi di masa lalu Telaah, penilaian & komentar tim penelaah merupakan rekomendasi bagi Dit. Litabmas untuk mendanai proposal berdasarkan prioritas
Contoh perumusan masalah: Hubungan Kelas Mutu Kulit Masoi (Cryptocarya massoi) dengan Kadar Masoilakton sebagai Parameter dalam Membangun Standar Nasional Indonesia Masoi (Cryptocarya massoia) merupakan spesies tumbuhan yang dikenal di wilayah Indonesia bagian timur dan digunakan secara luas baik oleh masyarakat Papua maupun mulai dikenal oleh masyarakat Indonesia sebagai obat tradisional. Bagian yang dimanfaatkan adalah kulit yang diekstraksi untuk menghasilkan minyak. Namun, fakta mengindikasikan perlunya pelestarian spesies ini sebab sekarang masyarakat harus berjalan jauh ke dalam hutan hanya untuk mencari dan mengambil kulitnya. Setiap pohon hanya menghasilkan 65 kg kulit (Gambar 1).
Contoh perumusan masalah (lanjutan) Minyak masoi belum mempunyai standar mutu, karena produksi masih sedikit, perdagangannya masih terbatas, meskipun permintaan dari luar negeri sangat tinggi. Menurut para eksportir, lakton merupakan kandungan yang diminta oleh pembeli, tetapi informasi ini tidak tersedia di pihak eksportir Indonesia. Demikian pula, belum ada standar mutu untuk kulit masoi yang diperdagangkan. Fakta ini tentu akan merugikan pihak penjual, terlebih lagi pengumpul kulit masoi. Saran untuk menyusun standar mutu kulit dan minyak masoi sudah disarankan sejak tahun 1999 (Moestafa et al. 1999). •
plus 2 paragraf lagi
Contoh pernyataan tujuan dan manfaat penelitian • Penelitian ini bertujuan menetapkan hubungan antara kadar masoilakton (C10, C12, C14) dan kelas mutu dalam perdagangan ekspor-impor kulit masoi. • Hasil penelitian ini akan bermanfaat bagi Pustanling Kementerian Kehutanan dalam membangun RSNI kulit masoi yang diagendakan selesai pada akhir tahun 2013 dan dijadikan SNI pada tahun 2014.
Contoh luaran yang ditargetkan • Masukan untuk kebijakan nasional berupa naskah akademik guna membangun RSNI Kulit Masoi (PT 602) • Makalah seminar nasional: Seminar Masyarakat … • Artikel di jurnal nasional: Jurnal ….
New Biomaterial Production Biopolimer
Contoh peta jalan MARKET - RESEARCH ACTIVITIES (2012 - ?)
MARKET
1. Biomaterial -Bioplastik/biopolimer
Output: proses/produk/teknologi
UTILIZATION - RESEARCH ACTIVITIES (2009-2012)
PRODUCT
2. Model Tanaman transgenik 3. Pengembangan biopolmer standard untuk berbagai aplikasi/kegunaan
Output: proses/produk/teknologi
PROCESSING - RESEARCH ACTIVITIES (2007-2010)
TECHNOLOGY
R&D
2. teknologi pemisahan biopolimer dari cairan kaldu (broth fermentation) 3. rekayasa polimer untuk meningkatkan kinerja dari polimer
Output: proses/produk/teknologi
MICROBA /PLANT/ANIMAL SCIENCE - RESEARCH ACTIVITIES (2007-2009)
1. Perancangan bioreaktor,
1. Isolasi & Karakterisasi Mikroba penghasil PHB & rekayasa genetika
4. Teknologi Tanaman transgenik & peningkatan hasil pada host
2. Peningkatan produktivitas & hasil biopolimer tanpa rekayasa genetika
5. Peningkatan Teknologi hibrid (bio dan kimia) sistem dan bio-kimia katalis
3. Rekayasa metabolic pathway dari mikroba 4. Pemanfaatan substrat (low cost substrate)
Time (2008-2012) 30
