7ema,' Asesmen Otentik dalam lmplementasi Pembelajaran Aktif dan Kreatif Bandar lampung, 29-30 Januari
2011
I
ISBN: 978-979-3262-04-8
HIMPUNAN EV.ALUASI
PENDIDIKAN INDONESIA
PROS IDING SEMINAR NASIONAL PENDIDIKAN 2011
ASESMEN OTENTIK DALAM IMPLEMENTASI PEMBELAJARAN AKTIF DAN KREATIF
Steering Commitee: Bahrul Hayat, Ph.D. Dr. Bujang Rahman, M.Si. (Dekan FKIP Unila) Editor: Dr. Tri jalmo, M.Si. Dr. Agus Suyatna, M.Si. Dr. Sri Hastuti Noer, M.Si. Dr. Undang Rosidin, M.Pd. Penyunting Pelaksana: Viyanti, M.Pd
FKIP UNIVERSITAS LAMPUNG DAN HEPI 29 Januari 2011
I t
1
SAMBUTAN DEKAN FAKULTAS KEGURUAN DAN ILMU PENDIDIKAN UNIVERSITAS LAMP UNG
Assalamu'alaikum wr wb. Puji syukur hanya bagi Allah SWT yang telah memberikan rahmat, kekuatan, dan petunjuk kepada kita semua, sehingga Seminar Nasional Pendidikan 2011 dapat dilaksanakan pada tahun ini. Pengembangan profesional guru di tanah air masih menyisakan beberapa kendala, terutama yang terkait dengan kompetensi kepribadian guru. Kita sering mendengar isu bahwa walaupun guru telah mendapatkan sertifikat guru profesional tetap saj mereka belum menunjukkan kinerja dan keahlian seorang profesional, terutama dalam mengelola pembelajaran di kelas. Kita berharap bahwa dampak sertifikat pendidik bagoi guru yang sudah tersertifikasi dapat menunjukkan perbedaan kinerja yang signifikan dengan mereka yang belum tersertifikasi, dan kinerja ini akan terus dievaluasi sehingga kelayakan guru profesional melekat secara berkesinambungan. Untuk memicu semangat profesionalisme dan saling bertukar pengalaman antara dosen, guru, dan praktisi pendidikan lainnya dalam mengembangkan pendidikan dan pembelajaran bermutu, maka seminar ini akan menjadi alternatif yang positif bagi pengembangan profesionalisme guru. Terimakasih yang tulus kepada seluruh panitia baik dari Fakultas Keguruan dan llmu Pendidikan maupun dari Himpunan Evaluasi Pendidikan Indonesia yang telah bekerja keras menyelenggarakan seminar ini. Kepada seluruh peserta selamat mengikuti seminar dan semoga bermanfaat dalam meningkatkan kualitas pendidikan di tanah air. Wassalamu'alaikum wr.wb. Bandar Lampung, 29 Januari 2011 Dekan FKIP Unila,
· Dr. Bujang Rahman, MSi.
iii
I
SAMBUTAN KETUA HIMPUNAN EVALUASI PENDIDIKAN INDONESIA (HEPI)
Assalamu'alaikum wr.wb.
Puji syukur kita panjatkan kehadirat Allah SWT yang telah memperkenankan kita mengikuti Seminar Pendidikan Nasional 2011. Pertama-tama perkenankan kami mengucapkan selamtdatang di Bandar Lampung dalam foru Seminar Nasional Pendidikan Dengan Terna ""Asesmen Otentik Dalam lmplementasi Pembelajaran Aktif Dan Kreatif' yang diselenggarakan oleh Fakultas Keguruan dan llmu Pendidikan bekerja sama dengan Himpunan Evaluasi Pendidikan Indonesia (HEPI). Sebagaimana kita maklumi bahwa, pendidikan memegang peranan sentral dalam mengembangkan pengetahuan, sikap, dan keterampilan peserta didik. Selain itu, pendidikan juga memberikan kontribusi yang besar dalam mengembangkan kemampuan berpikir tingkat tinggi, kemampuan bekerja keras, sikap jujur, dan disiplin. Dalarn kurikulum sekolah, peserta didik tidak hanya diharapkan dapat menguasai kemampuan akademik yang tinggi, akan tetapi juga memiliki sikap yang baik dan kecakapan hidup di masyarakat. Untuk mencapai seperangkat tujuan tersebut, para pendidik termsuk guru IPA pada berbagai tingkatan TK, SD, SMP, SMA, dan dosen LPTK perlu menguasai berbagai strategi pembelajaran inovatif dalam upaya untuk meningkatkan kompetensi peserta didik dan membentuk manusia Indonesia yang cerdas sehingga mampu menghadapi tantangan hidup di masyarakat. Penyelenggaraan seminar ini diharapkan mampu memberikan solusi permasalahan pengembangan pembelajaran bermutu di kelas-kelas. Akhimya, kami berharap semoga semua peserta seminar dapat memperoleh manfaat bagi perkembangan profesionalisme dari kegiatan ini. Terimakasih atas perhatiannya dan selamat mengikuti seminar. Wassalamu'alaikum wr.wb.
Bandar Lampung, 29 Januari 2011 Ketua HEPI Pusat
Bahrul Hayat, Ph.D.
iv
DAFTAR ISi Halaman Kata Pengantar ...................................................................................................... ii Kata Sambutan Dekan FKIP Unila ....................................................................... iii Kata Sambutan KETUA HEPI Pusat ................................................................... iv Daftar lsi ...............................................................................................................v
Adun Rusyana Pengembangan Program Perkuliahan Zoologi lnvertebrata Berbasis Keterampilan Berpikir Kritis Kreatif ............................... :.................................. 1 Alif N Hidayati, Nuryani Rustaman, Sri Redjeki Training of Trainers-Oriented Higher Order Leaming Skills and Its Effect on Achievement and Teacher Performance Peningkatan Kemampuan Berpikir Hipotetikal - Deduktif Mahasiswa Dengan Model Pembelajaran Konstruktivisme Menggunakan Media Peta Konsep (Ani Rusilowati) Asmaulkhair Meningkatkan Kemampuan Berpikir Kritis Melalui Model Cooperative Learning Baiq Fatmawati, Nuryani Y. Rustaman, Sri Redjeki Proses Merancang Kegiatan Praktikum Mikrobiologi Pangan dan lndustri Berbasis Proyek Untuk Meningkatkan Berpikir Kreatif Mahasiswa Asesmen Autentik dan Relevansinya di Era Multiliterasi (Beniati Lestyarini) BertiYolida lmplementasi Asesmen Kinerja Pada Pembelajaran Berbasis Praktikum Konsep Metabolisme Untuk Meningkatkan Kemampuan Berpikir Kritis Mahasiswa Chaerul Rochman Pengembangan Portofolio Untuk Meningkatkan Kemampuan Mahasiswa Dalam Menyusun Program Pembelajaran Berbasis Nilai Chandra Ertikanto Profit Kemampuan lnkuiri Guru SD Bandarlampung Dalam Pembelajaran IPA Cosmas Poluakan Evaluasi Penyelenggaraan Ujian Nasional (UN) Pada SMA/SMK di Provinsi Sulawesi Utara Dani Maulana Aplikasi Authentic Assessment Sistem Reproduksi Tumbuhan Untuk Melihat Perubahan Konsep Guru Biologi SMA di Bandar Lampung Emy Budiastuti Pengembangan Sistem Penilaian Otentik Pada Pembelajaran T eknologi Kejuruan
v
Mariati Purnama Simanjuntak, Agus Setiawan, Andi Suhandi Pengembangan Program Perkuliahan Fisika Berbasis Problem Solving Untuk Meningkatkan Kemampuan Metakognisi Mahasiswa Calon Guru Mariati Purnama Simanjuntak, Agus Setiawan, Andi Suhandi Pengembangan Pemahaman Konsep Dinamika Partikel Bagi Mahasiswa Galon Guru Dengan Pembelajaran Berbasis Problem Solving Mia Nurkanti, Nuryani Y Rustaman, Zaenal Alimin, Suroso A Y Penggunaan LKS Dalam Meningkatkan Kemampuan Hasil Belajar Siswa di SMALB-Tunarungu Mursalin, A. Rusli Identification of Physisc T eacheer Misconceptions of Magnetism and Electromagnetic Induction Concepts Nahiyah Jaidi Faraz) Model Asesmen Kepemimpinan Transformasional Kepala Sekolah Nanik Estidarsani Menyeleksi Butir dan Menentukan Cutscores Untuk Uji Kompetensi Berdasarkan Model Logistik Dua Parameter Ni Made Pujani, Liliasari Deskripsi Hasil Analisis Pembelajaran IPBA Sebagai Dasar Pengembangan Kegiatan Laboratorium Bagi Galon Guru Nonoh Siti Aminah Metode Penyetaraan Tes Untuk Data Dikotomos Rahmi Susanti lmplementasi Pembelajaran Berbasis Masalah Untuk Meningkatkan Penguasaan Konsep Fotosintesis dan Respirasi Renny Sofiraeni Pembinaan Profesional Guru IPA Melalui Pelatihan In dan On - Service Risky Setiawan Asesmen Autentik Untuk Menilai Kinerja Guru di DIY
Roshayanti Fenny, Rustaman Nuryani Y., Barlian Anggraini, Lukmana lwa Peningkatan Kualitas Argumentasi Mahasiswa Berdasarkan Praktek Epistemik Melalui Pengembangan Asesmen Argumentatif Pada Konsep Sistem Syaraf dan Penyalahgunaan Napza Rosnita, Ari Widodo, Bayong Tjasyono HK, Enok Maryani Profil Kemampuan lnkuiri Mahasiswa Pada Konsep llmu Pengetahuan Bumi Antariksa Rusyadi Evaluasi Program Kelas Astra Cooperation (AC) Pada SMK Negeri 5 Makassar
vii
MENYELEKSI BUTIR DAN MENENTUKAN CUTSCORES UNTUK UJI KOMPETENSI BERDASARKAN MODEL LOGISTIK DUA PARAMETER NANIK ESTIDARSANI n
[email protected] ABSTRACT This study on cutting scores aims to a) select items of the professional competence test; and b) determine the cutoff score based on the two-parameter logistic models. This study was descriptive and exploratory in nature, involving 332 teachers and teachers candidate in the Construction Engineering study program. The standard setting methods used are the Extended Angoff, Ebel and the contrast groups. The process to validate the content and construct of the instrument and the agreement on the ideal standard competence was carried out by practitioner teachers and lecturers, while the final discussion to reach the agreement on the minimum standard was conducted by lecturers. The results of the study show that: a) the consistency of the expert judgment is very high; b) the variations in determining the cutoff scores are based to the smallest standard deviation to improve the quality step by step, namely the cutoff score of 63.32. Keyword: Standard Setting, Cutoff Scores, /RT, Professional Competence.
PENDAHULUAN Kebijakan sertifikasi dalam rangka peningkatan mutu pendidik dan tenaga kependidikan (PMPTK) menjadi isu menarik untuk dikaji khususnya yang berkaitan dengan permasalahan hasil uji kompetensi bagi guru. Salah satu syarat yang digariskan pada Pasal 8 UU nomor 14 tahun 2005 adalah kompetensi profesional. Selain penguasaan substansi bidang studi dan metodologi keilmuannya, dibutuhkan kesiapan guru yang kritis terhadap perubahan sistem pendidikan sebagai upaya pemerintah untuk meningkatkan mutu pendidikan. Pendidikan vokasi di sekolah menengah kejuruan (SMK) menitikberatkan pada kompetensi vokasi untuk menopang kecakapan hidup kepada peserta didik. Mengingat kurikulum pendidikan vokasional terkonsentrasi pada sistem pembelajaran keahlian (Apprenticeship of leaning), peserta didik secara langsung mengembangkan keahliannya disesuaikan dengan kebutuhan lapangan atau bidang tugas yang dihadapinya. Hal ini tidak lepas dari visi dan misi SMK yang difokuskan untuk membantu pemerintah dalam mencetak Bklsan yang siap kerja atau mampu berwirausaha dengan berbekal ilmu pengetahuan yang : ciajark:an oleh guru yang kompeten. Keberhasilan peserta didik merupakan bagian dari :. clampak kepemilikan kompetensi guru yang memadai dalam proses belajar mengajar. Tanpa ::. tualitas guru yang baik semua itu tidak akan membuahkan hasil yang maksimal. Sertifikat kompetensi sebagai wujud pengakuan melaksanakan tugas diuji oleh satuan ~:pnfidikan yang terakreditasi atau penyelenggara sertifikasi seperti LPTK (Lembaga Pendidik dan Tenaga Kependidikan), sedangkan untuk memberikan kewenangan melakukan :lll*etjaan harus didasarkan pada bukti pengakuan kompetensinya. Dengan demikian, =•--nh 11"'n standar untuk sertifikasi, seleksi atau promosi harus dilakukan secara efektif, ~--!11, akurat dan berkeadilan, demikian juga kebijakan yang akan mengikutinya. Tujuan dari studi standard setting adalah memetakan tingkat pencapaian kinerja yang l!llllJeela menggunakan penilaian dari panelis (Geisinger dan McCormick, 2010:16). Metode •mild-setting tradisional dikembangkan sebagian besar untuk konteks dua kategori saja · berhasil atau gagal (Cizek, 2004:31). Hal ini sejalan dengan perubahan pendidikan '1!11JEISis" standar. Jaeger, 1989:492 dan Kane, 2002b:6 menyatakan bahwa kebanyakan standard-setting yang ada dapat dikategorikan sebagai model kontinum. Model terdiri atas model yang berfokus pada tes (test-centered) atau model berfokus leslee (examinee-centered). Metode test centered termasuk metode Angoff, Ebel, , dan Bookmark, sementara examine centered meliputi metode borderline dan llil!ma groups. Model kontinum dibagi dalam tiga kategori yaitu judgmental models, models dan combination models. Prosedur model judgmental memerlukan
pertimbangan isi tes kompetensi seperti tingkat kesukaran butir tes; model empirical memerlukan pertimbangan langsung tentang kompetensi testee; dan model combination memerlukan pertimbangan abilities dari testee pada ranah butir yang di ases oleh sebuah tes kompetensi. Kane (2002a:15) dan Goodwin (1996:249) menyatakan bahwa penetapan standar terutama dihubungkan dengan perkembangan dari tes dengan acuan kriteria (sebagai pertentangan dari acuan norma) dalam mengambil sebuah keputusan. Lebih jauh Shepard (1979) dalam Goodwin (1996:250) menyatakan bahwa penggunaan penilaian beracuan kriteria dilakukan untuk menetapkan apakah individu bisa berhasil dengan ditunjukkannya nilai setara atau di atas nilai cut-off. Cut score ditulis cutoff score atau nilai cutoff adalah sebuah titik penentuan pada suatu skala skor dengan interpretasi yang berbeda antara daerah di atas dan di bawah titik pada skala yang sama (AERA=American Educational Research Association, APA=American Psychological Association & NCME= National Council on Measurement in Education, 1999:175). Cutoff score dalam praktik pendidikan merupakan informasi persyaratan batas minimal dari hasil belajar yang menentukan kebijakan lolos tidaknya seseorang pada suatu hasil tes yang dinyatakan oleh suatu lembaga, DIKLAT (Pendidikan dan Latihan), sekolah atau institusi yang berwenang. Karenanya cut-off score menjadi salah satu kebutuhan dasar seleksi atau promosi dalam bidang ketenaga-kerjaan (AERA, 1999:53), selain itu dapat juga untuk menentukan kompeten atau tidak kompeten atas hasil proses pembelajaran di dalam satuan pendidikan tertentu. Analisis Extended Angoff Prosedur panelis pada metode standard setting Extended Angoff adalah memperkirakan "seberapa kemampuan minimal peserta tes untuk menjawab dengan benar suatu item tes" atau dengan kata lain anggota panel diminta untuk memikirkan kompetensi minimal yang dapat membedakan mereka yang berkompeten dan tidak berkompeten. Rerata proporsi jawaban panelis merupakan final cutoff. Secara umum standard setting menggunakan metode Angoff (1971) memerlukan para ahli untuk 1) merumuskan kandidat yang memiliki kepedulian (berkualifikasi minimal) dan 2) mengestimasi performansi item sebenarnya untuk para kandidat tersebut. Analisis Ebel Prosedur panelis pada standard setting dengan pendekatan metode Ebel adalah mengelompokkan data pada matriks 4x3 yaitu tingkat kesukaran butir (mudah, sedang, sukar) dan relevansi tiap butir terhadap kompetensi (esensial, penting, dapat diterima, dan dipertanyakan). Pada butir esensial sukar, panelis diminta memberikan pertimbangan probabilitas yang dapat menjawab butir soal dengan benar misalnya, 70%. Artinya pada kelompok esensial sukar 70%, testee mendapatkan skor harapan yang cukup tinggi apabila butir dipilih oleh sebagian besar panelis. Dengan demikian skor harapan pada kategori esensial mudah, akan lebih tinggi bila dipilih oleh sebagian besar panelis. Rerata skor harapan merupakan hasil perkalian antara jumlah butir tiap kelompok dengan bobot pertimbangan kelompok merupakan final titik cutoff scores. Pada proses standard setting, judgment ahli bertugas menetapkan kriteria standar penerimaan sesuai pada bidangnya. Beberapa parameter dan strategi spesifik yang disyaratkan oleh Bennett (1998:9-11) apabila menggunakan prosedur standard-setting HSC (Higher School Certificate) adalah: a) Profil judgment ahli yang terlibat dalam tugas standardsetling harus sangat berpengalaman dalam hal mengajar, dan b) Jumlah judgment ahli dalam tim, disarankan kira-kira 6 orang dalam satu tim (Cizek, 2007:87), karena memungkinkan terjadinya diskusi, pada tim yang besar diskusi akan dangkal. Parameter butir soal dan kemampuan individu memberikan makna sejauhmana pembelajaran telah dilakukan. Menurut Merie (2008), bila tahap ini konstruksi instrumen lelah memenuhi syarat dan dapat memberikan deskripsi tingkat performan (PLDs = : flBl(ormance-level descriptors) yang tepat, maka akan memiliki dampak besar di lokasi cutoff _sue. Artinya suatu model pengukuran dikatakan cocok atau ftl bila model tersebut secara =::rmnsep dan teoritis didukung oleh data empirik. Penyempurnaan penelitian menunjukkan •ilEiia performan sesuai kompetensi guru, karena hat ini merupakan bagian dari ~E!lllian1tauan pelaksanaan pendidikan dan pengajaran di sekolah. Berdasarkan uraiari pada
latar belakang terdapat kristalisasi beberapa topik penelitian yang dapat dilakukan pada proses penentuan standar dengan pengaturan nilai cutoff. METODE Analisis dibagi menjadi dua bagian yaitu tahap studi pendahuluan yang merupakan tahap kegiatan identifikasi materi dengan menyeleksi butir soal uji kompetensi, dan tahap kedua menentukan cut-off scores ideal dan minimal. Pada tahap pendahuluan adalah mengidentifikasi kompetensi, sub-sub kompetensi, indikator sampai menelaah tiap butir soal yang memuat kemampuan dasar ketekniksipilan yang dibutuhkan untuk menjadi guru profesional. T ahap penentuan nilai cutoff ideal dilakukan menggunakan teknik Delphi, dan pada tahap penentuan nilai cutoff minimal dilakukan dengan diskusi panel untuk mendapatkan kata sepakat. Proses penentuan nilai cut-off dengan kombinasi metode standard setting Extended Angoff dan Ebel pada kelompok kontras, bertujuan untuk menentukan model analisis cut score yang akurat dan berusaha memperkecil kesalahan (Hambleton, 1998 dalam Cizek 2004:47). Pada model logistik dua parameter, probabilitas peserta tes untuk dapat menjawab benar suatu butir soal ditentukan oleh dua karakteristik butir, yaitu indeks kesukaran butir (bi) dan indeks daya beda butir (ai). Untuk menentukan kualitas suatu butir soal dari hasil analisis berupa taksiran parameter butir dan statistik kecocokan butir dengan model digunakan ketentuan sebagai berikut: (1) baik, jika butir cocok dengan model, a > 0.4, dan -2 < b < 2, (2) cukup baik, jika butir cocok dengan model, a < 0.4, dan -2 < b < 2, dan (3) tidak baik, jika butirtidak cocok dengan model (Hulin dkk., 1983:24). Materi uji kompetensi profesional bidang teknik bangunan diberikan kepada sejumlah mahasiswa guru dan calon guru SMK di D.1. Yogyakarta dan di Propinsi Jawa Timur untuk mendapatkan informasi parameter butir tes dan kemampuan individu (teta, 9). Hasil analisis IRT menggunakan program Bilog versi 3.10 phase 2 ditentukan bahwa butir yang tidak baik adalah butir yang tidak cocok dengan model. Data empirik ini selanjutnya diperlukan untuk menentukan pola respon terhadap nilai cut-off, dengan kata lain estimasi parameter butir dari studi empirik digunakan sebagai true paramater. Kriteria expert judgment ditunjuk berdasarkan wilayah demografis dan karakteristik teknis yaitu guru sebagai pengguna tes, ahli evaluasi, dosen bidang studi ketekniksipilan, dan para praktisi lapangan. Tim ahli terdiri dari tiga bagian, yaitu a) tim ahli sebagai penulis kisi-kisi soal (3 orang dosen); b) tim ahli sebagai penelaah (reviewer) kisi-kisi, indikator dan butir soal (8 orang, yaitu 3 orang guru SMK senior, 2 orang praktisi dari konsultan dan kontraktor, dan 3 orang dosen); dan c) tim ahli sebagai judgment ahli pada diskusi final (9 orang dosen) mempunyai keahlian bidang teknik sipil, manajemen konstruksi, dan arsitektur.
HASIL Deskripsi Hasil Analisis Kesepakatan Ahli Kisi-kisi sebagai acuan indikator kompetensi profesional guru dijaring berdasarkan kesepakatan para guru bidang studi di SMK dan para praktisi konstruksi. Setelah melalui proses teknik Delphi 2 (dua) kali dari sejumlah 8 (delapan) orang ahli, teridentifikasi 3 (tiga sub kompetensi) dengan 13 (tiga belas) indikator. Hasil kesepakatan ahli berkisar antara 37,5-87,5% pada putaran pertama, dan 62,5-100% pada putaran kedua. Hasil secara keseluruhan, presentase tingkat kesukaran butir mudah, sedang dan sukar adalah 45,94%, 43,89% dan 10,17% pada putaran pertama dan 44,44%, 41,56% dan 14% pada putaran kedua. Hasil diskusi panel menunjukkan kelompok guru menyatakan soal cukup sukar (77,78%) dan mendasar (66,67%), kelompok praktisi menyatakan soal mudah sampai sedang (83,33%) dan cukup mendasar (50%), dan kelompok dosen aspek soal ini cukup sukar (88,89%) dan cukup mewakili pokok-pokok kompetensi dasar (100%). Hasil estimasi parameter butir menggunakan program Bilog Versi 3.07 model logistik tiga parameter kedua menunjukkan bahwa dari 60 butir soal yang dianalisis .terdapat 2 butir tes yang tidak cocok dengan model dan 58 butir tes yang cocok dengan model. Butir tes yang cocok dengan model terdiri atas 30 butir tes dengan kualitas baik, 8 butir tes dengan kualitas cukup baik dan 20 butir yang kurang baik dan perlu direvisi.
Hasil Analisis Standar Setting 1. Pendekatan Metode Extended Angoff Hasil penilaian judgment ahli pada proses penentuan nilai cutoff ideal putaran pertama didapatkan nilai rerata adalah 83,28 dengan standar deviasi 11,47 sedangkan pada putaran kedua rerata 84, 17 dengan standar deviasi 11.88. Sedangkan proses penentuan nilai cutoff minimal pada putaran 1 diperoleh nilai cutoff sebesar 63,32 dengan standar deviasi 8,89. Putaran 2 diperoleh nilai cutoff sebesar 64,79 dengan standar deviasi 9,50. Masing-masing subkompetensi mempunyai bobot 59,78; 62,81; dan 66,32. 2.
Pendekatan Metode Ebel Hasil penilaian judgment ahli pada proses penentuan nilai cutoff ideal adalah 88,22. Nilai ini merupakan rerata hasil perkalian kategori butir dan jumlah butir yang dipilih oleh expert. Angka 88,22 artinya kompetensi yang diharapkan dari guru dan mahasiswa calon guru adalah dapat menjawab 88,22 persen dari sejumlah soal dalam tes kompetensi profesional. Sedangkan hasil penilaian judgment ahli pada proses penentuan nilai cutoff minimal perlu pertimbangan adanya perbedaan nilai cutoff pada putaran 1 dan putaran 2 pada metode pendekatan Ebel ini dilanjutkan ke putaran ke 3, karena perbedaan nilai cutoff yang cukup besar yaitu 63,61; 69,52 dan 69,31. Untuk kepentingan validasi maka nilai cutoff nya dipilih yang mempunyai konsistensi yang tertinggi. Kondisi ini dapat dicermati pada Gambar4.1. r---- 100 90 "'
2
:0 'II
.0
e
0.
80 70 60 50
u
•
•
-···
•·••••
m
m
••
•
·· · -- -- -- -------
40 30 20
n
· - -
------~cutoff
minimal
· --- ·- - --- · · ------ -------...,._cutoff ideal
10 0
putaranl putJran2 putaranl putaran2 putaran3 Extended Angoff
Ebel
Metode Pendekatan
Gambar 1. Cut scores ideal dan minimal Hasil kesepakatan para ahli ini relatif stabil dengan dua kali putaran untuk metode pendekatan Angoff, karenanya putaran dilakukan cukup dua kali saja kecuali pada metode pendekatan Ebel memerlukan tiga kali putaran. Secara keseluruhan hasil kesepakatan ahli melalui dua pendekatan standard setting menunjukkan bahwa kompetensi pada kondisi minimal sangat sulit dicapai, apalagi untuk mencapai kompetensi ideal. Deskripsi Data Hasil Uji Empirik Hasil analisis BILOG versi 4.30 model logistik tiga parameter fase kedua, rerata kompetensi guru adalah 56,557 dengan standar deviasi 9,601 dan rerata kompetensi mahasiswa calon guru 39,92 dengan standar deviasi 9,293. Kompetensi guru (79 orang) di DI. Yogyakarta adalah 54,189 dengan standar deviasi 10,516 dan kompetensi mahasiswa calon guru (30 orang) adalah 38,82 dengan standar deviasi 7,432. Di propinsi Jawa Timur kompetensi guru (122 orang) adalah 58,09 dengan standar diviasi 8,66 dan kompetensi mahasiswa calon guru (101 orang) 40,247 dengan standar deviasi 9,787. Tampak pada Gambar 4.2. distribusi kompetensi empirik pada kelompok kontras menunjukkan titik perpotongan. Kedua garis berpotongan menurut trendline berada di antara score 46-51.
40
_ _ Guru
35 --Calon Guru
30
--2pet.
25
- ·- · 2per t.bv: A.g.·(Calon·&ruj
Mi.. Avg
(fuu)
20
15 10
5
0
Gambar4.2. Distribusi Kompetensi Empirik Kelompok Kontras Penentuan Cut Score Konsistensi jawaban judgment expert pada proses penentuan standar ideal dengan kedua putaran dianalisis menggunakan korelasi inter item, hasil ketiga unsur adalah sebagai berikut: guru 0,71, praktisi 0,61 dan dosen 0,76. Korelasi inter item ini menunjukkan bahwa konsistensi pertimbangan dosen lebih tinggi daripada pertimbangan guru dan praktisi, karenanya pada tahap akhir dosen dipilih sebagai anggota panelis dalam diskusi final (final discussion). Hasil metode pendekatan Angoff diperoleh cut score sebesar 63,32 dipilih karena standar deviasi terkecil dengan konsistensi inter rater sangat tinggi pada putaran 1 dan 2 yaitu 0,966. Analisis inter item pada pendekatan metode Ebel menunjukkan korelasi putaran 1 dan 2 adalah 0,9765 dan korelasi putaran 2 dan 3 adalah 0,9992. Pada proses diskusi final, pertimbangan probabilitas menjawab dengan benar pada putaran kedua dan ketiga menunjukkan kesepakatan yang tidak berubah. Artinya probabilitas dipilih karena sudah tepat penempatan dan pembobotannya. Walaupun hasil metode pendekatan Ebel diperoleh nilai cutoff dengan konsistensi inter item sangat tinggi, maka nilai cutoff69,52 dan 69,31tidak dipilih karena perbedaan yang cukup besar dibandingkan dengan nilai cutoff pada metode Extended Angoff. status
Mahasiswa Galon Guru
Guru 100
100
80
80
60
...0
40
40
20
20
0
•,.. g
~
., 100
100
80
80
60
40
40
20
20
40
30
20
10
10
20
30
40
Frekuensi
Gambar4.14. Distribusi Cutoff pada Putaran 1 dan 2 (Extended Angoff)
Dengan konsistensi pertimbangan dosen yang cukup tinggi, maka standar deviasi terkecil menjadi bahan pertimbangan penentuan cut scores minimal. Pertimbangan nilai cutoff sebesar 63,32 memberi dampak 87,05% guru dan mahasiswa calon guru tidak berkompeten.
PEMBAHASAN Bila dicermati perangkat tes kompetensi yang terdiri dari 58 butir soal, mempunyai tingkat kesukaran dengan kategori tinggi, dengan daya pembeda butir dengan kategori baik, dan pseudoguessing dengan kategori baik, maka secara umum tes ini termasuk ke dalam kelompok tes penempatan, hat ini tampak pada konten materi yang sangat mendasar. Respon menjawab dari guru tidak selalu tinggi bila dibandingkan dari respon mahasiswa calon guru, hal ini tampak dari pemahaman konsep guru dan mahasiswa calon guru yang kurang. Pada proses penentuan standar (cutoff scores ideal) yang dilaksanakan oleh unsur guru, praktisi dan dosen melalui teknik Delphi mempunyai ketemahan yaitu rendahnya konsistensi antara guru, praktisi, dan dosen, hal ini disebabkan tidak adanya proses diskusi. Guru, praktisi dan dosen bekerja sendiri-sendiri, tidak ada komunikasi dalam mengkaji tiap butir soal. Walaupun ada kelebihan teknik Delphi bahwa para ahli tidak saling mempengaruhi baik datam hal kesepakatan mutai sub-sub kompetensi sampai kepada indikator instrumen, namun untuk mengkaji tiap butir soal dan menetapkan deskriptor sangat diperlukan kehadiran untuk membuat kata sepakat dalam diskusi panel. Pada akhirnya mengingat kondisi pencapaian nilai cutoff minimal sangat sulit dicapai apalagi untuk mencapai kompetensi ideal. Dengan demikian keputusan nilai cutoffperlu memperhatikan tujuan peningkatan kualitas secara bertahap (Geisinger dan McCormick, 2010:42).
KESIMPULAN Berdasarkan hasil pengembangan instrumen, komponen kompetensi professional bidang - ketekniksipilan untuk guru SMK disimpulkan sebagai berikut: 1. Seleksi butir soal untuk tes penempatan menggunakan tingkat kesukaran butir adalah tinggi dengan rerata b= 1,233 atau antara-1,939 sampai 6,419, dan daya pembeda butir adalah baik dengan rerata a= 0,641 atau antara - 0,046 sampai 1,425. Dengan demikian dipilih 58 butir cocok model 2PL dan 2 butir tidak cocok model. Hasil judgment ahli dari kedua metode pendekatan terhadap keputusan nilai cutoff adalah pada nilai cutoff 63,32 dengan memperhatikan perlunya memahami tujuan peningkatan kualitas secara bertahap.
i.ni:M'ir·~n
Educational Research Association, American Psychological Association, & National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington, DC: American Psychological Association. , W.H. (1971 ). Scales, norms and equivalent scores. In R. L. Thorndike (Ed.), Educational measurement (2nd ed., pp. 508-600). Washington, DC: American Council on Education. J. (1998). Setting Standards and Applying Them across Different Administrations of LargeScale, High-stakes, Curriculum-based Examinations. A paper summarising key issues, research ald practices associated with setting performance standards in examinations and their implications for the setting of standards in the NSW Higher School Certificate program on ·November 1998 in Sidney, Australia. Gregory J., Bunch Michael B. & Koons Heather. (2004). Setting Performance ·S'laKlards: Contemporary Methods. Educational Measurement. Issues and ~Aactice. Washington: Winter 2004. Vol. 23, No.4, pp. 31-50. Gregory J. & Bunch, Michael B. (2001 ). Setting Performance Standards: Concepts, ·· s, and Perspectives. Gregory J Cizek ed., New Jersey: Lawrence Erlbaum !lllSl:x:ia.ted, Pub. Marwah. GIR:!g()lryJ. & Bunch, Michael B. (2007). Standard Setting: A guide to stabling and ting performance standards on tests. Thousand Oaks, CA: Sage.
Doonoe, W. E. dan Amato, R.P. (1997:3). Supportive Data & Guidelines for Using the Angoff, Ebel and Nedelsky Cutoff Score Methods.http://www.ipacweb.org/conf/97/donnoe.pdf diambil 6 November 2009 Djojonegoro, Wardiman. 1998. Pengembangan sumberdaya manusia melalui Seka/ah Menengah Kejuruan (SMK). Jakarta: Jayakarta Agung Offset. Geisinger dan McCormick .(2010). Adopting Cut Scores: Post-Standard-Setting Panel Considerations for Decision Makers. Educational Measurement: Issues and Practice, 29, (1), p.38-44. Goodwin, LO. (1996). Focus on Quantitative Method Determining Cut-Off Score. Research in Nurshing & Health, 19, 249-256.
Hambleton, R.K. & Swaminathan. (1985). Item response theory. Boston, MA: Kluwer Nijjhoff, Pub. Hullin, C. L. , et al. (1983). Item response theory: Application to psichologycal measurement. Homewood, IL : Dow Jones-Irwin. lmpara, James C., & Plake, B.S. (1997). Standard-setting: An alternative approach. Journal of Educational Measurement, 34, 353-366. Jaeger, R. M. (1989). Certification of student competence. In R. L. Linn (Ed.), Educational measurement (3rd ed., pp. 485-514). New York: American Council on Education/Macmillan. Kane, M.T. (1994). Validating the performance standards associated with passing scores. Review of Educational Research, Vol. 64 (3), 425-461. Kane, M. T. (2002a). Practice-Based standards Setting. The Bar Examiner, August 2002. Kane, M.T. (2002b). Conducting Examinee-Centered standards Setting Studies Based on Sandards of Practice. The Bar Examiner, November 2002.
