Evaluasi Hasil Pembelajaran Diklat Menggunakan Disain Pre Test Post Test Nonequivalent Control Group

Seminar Nasional Statistika V– Departemen Statistika, FMIPA Universitas Padjadjaran – Jatinangor, 17 Oktober 2015

Evaluasi Hasil Pembelajaran Diklat Menggunakan Disain Pre Test Post Test Nonequivalent Control Group 1

Rohmatulloh1, Sri Winarni2 Sekretariat Badan Diklat Energi dan Sumber Daya Mineral, Jakarta 2 Departemen Statistika – FMIPA Universitas Padjajaran, Bandung Email : [email protected], [email protected] Abstrak

Evaluasi kinerja penyelenggaraan diklat pada semua tahap penyelenggaraan perlu dilakukan untuk mengetahui efektifitas program diklat yang telah dilakukan oleh institusi penyelenggara jasa diklat. Evaluasi pada tahap hasil pembelajaran peserta saat sebelum dan setelah mengikuti diklat untuk mengetahui tingkat capaian kompetensinya. Tujuan kajian ini adalah mendemonstrasikan metode quasi experimental dengan disain pre test post test non equivalent control group untuk mengetahui tingkat capaian kompetensi peserta diklat yang mendapatkan intervensi mengikuti diklat berbasis kompetensi (kelompok eksperimen). Hasil kelompok eksperimen ini selanjutnya disandingkan dengan kelompok pembanding yang hanya diberikan intervensi diklat yang belum berbasis kompetensi. Penggunaan disain ini lebih fleksibel dan mudah diterapkan dalam evaluasi hasil pembelajaran peserta program diklat. Analisis menggunakan uji beda dua nilai tengah data bebas dan data berpasangan. Berdasarkan contoh kasus yang diterapkan pada makalah ini diperoleh gambaran bahwa hasil pembelajaran peserta diklat yang mengikuti diklat berbasis kompetensi lebih baik dibandingkan dengan hasil pembelajaran peserta diklat yang mengikuti diklat belum berbasis kompetensi. Kata kunci: Model kirkpatrik, Evaluasi hasil pembelajaran, Diklat, Pre test post test, Nonequivalent control group

I.

Pendahuluan

Pengembangan sumber daya manusia (SDM) merupakan salah satu pilar penting dalam rangka mendukung keberhasilan organisasi mencapai sasaran strategisnya di masa akan datang. Pengembangan SDM dalam rangka untuk memperkecil kesenjangan kompetesi yang dimiliki individu saat ini dengan standar kompetensi yang seharusnya dipenuhi individu tersebut dalam bekerja. Dengan SDM yang berkompeten diharapkan dapat mendorong kinerja organisasi menjadi lebih baik dan pada akhirnya akan membawa dampak terhadap kesejahteraan dirinya sendiri dan masyarakat. Pengembangan kompetensi SDM dapat dilakukan melalui berbagai program seperti diklat, sertifikasi keahlian, coaching, on the job training, dan lain-lain. Ketiga program dan kegiatan pengembangan SDM tersebut dilakukan unit pengembangan SDM internal organisasi ataupun menggunakan lembaga penyedia jasa pengembangan SDM eksternal milik pemerintah dan swasta, serta perguruan tinggi. Salah satu program pengembangan SDM melalui program diklat banyak ditawarkan oleh berbagai lembaga diklat. Namun dalam prakteknya, penyelenggaraan program diklat tersebut pada umumnya masih mengukur keberhasilan hanya dari sisi kinerja output penyelenggaraan diklat, yaitu banyaknya jumlah peserta yang mengikuti diklat setiap tahunnya. Fokus pada pengukuran keberhasilan ini biasanya memiliki kelemahan, yaitu hanya memberi gambaran kuantitas saja dan hanya sedikit memperhatikan segi kualitas. Belakangan ini mulai timbul kesadaran dari para pengelola diklat dan pengguna jasa diklat bahwa ukuran keberhasilan kualitas penyelenggaraan diklat akan lebih bermakna jika dilihat juga kinerjanya dari sisi hasil dan manfaat (outcome) penyelenggaraan diklat. Fokus

1


evaluasi kinerja dari sisi ini lebih memberikan masukan yang bermanfaat bagi pengelola diklat untuk menilai sejauhmana program diklat tersebut efektif dan menjawab kebutuhan pengembangan SDM sektor ESDM. Selanjutnya pengelola diklat dapat membuat keputusan yang tepat terkait dengan keberlanjutan program dan kegiatan diklat tersebut ke depannya, apakah dihentikan atau dilanjutkan dengan berbagai perbaikan perangkat diklat sesuai standar mutu untuk mencapai outcome yang diharapkan. Sedangkan bagi pengguna jasa diklat dapat mengetahui sejauhmana dana yang telah diinvestasikan untuk pengembangan pegawai apakah berdampak terhadap peningkatan kinerja organisasi. Evaluasi outcome penyelenggaraan diklat merupakan kegiatan yang harus dilakukan secara menyeluruh dan saling terkait (sistemik). Evaluasi dimulai dari kinerja penyelenggaraan diklat (evaluasi kepuasan dan pembelajaran) sampai dengan pasca penyelenggaraan diklat untuk melihat perubahan perilaku alumni diklat di unit kerjanya dan dampaknya terhadap peningkatan kinerja organisasi. Evaluasi menyeluruh ini direpresentasikan ke dalam sebuah model yang populer di kalangan pengelola diklat, yaitu model Kirkpatrik. Model Kirkpatrik adalah model evaluasi outcome terdiri dari evaluasi empat tahap, yaitu reaksi, pembelajaran, perubahan perilaku, dan hasil atau dampak (Kirkpatrick, 1998; Bates, 2004). Empat tahap evaluasi diklat pada umumnya telah dilakukan oleh lembaga diklat secara beragam. Namun pada umumnya terdapat kesamaan pola jumlah evaluasi dimana semakin tinggi tahap evaluasi maka persentase program yang dievaluasi semakin sedikit dari jumlah program yang diselenggarakan. Hal ini dikarenakan bahwa evaluasi pada tahap yang paling tinggi semakin sulit dilakukan dan banyak menghabiskan waktu. Namun jika semua tahap telah dilakukan maka akan banyak sekali informasi bermakna yang diperoleh untuk mendapatkan gambaran seberapa besar program diklat yang diselenggarakan efektif untuk peserta diklat dan unit kerjanya (Kirkpatrik, 1998). Tujuan makalah ini adalah membahas evaluasi kinerja penyelenggaraan diklat pada tahap dua, yaitu evaluasi hasil pembelajaran peserta diklat untuk mengetahui perubahan pengetahuan dan keterampilan peserta sebelum dan setelah mengikuti diklat berbasis kompetensi. Evaluasi pada tahap dua menjadi penting karena terkait dengan keberhasilan pencapaian tujuan program diklat yang telah ditetapkan dalam kurikulum diklat. Evaluasi ini menjadi penting seperti disarankan Berger & Berger (2008) yang menyebutkan bahwa lembaga diklat setidaknya harus melakukan evaluasi pada tahap ini sebanyak 60% dari jumlah program diklat. Sedangkan American Society of Training and Development dalam sebuah survey menemukan bahwa lembaga diklat yang telah melakukan evaluasi pembelajaran baru sebanyak 44% dari seluruh program diklat. Untuk melengkapi bahasan ini, penulis mendemostrasikan contoh kasus sederhana evaluasi hasil pembelajaran dengan metode eksperimen semu (quasi experimental). Disain yang digunakan adalah nonequivalent control group yang diberikan pre test dan post test sebelum dan sesudah pemberian intervensi. Dua kelompok terdiri dari kelompok peserta yang diberikan intervensi mengikuti diklat berbasis kompetensi (experimental group) dan kelompok peserta yang hanya diberikan intervensi mengikuti diklat belum berbasis kompetensi sebagai kelompok pembanding (control group). Metode quasi experimental digunakan karena penentuan anggota kelompok yang masuk ke dalam kelompok ekeperimen dan kelompok pembanding tidak dipilih secara acak (random assignment). Dengan kata lain, jika ada calon peserta yang mendaftar pada diklat belum berbasis kompetensi atau diklat berbasis kompetensi maka secara alamiah semua calon akan masuk ke dalam kelompok tersebut sesuai dengan kapasitas diklat masing-masing.

2


II.

Model Evaluasi Diklat Kirkpatrik

Model evaluasi yang paling banyak dibahas dalam berbagai pustaka untuk evaluasi diklat pada umumnya adalah goal based dan system based. Goal based adalah evaluasi untuk mengetahui sejauhmana program memenuhi tujuan dan sassaran yang telah ditentukan. Sedangkan system based adalah pendekatan evaluasi yang berfokus pada apakah intervensi program efektif dan efisien. Namun seringkali perbedaan kedua model pendekatan tersebut terlihat samar. Model goal based memiliki banyak ragamnya diantaranya model Kirkpatrik (empat tahap), Kirkpatrck plus (lima tahap: Return On Investment), Hamblin (lima tahap), Indiana University taxonomy (enam strata), Nine outcomes model, dan model lainnya. Ragam model yang telah disebutkan selain model Kirkpatrik adalah pengembangan dari model Kirkpatrik itu sendiri (Zinovieff & Rotem, 2008). Model Kirkpatrik adalah model sederhana dan populer yang telah dikembangkan sejak tahun 1959. Kepopuleran model ini dapat ditelusuri jejaknya dari beberapa faktor, yaitu model dibuat untuk memenuhi kebutuhan pelatihan profesional untuk memahami evaluasi pelatihan secara sistematis, model menekankan pada empat outcome untuk mendapatkan informasi berharga dari program pelatihan yang diselenggarakan, dan model merupakan hasil dari penyederhanaan proses evaluasi pelatihan yang kompleks (Bates, 2004). Model Kirkpatrik terdiri dari empat tahap, yaitu reaksi atau kepuasan, pembelajaran, perubahan perilaku, dan hasil atau dampak (Tabel 1). Tahap pertama dan tahap kedua dilakukan pada saat penyelenggaraan diklat. Evaluasi pada tahap ketiga dan keempat dilakukan setelah penyelenggaraan diklat (pasca diklat) dan setelah alumni diklat kembali ke unit kerjanya minimal satu tahun. Tahap reaksi sama dengan pengukuran tingkat kepuasan peserta diklat. Tahap pembelajaran untuk mengukur tingkat keberhasilan peserta diklat terkait dengan perubahan pengetahuan, keterampilan, dan sikap sesuai dengan tujuan program diklat. Tahap perilaku untuk mengevalusi perubahan perilaku alumni diklat akibat peningkatan kompetensi yang diperoleh selama diklat dalam pekerjaannya. Tahap hasil atau dampak untuk mengevaluasi akibat dari perubahan perilaku alumni dilihat dalam meningkatkan kinerja organisasi (Kirkpatrick, 1998; Bates, 2004). Tabel 1. Empat tahap evaluasi penyelenggaraan diklat (Zinovieff & Rotem, 2008) Tahap I.

Reaksi

II. Pembelajar an

III. Perilaku

IV. Hasil atau Dampak

Fokus pengukuran Persepsi peserta diklat Penguatan pengetahuan, keterampilan, dan sikap Implementasi di tempat kerja

Pengaruh terhadap organisasi

Pertanyaan Apakah peserta diklat merasa puas? Apakah ada peningkatan pengetahuan, ketarampilan, dan sikap? Apakah pengetahuan, keterampilan, dan sikap digunakan dalam pekerjaannya? Apakah pengaruh diklat terhadap kinerja organisasi?

Keterangan

Evaluasi kinerja penyelenggaraan

Evaluasi pasca diklat

Setiap tahapan evaluasi memiliki tingkat kesulitan berbeda-beda. Semakin tinggi tahapannya maka semakin sulit dan menghabiskan banyak waktu untuk pelaksanaan evaluasinya. Jumlah program yang harus dievaluasi setiap tahapan pada umumnya berbeda-

3


beda. Tabel 2 adalah perbandingan persentase program diklat yang disarankan untuk dievaluasi dan hasil survei American Society of Training and Development pada perusahan di Amerika yang telah menerapkan evaluasi program diklat. Berdasarkan data pada Tabel 2 dapat dilihat bahwa pada tahap yang semakin sulit dan banyak menghabiskan waktu evaluasi, maka persentase program yang dievaluasi semakin sedikit dibandingkan tahap di atasnya. Salah satu contoh kesulitan yang seringkali ditemukan lembaga diklat seperti Badan Diklat ESDM adalah kendala teknis terkait sulitnya mencari sumber data alumni diklat pada saat akan dilakukan evaluasi pasca diklat (tahap ketiga dan keempat) karena telah dirotasi ke unit kerja yang tidak sesuai dengan fungsinya lagi. Namun jika seluruh tahapan sudah dilakukan evaluasi, maka akan banyak sekali informasi bernilai yang diperoleh untuk mendukung pengambilan keputusan pengelola diklat dalam menentukan keberlanjutan program diklat ke depannya (Kirkpatrick, 1998). Tabel 2. Persentase program yang dievaluasi pada setiap tahap Program yang dievaluasi Berger & Berger, 2008

Survei American Society of Training and Development (Zinovieff & Rotem, 2008)

Badiklat ESDM*

100%

75%

100%

60%

44%

50%**

III. Perilaku

30-40%

21%

IV. Hasil atau Dampak

10-20%

11%

3-5% (minimal 2 diklat strategis per bidang diklat ESDM)

Tahap

I.

Reaksi

II. Pembelajaran

* wawancara dengan pengelola evaluasi diklat ** perkiraan III. Disain Pre Test Post Test Nonequivalent Control Group Disain pre test post test nonequivalent control group banyak digunakan untuk evaluasi efektifitas pelaksanaan program pembangunan. Engel & Schutt (2014) memberikan sebuah contoh evaluasi program pembangunan di bidang sosial untuk mengetahui keberhasilan keefektifan pencegahan para mantan narapidana menjadi residivis. Satu kelompok mantan narapidana diberikan intervensi program selama enam bulan dalam bentuk dukungan moneter seperti tiket transportasi, barang keperluan sehari-hari, rumah, pencegahan dari obat-obatan, dan pelatihan kerja. Satu kelompok lainnya menolak untuk diberikan intervensi. Contoh lainnya adalah evaluasi program sosial efektifitas pencegahan bahaya minuman alkohol. Sekelompok anak muda yang tinggal di dua daerah di bandingkan dengan salah satu kelompok diberikan intervensi program budaya selama tiga belas minggu selesai pulang sekolah dan enam sesi setelah enam bulan kemudian. Sedangkan di bidang diklat, disain ini cukup populer digunakan. Misalnya penelitian yang dilakukan oleh Nur’aini, Chamisijatin, & Nurwidodo (2015) untuk mengukur tingkat pemahaman siswa madrasah aliyah negeri pada pelajaran biologi. Kelompok peserta dibagi menjadi dua, yaitu kelompok siswa yang diberikan intervensi menggunakan metode pembelajaran multimedia interaktif dan satu kelompok yang diberikan pelajaran menggunakan metode konvensional. Nurroeni (2013) dalam penelitiannya menggunakan disain nonequivalent control group untuk mengukur keefektifan pembelajaran ilmu pengetahuan alam pada siswa sekolah dasar. Kelompok eksperimen diberikan intervensi

4


model pembelajaran mind maping, sementara kelompok pembanding hanya diberikan model pembelajaran konvensional. Pengukuran hasil belajar merupakan tahap penting untuk mengetahui capaian tujuan diklat kepada peserta dalam menyerap hasil pembelajaran pada program diklat yang dilaksanakan. Pada tahap ini fokus evaluasi dilakukan dengan mengumpulkan informasi mengenai perubahan pengetahuan, keterampilan, dan sikap peserta diklat. Informasi yang digunakan adalah informasi hasil tes peserta diklat pada kondisi awal (pre test) di mana peserta belum diberikan intervensi dibandingkan dengan hasil tes setelah peserta selesai diberikan intervensi (post test). Namun yang perlu diperhatikan bahwa penggunaan metode pre test dan post test hanya untuk mengukur perubahan pengetahuan yang telah diserap peserta selama mengikuti diklat. Penggunaan metode pre test dan post test juga tidak dapat digunakan untuk diklat yang bersifat andragogis, di mana peserta terlibat penuh dalam perumusan tujuan pelatihan pada awal suatu pelatihan. Dalam hal ini peserta pelatihan diminta untuk menyampaikan harapan-harapannya sebelum pelatihan dimulai (Nasrul, 2009). Pre test juga tidak perlu digunakan untuk anggota dua kelompok jika pelaksana evaluasi yakin bahwa kompetensi yang dimiliki kedua kelompok tersebut sama (Campbell & Stanley,1963 dalam Schumann, Anderson, Scott, & Lawton, 2001). Untuk mendapatkan hasil yang lebih baik, evaluasi pada tahap ini disarankan agar menggunakan kelompok pembanding (control group) apabila memungkinkan. Penggunaan kelompok pembanding juga disarankan untuk evaluasi pasca diklat pada tahap ketiga dan tahap keempat (Kirkpatrick, 1998). Model disain pre test dan post test menggunakan dua kelompok tidak setara disajikan seperti pada Tabel 3. Pemilihan anggota kedua kelompok tidak menggunakan cara penugasan acak (random assignment) sehingga pendekatan ini masuk ke dalam kelompok eksperimen semu (quasi experimental). Adapun anggota kedua kelompok yang dipilih dengan penugasan secara acak (random assignment) maka disain eksperimen yang digunakan masuk ke dalam kelompok eksperimen sesungguhnya (true experimental). Tentu saja kelebihan true experimental dalam meminimalisir gangguan validitas internal lebih baik dibandingkan dengan quasi experimental. Tetapi kelebihan quasi experimental dari segi fleksibilitas lebih longgar, segi biaya lebih murah, dan segi waktu lebih singkat dibandingkan dengan true experimental. Sehingga metode ini lebih berguna bagi peneliti dan pelaksana evaluasi (Engel & Schutt, 2014). Tabel 3. Disain pre test post test non equivalent control group Kelompok (Nonrandom assignment) Eksperimen (Peserta diklat berbasis kompetensi) Pembanding (Peserta diklat belum berbasis kompetensi)

Pre test

Intervensi (Diklat)

Post test

O1

X1

O3

O2

X2

O4

Keterangan: O1 = Tingkat pengetahuan dan keterampilan kelompok eksperimen sebelum diklat O2 = Tingkat pengetahuan dan keterampilan kelompok pembanding sebelum diklat X1 = Kelompok yang diberikan intervensi mengikuti diklat berbasis kompetensi X2 = Kelompok yang diberikan intervensi mengikuti diklat belum berbasis kompetensi O3 = Perubahan pengetahuan dan keterampilan kelompok eksperimen setelah diberikan intervensi diklat berbasis kompetensi O4 = Perubahan pengetahuan dan keterampilan kelompok pembanding yang hanya diberikan intervensi diklat tidak berbasis kompetensi

5


IV. Uji Beda Dua Nilai Tengah Tahapan analisis statistik untuk menguji perbedaan menggunakan uji beda dua nilai tengah. Uji beda dua nilai tengah digunakan untuk menguji perbedaan dua nilai tengah populasi. Pengujian dua nilai tengah dibedakan menurut jenis datanya. Terdapat pengujian untuk data bebas dan data berpasangan. Jika elemen dari populasi satu saling bebas dengan elemen populasi dua, artinya elemen kedua populasi merupakan obyek yang berbeda, maka data tersebut merupakan data bebas. Pengujian dua nilai tengah data berpasangan digunakan jika elemen pada populasi satu merupakan elemen yang sama dengan elemen pada populasi dua (Montgomery, 2009). Pada Tabel 3 untuk menguji perbedaan hasil tes pada diklat berbasis kompetensi dan tidak berbasis kompetensi digunakan uji data bebas (O1 vs O2 dan O3 vs O4) karena peserta diklat berbasis kompetensi adalah orang yang berbeda dengan peserta diklat yang belum berbasis kompetensi. Sedangkan untuk menguji perbedaan pre test dan post test digunakan pengujian data berpasangan (O1 vs O3 dan O2 vs O4). Peserta diklat berbasis kompetensi diberikan pre test dan post test, sehingga nilai pre test dan post test didapatkan dari peserta yang sama. Begitu juga pada peserta diklat yang belum berbasis kompetensi. 1.

Pengujian hasil tes pada diklat berbasis kompetensi dengan diklat tidak berbasis kompetensi

Untuk mengetahui apakah diklat berbasis kompetensi memberikan pengaruh yang lebih baik daripada diklat yang tidak berbasis kompetensi dilakukan pengujian data bebas. Pengujian dua nilai tengah data bebas terbagi menjadi dua kasus, yaitu kasus ragam populasi diketahui dan kasus ragam populasi tidak diketahui. Informasi mengenai ragam populasi seringkali sulit didapatkan sehingga pada kajian ini digunakan pengujian dua nilai tengah dengan asumsi ragam populasi tidak diketahui. Pada kasus ragam populasi tidak diketahui terdapat dua kasus yang mungkin terjadi, yaitu kasus asumsi kedua ragam sama dan kasus asumsi kedua ragam berbeda. Penentuan kedua asumsi tersebut dilakukan dengan uji kesamaan ragam. Tahapan pengujian kesamaan ragam diberikan sebagai berikut : a. Hipotesis H0 : Asumsi kedua ragam populasi sama ( H1 : Asumsi kedua ragam populasi berbeda ( b. Taraf nyata α = 5% c. Statistik uji s12 Fhit 

d. Kriteria uji Tolak H0 jika

s22

Informasi yang didapatkan pada pengujian kesamaan ragam adalah apakah ragam kedua populasi sama atau tidak. Informasi ini akan menentukan pengujian dua nilai tengah yang digunakan. Pengujian dua nilai tengah dengan asumsi ragam sama dan asumsi ragam berbeda disajikan pada Tabel 4.

6


Tabel 4. Pengujian dua nilai tengah dengan asumsi ragam sama dan asumsi ragam berbeda Bentuk hipotesis

Asumsi ragam sama

Asumsi ragam berbeda

H0 : 1 = 2 H1 : 1  2

Tolak H0 jika |thitung| > tdb=(n1+n2-2). /2

Tolak H0 jika |thitung| > tdb=db efektif . /2

H0 : 1  2 H1 : 1 > 2

Tolak H0 jika thitung > tdb=(n1+n2-2). 

Tolak H0 jika thitung > tdb=db efektif. 

Ho : 1  2 H1 : 1 < 2

Tolak H0 jika thitung < -tdb=(n1+n2-2). 

Tolak H0 jika thitung < -tdb=db efektif. 

t

hitung



x x 1 1 s  n n 1

t

2

hitung

x x s s  n n



1

gab

1

Statistik uji s  gab

2

2

1

1

2

1

2

1

(n 1) s  (n  1) s n n 2 1

2

2

2

2

2

s s     n n  db    s   s          n   n    n 1  n 1       

2

2

2

1

2

1

eff

2

2

2

2

2

2

1

2

2

1

2

1

2

Pengujian data bebas dilakukan pada O3 vs O4 dengan bentuk hipotesis satu arah. Pengujian ini memberikan informasi apakah diklat berbasis kompetensi memberikan hasil pembelajaran yang lebih tinggi daripada diklat yang belum berbasis kompetensi. 2.

Pengujian pre test dan post test pada diklat berbasis kompetensi dan diklat tidak berbasis kompetensi

Pengujian pre test dan post test ditujukan untuk mengetahui perbedaan pemahaman sebelum diberikan diklat dan sesudah diberikan diklat. Prosedur pengujian dua nilai tengah data berpasangan diberikan sebagai berikut (Montgomery, 2009): a. Hipotesis H0 : (hasil pembelajaran pre test dan post test tidak berbeda) H1 : (hasil pembelajaran pre test dan post test berbeda) b. Taraf nyata α = 5% c. Statistik uji d t s / n dimana d

;

[

∑

(

̅)

]

[

∑

̅

∑ (∑

)

]

7


d. Wilayah kritik Tolak H0 jika | |

⁄

atau p-value < α

Pada pengujian pre test dan post test peserta diklat berbasis kompetensi (O1 vs O3) memberikan informasi apakah hasil pembelajaran peserta meningkat setelah diberikan materi pada diklat yang telah berbasis kompetensi. Begitu juga pada pengujian pre test dan post test peserta diklat yang belum berbasis kompetensi (O2 vs O4), informasi yang dihasilkan adalah apakah hasil pembelajaran peserta meningkat setelah mengikuti diklat yang belum berbasis kompetensi. V.

Contoh Kasus

Berikut ini contoh kasus sederhana menggunakan data hasil evaluasi hasil pembelajaran yang diasumsikan pada tahap pre test dan post test. Misalnya Badan Diklat ESDM pada tahun 2015-2019 telah melakukan penajaman salah satu indikator kinerja utamanya (IKU) menjadi persentase diklat berbasis kompetensi yang dilaksanakan dalam setahun dari IKU sebelumnya (2010-2014), yaitu persentase diklat yang diselenggarakan. Selanjutnya hasil pembelajaran pada salah satu judul program diklat yang belum berbasis kompetensi pada tahun 2014 akan dibandingkan kinerjanya dengan pelaksanaan diklat berbasis kompetensi pada tahun 2015. Data hasil pre test dan post test berdasarkan hasil pembelajaran peserta diklat berbasis kompetensi dan diklat yang belum berbasis kompetensi disajikan pada Tabel 5. Jumlah kelompok ekeperimen dan kelompok pembanding masing-masing sebanyak 20 orang sesuai dengan kapasitas program diklat yang dilaksanakan untuk setiap satu angkatan. Tabel 5. Nilai pre test dan post test evaluasi hasil pembelajaran No.

Kelompok eksperimen (Diklat berbasis kompetensi)

Kelompok pembanding (Diklat belum berbasis kompetensi)

Pre test

Post test

Pre test

Post test

1

60

80

56

57

2

67

86

62

60

3

64

84

58

60

4

58

69

67

70

5

70

97

68

65

6

61

72

55

55

7

56

63

54

56

8

54

69

50

55

9

60

79

56

61

10

65

91

52

53

11

62

87

57

56

12

67

82

71

70

13

66

86

70

72

14

53

71

67

70

15

52

75

66

69

16

64

80

59

61

17

60

82

76

75

18

61

83

73

70

19

60

79

52

54

8


No. 20

Kelompok eksperimen (Diklat berbasis kompetensi)

Kelompok pembanding (Diklat belum berbasis kompetensi)

Pre test

Post test

Pre test

Post test

70

88

62

60

Analisis awal dilakukan secara visual dengan menggunakan plot nilai rata-rata yang disajikan pada Gambar 1. Berdasarkan plot data tersebut terlihat bahwa pada hasil post test kelompok eksperimen meningkat tajam dari hasil pre testnya. Sedangkan pada kelompok pembanding terlihat tidak ada peningkatan yang berarti dari hasil pre test ke hasil post test. Informasi lain yang didapat dari plot data ini adalah bahwa hasil post test kelompok eksperimen terlihat lebih tinggi dari hasil post test kelompok pembanding.

Gambar 1. Perubahan nilai rata-rata pre test dan post test pada kelompok eksperimen dan kelompok pembanding Analisis secara visual seperti yang disajikan pada Gambar 1 tidak dapat dilakukan penarikan kesimpulan. Analisis tersebut hanya sebatas penggambaran data secara deskriptif. Analisis secara formal dilakukan dengan pengujian hipotesis. Hasil pengujian pre test dan post test pada kelompok eksperimen dan kelompok pembanding disajikan seperti pada Tabel 6. Tabel 6. Hasil pengujian pre test dan post test pada kelompok eksperimen dan kelompok pembanding Kelompok

̅

Eksperimen Pembanding

-18.65 -0.90

5.122 2.426

t

p-value

-16.282 -1.659

0.000 0.113

Pada pengujian hasil pre test dan post test kelompok eksperimen yang mengikuti program diklat berbasis kompetensi didapatkan nilai t-hitung sebesar -16.282 dengan p-value

9


0.000. Karena p-value kurang dari α = 5% maka diputuskan tolak H0 dan disimpulkan bahwa ada perbedaan hasil pretest dengan postest. Hasil post test pada kelompok eksperimen lebih tinggi dari hasil pre test, dengan rata-rata pre test 61.50 dan rata-rata post test 80.15 seperti disajikan pada Gambar 1 di atas. Berdasarkan hasil tersebut maka diperoleh gambaran tentang kinerja penyelenggaraan diklat berbasis kompetensi berpengaruh terhadap hasil belajar peserta diklatnya. Peserta diklat berbasis kompetensi mengalami peningkatan kompetensi setelah mengikuti diklat dari kondisi awal sebelum mengikuti diklat. Dengan demikian penyelenggara diklat telah berhasil meningkatkan kinerja penyelenggaraan diklat sesuai dengan target. Sedangkan pengujian pada kelompok pembanding untuk hasil penilaian pre test dan pos test didapatkan nilai t-hitung -1.659 dengan p-value 0.113. Karena p-value lebih besar dari α = 5% maka diputuskan terima H0 yang berarti bahwa pada kelompok pembanding tidak ada perbedaan hasil pembelajaran setelah mengikuti diklat yang belum berbasis kompetensi. Hasil ini sekaligus memberikan informasi bahwa diklat berbasis kompetensi lebih baik dibandingkan dengan diklat yang belum berbasis kompetensi terkait dengan capaian kinerja hasil belajar pesertanya. Hal ini juga didukung dengan pengujian hasil pembelajaran diklat berbasis kompetensi dengan diklat yang belum berbasis kompetensi. Pengujian dilakukan dengan membandingkan nilai post test pada kelompok eksperimen dengan kelompok pembanding. Pada contoh kasus ini kelompok eksperimen dan kelompok pembanding merupakan dua kelompok yang saling bebas, artinya peserta diklat pada kelompok eksperimen bukanlah orang sama dengan peserta diklat kelompok pembanding. Dengan demikian pengujian dilakukan dengan pengujian data bebas. Hasil pengujian disajikan seperti pada Tabel 7. Tabel 7. Pengujian hasil pembelajaran kelompok eksperimen dan kelompok pembanding Uji kehomogenan ragam Asumsi ragam Asumsi ragam sama Asumsi ragam tidak sama

Uji dua nilai tengah

F-hitung

p-value

t-hitung

db

p-value

0.054

0.818

7.252 7.252

38 36.863

0.000 0.000

Pengujian hasil pembelajaran kelompok eksperimen dan kelompok pembanding dilakukan untuk menguji apakah terdapat perbedaan post test antara kedua kelompok tersebut. Hasil pengujian kehomogenan ragam didapatkan nilai F-hitung 0.054 dengan pvalue 0.818 (lebih besar dari α = 5%) sehingga diputuskan asumsi ragam sama. Dengan demikian pengujian dua nilai tengah data bebas dilakukan dengan asumsi ragam sama. Hasil pengujian didapatkan nilai t-hitung 7.252 dengan p-value 0.000 menunjukkan bahwa ada perbedaan antara hasil pembelajaran post test kelompok eksperimen dengan kelompok pembanding. Nilai rata-rata post test kelompok eksperimen sebesar 80.15 dan kelompok pembanding sebesar 62.45. Hasil ini semakin memperkuat kesimpulan sementara yang telah diperoleh berdasarkan data pada Gambar 1 di atas, bahwa kinerja penyelenggaraan diklat berbasis kompetensi lebih baik dibandingkan kinerja diklat yang belum berbasis kompetensi dilihat dari indikator capaian hasil belajar peserta diklatnya setelah selesai mengikuti diklat. Hal ini cukup berasalan karena penerapan diklat berbasis kompetensi memerlukan persyaratan yang lebih banyak dibandingkan dengan pelaksanaan diklat yang belum berbasis kompetensi. Berdasarkan Peraturan Menteri Tenaga Kerja dan Transmigrasi Nomor 8 Tahun 2014 tentang Pedoman Penyelenggaraan Pelatihan Berbasis Kompetensi menyebutkan bahwa persyaratan yang harus dipenuhi dalam menerapkan diklat berbasis kompetensi dibagi menjadi tiga, yaitu persiapan, pelaksanaan, dan evaluasi. Dari ketiga tahapan tersebut, komponen yang paling penting adalah identifikasi kebutuhan pelatihan, menyiapkan fasilitas

10


pelatihan seperti peralatan, bahan pelatihan, tempat pelatihan, modul (buku informasi, buku kerja dan buku penilaian), referensi (teks book, manual book, prosedur operasional standar (POS), dan referensi lainnya, penilaian/asesmen di lembaga pelatihan, dan monitoring evaluasi. VI. Penutup Program diklat berbasis kompetensi memerlukan seperangkat diklat yang lengkap dibandingkan diklat yang belum berbasis kompetensi. Hasil dari penyelenggaraan diklat berbasis kompetensi diharapkan juga dapat lebih baik dalam peningkatan kompetensi peserta lulusan diklatnya. Kinerja penyelenggaraan diklat berbasis kompetensi dengan diklat yang belum berbasis kompetensi dapat diukur menggunakan disain evaluasi pre test post test nonequivalent control group. Disain ini lebih fleksibel dan mudah digunakan karena calon peserta yang mendaftar pada program diklat pada umumnya tidak dapat ditentukan secara acak oleh panitia penyelenggara diklat untuk masuk ke dalam kelompok tersebut (kelompok eksperimen dan kelompok pembanding). Semua calon peserta yang mendaftar secara alamiah akan masuk menjadi peserta salah satu diklat yang belum berbasis kompetensi dan diklat berbasis kompetensi selama kapasitas program diklat per angkatannya masih tersedia. VII. Daftar Pustaka Bates, R. (2004). A Critical Analysis of Evaluation Practice: The Kirkpatrick Model and Principle of Beneficence. Evaluation and Program Planning, 27, 341-347. Berger, L., & Berger, D. (2008). The Handbook of Best Practice on Talent Management. Jakarta: Penerbit PPM. Engel, R., & Schutt, R. (2014). Fundamentals of Social Work Research (2nd ed.). SAGE Publications. Kirkpatrick, D. (1998). Evaluating Training Programs (2nd ed.). San Fransisco: BerrettKoehler Publishers. Montgomery, D.C. (2009). Design and Analysis of Experiments. Ed ke-7. New York: John Wiley & Sons, inc. Nasrul, M. (2009). Evaluasi Program Pelatihan. Medik (1), 39-44. Nur’aini, F., Chamisijatin, L., & Nurwidodo. (2015). Pengembangan Media Berbasis Multimedia Interaktif untuk Meningkatkan Pemahaman Siswa MAN 2 Batu Materi Kingdom Animalia. Jurnal Pendidikan Biologi Indonesia, 1(1), 35-46. Nurroeni, C. (2013). Keefektifan Penggunaan Model Mind Mapping Terhadap Aktivitas dan Hasil Belajar IPA. Journal of Elementary Education, 2(1), 54-60. Schumann, P., Anderson, P., Scott, T., & Lawton, L. (2001). A Framework For Evaluating Simulations As Educational Tools. Development in Business and Experiential Learning, 28, 215-220. Zinovieff, M., & Rotem, A. (2008). Review and Analysis of Training Impact Evaluation Methods, and Proposed Measures to Support a United Nations System Fellowships Evaluation Framework. Geneva: WHO Department of Human Resources for Health.

11

Evaluasi Hasil Pembelajaran Diklat Menggunakan Disain Pre Test Post Test Nonequivalent Control Group

Recommend Documents