Australia – Indonesia Partnership for Maternal and Neonatal Health
Laporan Evaluasi Akhir Program Performance Management and Leadership (PML Puskesmas) di Belu, Sikka , Manggarai dan Sumba Timur, April – Mei 2014 Laporan Versi 1 December 2014
Daftar isi DAFTAR SINGKATAN .............................................................................................................................iii RINGKASAN EKSEKUTIF ......................................................................................................................... 1 BAB I. PENDAHULUAN .......................................................................................................................... 5 A.
LATAR BELAKANG...................................................................................................................... 5
B.
TUJUAN EVALUASI .................................................................................................................... 6
C.
TIM EVALUATOR ....................................................................................................................... 6
D.
JADWAL EVALUASI .................................................................................................................... 6
BAB II. KERANGKA DAN METODE EVALUASI ....................................................................................... 7 A.
METODE EVALUASI .................................................................................................................. 7
B.
ASPEK EVALUASI DAN INDIKATOR............................................................................................. 7
C.
METODE ANALISA ..................................................................................................................... 7
BAB III. HASIL EVALUASI ........................................................................................................................ 9 A.
PENCAPAIAN INDIKATOR PML .................................................................................................. 9
B.
HASIL ANALISA KUALITATIF ..................................................................................................... 12
C.
HASIL ANALISA KUANTITATIF .................................................................................................. 15
BAB IV. TANTANGAN DAN KENDALA .................................................................................................. 23 BAB V. KESIMPULAN ........................................................................................................................... 24 BAB VI. PEMBELAJARAN...................................................................................................................... 25 BAB VII. REKOMENDASI ...................................................................................................................... 26 VIII. PENUTUP ..................................................................................................................................... 27 DAFTAR PUSTAKA ............................................................................................................................... 28 LAMPIRAN........................................................................................................................................... 28
i
Evaluasi Akhir PML 2014
Grafik Grafik 1 Kondisi sebelum dan sesudah implementasi program PML per peserta program ................ 16 Grafik 2 Perubahan individual total score sebelum dan sesudah program PML puskesmas.............. 17 Grafik 3 Total Skor Perubahan Nilai Indikator Program PML Menurut Kabupaten ............................. 18 Grafik 4 Perubahan nilai sebelum dan sesudah program PML untuk masilng –masing elemen ......... 19 Grafik 5 Rata – rata perubahan nilai indikator sebelum dan sesudah program PML .......................... 20 Grafik 6 Pencapaian atau kondisi saat ini/ sekarang (rata-rata semua peserta) ................................ 21 Grafik 7 Peningkatan kompetensi setelah program dilaksanakan di 4 kabupaten .............................. 22
Tables Table 1. Jumlah Puskesmas dan rincian jumlah responden per kabupaten .......................................... 6 Table 2 Hasil Indikator 1 : Manajemen dan Kepemimpinan Manager .................................................. 9 Table 3 Hasil indikator 2: Kepemimpinan kepala puskesmas ............................................................... 9 Table 4 Hasil indikator 11: Replikasi .................................................................................................. 12 Table 5 Rata – rata total skor perubahan nilai sebelum dan sesudah program PML menurut kabupaten ........................................................................................................................................... 18 Table 6 pencapaian kondisi saat ini di 4 kabupaten ............................................................................ 20
ii
Evaluasi Akhir PML 2014
DAFTAR SINGKATAN
AIPMNH
Australia Indonesia Partnership Maternal Neonatal Health
AKB
Angka Kematian Bayi
AKI
Angka Kematian Ibu
APBD
Anggaran dan Pendapatan Belanja Daerah
ANOVA
Analysis of Variance
BOK
Biaya Operasional PUSKESMAS
BPPSDM
Badan Pemberdayaan dan Pengembagan Sumber Daya Manusia
IAKMI
Ikatan Ahli Kesehatan Masyarakat Indonesia
K1
Kunjungan kehamilan pertama
K4
Kunjungan kehamilan ke empat
KN
Kunjungan Neonatus
KIA
Kesehatan Ibu dan Anak
PML
Performance Management and Leadership
PERMENKES
Peraturan Menteri Kesehatan
POA
Plan of Action
SDM
Sumber Daya Manusia
SPO
Standar Pelayanan Operasional
UPTD Latnakes
Unit Pelaksana tehnis Daerah Pelatihan Tenaga Kesehatan
iii
Evaluasi Akhir PML 2014
RINGKASAN EKSEKUTIF Program Performance Management and Leadership (PML) bertujuan untuk meningkatkan kompetensi (hard skills maupun soft skills) managerial dan kepemimpinan kepala puskesmas dan staf senior. Kegiatan dilaksanakan melalui pelatihan dan pendampingan sesuai dengan ketentuan Permenkes RI No 971/2009, tentang Kompetensi Pejabat Dinas Kesehatan. PML Puskesmas dilaksanakan di 4 kabupaten: Belu, Sumba Timur, Manggarai, Sikka mewakili 14 Kabupaten/Kota dukungan AIPMNH. Setiap Kabupaten, dipilih 6 Puskesmas mewakili Puskesmas Rawat Jalan dan Rawat Inap. Program pelatihan dan mentoring dilaksanakan selama tujuh bulan (Juni –Desember 2012) kemudian dilanjutkan dengan bimbingan tehnis dan monitoring triwulanan oleh Dinas Kesehatan Kabupaten, mentor dan fasilitator dari IAKMI Yogja. Evaluasi ini bertujuan untuk menilai perkembangan dan hasil program PML Puskesmas setelah dua tahun program berjalan. Evaluasi menggunakan pendekatan kuantitatif dan kualitatif dengan wawancara dan observasi serta analisis data sekunder. Evaluasi dilakukan terhadap 12 indikator sebagaimana tercantum dalam Permenkes RI No 971/2009. Kepala Puskesmas dan 1-2 staf setiap Puskesmas dinilai dan diwawancarai. Total responden sebanyak 64 orang. Penilaian kuantitatif meliputi 3 penilaian: oleh diri sendiri (self assessment), oleh atasan atau bawahan dan oleh evaluator. Jenis analisa mencakup penilaian: kondisi sebelum program PML, kondisi sesudah program PML, peningkatan yang terjadi dan kondisi saat ini. Untuk kondisi sebelum dan kondisi sesudah, menggunakan penilaian: self assessment dan atasan/bawahan. Sedangkan untuk analisa peningkatan dan kondisi saat ini menggunakan penilaian: hasil self assessment, atasan/ bawahan dan external evaluator. Kondisi sebelum dan kondisi sesudah dibandingkan untuk menilai perubahan. Kondisi saat ini dinilai untuk menilai skor pada saat penilaian. Perubahan setiap indikator (pre dan post) dianalisis dan kemaknaan perubahan diuji secara statistik. Hasil evaluasi menujukkan bahwa program PML telah mampu meningkatkan kompetensi managerial dan kepemimpinan di Puskesmas. Semua kabupaten memperlihatkan pencapian indikator program yang memuaskan: (1) tingkat kepuasan kepala Puskesmas, (2) kepuasan staf senior terhadap pelaksanaan program PML,(3) adanya tim pendamping kabupaten yang rutin melakukan pendampingan, (4) memulai adanya replikasi program ke puskesmas lain, (5) tersusunnya standar operasional pelayanan (SOP), (6) mulai adanya kejelasan uraian tugas bagi setiap staf puskesmas, (7) perbaikan sistem pencatatan dan pelaporan Puskesmas, (8) adanya rencana usulan kegiatan dan (9) adanya rencana pelaksanaan kegiatan puskesmas, (10) terlaksanakanya lokakarya mini bulan dan triwulan dan (11) adanya peningkatan penyerapan dana BOK (Biaya Operasional Kesehatan). Gambaran pencapaian score 12 elemen PML Puskesmas terlihat pada grafik di bawah. Hasil penilaian ini merupakan rata–rata dari 3 komponen penilaian meliputi: self assessment, penilaian oleh atasan/bawahan dan penilaian oleh evaluator. Grafik: Hasil pencapaian score penilaian kondisi saat ini 12 elemen PML Puskesmas di empat kabupaten/kota
1
Evaluasi Akhir PML 2014
Sikka
Manggarai
Sumba Timur
Belu 3.68
Inovasi
4.89 4.27
Keahlian tehnikal manajerial dan profesional 3.85
Berpikir Konseptual
5.21
5.26
4.86
5.24
5.33
4.71
4.82
3.60
Berpikir analitis
4.75
5.26
4.95
3.71
Orientasi Pada Kualitas
4.78
5.07
4.99
3.79
Orientasi Pada Pelayanan
5.11
4.95
5.12
4.28
Pengorganisasian
5.34
5.12 5.13
3.81
Penganggaran
4.76 4.94 4.95
3.86
M&E
4.86
4.78
4.05
Perencanaan
5.17
4.93 5.03 4.99
4.21
Kepemimpinan
5.42
4.89
5.09
4.48
Integritas
4.90
4.83
0.00
1.00
2.00
3.00
4.00
5.00
5.21 5.31 6.00
Keterangan: 1 score terendah; 6 score tertinggi Skor= rata rata penilaian diri, staf dan orang luar di antara staf yang dinilai dari 6 Puskesmas terpilih di setiap kabupaten. Jumlah responden Manggarai (14), Sumba Timur (12), Sikka (22), Belu (16). Hasil analisis kualitatif menunjukkan bahwa program PML Puskesmas sangat dirasakan manfaat tidak hanya untuk organisasi (Puskesmas) namun juga bagi individu staf. Program PML Puskesmas telah menambah pengetahuan staf, memberikan pengalaman baru, dan telah meningkatkan kemampuan diri staf dalam mengelola program dan kepemimpinan. Secara organisasi, manajemen Puskesmas menjadi lebih baik, tata kerja berubah, tujuan organisasi jelas, staf bekerja dapat terarah dan ini telah berdampak terhadap peningkatan kepuasan masyarakat terhadap pelayanan kesehatan. Dari segi pimpinan puskesmas, pimpinan lebih percaya diri, berani memutuskan, tegas dan kreatif. Lebih lanjut lingkungan fisik puskesmas juga berubah menjadi lebih bersih. Secara umum program PML telah memberikan dampak positip bagi tatakelola Puskesmas dan kualitas pelayanan kesehatan di Puskesmas. Pelaksanaan program ini diharapkan tidak hanya terbatas di empat kabupaten saja, namun diharapkan dapat direplikasi ke daerah lain dengan dukungan anggaran pemerintah daerah maupun sumber lainnya. Program ini perlu diadvokasi ke pemerintah pusat maupun daerah agar dapat menjadi program reguler (rutin) dan dilaksanakan di seluruh puskesmas.
2
Evaluasi Akhir PML 2014
EXECUTIVE SUMMARY The Performance Management and Leadership (PML) Program aims to improve competencies (hard and soft skills) in management and leadership of the head and senior staff of Puskesmas. PML program activities, such as training and supervision, align with the Ministry of Health’s Regulation No 971/2009 on Competencies of Health Office Senior Staff. The PML program is being implemented in four of the 14 AIPMNH supported districts: Belu, Sumba Timur, Manggarai and Sikka. In each of the four districts, six Puskesmas are covered making a total of 24 Puskesmas in the program. Intensive training and mentoring was conducted for seven months (June –December 2012) followed by quarterly technical supervision from the district health office, former local mentors and the facilitators from IAKMI Yogjakarta. This evaluation aimed to assess the progress and impact of the PML program after two years of implementation. Quantitative and qualitative assessments were conducted including interviews, observation and secondary data collection based on the indicators as outlined in the Ministry of Health Regulation No 971/2009. The Puskesmas head and up to two staff were assessed and interviewed from each of the six Puskesmas from each district, leading to a total of 64 managers and staff from the 24 Puskesmas. Quantitative assessment covered: (i) self-assessment; (ii) assessment conducted by the supervisor or the subordinates; and (iii) assessment conducted by the evaluator. Analyses included the measures of ‘before’ and ‘after’ the PML Program. Self-assessment and assessment by the supervisor or subordinates were used to evaluate the conditions before and after the PML program. The analysis of current conditions used self-assessment by supervisors or subordinates plus assessments conducted by the external evaluator. The conditions before and after the PML program were compared to measure change. Current conditions were assessed to measure participants’ scores. Changes in each indicator (before and after) were analysed using statistical tests to assess significance. Results of the evaluation indicate that the PML program has improved management and leadership in the Puskesmas. All districts show satisfactory achievements of the program indicators: (1) level of satisfaction of the head of Puskesmas, (2) level of satisfaction of senior staff regarding the implementation of PML program, (3) district supervisory team conducting supervision regularly, (4) replication of the program to other puskesmas, (5) standard operating procedures established, (6) job descriptions for all staff are clearly defined, (7) Puskesmas recording and reporting system are improved, (8) proposed activities developed (9) Puskesmas implementation plan developed, (10) monthly and quarterly mini-workshop implemented, and (11) utilisation of available operational funds increased. Results are summarised in the graphic in the Bahasa version of the Executive summary. The graph shows the average score for each element of the Permenkes elements of management and leadership. The average score is the average of self assessment, staff assessment and external assessment for each of the Puskesmas staff followed up in the evaluation, and then averaged across the staff from each district.
3
Evaluasi Akhir PML 2014
Qualitative analysis demonstrated that the program has great benefits not only for the Puskesmas as an organisation but also for staff as individuals. The program has increased staff knowledge, given new experience for staff, and improved staff’s leadership and competencies in managing their programs. Puskesmas management has improved, as has puskesmas governance, organisational objectives are clear, Puskesmas staff perform with clear direction and consequently the community has increased satisfaction with the health services. Puskesmas leaders are more confident, assertive and creative. As an added benefit, Puskesmas surroundings are much cleaner than ever before. The PML Program has brought positive impacts on Puskesmas’ governance and service quality. It is recommended that implementation of this program should be expanded not only in the four districts but also replicated in other areas with the support of local government budgets and other funds. It is also recommended that the PML Program be advocated to the Central and Regional governments so that the Program may be included as part of the government’s regular program and implemented in all Puskesmas.
4
Evaluasi Akhir PML 2014
BAB I. PENDAHULUAN
A. LATAR BELAKANG Untuk meningkatkan kapasitas kepemimpinan dan manajemen puskesmas telah dirancang sebuah Pusat kesehatan masayarakat (puskesmas) merupakan garda terdepan pelayanan kesehatan dasar dan mempunyai peran strategis dalam menanggulangi berbagai masalah kesehatan spesifik yang ada di daerah. Agar peran Puskesmas lebih optimal dalam memberikan pelayanan kepada masyarakat, perlu dilakukan upaya penguatan kapasitas manajemen dan kepemimpinan Puskesmas. Dengan peningkatan kapasitas kepemimpinan dan manajemen kepala puskesmas, dan pimpinan administrasi diharapkan akan terjadi perbaikan pengelolaan sistem manajemen dan pelayanan kesehatan di puskesmas, yang diharapkan akan berdampak apda peningkatan kinerja pelayanan kepada masyarakat. Program pelatihan yang mengacu pada Peraturan Menteri Kesehatan RI No 971 /2009, tentang Kompetensi Pejabat Dinas Kesehatan. Sebuah pelatihan manajemen dan kepemimpinan bagi kepala Puskesmas dan staf administrasi untuk kompetensi hard skills maupun soft skills. Program pelatihan ditujukan untuk memperkuat sistem dan mekanisme yang sudah ada, memfasilitasi dan memberikan dukungan teknis yang difokuskan pada proses manajemen dan identifikasi kelemahan manajemen untuk mewujudkan pola manajemen Puskesmas yang baru. Program ini dilakukan dengan pelaksanaan beberapa lokakarya dengan memberikan beberapa materi kompetensi berkaiatan dengan manajemen program pokok puskesmas. Lokakarya dilakukan secara periodik dengan menggunakan pendekatan belajar dan bekerja dalam tim dengan pendampingan. Program ini juga memakai dan mengembangkan pedoman dan panduan yang sudah ada dengan berkoordinasi dan berkolaborasi dengan Pusat Pendidikan dan Pelatihan Aparatur (Pusdiklat Aparatur BPPSDM). Program Performance Management and Leadership (PML) dilakukan di 4 kabupaten di NTT (Belu, Sumba Timur, Manggarai, Sikka) di 6 Puskesmas per kabupaten/kota. Program PML ini dilakukan secara intensif selama 7 bulan mulai Juni tahun 2012 sampai Desember 2012. Kemudian dilakukan dengan bimbingan tehnis dan monitoring per 3 bulan oleh tim dinas kesehatan kabupaten di bantu oleh eks mentor lokal serta didukung fasilitator dari IAKMI Yogja. Dukungan Dinas Kesehatan Kabupaten untuk Laporan ini mengevaluasi hasil pencapaian berbagai indikator pelaksanaan program PML dan mengidentifikasi aspek pembelajaran (perubahan perilaku kepemimpinan dan pengelolaan manajemen). Aktualisasi perubahan perilaku kepemimpinan dan manajemen program setelah pelatihan PML juga merupakan aspek penting dari kajian evaluasi ini.
5
Evaluasi Akhir PML 2014
B. TUJUAN EVALUASI Kegiatan evaluasi akhir ini bertujuan untuk menilai: 1. perkembangan implementasi Plan of Action untuk kegiatan jangka pendek dan menengah sebagai indicator perubahan perilaku kepemimpinan dan pengelolaan manajemen pelayanan kesehatan di Puskesmas; 2. perubahan kompetensi kepemimpinan dan manajemen pelayanan kesehatan di Puskesmas (sebelum dan sesudah, kondisi saat ini dan peningkatan) dan 3. manfaat PML puskesmas bagi individu maupun organisasi.
C. TIM EVALUATOR Tim evaluator terdiri dari beberapa unsur yang memenuhi persyaratan termasuk mengetahui atau pernah mengikuti program PML. Untuk menghindari bias, tim fasilitator dan mentor lokal tidak melakukan evaluasi ditempat yang pernah didampingi sebelumnya. Tim evaluator terdiri dari: - Tim IAKMI Yogjakarta sebagai Koordinator; - Tim UPTD Latnakes Dinas Kesehatan Provinsi Nusa Tenggara Timur; dan Mentor lokal Setiap tim beranggotakan 5 orang terdiri dari: 2 orang dari IAKMI Yogjakarta, 1 orang dari UPTD Latnakes Dinas Kesehatan Provinsi NTT, 1 mentor lokal, 1 orang dari PKMK UGM untuk administrasi dan logistik. Setiap tim melakukan evaluasi di 2 kabupaten. Jumlah responden dan rinciannya dapat dilihat pada Table 1.
Table 1. Jumlah Puskesmas dan rincian jumlah responden per kabupaten Kabupaten
Jumlah Puskesmas
Jumlah responden Kep Pusk
Jumlah responden Staf
Total jumlah responden
Belu
6
6
10
16
Sumba Timur
5
5
7
12
Manggarai
6
5
9
14
Sikka
8*
8
14
22
Total
25
24
40
64
*Ditambah dengan 2 Puskesmas replikasi
D. JADWAL EVALUASI Evaluasi dilakukan pada tanggal 28 – 30 April 2014 untuk Kabupaten Manggarai dan Sikka. Sedangkan untuk Kabupaten Sumba Timur dilaksanakan pada tanggal 5 – 9 Mei dan Kabupaten Belu pada tanggal 19 – 21 Mei 2014. Diperlukan waktu 3 hari untuk melakukan evaluasi di setiap kabupaten kecuali di kabupaten Sumba Timur yang memerlukan waktu lebih lama (4 hari) karena lokasi beberapa puskesmas yang cukup jauh. Waktu yang dibutuhkan untuk evaluasi di setiap puskesmas selama satu hari penuh untuk puskesmas yang jauh dari kota sedangkan yang dekat kota hanya memerlukan waktu setengah hari. Jadwal lengkap evaluasi dapat dilihat pada lampiran. 6
Evaluasi Akhir PML 2014
BAB II. KERANGKA DAN METODE EVALUASI
A. METODE EVALUASI Metode evaluasi menggunakan pendekatan yang diperkenalkan oleh Kirk Patrick yang terdiri dari 4 level evaluasi yaitu evaluasi reaksi (level 1), evaluasi belajar (level 2), evaluasi perilaku (level 3) dan evaluasi hasil (level 4). Namun fokus evaluasi akhir ini hanya pada level 1, 2 dan 3. Level 4 belum dapat dilakukan karena untuk mengukur dampak terhadap cakuan K1, K4, KN, kematian ibu dan bayi memerlukan waktu implementasi program yang lebih lama. Perincian tingkat evaluasi dan tujuan terperinci dapat dilihat pada lampiran. Evaluasi dilakukan terhadap nilai sebelum dan sesudah, kondisi saat ini dan peningkatan yang terjadi. Metode evaluasi menggunakan wawancara dan observasi/pengamatan dilapangan. 1. Wawancara Wawancara dilakukan dengan Kepala Puskesmas, staf puskesmas yang telah mengikuti pelatihan dan pendampingan. Wawancara memerlukan waktu kurang lebih 1 sampai 2 jam perorang. Kuesioner yang dipakai adalah kuesioner terstruktur yang berisi hal-hal positif yang telah dicapai sesuai dengan standar kompetensi pelatihan PML. Wawancara menggunakan 3 pendekatan: self assessment, atasan atau bawahan dan evaluator/assessor. 2. Observasi atau pengamatan Observasi atau pengamatan dilakukan dengan memakai check list yang sudah disiapkan untuk menilai perkembangan yang terjadi di puskesmas. Formulir observasi terlampir (form E).
B. ASPEK EVALUASI DAN INDIKATOR Topik – topik yang dievaluasi mencakup: 1. Permenkes No. 971/ 2009. Untuk itu hal pokok yang ditanyakan meliputi aspek: integritas, kepemimpinan, perencanaan, monitoring dan evaluasi, penganggaran, pengorganisasiaan, orientasi pada pelayanan, orientasi pada kualitas, berpikir analitis, berpikir konseptual, keahlian tehnikal manajerial dan professional dan inovasi; 2. penerimaan/retensi terhadap perubahan yang terjadi; 3. hambatan-hambatan selama implementasi; 4. manfaat implementasi proposal/POA program PML; dan 5. kondisi fisik Puskesmas (dulu dan setelah PML), termasuk bukti dokumentasi dan foto secara fisik.
C. METODE ANALISA Analisa data akan dilakukan dengan pendekatan kuantitatif dan kualitatif. 1. Analisa kuantitatif 7
Evaluasi Akhir PML 2014
Setiap pertanyan dalam kusioner diberi nilai 1 sampai 6. Nilai 1 menunjukkan nilai buruk sekali sedangkan 6 baik sekali. Hasil penilaian dianggap baik jika peserta mencapai nilai diatas skala 3 dan peningkatan dianggap baik jika mendapat nilai diatas 1. Analisa dilakukan dengan membandingkan nilai sebelum dan sesudah. Perbedaan nilai di uji statistik menggunakan paired t test. Perbedaan rata-rata nilai antar kabupaten kota di uji dengan menggunakan Anova test. 2. Analisa kualitatif Analisis kualitatif juga dilakukan terhadap keseluruhan komponen PML Puskesmas sesuai dengan standar Permenkes. Disamping itu juga di explore tingkat penerimaan/retensi terhadap perubahan yang terjadi, hambatan-hambatan yang mereka alami selama implementasi program PML, manfaat yang dirasakan setelah Plan of Action program PML diimplementasikan serta analisis terhadap hasil observasi selama kunjungan ke puskesmas.
8
Evaluasi Akhir PML 2014
BAB III. HASIL EVALUASI Hasil evaluasi terdiri dari 3 bagian yang terdiri dari hasil pencapaian indikator program PML sesuai dengan rancangan program PML, hasil analisa kualitatif dan hasil analisa kuantitatif. Berikut ini adalah hasil evaluasi untuk masing – masing bagian tersebut.
A. PENCAPAIAN INDIKATOR PML Program PML mempunyai 11 indikator yang dirancang untuk mengukur keberhasilan program.. Indikator program PML Puskesmas dapat dilihat di Lampiran X dan pencapaian masing – masing indikator diuraikan dibawah ini. Indikator 1 : Manajemen dan Kepemimpinan Manager Semua responden mencapai nilai yang memuaskan; dengan nilai terendah 3.92 (sedang/ cukup) diperoleh kabupaten Sikka dan nilai tertinggi 5.14 (tinggi) diperoleh oleh kabupaten Belu. Perinciannya dapat dilihat pada Table 2.
Table 2 Hasil Indikator 1 : Manajemen dan Kepemimpinan Manager Kabupaten
Hasil
Sikka
Rata-rata peningkatan: 1.37 (range: 1.2 –1.79) Kondisi saat ini: 3.92 (sedang/cukup)
Belu
Rata-rata peningkatan : 1.31 (range: 1.03 –1.72) Kondisi saat ini: 5.14 (tinggi)
Manggarai
Rata-rata peningkatan : 1.39 (range: 1.15 –1.6) Kondisi saat ini : 4.81 (sedang/ cukup)
Sumba Timur
Rata-rata peningkatan: sebesar 1.64 (range: 1.4 –1.84) Kondisi saat ini : 5.03 (Tinggi)
Pencapaian
Semua kabupaten menunjukkan peningkatan nilai yang sangat baik, namun bervariasi antar kabupaten.
Indikator 2: Kepemimpinan Kepala Puskesmas Semua responden kepala puskesmas (n=24) mencapai nilai post asesement yang memuaskan. Perincian nilai per Kabupaten dapat dilihat pada Table 3.
Table 3 Hasil indikator 2: Kepemimpinan kepala puskesmas Kabupaten
Pencapaian
Sikka
7 dari 8 kepala puskesmas mengalami rata – rata kenaikan diatas 1 poin (range 0.94– 2.4) 4 dari 8 kepala puskesmas memperoleh rata-rata kenaikan diatas 4 poin (range 3.78– 4.79) Peningkatan tertinggi 2.41 dan terendah 1.23
9
Evaluasi Akhir PML 2014
Kabupaten
Pencapaian
Belu
5 dari 6 kepala puskesmas mengalami rata-rata kenaikan diatas 1 poin (range: 0.63–1.95) 6 dari 6 puskesmas memperoleh nilai rata –rata diatas 4 (range: 4.98–5.66) Peningkatan tertinggi: skala 1.78 dan peningkatan terendah 0.63
Manggarai
5 dari 6 kepala puskesmas mengalami rata – rata kenaikan diatas 1 poin (range: 0.74– 2.55) 5 dari 6 puskesmas mendapat nilai rata –rata diatas 4 (range: 4.10–5.68) Peningkatan tertinggi 1 kepala puskesmas : poin 2.55, terendah 0.37
Sumba Timur
Semua kepala puskesmas mengalami peningkatan diatas 1 poin ( 1 puskesmas tidak bisa dinilai) dengan range: 1.18–4.03. 5 puskesmas memperoleh nilai diatas 4 (range: 4.65–5.75) Peningkatan tertinggi sebesar 4.03 dan terendah 1.18 poin.
Pencapaian: minimal 4 kepala puskesmas di masing – masing kabupaten mencapai hasil post assessment yang memuaskan (poin diatas 4)
Disetiap kabupaten minimal 4 dari 6 kepala puskesmas mencapai nilai yang memuaskan. Di Sumba Timur peningkatan cukup tinggi (4.03), namun di kabupaten Belu hanya mengalami peningkatan 0.63 poin.
Indikator 3: Bimbingan Teknis dan Monitoring – Evaluasi Semua kabupaten mempunyai tim dan memberikan bimbingan teknis dan monitoring evaluasi secara rutin minimal 3 bulan sekali. Kabupaten Sikka: Ada tim PML Kabupaten yang melakukan pendampingan secara rutin dengan menggunakan dana APBD dan sudah mereplikasi kegiatan ini di 2 puskesmas baru. Kabupaten Manggarai: Tim PML Kabupaten sudah terbentuk sejak awal dan sudah melakukkan pendampingan secara rutin. Tahun depan (2015) direncanakan akan menambah 6 puskesmas PML sumber dana dari APBD. Kabupaten Belu: Tim PML Kabupaten melakukan pendampingan tiap 3 bulanan dan ada replikasi di 1 puskesmas. Kabupaten Sumba Timur: Tim PML Kabupaten melakukan pedampingan sekaligus pendampingan untuk persiapan akreditas puskesmas. Masing-masing kabupaten sudah mempunyai tim PML dan secara rutin melakukan monitoring dan evaluasi serta membantu puskesmas baru yang akan implementasi program PML. Keberadaan dan berfungsinya tim PML di tingkat kabupaten ini memegang peranan penting dalam keberlanjutannya progtam ini. Karena tim ini yang akan mendampingi puskesmas termasuk dalam memberikan bimbingan tehnis. Bimbingan tehnis oleh narasumber atau pelatih diberikan setiap tiga bulanan oleh tim dari provinsi. 10
Evaluasi Akhir PML 2014
Indikator 4: Uraian Tugas enam puskesmas di tiga kabupaten sudah mempunyai uraian tugas bagi masing-masing staff. Hanya satu puskesmas di satu kabupaten yang belum mempunyai uraian tugas karena adanya pergantian Kepala puskesmas dan penggantinya tidak meneruskan program ini dengan maksimal. Indikator 5: Standar Prosedur Operasional Semua puskesmas PML di 4 kabupaten sudah mempunyai standard prosedur operasional pelayanan namun jumlahnya beragam. Beberapa puskesmas mempunyai SPO lengkap sedangkan beberapa lainnya tidak lengkap atau hanya sedikit. SPO yang terbanyak adalah SPO terkait dengan pelayanan Kesehatan ibu dan anak. Indikator 6: Sistem Pencatatan dan Pelaporan Rata-rata puskesmas di 4 kabupaten mempunyai data dan mempunyai papan informasi yang berisi data cakupan pelayanan. Beberapa Puskesmas data ditampilkan sangat informative dan sangat menarik , termasuk di puskesmas Halilulik di Belu, Puskesmas Lewa di Sumba Timur dan puskesmas Wangko di Manggarai dan puskesmas Lekebai di Sikka). Namun ada beberapa puskesmas membuat papan informasi dengan data seadanya dan kurang kreatif. Indikator 7: Dokumen Perencaaan Puskesmas / Rencana Usulan Kegiatan (RUK) Rata – rata minimal 3 puskesmas di masing – masing kabupaten bisa menunjukkan dokumen rencana Ususlan Kegiatan tahun 2014. Namun hanya beberapa puskesmas saja yang menyusun dokumen sesuai dengan pedoman yang telah ditetapkan Kementrian Kesehatan (buku pedoman Perencanaan Tingkat Puskesmas) yang lengkap dengan hasil analisa dan narasi. RUK yang dihasilkan oleh puskesmas kebanyakan hanya berupa dokumen dan matriks kegiatan. Untuk itu puskesmas masih perlu mendapat bimbingan tehnis dari Dinas Kesehatan kabupaten dalam menyusun dokumen perencanaan (RUK). Indikator 8: Dokumen Rencana Pelaksanaan Kegiatan (RPK) Puskesmas. Semua puskesmas PML di 4 kabupaten membuat RPK (Rencana Pelaksanaan Kegiatan). Dokumen ini diperlukan untuk pencairan dana BOK. Indiktor 9: Lokakarya Mini Bulanan dan Triwulanan Puskesmas Semua puskesmas di 4 kabupaten melakukan lokakarya mini. Kegiatan ini merupakan salah satu syarat untuk pencairan dana BOK. Namun kualitas pelaksanaan lokakarya mini belum dievaluasi dan perlu menjadi perhatian dimasa mendatang. Indikator 10: Kualitas Pencatatan dan Pelaporan Hampir semua puskesmas di tiap kabupaten membuat notulensi rapat bulanan (minilokakarya dan rapat evaluasi bulanan). Notulensi ini diperlukan sebagai salah satu dasar jika akan membuat sebuah keputusan atau menjadi bukti jika sebuah keputusan dipertanyakan. Beberapa puskesmas yang belum membuat terutama disebabkan oleh kurangnya kinerja kepemimpinan dari kepala puskesmas.
11
Evaluasi Akhir PML 2014
Indikator 11: Replikasi 2 kabupaten sudah mempunyai replikasi ke puskesmas lain untuk tahun 2014 sedangkan 2 kabupaten lainnya akan dilaksanakan pada tahun 2015. Hasil replikasi dapat dilihat pada Table 4.
Table 4 Hasil indikator 11: Replikasi Kabupaten
Replikasi
Keterangan
Sikka
2
APBD
Belu
2
APBD dan AIPMNH
Manggarai
-
APBD 2015 6 puskesmas replikasi
Sumba Timur
-
Direncanakan dalam APBD 2015
Dengan adanya penambahan puskesmas yang berpartisipasi dalam program ini (replikasi) diharapkan program ini bisa menjadi program rutin di masing–masing Dinas Kesehatan kabupaten
B. HASIL ANALISA KUALITATIF Secara umum program PML membawa hasil yang baik bagi seluruh peserta di 4 kabupaten. Terjadi peningkatan kompetensi manajemen dan kepemimpinan di hampir semua puskesmas. Beberapa puskesmas yang tidak mengalami peningkatan kompetensi pada umumnya disebabkan karena ada pergantian/mutasi staf. Semua puskesmas telah melaksanakan kegiatan sesuai dengan rencana terutama rencana jangka pendek dan beberapa kegiatan di rencana jangka menengah yang dilaksanakan secara mandiri (memakai sumber pembiayaan dari dana BOK). Program ini memberikan manfaat yang cukup besar kepada para kepala dan staff senior puskesmas. Setelah mengikuti program PML, kompetensi mereka meningkat terutama dalam mengelola tugastugas Puskesmas sehari. Selain itu, Puskesmas telah mempunyai tata kerja yang jelas. Berikut akan dijelaskan hasil analisis kualitatif per Kabupaten. 1. Kabupaten SIKKA a. Kompetensi manajemen dan kepemimpinan o 3 puskesmas mengalami perubahan yang cukup pesat dan 3 puskesmas yang lain terjadi perubahan namun belum sesuai dengan yang diharapkan sedangkan 2 puskesmas belum menunjukkan kemajuan. b. Kepemimpinan Kepala Puskesmas o 3 kepala puskesmas mengalami perubahan yang bermakna setelah mengikuti program PML. Sekarang Kepala Puskesmas sudah lebih berani mengambil keputusan dan dapat mengelola puskesmas dan stafnya lebih baik. Disamping itu sudah mempunyai kemampuan dalam menganalisa masalah dan membuat keputusan dalam peningkatan kualitas pelayanan. 12
Evaluasi Akhir PML 2014
o
1 puskesmas replikasi menunjukkan hasil yang lebih baik. Kepala Puskesmas mempunyai motivasi dan kepemimpinan yang cukup baik. Program PML telah mampu meningkatkan pengetahuan dan kemampuan.
c. Pencapaian indikator PML o Semua puskesmas mencapai indikator target indikator program PML d. Perkembangan implementasi rencana aksi (Plan of Action) jangka pendek dan jangka menengah o 8 puskesmas telah menyelesaikan POA jangka pendek dan sebagian jangka menengah dengan menggunakan dana BOK. e. Manfaat pelatihan o Bagi individu: Sangat bermanfaat dalam menambah pengetahuan, pengalaman yang berbeda, meningkatkan kemampuan diri dalam mengelola program kesehatan. o Bagi Organisasi: Menjadikan organisasi puskesmas lebih baik dan terarah, terjadi perubahan dalam pengelolaan puskesmas terutama kemajuan fisik. Bekerja menjadi mudah, tata kerja berubah, tujuan organisasi jelas, serta meningkatkan kepuasan masyarakat. 2. Kabupaten BELU a. Kompetensi manajemen dan kepemimpinan Ada peningkatan kapasitas manajemen Kepala Puskemas, serta menambah wawasan bagi pengelola program khususnya staf peserta pelatihan PML. b. Kepemimpinan Kepala Puskesmas Pimpinan merasa mempunyai percaya diri, berani memutuskan, tegas dan kreatif. Mengupayakan lingkungan fisik puskesmas berubah menjadi lebih bersih, staf bekerja dapat terarah. c. Pencapaian indikator PML Semua puskesmas peserta awal mencapai replikasi belum bisa dinilai
target indikator sedangkan
2 puskesmas
d. Perkembangan implementasi rencana aksi (Plan of Action) jangka pendek dan jangka menengah Semua puskesmas telah menyelesaikan POA jangka pendek dan sebagain jangka menengah dengan menggunakan dana BOK e. Manfaat pelatihan Bagi individu: Sangat bermanfaat dalam menambah pengetahuan, pengalaman yang berbeda, serta meningkatkan kemampuan diri dalam mengelola program kesehatan. 13
Evaluasi Akhir PML 2014
Bagi Organisasi: Menjadikan organisasi puskesmas lebih baik dan terarah; terjadi perubahan dalam pengelolaan puskesmas terutama kemajuan fisik. Bekerja menjadi mudah, tata kerja berubah, tujuan organisasi jelas serta kepuasan masyarakat. 3. Kabupaten Manggarai a. Kompetensi manajemen dan kepemimpinan Terdapat peningkatan kemampuan membuat kesehatan, perubahan Disamping itu, adanya bantuan sarana fisik.
kompetensi yang ditunjukkan dengan adanya semangat dan visi, misi, dan perencanaan puskesmas, membuat SOP pelayanan administrasi puskesmas menjadi lebih baik dari sebelumnya. keberhasilan advokasi terhadap stakeholder untuk mendapatkan
b. Kepemimpinan Kepala Puskesmas Rata–rata kepala puskesmas mengalami peningkatan kompetensi manajerial dan kepemimpinan yang dirasakan oleh staffnya. Bahkan 1 puskesmas mengalami kemajuan yang pesat; diawal program amat sulit untuk melaksanakan kegiatan dan kurang motivasi namun dengan berjalannya waktu puskesmas tersebut mengalami kemajuan dengan hasil yang memuaskan dan mempunyai motivasi yang tinggi. c. Pencapaian indikator PML semua puskesmas peserta program mencapai target indikator PML. d. Perkembangan implementasi proposal (POA) jangka pendek dan jangka menengah POA jangka pendek sudah diselesaikan sedangkan jangka menengah sementara berjalan, Sumber dana dari BOK
4. Kabupaten SUMBA TIMUR a. Kompetensi manajemen dan kepemimpinan Kepala Puskesmas telah melakukan perubahan pengelolaan pelayanan terutama penatausahaan/administrasi dan berupaya meningkatkan fisik puskesmas selama proses hingga berakhirnya pelatihan PML. Perubahan juga terlihat dari adanya peningkatan kualitas pelayanan kesehatan di puskesmas, terutama pelayanan Rawat inap PONED dan rawat jalan. Meningkatkan keterampilan semua staf dalam menerapkan manajemen puskesmas menjadi lebih baik dan telah dibuat beberapa SOP, perencanaan tahunan maupun POA puskesmas. b. Kepemimpinan Kepala Puskesmas Meningkatnya kemampuan kepemimpinan dalam mengelola puskesmas walaupun belum maksimal. Kerjasama telah terjalin dengan baik dengan dan atar staf. Kegiatan perencanaan dan pelaksanaan kegiatan puskesmas menjadi lebih terarah. Disiplin kerja, kemampuan 14
Evaluasi Akhir PML 2014
negosiasi terhadap lintas sektoral dan pemberdayaan masyarakat meningkat setelah program PML. c. Pencapaian indikator PML 5 dari 6 puskesmas peserta program telah mencapai target 11 indikator PML . Satu puskesmas tidak dapat mencapai indikator karena ada pergantian kepala puskesmas dan kepala puskesmas yang baru kurang motivasi untuk melanjutkan progam PML. d. Perkembangan implementasi proposal (POA) jangka pendek dan jangka menengah 6 puskesmas telah menyelesaikan POA jangka pendek sedangkan untuk POA jangka menengah 5 puskesmas telah menyelesaikan POA jangka menengah dengan menggunakan dana BOK. e. Manfaat pelatihan -
-
Bagi individu: Pelatihan merupakan kebutuhan untuk meningkatkan pengetahuan, sikap, perilaku dalam pelaksanaan tugas kerja. Memberikan pengalaman dan kemampuan memimpin, berpikir analitis, keterampilan membuat perencanaan dan memahami sistim penganggaran. Bagi organisasi: Program PML telah merubah organisasi puskesmas menjadi lebih baik dan terarah. Perubahan juga jelas terlihat dari sisi kemajuan fisik Puskesmas. Suasana kerja menjadi lebih nyaman, mudah, tata kerja yang lebih jelas, tujuan organisasi juga lebih jelas serta terjadinya peningkatan tingkat kepuasan masyarakat terhadap pelayanan kesehatan.
C. HASIL ANALISA KUANTITATIF Secara keseluruhan hasil analisa kuantitatif menunjukkan hasil yang memuaskan dengan adanya peningkatan kompetensi peserta dari sebelum dan sesudah implementasi program, pencapaian kondisi saat ini yang dicapai peserta dan adanya peningkatan pencapaian score atau nilai setelah pelaksanaan program. Berikut ini dijelaskan analisa kuantitatif menurut pendekatan analisis data (sebelum dan setelah, kondisi saat ini dan pencapaian). 1. Perbandingan kondisi sebelum dan sesudah implementasi program. Hasil analisa menggambarkan terjadi peningkatan kompetensi peserta dari sebelum dan sesudah pelaksanaan program di semua kabupaten yang mengikuti program PML. Perubahan per Kabupaten dijelaskan dibawah ini.
15
Evaluasi Akhir PML 2014
Grafik 1 Kondisi sebelum dan sesudah implementasi program PML per peserta program 1a. Kabupaten Belu
Sesudah
1b. Kabupaten Sumba Timur
Sebelum
Sesudah
5.21 3.85 5.31 3.76 4.88 3.54 5.74 3.76 5.66 4.01 5.59 3.80 5.03 5.70 5.11 5.77 5.26 5.89 4.62 3.24 5.28 3.61 4.14 3.02 5.86 4.83 6.00 4.48 5.65 4.17 5.78 4.60
s10 s9 k6 s8 s7 k5 s6 s5 k4 s4 k3 s3 k2 s2 s1 k1 T…
0
2
4
6
s6
1.00
2.00
Sesudah
3.00
4.00
Sebelum
5.22
2.65
s5
3.46
k4
3.97 4.39
3.39
s4
5.52
4.28
s4
5.22
3.94
k3
5.06
3.97
s3
3.49
s2
3.41
k2 s1
3.83
k1
4.90 4.80 4.67 4.97 4.41
0.00
2.00
4.00
5.75 5.71
6.00
1d. Kabupaten Sikka
3.98 3.35 4.20 3.83 5.00 4.41 5.11 4.57 5.01 3.67 5.21 3.70 4.62 3.71 4.99 2.45 3.91 2.58 4.84 3.62 5.16 4.27 4.00 2.86 5.20 3.51 5.37 2.82 0.00
4.50
2.48
k5
1c. Kabupaten Manggarai S5 K5 S 4.3 S 4.2 S 4.1 K4 S 3.2 S 3.1 K3 S 2.1 S 2.1 K2 S1 K1
Sebelum
5.00
6.00
S 13 S 12 K7 S9 S8
1.48 1.48
K5 S5 S4 S3 K2 K1 0.00
1.00
3.87 2.89 4.89 3.30 4.97 3.73 4.44 3.05 4.40 2.97 4.85 3.41 3.62 4.14 5.14 3.72 4.40 2.88 4.37 4.37 4.52 3.07 5.20 2.75 5.03 2.98 5.41 3.00 4.41 3.13 4.17 2.83 4.48 2.73 4.39 2.37 4.90 3.22 4.51 3.32 4.26 3.19
2.00
Sesudah
3.00
4.00
5.00
6.00
Sebelum
a. Kab Belu Dari Grafik 1 terlihat bahwa semua peserta di kabupaten Belu mengalami peningkatan kompetensi dari sebelum pelatihan dan sesudah pelatihan. Uji statistik menunjukkan bahwa perubahan tersebut secara statistik bermakna (P value <0.05). Detail hasil uji statistik dapat dilihat di Lampiran. Rata-rata peningkatan skor 1.5 dengan range 0.63-1.98. Peningkatan yang cukup bermakna, hampir semua meningkatan diatas 1 poin; hanya tiga peserta saja meningkat kurang dari 1 poin.
16
Evaluasi Akhir PML 2014
b. Kabupaten Sumba Timur Grafik 2 menggambarkan kondisi sebelum dan sesudah pelaksanaan program di Kabupaten Sumba Timur. Tidak berbeda dengan Kabupaten Belu, semua peserta di Kabupaten Sumba Timur juga mengalami peningkatan kompetensi dengan range peningkatan skor: 0.51-2.58. Dari 12 peserta yang ikut program PML hanya 1 peserta yang mendapat nilai peningkatan dibawah 1. Perubahan ini secara statistik juga bermakna (P value <0.05). c.
Kabupaten Manggarai
Dari Grafik 3 bisa dilihat bahwa semua peserta mengalami peningkatan kompetensi dengan rata-rata peningkatan 1.23 (range 0.37-2.55); namun demikian, ada lima peserta, perubahannya kurang dari 1 poin. Perubahan ini juga secara statistic bermakna (P value <0.05). d. Kabupaten Sikka Di Kabupaten Sikka (Grafik 4), menunjukkan rata-rata peningkatan skore 1.63 dengan range 0.52-2.89. Secara umum peningkatan cukup baik, semua peserta meningkat skore minimal 1 poin. Peningkatan secara statistic bermakna (P value <0.05). e. Gabungan 4 kabupaten – perubahan total scored individu Grafik 5 mengambarkan perubahan total score individu sebelum dan sesudah implementasi program dengan menggabungkan semua peserta di empat kabupaten menjadi satu kesatuan unit analisis. Rata-rata perubahan individual skor adalah 1.4 poin (range 0.37 – 2.89).
Grafik 2 Perubahan individual total score sebelum dan sesudah program PML puskesmas Score (0-6) 6.00 5.00 4.00 3.00 2.00 1.00 0.00
17
1
3
5
7
9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63
Evaluasi Akhir PML 2014
Individual partisipan
f.
Perubahan nilai indikator program PML per kabupaten
Perbandingan perubahan rata-rata nilai per Kabupaten dapat dilihat pada Grafik 6 . Ada sedikit variasi rata-rata skor antar kabupaten namun berbedaan ini secara statistik tidak bermakna (P value = 0.143). Lebih rinci dapat dilihat pada Tabel 5.
.5
1
1.5
2
2.5
Perubahan Total Score Program PML Menurut Kabupaten
3
Grafik 3 Total Skor Perubahan Nilai Indikator Program PML Menurut Kabupaten
Belu
Manggarai
Sikka
Sumbatim
Berikut ini adalah table rata – rata skor perubahan nilai sebelum dan sesudah program PML
Table 5 Rata – rata total skor perubahan nilai sebelum dan sesudah program PML menurut kabupaten Kabupaten
sample
Rata-Rata Total Perubahan Skor
Min
Max
Belu
16
1.31
0.63
1.98
Sumba Timur
12
1.34
0.51
2.58
Manggarai
14
1.23
0.37
2.55
Sikka
22
1.63
0.52
2.89
g. Analisa Perubahan nilai sebelum dan sesudah program PML untuk masing – masing elemen Analisa ini untuk melihat perubahan yang terjadi untuk masing-masing elemen. Dari Gafik 7 bisa dilihat bahwa terjadi perubahan tertinggi dari elemen inovasi. Ini menandakan bahwa melalui program PML mampu meningkatkan kemampuan atau kompetensi untuk berinovasi dari peserta; dan peningkatan komponen ini paling tinggi dibandingkan dengan komponen lainnya. 18
Evaluasi Akhir PML 2014
-4
-2
0
2
4
6
Grafik 4 Perubahan nilai sebelum dan sesudah program PML untuk masilng –masing elemen
Integritas Perencanaan Penganggaran Orientasi pada Pelayanan Orientasi Analitik Profesional
Kepemimpinan Monev Pengorganisasian Orientasi Kualitas Berpikir Konseptual Inovasi
h. Rata-rata perubahan nilai per elemen Untuk melihat rata-rata perubahan nilai tiap elemen dengan unit analisa penggabungan seluruh peserta dapat dilihat pada Grafik 8. Sebelum program dilaksanakan, rata-rata nilai terendah 3.09 untuk elemen Inovasi dan tertinggi 3.79 untuk elemen Pengorganisasian. Setelah pelaksanaan program PML Puskesmas, rata-rata nilai terendah 4.77 untuk elemen berpikir analitik dan tertinggi 5.2 untuk elemen pengorganisasian.
19
Evaluasi Akhir PML 2014
Grafik 5 Rata – rata perubahan nilai indikator sebelum dan sesudah program PML 10.00 9.00
4.98
4.89
4.95
4.95
4.00 3.58
3.63
3.58
3.61
8.00
4.78
5.20
4.93
4.86
3.51
3.51
4.77
4.88
5.11
3.49
3.40
3.44
4.72
4.92
7.00 6.00 5.00 3.00
3.47
3.79
3.09
3.51
2.00 1.00 0.00
2. Kondisi saat ini (setelah mengikuti program/saat evaluasi dilakukan) Kompetensi para peserta setelah 2 tahun progam PML Puskesmas berjalan apat dilihat pada Table 6. Kabupaten Belu menunjukkan hasil yang terbaik dengan mendapatkan nilai diatas 5 untuk 10 elemen dari 12 elemen dengan rata-rata skor 5.2. Sedangkan Kabupaten Sumba Timur memperoleh hasil sedikit dibawah Kabupaten Belu dengan nilai diatas 5 hanya di 7 elemen dengan rata-rata 5.01. Hal yang sama dengan Kabupaten Manggarai; skor sedikit dibawah Sumba Timur dan nilai diatas 5 hanya pada 2 elemen dengan rata-rata 4.87. Lebih lanjut, Kabupaten Sikka tidak ada satu pesertapun mempeoleh nilai 5 dan rata-rata hanya 3.97. Rincian per komponen dapat dilihat pada Grafik 9. Perbedaan rata-rata nilai antara kabupaten secara statistic bermakna (P value <0.05)
Table 6 pencapaian kondisi saat ini di 4 kabupaten Kabupaten Rata - rata Belu 5.2 Sumba Timur 5.01 Manggarai 4.87 Sikka 3.97 Keterangan: 1= Buruk sekali; 2 = Baik sekali
20
Evaluasi Akhir PML 2014
Minimal
4.95 4.82 4.71 3.6
Max
5.34 5.24 5.12 4.48
Grafik 6 Pencapaian atau kondisi saat ini/ sekarang (rata-rata semua peserta) Sikka
Manggarai
Sumba Timur
Belu 3.68
Inovasi
4.89 4.27
Keahlian tehnikal manajerial dan profesional 3.85
Berpikir Konseptual
4.78 4.99 5.11 4.95 5.12 5.34 4.28
Pengorganisasian
5.12 5.13
3.81
Penganggaran
4.86 4.78
4.05
Perencanaan
4.89 5.09 5.21 4.48
Integritas
1.00
2.00
3.00
4.00
5.17
4.93 5.03 4.99
4.21
Kepemimpinan
5.42
4.76 4.94 4.95
3.86
M&E
5.26
4.75 4.95 5.07
3.79
Orientasi Pada Pelayanan
5.24 5.33
4.71 4.82
3.71
Orientasi Pada Kualitas
0.00
4.86
3.60
Berpikir analitis
5.21 5.26
4.90 4.83
5.00
5.31
6.00
3. Peningkatan kompetensi yang terjadi setelah mengikuti program
Grafik peningkatan yang terjadi setelah pelaksanaan program di 4 kabupaten dapat dilihat dalam Grafik 10. Grafik 10 tersebut menunjukkan peningkatan yang terjadi dimasing – masing kabupaten dilihat dari masing – masing elemen sesuai PERMENKES 971/2009. Dari grafik tersebut dapat dilihat bahwa disemua elemen dari 4 kabupaten terjadi peningkatan lebih dari 1 poin. Hal ini menunjukkan bahwa peserta mengalami peningkatan kompetensi yang baik setelah mendapatkan program ini. Rata – rata peningkatan perkabupaten untuk semua elemen adalah sebagai berikut: Belu 1.32; Sumba Timur 1.84; Manggarai 1.40 dan Sikka 1.22. Dari data tersebut dapat dilihat bahwa peserta di kabupaten Sumba Timur mengalami peningkatan yang cukup tinggi dibandingkan dengan kabupaten yang lainnya. Namun dari hasil uji statistik (p value 0.526) menunjukan bahwa tidak ada perbedaan bermakna nilai rata-rata antar kabupaten.
21
Evaluasi Akhir PML 2014
Grafik 7 Peningkatan kompetensi setelah program dilaksanakan di 4 kabupaten Sikka
Manggarai
Sumba Timur
Belu 1.40
Inovasi
1.49
1.78
1.58 1.57 1.58
Keahlian tehnikal manajerial dan profesional 1.42
Berpikir Konseptual
1.64 1.58
1.45 1.22 1.23
Berpikir analitis
1.59
1.13 1.30 1.30
Orientasi Pada Kualitas
1.56
1.34 1.28
Orientasi Pada Pelayanan
1.41 1.41
1.23
Pengorganisasian
1.48 1.34
1.73
1.70
1.32 1.35 1.43
Penganggaran 1.09
1.27
M&E
1.23
1.37 1.40 1.42 1.46 1.53
Perencanaan 1.13 1.24 1.30
Kepemimpinan
1.74 1.72
1.76
1.17 1.41 1.33
Integritas
1.84
1.28
0.00
22
Evaluasi Akhir PML 2014
0.20
0.40
0.60
0.80
1.00
1.20
1.40
1.60
1.80
2.00
BAB IV. TANTANGAN DAN KENDALA 1. Belum semua peserta mempunyai komitmen yang tinggi dalam mengikuti program secara keseluruhan. Hal ini bisa dilihat dari hasil penugasan yang diberikan tidak diselesaikan. Ini merupakan tantangan kedepan dalam merancang program peningkatan kapasitas manajerial bagi staf puskesmas yang sesuai agar peserta mempunyai komitmen yang tinggi. 2. Beberapa peserta belum familiar dengan computer/laptop, terutama peserta yang sudah berusia lanjut; Disamping itu belum semua puskesmas atau dinas kesehatan kabupaten mempunyai jaringan internet atau sinyal internet yang lemah. Ini merupakan tantangan utama pengembangan pelatihan menggunakan konsep pembelajaran jarak jauh dan pemanfaatan tehnologi. 3. Keleluasaan menggunakan dana menjadi tantangan pelaksanaan PML Puskesmas; mengingat kegiatan-kegiatan inovasi yang lahir dari program ini membutuhkan dukungan anggaran untuk pelaksanaannya. 4. Adanya beberapa faktor di luar kendali peserta seperti penataan SDM (beban kerja yang tidak merata dan pengembangan SDM (kesempatan untuk mendapat pelatihan dari dana APBD yang terbatas), kondisi gedung yang sudah tua dan mutasi Kepala Puskesmas menghambat perkembangan dan implementasi program. 5. Ada kecenderungan bagi para peserta yang berpendidikan “tinggi” menganggap bahwa materi pelatihan sudah diperoleh ketika mereka mengikuti pendidikkan formal sehingga kadang menimbulkan keengganan untuk belajar.
23
Evaluasi Akhir PML 2014
BAB V. KESIMPULAN 1. Beberapa Puskesmas telah mencapai target yang ingin dicapai dari program PML; terjadi peningkatan kemampuan manajerial dan kepemimpinan di Puskesmas. Sedangkan puskesmas yang belum dapat mencapai sepenuhnya target program PML Puskesmas dikarenakan rendahnya motivasi peserta atau mutasi peserta ke tempat lain. 2. Dari hasil analisa kualitatif disimpulkan bahwa program ini sangat dirasakan manfaat, terutama oleh kepala puskesmas yang belum pernah memperoleh pelatihan tentang manajemen dan kepemimpinan. Program ini juga memberikan pengalaman baru bagi mereka dan telah meningkatkan kemampuan memimpin, berpikir analitis, keterampilan membuat perencanaan dan memahami sistim penganggaran. Program PML Puskesmas telah membuat pengelolaan puskesmas menjadi lebih baik, suasana bekerja menjadi lebih nyaman dan mudah, tata kerja menjadi lebih baik, tujuan organisasi dipahami dengan baik, penampilan fisik puskesmas menjadi lebih bersih dan rapi serta telah mampu meningkatkan tingkat kepuasan masyarakat terhadap pelayanan kesehatan. 3. Hasil analisa kuantitatif menunjukkan bahwa semua peserta di 4 kabupaten mengalami peningkatan kompetensi manajerial dan kepemimpinan secara bermakna. Semua peserta mampu mencapai skor nilai diatas cukup (>3). Rata-rata skor cukup bervariasi antara kabupaten namun peberdaan tidak bermakna secara statistik . Disamping itu, semua puskesmas peserta program di semua kabupaten telah menyusun rencana jangka pendek untuk pengembangan Puskesmas. 4. Dukungan dan bimbingan tehnis dari Dinas Kesehatan Kabupaten sangat menentukan keberhasilan program ini. Puskesmas yang mendapat bimbingan teknis rutin dari Dinas Kesehatan Kabupaten menunjukkan performance program PML lebih baik.
24
Evaluasi Akhir PML 2014
BAB VI. PEMBELAJARAN Pengetahuan dan pemahaman tentang kompetensi manajemen dan kepemimpinan sangat dipengaruhi oleh komitmen dan motivasi masing –masing peserta. Peserta yang mempunyai komitmen dan motivasi untuk maju yang tinggi memperoleh hasil lebih baik. Sedangkan untuk keterampilan dipengaruhi oleh pendidikan formal peserta tingkat “kepercaya diri” sebagai pimpinan atau manajer di Puskesmas, terutama bila tingka pendidikan formal staf yang mungkin lebih tinggi Keberanian kepala puskesmas untuk menata dan menggerakkan staf (termasuk tenaga medis, dokter dan dokter gigi) merupakan kunci menuju kinerja pelayanan yang lebih baik. Program PML Puskesmas mampu “budaya” kerja Puskesmas yang lebih baik. Implementasi dan keberhasilan program PML Puskesmas sangat ditentukan oleh dukungan politis dan manajemen dari atasan (Dinkes Kabupaten dan Provinsi) meningat banyak faktor diluar kendali peserta latih yang mempengaruhi hasil pelatihan. Untuk keberhasilan program PML dalam meningkatkan kompetensi peserta sesuai dengan PERMENKES 971/ 2009 perlu komitmen dan motivasi yang tinggi dari peserta untuk mengikuti seluruh kegiatan. Latar belakang pendidikan formal tidak bisa sepenuhnya menjamin komitmen yang tinggi dan mau menjadikan program PML sebagai wahana pembelajaran untuk melakukan perubahan; Beberapa kepala puskesmas dengan pendidikan formal yang lebih rendah bahkan menunjukkan komitmen yang tinggi dalam melaksanakan program PML. Program PML Puskesmas telah mampu meningkatkan pengetahuan dan ketrampilan peserta dalam menggunakan tehnologi informasi (seperti teleconference, belajar melalui web, berinteraksi dengan surat elektronik) karena metode belajar pada program ini memanfaatkan tehnologi tersebut.
25
Evaluasi Akhir PML 2014
BAB VII. REKOMENDASI Untuk meningkatkan motivasi dan komitmen peserta dalam mengikuti program ini perlu adanya akreditasi pelatihan dari instansi yang berwenang (UPTD Latnakes Kupang dan Pusdiklat Apartur BPPSDM Kementrian Kesehatan), sehingga peserta akan memperoleh angka kredit yang bisa dipakai dalam kenaikan golongan Pegawai Negeri Sipil. Dukungan politis serta manajemen dan kepemimpinan dari Dinas Kkesehatan Kabupaten dan Provinsi diperlukan secara konsisten untuk mengembangkan secara optimal peningkatan kemampuan manajemen dan kepemimpinan di tingkat Puskesmas. Perlu adanya peningkatan bimbingan tehnis atau supervisi dari Dinas Kesehatan Kabupaten ke tingkat Puskesmas (peningkatan frekuensi). Demikian pula bimbingan tehnis dari Dinas Kesehatan Provinsi ke Dinas Kesehatan Kabupaten. Perlu adanya pembinaan secara terpadu (antar program) yang dilakukan sesuai kondisi, permasalahan dan perkembangan wilayah setempat (kecamatan) sehingga mengarah kepada permasalahan spesifik/ khusus kecamatan. Perlu dibuat kriteria /standarisasi dalam menetapkan Kepala Puskesmas sebagai pimpinan sehingga kemampuan manajerial dan kepemimpinan seorang kepala puskesmas sudah mumpuni sehingga bisa memimpin puskesmas dengan lebih baik. Perlu disusun panduan pembinaan tehnis dan monitoring yang dapat digunakan oleh Dinas Kesehatan dalam memberikan bimbingan tehnis dan menindaklanjuti kegiatan-kegiatan PML. Dengan adanya panduan ini diharapkan bimbingan tehnis dan monitoring yang dilakukan dapat lebih fokus dan terarah kepada pemecahan masalah. Perlu dukungan dari Dinas Kabupaten dan Provinsi dalam bentuk bimbingan tehnis rutin agar puskesmas dapat melaksanakan seluruh rencana jangka menengah maupun jangka panjang. Sedangkan untuk pendanaan dapat diambil dari dana BOK. Kepesertaan dalam pelatihan PML hendaknya dapat digunakan sebagai bahan pertimbangan untuk pengangkatan kepala puskesmas. Untuk itu pelatihan ini perlu mendapat akreditasi agar bisa diakui pencapaiannya dalam sistem pengangkatan pegawai pemerintah. Peningkatan kompetensi manajer di puskesmas diperlakukan sebagai strategi atau pendekatan yang dilaksanakan melalui pelatihan berbasis WEB untuk meningkatkan kinerja kepala dan pengelola program puskesmas dalam memimpin organisasinya untuk memberikan pelayanan yang optimal.
26
Evaluasi Akhir PML 2014
VIII. PENUTUP
Puskesmas sebagai garda terdepan dalam pelayanan kesehatan di Indonesia perlu mendapat dukungan yang optimal dalam memberikan pelayanan kesehatan yang berkualitas. Dukungan tersebut terutama dalam peningkatan kinerja manajemen dan kepemimpinan yang mempunyai pengaruh yang cukup besar dalam pelayanan kesehatan. Program PML ini merupkan jawaban akan kebutuhan yang diperlukan oleh puskesmas. Evaluasi akhir yang dilaksanakan setelah program berjalan hampir dua tahun ini memperlihatkan hasil yang sangat positif yaitu telah terjadi peningkatan kompetensi manajerial dan kepemimpinan para manajer puskesmas sebagai peserta program. Dengan hasil yang positif ini diharapkan program ini bisa dilaksanakan di puskesmas dan kabupaten lain yang belum mendapatkan program ini dengan dukungan Dinas Kesehatan Kabupaten dan Provinsi. Hasil yang positif dari program yang digagas dan dikembangkan oleh Dinas Kesehatan Provinsi ini perlu mendapat perhatian khusus dari pemerintah pusat terutama dalam pendanaan mengingat APBD yang dimiliki pemerintah NTT belum terlalu besar saat ini.
27
Evaluasi Akhir PML 2014
DAFTAR PUSTAKA
1. Laporan Monitoring dan Evaluasi program PML tahun 2012. IAKMI Pusat 2. Laporan Akhir program PML tahun 2012 . IAKMI Pusat 3. Peraturan Menteri Kesehatan Republik Indonesia Nomor 971/ MENKES/ PER/XI/2009 tentang Standar Kompetensi Pejabat Struktural Kesehatan, Menteri Kesehatan Republik Indonesia. Kementrian Kesehatan RI
LAMPIRAN
1. Jadwal Evaluasi 2. Tingkat evaluasi menurut Kirk Patrick 3. Indikator program PML 4. Hasil uji statistik 5. Instrumen Evaluasi Pasca Pelatihan bagi kepala puskesmas dan staf 6. Instrumen Evaluasi Pasca Pelatihan Verifikasi bagi Kepala Puskesmas 7. Instrumen Evalausi Pasca Pealtihan Pelaksanaan di lapangan 8. Checklist dokumen untuk Evaluasi PML Puskesmas
28
Evaluasi Akhir PML 2014
1. Jadwal Kegiatan Evaluasi Pasca Pelatihan PML di Puskesmas
Hari
Jam
Pokok Bahasan
Pengampu
Keterangan
Surveyor UGM, dan tim Administrasi
Tim dibagi dua
Surveyor UGM dan Tim Administrasi
Tim dibagi dua
Seluruh surveyor dan Tim Administrasi
Tim I dan Tim II
Hari pertama tanggal (I) Kunjungan ke Puskesmas 08.00 – 09.00 09.00 – selesai
Bertemu dengan Kadinkes Kabupaten Wawancara dengan Kepala Puskesmas dan Staf dengan melihat dokumen/data , serta observasi lingkungan fisik
Hari kedua (II) Kunjungan ke Puskesmas Wawancara dengan Kepala Puskesmas dan Staf dengan melihat dokumen/data , serta observasi lingkungan fisik Hari ketiga (III) Kunjungan ke Pukesmas 08.00 – Selesai
29
Wawancara dengan Kepala Puskesmas dan Staf dengan melihat dokumen/data , serta observasi lingkungan fisik (Tim I dan II)
Evaluasi Akhir PML 2014
2. Tingkat Evaluasi Metode Kirk Patrick
Level/ Tingkat
Tujuan
Level 1: Evaluas reaksi(reaction), yang teriri dari proses tahapan pelaksanaan pelatihan PML dan reaksi peserta terhadap setiap tahapan.
1) Mengetahui reaksi peserta terhadap setiap tahapan proses kegiatan PML 2) Mengetahui peningkatan kompetensi peserta pada tiap tahapan proses kegiatan PML
Level 2: Evaluasi Belajar (learning) yang mengukur peningkatan kompetensi Level 3: Evaluasi Perilaku (behaviour) yang akan mengukur hasil jangka pendek dalam organisasi akibat perubahan perilaku dan peningkatan kompetensi manajer. Level 4: Evaluasi Hasil, yang akan mengukur dampak terhadap cakupan K1, K4, KN dan mungkin kematian ibu dan kematian bayi
30
Evaluasi Akhir PML 2014
1) Mengetahui perkembangan implementasi proposal/Plan of Action (POA) jangka pendek pada tingkat puskesmas, Dinkes Kabupaten maupun Dinkes Provinsi. 2) Mengetahui perkembangan implementasi proposal/Plan of Action (POA) jangka menengah pada tingkat Puskesmas, Dinkes Kabupaten maupun Dinkes Provinsi NTT 3) Menilai kompetensi manajemen dan kepemimpinan para peserta latihan, baik di tingkat Puskesmas, Dinkes Kabupaten maupun Dinkes Provinsi. 4) Mengetahui manfaat yang diperoleh individu maupun organisasi. 5) Melakukan pendampingan dan konsultasi antara peserta latih dengan fasilitator mengenai permasalahan latih dengan fasilitator mengenai permasalahan dalam implementasi hasil pelatihan.
3. Indikator Program PML 1
3 orang manajer di 6 puskesmas di 4 kabupaten di NTT mencapai hasil post assessment pelatihan
2
4 kepala puskesmas mencapai hasil post assessment pelatihan yang memuaskan dalam topik program pelatihan manajemen dan kepemimpinan.
3
Adanya tim pelatihan manajemen dan kepemimpinan provinsi yang aktif memberikan bimbingan teknis dan melaksanakan monev
4
Tersusunnya uraian tugas yang jelas baginsatf puskesmas
5
Tersusunnya protap (prosedur tetap)/ standard pelayanan operasional pelayanan di puskesmas
6
Tersedianya data dalam bentuk system pencatatan dan pelaporan
7
Tersusunnya Usulan Kegiatan tahunan puskesmas
8
Tersusunnya Rencana Pelaksanaan Kegiatan (RPK)
9
Terlaksananya lokakarya mini bulanan dan triwulan puskesmas
10
Adanya peningkatan kualitas pencatatan dan pelaporan
11
Ada replikasi ke puskesmas lain
31
Evaluasi Akhir PML 2014
4. Hasil uji statistik a. Hasil uji statistik kondisi sebelum dan sesudah di Belu t-Test: Paired Two Sample for Means
Variable 1
Variable 2
Mean
4.130136
5.44307
Variance
0.466588
0.263635
16
16
Observations Pearson Correlation
Tabel disamping ini merupakan hasil dari t test paired yang menunjukan hasil yang bermakna yaitu nilai P lebih kecil dari 0.5 (1.51E-09)
0.806673
Hypothesized Mean Difference
0
df
15
t Stat
-12.9532
P(T<=t) one-tail
7.55E-10
t Critical one-tail
1.75305
P(T<=t) two-tail
1.51E-09
t Critical two-tail
2.13145
Kesimpulan: Significant increase
b. Hasil Uji statistik peningkatan kondisi sebelum dan sesudah di Sumba Timur Sumba Timur t-Test: Paired Two Sample for Means Variable 1
Variable 2
Mean
3.665412809
5.001437114
Variance
0.435701376
0.287877578
12
12
Observations Pearson Correlation Hypothesized Mean Difference
0.636908339
df
11 8.866769053
t Stat
0
P(T<=t) one-tail
1.21245E-06
t Critical one-tail
1.795884819
P(T<=t) two-tail
2.4249E-06
t Critical two-tail Significant increase
2.20098516
Tabel disamping ini merupakan hasil dari t test paired yang menunjukan hasil yang bermakna yaitu nilai P lebih kecil dari 0.5 ( 1.51E-09)
c. Hasil Uji statistik peningkatan kondisi sebelum dan sesudah di kabupaten Manggarai t-Test: Paired Two Sample for Means Variable 1
Variable 2
Mean
3.5241534
4.756516755
Variance
0.4326266
0.265992422
14
14
Observations Pearson Correlation
32
0.3528473
Evaluasi Akhir PML 2014
Tabel disamping ini merupakan hasil dari t test paired yang menunjukan hasil yang bermakna yaitu nilai P lebih kecil dari 0.5 (1.254E-05)
Hypothesized Mean Difference
0
df
13
t Stat
-6.804381
P(T<=t) one-tail
6.271E-06
t Critical one-tail
1.7709334
P(T<=t) two-tail
1.254E-05
t Critical two-tail
2.1603687
Significant increase
d. Hasil Uji statistik peningkatan kondisi sebelum dan sesudah Kabupaten Sikka t-Test: Paired Two Sample for Means Variable 1
Variable 2
Mean
2.959078283
4.596170034
Variance
0.337884361
0.153207207
22
22
Observations Pearson Correlation
Tabel disamping ini merupakan hasil dari t test paired yang menunjukan hasil yang bermakna yaitu nilai P lebih kecil dari 0.5 yaitu 2.11075E-11
0.291659381
Hypothesized Mean Difference df
0 21 12.82674116
t Stat P(T<=t) one-tail
1.05537E-11
t Critical one-tail
1.720742903
P(T<=t) two-tail
2.11075E-11
t Critical two-tail
2.079613845
Significant increase
e. Pencapaian kondisi saat ini di 4 Kabupaten Kabupaten Belu Sumba Timur Manggarai Sikka
Rata - rata 5.2 5.01 4.87 3.97
Minimal
Max 4.95 4.82 4.71 3.6
5.34 5.24 5.12 4.48
Keterangan: 1 = Buruk sekali 2 = Baik sekali
Groups
Count
Sum
Average
Variance
f. Uji statistik (Anova) pencapaian per-elemen dan per-individu di 4 Kabupaten
33
Evaluasi Akhir PML 2014
Belu
16
83.22114
5.201321
Sumba T
12
60.10833
5.009028
Manggarai
14
67.96163
4.854402
Sikka
22
85.02917
3.864962
0.174954 0.245978 0.310218 0.332494
g. Hasil Uji statistik perbedaan peningkatan per elemen di 4 Kabupaten ANOVA Source of Variation Between Groups
0.7762478
Within Groups Total
SS
df
MS
F
P-value
F crit
3
0.2587493
0.7494866
0.5269304
2.7580783
20.714122
60
0.3452354
21.49037
63
Kesimpulan: tidak terdapat perbedaan yang bermakna dari hasil peningkatan yang didapat ke empat kabupaten
h.
Uji statistik perbedaan hasil antar 4 Kabupaten ANOVA
Source of Variation Between Groups
SS
df
MS
20.527686
3
6.842562
Within Groups
16.3452877
60
0.27242146
Total
36.8729737
63
F
P-value
F crit
25.1175585
1.18907E-10
2.7580783
Kesimpulan: ada perbedaan bermakna hasil anatr kabupaten
i. Uji statistik perbandingan hasil individu di 4 Kabupaten 0.6
0.2
0.000
0.000
MST
STB
B-S
M-S
0.077 m-B
Kesimpulan: terdapat perbedaan bermakna antara Belu dan Sikka dan Manggarai dan Sikka.
34
Evaluasi Akhir PML 2014
35
Evaluasi Akhir PML 2014
INSTRUMEN EVALUASI PASCA PELATIHAN BAGI KEPALA PUSKESMAS Nama Kepala Puskesmas:……………………………. Nama Puskesmas: ……………………………….. Setelah Saudara mengikuti Pelatihan Performance Management dan Leadership bagi Kepala Puskesmas, bagaimana kompetensi Saudara. (Mohon menjawab pertanyaan-pertanyaan dibawah ini dengan memberikan tanda centang dalam kolom jawaban yang tersedia).
A. Kompetensi Kepala Puskesmas (Sesuai dengan Permenkes No. 971/2009) No
Persyaratan kompetensi
Pertanyaan
Sebelum Pelatihan 1
2
3
Sesudah Pelatihan
4
5
6
1
2
3
Ket
4
5
6
Bagaimana kemampuan saudara untuk menggalang komitmen? Bagaimana kemampuan saudara untuk memotivasi staf melaksanakan kegiatan sesuai komitmen? 1
Integritas
Sejauh mana saudara mampu untuk memenuhi apa yang saudara janjikan kepada anak buah saudara/klien saudara? Sejauh mana saudara konsisten dalam melaksanakan apa yang sudah saudara rencanakan? Sejauh mana saudara konsisten terhadap kebijakan/keputusan yang sudah ditetapkan?
2
Kepemimpinan
No
Persyaratan kompetensi
Bagaimana kemampuan saudara dalam membangun komitmen anak buah Bagaimana kemampuan saudara dalam memotivasi anak buah untuk berkinerja lebih baik? Pertanyaan Bagaimana kemampuan saudara dalam mengarahkan anak buah dalam melaksanakan tugas? Bagaimana kemampuan saudara dalam menunjukkan keteladanan? Bagaimana kemampuan saudara dalam memberdayakan anak buah saudara untuk berpartisipasi dalam perencanaan dan
36
Evaluasi Akhir PML 2014
Sebelum Pelatihan 1
2
3
Sesudah Pelatihan 4
5
6 1
2
3
Keterangan 4
5
6
No
Persyaratan kompetensi
Pertanyaan
Sebelum Pelatihan 1
2
3
Sesudah Pelatihan
4
5
6
1
2
3
Ket
4
5
6
pelaksanaan program kegiatan dan menyelesaikan masalah? Bagaimana kemampuan saudara dalam memimpin rapat? Bagaimana kemampuan saudara dalam melakukan advokasi kepada stakeholders? Bagaimana kemampuan saudara dalam melakukan negosiasi dengan pihak di luar organisasi termasuk swasta? Bagaimana keberanian saudara mengambil risiko dalam pengambilan keputusan strategis? Bagaimana kemampuan saudara dalam menyusun perencanaan program? 3
Perencanaan
Bagaimana kemampuan saudara dalam menganalisis, menginterpertasikan dan menggunakan data surveilan untuk perencanaan ? Bagaimana kemampuan saudara dalam menganalisis, menginterpertasikan dan menggunakan data surveilan untuk respons cepat pada keadaan darurat ?
No
Persyaratan kompetensi
Pertanyaan Apakah rencana yang saudara susun realistis (SMART)? Sejauh mana saudara melibatkan staf dalam penyusunan rencana kerja? Sejauh mana rencana yang saudara susun sudah diimplementasikan pada tahun ini?
4
Monitoring & Evaluasi
Bagaimana kemampuan saudara dalam melakukan bimtek, monitoring dan evaluasi? Bagaimana kemampuan saudara dalam menyusun rencana bimtek, dan monev? Bagaimana kemampuan saudara dalam menyusun instrumen
37
Evaluasi Akhir PML 2014
Sebelum Pelatihan 1
2
3
Sesudah Pelatihan 4
5
6 1
2
3
Keterangan 4
5
6
No
Persyaratan kompetensi
Pertanyaan
Sebelum Pelatihan 1
2
3
Sesudah Pelatihan
4
5
6
1
2
3
Ket
4
5
6
bimtek, dan monev? Sejauh mana hasil Bimtek dan Monev saudara gunakan untuk pengambilan keputusan? Bagaimana kompetensi saudara dalam menyusun rencana anggaran? 5
Penganggaran
Sejauh mana rencana yang saudara susun memperoleh dukungan anggaran dari stakeholders? Sejauh mana anggaran yang diperoleh sesuai dengan rencana anggaran yang saudara susun?
6
Pengorganisasian
No
Persyaratan kompetensi
Bagaimana kemampuan saudara dalam pembagian tugas kepada anak buah? Sejauh mana saudara melibatkan staf saudara dalam pembagian tugas termaksud?
Pertanyaan Bagaimana kemampuan saudara untuk memotivasi dan mengarahkan anak buah agar berorientasi pada pelayanan ?
7
Orientasi pada pelayanan
Sejauh mana saudara dapat menunjukkan keteladanan sebagai pemimpin yang berorietnasi kepada pelayanan? Sejauh mana kelengkapan SOP dalam menyediakan pelayanan? Sejauh mana saudara menetapkan standard penyelesaiannya baik, kelengkapan ataupun waktu penyelesaiananya?
8
Orientasi pada kualitas
Bagaimana kemampuan saudara dalam memotivasi anak buah untuk meningkatan kualitas dan kinerja pelayanan? Bagaimana kemampuan saudara dalam melakukian pengukuran mutu dan kinerja? Bagaimana kemampuan saudara dalam memonitor mutu dan
38
Evaluasi Akhir PML 2014
Sebelum Pelatihan 1
2
3
Sesudah Pelatihan 4
5
6 1
2
3
Keterangan 4
5
6
No
Persyaratan kompetensi
Pertanyaan
Sebelum Pelatihan 1
2
3
Sesudah Pelatihan
4
5
6
1
2
3
Ket
4
5
6
kinerja? Bagaimana kemampuan saudara dalam memantau mutu dan kinerja? Bagaimana kemampuan saudara dalam pemeliharaan mutu dan kinerja pelayanan? Bagaimana kemampuan saudara untuk menerapkan manajemen mutu? 9
Berfikir analitis
Bagaimana kemampuan saudara dalam berfikir analitis?
No
Persyaratan kompetensi
Pertanyaan Sejauh mana keputusan saudara didasarkan pada analisis? Berapa sering saudara membuat keputusan-keputusan mendadak dalam pelaksanaan tugas? Bagaimana kemampuan saudara dalam merumuskan visi ke depan organisasi?
10
Berfikir konseptual
11
Keahlian tehnikal manajerial dan profesional
12
Inovasi
Sejauh mana saudara mengembangkan konsep-konsep yang dapat diimplementasikan dalam mengatasi permasalahan kinerja? Sejauh mana pelatihan ini meningkatkan kemampuan teknis manajerial saudara? Sejauh mana saudara mengembangkan inovasi dalam mengatasi permasalahan? Sejauh mana atasan saudara menghargai usulan inovatif anak buah?
Keterangan: Skala penilaian: 1 = sangat rendah…….6 = sangat tinggi 39
Evaluasi Akhir PML 2014
Sebelum Pelatihan 1
2
3
Sesudah Pelatihan 4
5
6 1
2
3
Keterangan 4
5
6
Disain dan Metoda Pelatihan No
Pertanyaan
1
Apakah pelatihan ini memang merupakan kebutuhan bagi saudara sebagai Kepala Puskesmas?
2
Bagaimana komentar saudara terhadap pelatihan yang sudah dilaksanakan?
3
Manfaat apa yang saudara peroleh dari pelatihan tersebut?
4
Apakah disain pelatihan sesuai dengan yang saudara harapkan?
5
Apakah materi yang dibahas sesuai dengan kebutuhan saudara?
6
Hambatan apa saja yang saudara jumpai selama pelaksanaan pelatihan ini?
7
Apakah saudara menganjurkan kepala Puskesmas yang lain untuk mengikuti pelatihan semacam ini?
6
Apakah ada peningkatan hubungan antara Dinas Kesehatan Kabupaten dengan Puskesmas saudara setelah pelatihan ini? Bila ada, sebutkan beberapa hasilnya.
8
Saran-saran yang ingin saudara sampaikan untuk perbaikan pelatihan ini.
40
Evaluasi Akhir PML 2014
Jawaban
INSTRUMEN EVALUASI PASCA PELATIHAN Verifikasi Bagi Kepala Puskesmas Dilakukan oleh assessor: …………………………………………………………….. No
Persyaratan kompetensi
Pertanyaan
1
Integritas
Bagaimana kemampuan Kepala Puskesmas untuk menggalang komitmen? Bagaimana kemampuan Kepala Puskesmas untuk memotivasi staf melaksanakan kegiatan sesuai komitmen? Sejauh mana Kepala Puskesmas mampu untuk memenuhi apa yang dijanjikan kepada anak buah /klien? Sejauh mana Kepala Puskesmas konsisten dalam melaksanakan apa yang sudah di rencanakan? Sejauh mana Kepala Puskesmas konsisten dalam menerapkan kebijakan/keputusan yang sudah ditetapkan?
2
Kepemimpinan
Bagaimana kemampuan Kepala Puskesmas dalam membangun komitmen anak buah? Bagaimana kemampuan Kepala Puskesmas dalam memotivasi anak buah untuk berkinerja lebih baik? Bagaimana kemampuan Kepala Puskesmas dalam mengarahkan anak buah dalam melaksanakan tugas? Bagaimana kemampuan Kepala Puskesmas dalam menunjukkan keteladanan? Bagaimana kemampuan Kepala Puskesmas dalam memberdayakan anak buah untuk berpartisipasi dalam perencanaan dan pelaksanaan program kegiatan dan menyelesaikan masalah? Bagaimana kemampuan Kepala Puskesmas dalam memimpin rapat?
41
Evaluasi Akhir PML 2014
Pembuktian
Sesudah Pelatihan 1
2
3
4
5
6
Keterangan
No
Persyaratan kompetensi
Pertanyaan Bagaimana kemampuan Kepala Puskesmas dalam melakukan advokasi kepada stakeholders? Bagaimana kemampuan Kepala Puskesmas dalam melakukan negosiasi dengan pihak di luar organisasi termasuk swasta? Bagaimana keberanian Kepala Puskesmas untuk mengambil risiko dalam pengambilan keputusan strategis?
3
Perencanaan
Bagaimana kemampuan Kepala Puskesmas dalam menyusun perencanaan program? Bagaimana kemampuan Kepala Puskesmas dalam pengolahan dan analisa data? Apakah rencana yang disusun oleh Kepala Puskesmas realistis (SMART)? Sejauh mana Kepala Puskesmas melibatkan staf dalam penyusunan rencana kerja? Sejauh mana rencana yang disusun leh Kepala Puskesmas sudah diimplementasikan pada tahun ini?
4
Monitoring & Evaluasi
Bagaimana kemampuan Kepala Puskesmas dalam melakukan bimtek, monitoring dan evaluasi? Bagaimana kemampuan Kepala Puskesmas dalam menyusun rencana bimtek, dan monev? Bagaimana kemampuan Kepala Dinas dalam menyusun instrumen bimtek, dan monev? Sejauh mana hasil Bimtek dan Monev digunakan oleh Kepala Puskesmas untuk pengambilan keputusan?
5
Penganggaran
Bagaimana kompetensi Kepala Puskesmas dalam menyusun rencana anggaran? Sejauh mana rencana yang Kepala Puskesmas susun memperoleh dukungan anggaran dari stakeholders? Sejauh mana anggaran yang diperoleh sesuai dengan rencana
42
Evaluasi Akhir PML 2014
Pembuktian
Sesudah Pelatihan 1
2
3
4
5
6
Keterangan
No
Persyaratan kompetensi
Pertanyaan anggaran yang Saudara susun?
6
Pengorganisasian
Bagaimana kemampuan Kepala Puskesmas dalam pembagian tugas kepada anak buah? Sejauh mana Kepala Puskesmas melibatkan staf saudara dalam pembagian tugas termaksud
7
Orientasi pada pelayanan
Bagaimana kemampuan Kepala Puskesmas untuk memotivasi dan mengarahkan anak buah agar berorientasi pada pelayanan ? Sejauh mana Kepala Puskesmas dapat menunjukkan keteladanan sebagai pemimpin yang berorietnasi kepada pelayanan? Sejauh mana kelengkapan SOP dalam menyediakan pelayanan? Sejauh mana Kepala Puskesmas menetapkan standard penyelesaiannya baik, kelengkapan ataupun waktu penyelesaiananya?
8
Orientasi pada kualitas
Bagaimana kemampuan Kepala Puskesmas dalam memotivasi anak buah untuk meningkatan kualitas dan kinerja pelayanan? Bagaimana kemampuan Kepala Puskesmas dalam melakukan pengukuran mutu dan kinerja? Bagaimana kemampuan Kepala Puskesmas dalam memonitor mutu dan kinerja? Bagaimana kemampuan Kepala Puskesmas dalam memantau mutu dan kinerja? Bagaimana kemampuan Kepala Puskesmas dalam pemeliharaan mutu dan kinerja pelayanan? Bagaimana kemampuan Kepala Puskesmas untuk menerapkan manajemen mutu?
43
Evaluasi Akhir PML 2014
Pembuktian
Sesudah Pelatihan 1
2
3
4
5
6
Keterangan
No
Persyaratan kompetensi
Pertanyaan
9
Berfikir analitis
Bagaimana kemampuan Kepala Puskesmas dalam berfikir analitis? Sejauh mana keputusan Kepala Puskesmas didasarkan pada analisis? Berapa sering Kepala Puskesmas membuat keputusankeputusan mendadak dalam pelaksanaan tugas?
10
Berfikir konseptual
Bagaimana kemampuan Kepala Puskesmas dalam merumuskan visi ke depan organisasi? Sejauh mana Kepala Puskesmas mengembangkan konsepkonsep yang dapat diimplementasikan dalam mengatasi permasalahan kinerja?
11
Keahlian tehnikal manajerial dan profesional
Sejauh mana pelatihan ini meningkatkan kemampuan teknis manajerial Kepala Puskesmas ?
12
Inovasi
Sejauh mana Kepala Puskesmas mengembangkan inovasi dalam mengatasi permasalahan? Sejauh mana Kepala Puskesmas menghargai inovasi yang dilakukan anak buah?
Keterangan: Skala penilaian: 1 = sangat rendah…….6 = sangat tinggi
44
Evaluasi Akhir PML 2014
Pembuktian
Sesudah Pelatihan 1
2
3
4
5
6
Keterangan
INSTRUMEN EVALUASI PASCA PELATIHAN: Pelaksanaan di Lapangan Diisi oleh atau ditanyakan kepada: …………………………………………… Kepala Puskesmas : ……………………………………………………………………. No
Kriteria evaluasi
1
Penggalangan komitmen staff
2
Kegiatan-kegiatan apa saja yang sudah dilaksanakan sebagai tindak lanjut pelatihan?
3
Perubahan-perubahan yang terjadi di tempat kerja sebagai tindak lanjut pelatihan
No
Kriteria Evaluasi
Pelaksanaan di Tempat Kerja
Pelaksanaan di Lapangan
Pelaksanaan di Proposal 4
Rencana aksi:
5
Pelaksanaan rencana aksi Pelaksanaan
45
Evaluasi Akhir PML 2014
Tindak lanjut program/kegiatan yang sudah dikerjakan Program/kegiatan yang seharusnya dikerjakan Program inovasi Belum dilaksanakan Sedang dalam pelaksanaan Sudah dilaksanakan Tidak bisa dilaksanakan
Pelaksanaan advokasi kepada stakeholders dan bagaimana hasilnya Keterlibatan staf dalam pelaksanaan Hambatan dalam pelaksanaan Upaya yang dilakukan untuk mengatasi Pembiayaan
Jika ada kendala biaya, upaya apa yang telah dilaksanakan untuk mengatasi, dan bagaimana hasilnya Hasil-hasil yang sudah dicapai dari pelaksanaan rencana aksi
46
Evaluasi Akhir PML 2014
1.Tersedia biaya, dari…………………... 2.Tidak tersedia biaya 3.Sedang diupayakan biaya, dari………..
Instrumen Evaluasi Pasca Pelatihan: Verifikasi Fakta di Lapangan Diisi oleh atau ditanyakan kepada: …………………………………………….. Staff Puskesmas : ……………………………………………………………………. No
Kriteria evaluasi
1
Apa yang telah dilakukan oleh Kepala Puskesmas untuk penggalangan komitmen staff?
2
Kegiatan-kegiatan apa saja yang sudah dilaksanakan oleh Kepala Puskesmas sebagai tindak lanjut pelatihan?
3
Perubahan-perubahan yang terjadi di tempat kerja sebagai tindak lanjut pelatihan
4
Rencana aksi yang disusun oleh Kepala Puskesmas :
5
Pelaksanaan rencana aksi Pelaksanaan
Apakah Kepala Puskesmas melakukan advokasi kepada stakeholders, bagaimana pelaksanaannya dan bagaimana 47
Evaluasi Akhir PML 2014
Fakta di lapangan
Tindak lanjut program/kegiatan yang sudah dikerjakan Program/kegiatan yang seharusnya dikerjakan Program inovasi Belum dilaksanakan Sedang dalam pelaksanaan Sudah dilaksanakan Tidak bisa dilaksanakan
Verifikasi
Keterangan
No
Kriteria evaluasi hasilnya?
Fakta di lapangan
Apakah penyusunan rencana dan pelaksanaan rencana melibatkan staff, siapa saja yang dilibatkan? Hambatan dalam pelaksanaan rencana aksi Upaya yang dilakukan untuk mengatasi Pembiayaan
Jika ada kendala biaya, upaya apa yang telah dilaksanakan oleh Kepala Puskesmas untuk mengatasi, dan bagaimana hasilnya? Hasil-hasil yang sudah dicapai dari pelaksanaan rencana aksi
48
Evaluasi Akhir PML 2014
1.Tersedia biaya, dari…………………... 2.Tidak tersedia biaya 3.Sedang diupayakan biaya, dari………..
Verifikasi
Keterangan
Checklist document untuk Evaluasi PML Puskesmas Gunakan daftar ini untuk memastikan ketersediaan bahan-bahan evaluasi saat pertemuan di Kabupaten. Beri tanda centang ( √ ) pada checklist ini. No
Dokumen
Kelengkapan dokumen Ada
1
File Power Point: Paparan Dinas Kesehatan atau Puskesmas
2
Data KIA selama tahun 2010 -2012
3
Indikator pelayanan KIA 2010-2012
4
Profil Dinas Kesehatan atau Profil Puskesmas dari tahun 2010 - 2012
5
Foto-foto dokumentasi (sebelum implementasi dan setelah implementasi): Ruang Kepala Ruang setiap unit di puskesmas (sebutkan setiap unit yang ada di puskesmas dan identifikasi foto sesuai unit tersebut) Ruang staf Ruang tunggu pasien Laboratorium Dapur Gudang Toilet Tempat Parkir Taman
49
Evaluasi Akhir PML 2014
Tidak ada
Keterangan (Berikan alasan jika dokumen tidak ada)