METODE PENELITIAN Pada bagian ini secara berturut-turut akan diketengahkan paradigma penelitian, rancangan penelitian, populasi dan sampel, data, teknik pengumpulan data, teknik analisis data, validitas dan reliabilitas. Paradigma Penelitian Paradigma penelitian yang akan digunakan dalam upaya menjawab pertanyaanpertanyaan dalam penelitian ini mencakup dua paradigma sekaligus. Dalam upaya menjawab pertanyaan penelitian tentang tingkat kinerja BSC Puskesmas, paradigma yang digunakan adalah kuantitatif atau positivist. Sedangkan untuk menjawab pertanyaan penelitian yang berhubungan dengan pola (arah) dan struktur (bentuk) kinerja BSC, serta model pemberdayaan Puskesmas digunakan paradigma System Dynamic dengan pendekatan ‘hard approach ’ yang saat ini telah disejajarkan dengan pendekatan kuantitatif. Alasan menggunakan pendekatan kuantitatif atau positivist dalam menjawab pertanyaan tentang tingkat kinerja tidak lain karena ditinjau dari asumsi ontologi, epistemologi, aksiologi, dan metodologi, penelitian ini memiliki karakteristik atau gambaran sebagaimana dimaksud dalam asumsi- asumsi tersebut. Pertama, dari asumsi ontologi (apa sifat dari realita), penelitian ini mendasarkan pada realita obyektif dan tunggal terpisah dari subyektifitas peneliti. Artinya, fenomena yang diteliti berada di luar peneliti dan secara obyektif dapat diukur dengan menggunakan daftar pertanyaan atau instrumen. Kedua, ditilik dari asumsi epistemologi (bagaimana hubungan peneliti dan yang diteliti), maka dalam penelitian ini hubungan peneliti independen dari obyek yang diteliti. Artinya peneliti berusaha mengendalikan prasangka dan bersikap obyektif dalam menilai situasi. Ketiga, dari asumsi aksiologi (apakah peran nilai), maka penelitian ini adalah bebas nilai dan tidak bias. Artinya nilai peneliti terpisah dari penelitian. Keempat, dari asumsi metodologi (apakah proses penelitiannya), proses penelitian ini berjalan dalam alur deduktif atau hubungan sebabakibat (Patton,1988 dalam Creswell,1994:4). Selain asumsi-asumsi tersebut, secara umum alasan pemilihan paradigma kuantitatif, antara lain juga karena permasalahan yang diteliti (khususnya pada tujuan mengetahui kinerja Puskesmas) memiliki variabel-variabel, konsep-konsep, dan teori86
teori yang pada umumnya telah dikenal, dan mudah untuk dijadikan pijakan dalam meneliti. Selanjutnya dalam upaya menjawab pertanyaan kedua dalam penelitian ini, yakni tentang pola dan struktur kinerja BSC serta model pemberdayaan Puskesmas berdasarkan struktur kinerja BSC tersebut, digunakan System Dynamic (SD) dari aliran kuantitatif atau ‘hard approach’. Penggunaan SD dipandang mampu memecahkan masalah kompleksitas hubungan sistemik (non linier) variabel-variabel dalam Balanced Scorecard (BSC). Hal tersebut sesuai dengan fungsi SD sebagai metode pembelajaran dalam suatu sistem yang komplek sebagaimana diketengahkan oleh Sterman ( 2000:4) berikut ini, bahwa: “System dynamic is a method to enhance learning in complex systems. Just as airline uses flight simulators to help pilots learn, system dynamics is, partly, a method for developing management flight simulators, often computer simulation models, to help us learn about dynamic complexity, understand to sources of policy resistence, and design more effective policies”
Paradigma ‘hard approach’, menurut Maani dan Cavana (2000:20), adalah setara dengan pendekatan kuantitatif atau deterministic sebagaimana digunakan dalam penelitian yang menguji hubungan linier. Sejalan dengan Maani dan Cavana, Hsiao (2001:7), juga menyatakan bahwa saat ini pendekatan hard approach dikelompokkan dalam paradigma positivistic, hal ini sebagaimana diungkapkannya bahwa:“…the current system dynamics modeling effectively embrace a ‘positivistic worldview’, a paradigm (way of thinking) that concider the world as ordered universe made up of atomistic, discrete and observable events” Pandangan tentang kesetaraan paradigma ‘hard approach’ dengan paradigma positivist atau kuantitatif, antara lain juga didasarkan pada peran statistik dalam pengukuran variabel- variabel dari sistem dan dalam mendemonstrasikan obyektifitas model, serta penempatan peran peneliti secara obyektif di luar obyek yang ditelitinya. Lebih jauh Hsiao menyatakan bahwa : “The quantitative modelling approach, in principle, follow the positivist paradigm and emphasizes the measurable factors of a system, without paying sufficient attention to the complexity of human interaction”
87
Selain dari pada itu, secara ontologi, epistemologi, metodologi, dan aksiologi, penggunaan hard approach dipandang sesuai karena menunjukkan karakteristik yang sama dengan paradigma kuantitatif yang digunakan untuk menjawab pertanyaan kinerja. Karakteristik tersebut selanjutnya dapat disimak pada tabel 4 yang sekaligus membedakan pula antara paradigma hard approach dan soft approach dalam SD.
Tabel 4 Hard Versus Soft Approaches Criteria
Hard Approaches
Model Definition
A representation of the real world
Problem Definition
Clear and single dimensional (single objective) People and Organization Not taken into account Data Quantitative Goal Solution and optimization Outcome Product or recommendation Sumber : Pidd (1996, dalam Maani dan Cavana, 2000:21
Soft Approaches A way of generating debate and insight about the real world Ambigous and multidimensional (multiple objective) Are integral parts of the model Qualitative Insight and learning Progress through group learning
Tipe Penelitian Ditinjau dari Dimensi Tujuan dan Waktu
Ditinjau dari dimensi tujuan, tipe penelitian yang menjawab tujuan pertama adalah deskriptif, yakni mengga mbarkan dan menganalisis tingkat kinerja Puskesmas melalui dukungan analisis teori yang relevan. Sedangkan tipe penelitian untuk menjawab model pemberdayaan Puskesmas adalah explanation. Penelitian tipe explanatif menurut Neuman (1997:20) adalah penelitian yang bertujuan menjelaskan dan menggambarkan alasan-alasan ‘mengapa sesuatu terjadi atau tidak terjadi’. Selain itu, tipe penelitian ini juga bertujuan untuk menjelaskan hubungan sebab-akibat secara kausalitas sebagaimana menjadi tujuan kedua penelitian ini. Tipe explanatif sengaja dipilih karena sesuai dengan cara berpikir yang digunakan dalam memahami permasalahan kinerja secara kausalistik dan menggambarkan suatu cara berpikir yang tidak hanya melihat suatu permasalahan yang nampak dipermukaan saja, melainkan melihat secara lebih luas lagi hingga ke pola-pola hubungan antara variabel yang satu dan yang lain. Makna eksplanasi semakin nyata ketika pola-pola hubungan ditelaah bentuk struktur hubungan yang memiliki makna dan dapat
88
diperhitungkan besarannya, dan kemudian memotretnya secara lebih mendalam lagi melalui analisis mental model yang pada dasarnya mempertanyakan ‘mengapa’ masalahmasalah tersebut terjadi dan saling berhubungan secara kausalitas Ditinjau dari aspek waktu, tipe penelitian ini longitudinal research, artinya bahwa pengambilan data dilakukan secara time series, di mana data diambil secara periodik setiap 3 (tiga) bulan sekali dalam satu tahun survei yakni tahun 2005. Metode pengumpulan data secara runtun waktu adalah syarat utama dalam metode SD yakni untuk mengetahui pola kecenderungan sistem selama batas waktu tertentu. Dengan diketahuinya pola kecenderungan sistem, maka struktur hubungan variabel- variabel dalam sistem akan mudah diidentifikasikan. Selanjutnya melalui perangkat lunak powersim secara efisien dapat dilakukan pekerjaan simulasi model dan pembuatan skenario-skenario pemberdayaan untuk menetapkan model pemberdayaan Puskesmas secara tepat. Populasi Penelitian
Keseluruhan elemen atau populasi dalam penelitian ini adalah berupa organisasi dan individu- individu pegawai dan pelanggan yang terlibat dalam kegiatan Pusat Kesehatan Masyar akat atau Puskesmas Kecamatan, yang beroperasi di Provinsi Daerah Khusus Ibukota Jakarta (minus Kepulauan Seribu) pada kurun waktu 2005. Alasan untuk tidak mengikutsertakan Puskesmas di Kabupaten Kepulauan Seribu dalam populasi penelitian ini antara lain adalah karena pada saat penelitian ini dilaksanakan, Puskesmas di sana belum berstatus sebagai Puskesmas swadana sebagaimana Puskesmas lain di wilayah DKI-Jakarta, sehingga dikuatirkan akan mempengaruhi sifat homogenitas Puskesmas yang diteliti. Dengan demikian populasi target dalam penelitian ini berjumlah 42 (empat puluh dua) Puskesmas Kecamatan. Perhitungan tersebut berasal dari jumlah Puskesmas Kecamatan dalam populasi target ada 44 (empat puluh empat) Puskesmas Kecamatan dikurangi 2 (dua) Puskesmas Kecamatan Kepulauan Seribu, sehingga jumlahnya adalah 42 (empat puluh dua) Puskesmas Kecamatan. Pada dasarnya populasi Puskesmas dapat digolongkan homogen, terutama dilihat dari titik acuan (point of reference) berupa stratifikasi kewilayahan di mana Puskesmas
89
beroperasi, yakni wilayah administratif Kecamatan. Namun untuk keperluan analisis kinerja, dalam penelitian ini dilakukan pengelompokkan Puskesmas ke dalam tipologi Puskesmas elite, moderate, dan slum. Adapun yang menjadi dasar pengelompokkan adalah: Pertama,
rasio
jumlah
penduduk
dan
penduduk
miskin
diperkirakan
mempengaruhi potensi jumlah pasien yang pada gilirannya juga mempengaruhi penerimaan retribusi Puskesmas. Tinggi, sedang, dan rendahnya rasio jumlah penduduk berbanding penduduk miskin selanjutnya menjadi acuan untuk mengelompokkan Puskesmas dalam wilayah elite, moderate dan slum. Kedua, tipologi juga didasarkan pada banyaknya lokasi tempat tinggal rumah tangga miskin seperti di bantaran sungai, perkampungan kumuh, dan tepi rel kereta api. Lokasi- lokasi demikian terdapat di beberapa Kecamatan di mana Puskesmas beroperasi dan diduga dapat mempengaruhi kinerja Puskesmas dalam melayani segmen pelanggan keluarga miskin (GAKIN). Ketiga, didasarkan pada Nilai Jual Obyek Pajak (NJOP) wilayah setempat, artinya tinggi, sedang dan rendahnya NJOP di wilayah Puskesmas menjadi acuan pengelompokkan Puskesmas wilayah elite, moderate, dan slum (Data tentang hal ini terlampir) Adapun hasil identifikasi ke dalam tiga tipologi Puskesmas dapat disimak pada Tabel 5 berikut ini.
Tabel 5 Tipologi Puskesmas di DKI-Jakarta Berdasarkan Wilayah Kecamatan Elite, Moderate dan Slum No
1. 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Puskesmas Wilayah Elite Pasar Rebo Ciracas Matraman Kelapa Gading Kebon Jeruk Palmerah Taman Sari Menteng Cempaka Putih Jaga Karsa Pasar Minggu Pesanggrahan Setiabudi Tebet Kebayoran Baru
Puskesmas Wilayah Moderate Cipayung Makasar Duren Sawit Tanjung Priok Kembangan Grogol Petamburan Senen Sawah Besar Gambir Pancoran Kramat Jati Kalideres Mampang Prapatan Kebayoran Lama
Total 16 Puskesmas Elite 14 Puskesmas Moderate Sumber: Diolah dari Data Sekunder Penelitian (2005)
Puskesmas Wilayah Slum Tanah Abang Jatinegara Cakung Pulo Gadung Penjaringan Pademangan Koja Cilincing Tambora Cengkareng Kemayoran Johar Baru
12 Puskesmas Slum
90
Langkah selanjutnya adalah menentukan populasi sampel berdasarkan pada populasi target yang telah dikelompokkan tersebut. Dengan metode sampling acak kelompok, pada masing- masing kelompok akan diambil secara random 1 (satu) Puskesmas. Jumlah atau besaran sampel Puskesmas dalam hal ini ditetapkan berdasarkan homogenitas populasi dan kemampuan sumberdaya yang digunakan dalam penelitian ini. Semakin homogen populasi semakin kecil sampel, dan semakin heterogen populasi, semakin besar sampel (Irawan, 2004:73). Berdasarkan pada pemahaman tersebut, maka populasi sampel dalam penelitian ini secara random jatuh pada Puskesmas Elite Kebayoran Baru, Puskesmas Moderate yakni Kalideres, dan Puskesmas Slum, adalah Kemayoran. Rumusan populasi juga mempertimbangkan cakupan obyek yang diteliti. Dalam hal ini diketahui bahwa Puskesmas di DKI-Jakarta saat ini melaksanakan dua macam aktifitas yang tercermin dalam struktur organisasi, yakni aktifitas di dalam gedung yang dikenal dengan pelayanan kesehatan yang berujud pelayanan pengobatan (kuratif) dan sebagian pelayanan promotif (penyuluhan), serta aktifitas di luar gedung yang dikenal sebagai pelayanan kesehatan masyarakat. Karena keterbatasan sumberdaya, maka penelitian ini dibatasi dan difokuskan hanya pada aspek pelayanan kesehatan di dalam gedung. Dengan demikian rumusan populasi sampel adalah : ‘Organisasi yang mencakup pegawai dan pelanggan pelayanan kesehatan pada Puskesmas Kecamatan elite, moderate, dan slum, di Provinsi DKI-Jakarta (minus Kepulauan Seribu), pada tahun 2005’
Jenis dan Teknik Penarikan Sampel
Dari rumusan populasi, unit analisis dalam penelitian ini adalah organisasi dan individu. Organisasi adalah diwakili oleh Puskesmas Kecamatan Kebayoran Baru (elite), Kalideres (moderate) dan Kemayoran (slum), sedangkan unit analisis individu adalah pelanggan dan pegawai ketiga Puskesmas tersebut. Berdasarkan populasi sampel ditarik sejumlah sampel pelanggan dan pegawai Puskesmas dengan memperhatikan prosedur tertentu. Jenis sampel pelanggan yang digunakan adalah sampel probabilita dengan teknik penarikan ‘sampel acak kelompok dua tahap’. Pilihan pada samp el acak kelompok karena
91
didasarkan pada pertimbangan, pertama, bahwa persebaran pelanggan pelayanan kesehatan/pengobatan terkonsentrasi atas kelompok-kelompok yang disebut layanan poliklinik, misalnya pelanggan poliklinik umum, THT, gigi, dan seterusnya. Kedua, berdasarkan pada hal tersebut, maka sangat tidak efisien jika harus mengambil elemen sampel secara langsung dari populasi, sebab selain harus proporsional, juga memerlukan waktu cukup lama untuk menyusun kerangka sampel. Ketiga, tujuan pengelompokan adalah untuk menciptakan homogenitas elemen-elemen dalam populasi. Keempat, semakin homogen populasi, maka besaran jumlah sampel tidak mengikat. Berdasarkan hal tersebut, maka langkah- langkah penarikan sampel pelanggan adalah: (1) Menetapkan daftar kelompok yakni berdasarkan poliklinik -poliklinik. (2) Menarik sampel acak dengan pengembalian kembali (with replacement) dari daftar kelompok poliklinik-poliklinik yang telah ditetapkan pada tahap pertama tersebut. Jumlah sampel kelompok yang ditarik adalah dua poliklinik pada masing- masing kelompok Puskesmas. (3) Dari satu sampel kelompok poliklinik yang ditarik pada tahap kedua, ditarik secara acak 25 responden sebagai sampel individual pelanggan secara runtun waktu, yakni setiap satu triwulan sekali. Total sampel pelanggan adalah 25 responden x 2 poliklinik x 3 Puskesmas x 4 triwulan = 600 responden (150 responden/triwulan). POPULASI PUSKESMAS PKC ‘ELITE’
PKC ‘MODERATE’
PKC ‘SLUM’
Sampling kelompok POLIKLINIK (10 – 14 )
POLIKLINIK (10 – 14 )
POLIKLINIK (10 – 14 ) Triwulan 1
Sampling kelompok 2 POLIKLINIK E DAN F
2 POLIKLINIK E DAN F
2 POLIKLINIK E DAN F Triwulan 4
25 Pelanggan E 25 Pelanggan F
25 Pelanggan E 25 Pelanggan F
25 Pelanggan E 25 Pelanggan F
TOTAL SAMPEL = 4 triwulan X 50 responden X 3 kel = 600 resp.
Gambar 6 Skema Tehnik Penarikan Sampel Responden Pelanggan (Sumber: Hasil Kajian Penulis, 2005)
92
Pada sampel pegawai, jenis sampel yang digunakan adalah probabilita, artinya setiap pegawai PNS Puskesmas memiliki kesempatan yang sama untuk menjadi sampel. Adapun tehnik penarikan sampel dilakukan secara acak sederhana dengan pengembalian kembali (with replacement) setiap triwulan sekali sejumlah 10 sampel, dengan komposisi 7 (tujuh) medis, dan 3 non medis. Total sampel selama 4 (empat) triwulan ada lah 4 x 10 responden x 3 PKC ( elite, moderate dan slum) = 120 responden pegawai
Analisis Data
Analisis data yang akan diketengahkan pada bagian ini merupakan rangkaian penjelasan tentang jenis data menurut sumber dan skala pengukuran yang digunakan, teknik pengumpulannya, teknik pengolahan dan pengukuran data, dan teknik analisis data. Jenis Data yang Digunakan Untuk menjawab pertanyaan tentang tingkat kinerja, diperlukan jenis data primer dan data sekunder. Data primer yang diperlukan di sini mencakup data primer kuantitatif dan data primer kualitatif. Data primer kuantitatif diperlukan untuk menyusun dan mengetahui informasi tentang tingkat kinerja BSC Puskesmas, dalam hal ini mencakup: (1) data primer dari perspektif pelanggan yakni ‘Indeks Kepuasan Kelanggan (IKP)’. (2) data primer dari perspektif proses internal yakni ‘Indeks Penilaian Pelanggan terhadap Penyuluhan’. (3) data primer dari perspektif pembelajaran-pertumbuhan organisasi yang meliputi a). kepuasan pegawai, b). kapabilitas informasi, dan c). kapabilitas pegawai. Selain data primer kuantitatif diperlukan pula data primer kualitatif yang diperoleh melalui wawancara dengan responden yang dipandang dapat memberikan informasi akurat yang diperlukan. Termasuk dalam data primer kualitatif adalah sebagian besar data yang digunakan untuk model CLD dan SFD, dan berupa data ‘judgment’ yang diperlukan secara langsung dari pihak Puskesmas yang berkaitan dengan norma atau standar perbandingan penilaian kinerja yang sebelumnya tidak terdapat/tidak tertulis. Sumber yang dipercaya dapat memberikan judgment adalah Kepala Puskesmas, dan pihak-pihak lain terkait yang dipandang mengetahui kebenaran dari norma yang diinginkan.
93
Data berikutnya yang diperlukan adalah data sekunder untuk proses pemodelan, mencakup proses pembuatan diagram Causal-Loop Diagram (CLD) dan Stock -Flow Diagram (SFD) yang kegunaannya untuk mengetahui pola (arah) kecenderungan dan struktur (bentuk) hubungan kinerja Puskesmas. Baik data primer maupun sekunder dikumpulkan setiap 3 bulan sekali (time series ). Data sekunder mencakup : (1) data keuangan (khusus YanKes), (2) data persediaan obat dan norma persediaan obat, (3) data waktu layanan dan norma waktu layanan, (4) data program-program inovasi yang sedang dilaksanakan, (5) data tentang frekuensi penyuluhan, rata-rata kehadiran sasaran, dan norma penyuluhan, (6) data jumlah pelanggan, pegawai, penduduk, dan data-data lain yang tertulis yang berfungsi mendukung temuan dan pemodelan.
Sumber data Primer dan Sekunder Sumber data primer diperoleh secara langsung dari responden pelanggan, dan responden pegawai, serta dari sumber-sumber langsung baik dari individu-individu para pejabat terkait maupun lembaga - lembaga terkait, seperti, Kepala Puskesmas, pejabat terkait dari Suku Dinas Kesehatan Kota di DKI-Jakarta, pejabat terkait dari Dinas Kesehatan DKI-Jakarta, serta sumber-sumber lainnya seperti para ahli di bidang permodelan atau system dynamic. Sedangkan sumber data sekunder adalah dari pihak kedua yang telah mengumpulkannya terlebih dulu. Pihak kedua di sini adalah dapat berasal dari internal Puskesmas maupun dari eksternal Puskesmas. Data sekunder yang diperlukan biasanya telah berbentuk data olahan dan dimuat dalam dokumen-dokumen tertulis atau tercatat seperti laporan, hasil rapat, peraturan, dan dokumen-dokume n lain terkait. Adapun yang dimaksud dengan responden pelanggan adalah pelanggan yang terdaftar di Puskesmas yang mendatangani Puskesmas untuk menikmati pelayanan pengobatan yang diselenggarakan oleh Puskesmas melalui berbagai macam poliklinik yang ada di Puskesmas. Batasan ini dibuat untuk membedakan dengan definisi pelanggan Puskesmas pada aspek Kesehatan Masyarakat (pelanggan atau masyarakat yang dikunjungi oleh Puskesmas) sebagaimana telah dijelaskan sebelumnya. Responden pegawai yang dimaksud dalam penelitian ini adalah pegawai medis dan non medis yang berstatus sebagai pegawai tetap atau Pegawai Negeri Sipil yang bekerja
94
di Puskesmas. Karena jumlah pegawai medis lebih banyak dari pada pegawai administratif, maka sampel responden pegawai medis secara proposional lebih banyak bila dibandingkan dengan pegawai non medis.
Teknik Pengumpulan Data Prosedur pengumpulan data primer kuantitatif adalah dengan tehnik penyebaran kuisioner secara langsung (dengan menggunakan pewawancara terlatih) pada responden pelanggan maupun pegawai pada setiap triwulan yang dimulai pada bulan Maret hingga Desember tahun 2005. Pengambilan secara runtun waktu ini adalah syarat utama untuk keperluan pemodelan untuk tujuan mengetahui pola kecenderungan peningkatan atau penurunan kinerja Puskesmas selama kurun waktu tertentu. Prosedur pengumpulan data primer kualitatif dilakukan dengan wawancara secara mendalam dengan individu-individu yang menjadi sumber informasi penting dalam penelitian ini, antara lain adalah Kepala Puskesmas yang menjadi sampel penelitian, dan sumber-sumber lainnya dari Dinas Kesehatan Prop.DKI-Jakarta. Prosedur pengumpulan data sekunder adalah dilakukan dengan cara mengumpulkan dokumen-dokumen penting yang diperlukan, untuk kemudian mempelajarinya dan mengolahnya kembali bila diperlukan, hingga informasi yang diinginkan dapat dipenuhi.
Teknik Pengolahan dan Analisis Data Sebagian data primer yang terkait dengan pengukuran persepsi dan nilai indeks kinerja BSC (Pelanggan dan Pegawai) diolah melalui perangkat lunak komputer SPSS versi 11.5. Sementara sebagian lagi yang berupa data sekunder, diolah secara manual dengan mempergunakan rumus-rumus matematik sederhana. Pengolahan data yang dilakukan melalui SPSS mencakup, pertama, data primer dari perspektif pelanggan yakni ‘Indeks Kepuasan Kelanggan’. Kedua, data primer dari perspektif proses internal yakni ‘Penilaian Pelanggan terhadap Penyuluhan’. Ketiga, data primer dari perspektif pembelajaran-pertumbuhan organisasi yang meliputi (1) kepuasan pegawai, (2) kapabilitas informasi, dan (3) kapabilitas pegawai. Analisis data primer tentang tingkat kinerja dilakukan menurut metode statistik deskriptif untuk mengetahui nilai pada setiap variabel atau indikator kinerja BSC.
95
Sebelumnya perlu diketengahkan bahwa skala yang digunakan untuk mengukur variabelvariabel kinerja adalah skala Likert dengan rating scale 1 hingga 5 atau dengan pernyataan dari ‘sangat tidak setuju’ hingga ‘sangat setuju’. Setiap pernyataan ditandai dengan suatu ‘numerical score’ artinya analisis dapat berbasis atas item demi item atau dapat dilakukan penjumlahan skor (summated) pada setiap responden. Menurut Maholtra (1999:271) pendekatan demikian dalam skala Likert mengacu pada ‘summated scale’ , dan dengan demikian termasuk dalam skala interval. Terkait dengan metode pengukuran variabel tersebut, maka untuk mengetahui dan menganalisis nilai- nilai pada setiap variabel diperlukan statistik deskriptif yang dihubungkan dengan frekuensi persebaran nilai- nilai, antara lain measure of location yakni suatu statistik yang menggambarkan suatu lokasi dari satu set data, dan biasanya terdiri dari mean (atau nilai rata-rata, jika skala yang digunakan interval), mode (atau nilai tertinggi pada distribusi, jika skala yang digunakan adalah kategori atau nominal), dan median (atau nilai tengah, jika skala yang digunakan adalah ordinal). Karena skala Likert mengacu pada skala interval, maka persebaran nilai dalam penelitian ini akan dilihat secara rata-rata (mean) atau dengan tendensi sentral pada nilai rata-rata. Selanjutnya dalam analisis statistik deskriptif digunakan dua versi analisis data primer yakni analisis melalui metode konversi secara normatif sebagaimana dianjurkan dalam ‘Pedoman Umum Penyusunan Indeks Kepuasan Masyarakat atau IKM (menurut Keputusan Menteri Pendayagunaan Aparatur Negara Nomor: KEP/25/M.PAN/2/2004) yang telah diberlakukan pada sebagian besar Unit Instansi Pemerintah.dan teknik analisis melalui metode konversi empiris atau aktual, dimana penentuan peringkat nilai kinerja didasarkan pada nilai interval yang diperoleh dari selisih skor tertinggi dan terendah. Penggunaan kedua teknik analisis tersebut antara lain bertujuan untuk membandingkan nilai mutu kinerja agar selanjutnya dapat menjadi bahan pertimbangan bagi pengambilan keputusan pihak Puskesmas. Setelah dilakukan penyesuaian istilah dan pembobotan, maka teknis analisis normatif dilakukan dengan langkah- langkah sebagai berikut : Pertama, Nilai Indeks Kepuasan Masyarakat (di dalam penelitian ini disesuaikan dan diganti dengan nilai ‘Indeks Kepuasan Pelanggan’, dan selanjutnya disingkat IKP) dihitung dengan menggunakan ‘nilai tertimbang’, masing- masing indikator pelayanan.
96
Setiap indikator memiliki penimbang yang berbeda sesuai dengan bobot yang diberikan pelanggan (di dalam SK MENPAN bobot penimbang setiap indikator dianggap sama). Adapun rumus nilai pembobotan adalah sebagai berikut:
Nilai pembobotan = Nilai bobot yang diberikan pelanggan Jumlah akumulasi indikator
Contoh : Indikator ‘x’ adalah salah satu dari 4 indikator yang diberikan bobot oleh pelanggan tertinggi yakni 4, maka nilai bobot indikator ‘x’ adalah 4 / 10 atau 0.4 (angka 10 merupakan akumulasi dari jumlah indikator yakni 1, 2, 3, 4 = 10) Kedua, untuk mengetahui nilai IKP per indikator, maka digunakan rumus sebagai berikut
IKP per indikator = Total Nilai Persepsi per indikator X Bobot n Responden
Sedangkan untuk mengetahui nilai ‘Indeks Kepuasan Pelanggan’ per variabel dimensi Servqual digunakan rumus sebagai berikut :
IKP per dimensi = ? Total Nilai Persepsi per indikator X Bobot n Responden
Ketiga, untuk memudahkan interpretasi terhadap penilaian IKP maka terlebih dahulu nilai pada skala Likert (1-5) dikonversikan ke dalam ‘nilai konversi IKP’ antara 20 - 100. Keempat, langkah terakhir adalah menentukan ‘nilai konversi IKP’, dengan rumus
IKP konversi = IKP per Dimensi X nilai dasar 20 Hasil penghitungan menurut langkah- langkah tersebut adalah tertera pada Tabel 6 berikut ini.
97
Tabel 6 Konversi Nilai Skala Likert Ke Nilai Mutu Layanan dan Kinerja Pelayanan Dengan Metode Normatif Nilai Skala Likert 1 2 3 4 5
Nilai Konversi Interval 1.00 1.81 2.61 3.41 4.21
-
Nilai Konversi IKP (nilai dasar 20)
Mutu Pelayanan
Kinerja Unit Pelayanan
20 - 36 36.1 - 52 52.1 - 68 68.1 - 84 84.1 - 100
E D C B A
Sangat kurang Kurang Sedang Baik Sangat Baik
1.80 2.60 3.40 4.20 5.00
Sumber: SK Kep.MENPAN NO.25/2004
Sedangkan konversi berdasarkan metode empiris dilakukan dengan mencari selisih nilai skor terendah - sebagai contoh pada perspektif ‘kepuasan pelanggan’ nilai tersebut adalah 2.68 - dengan nilai skor tertinggi adalah 4.68, selisih kedua nilai diketahui yakni 2.00. Selisih nilai kemudian dibaga i 5 dan hasilnya adalah nilai interval 0.4. Selanjutnya berdasarkan nilai interval tersebut peringkat nilai konversi dapat disimak pada Tabel 7 berikut ini.
Tabel. 7 Konversi Nilai Interval Ke Nilai Mutu dan Nilai Kinerja Pelayanan Dengan Metode Empirik Nilai Interval 4.28 - 4.68 3.87 - 4.27 3.45 - 3.86 3.03 - 3.44 2.62 - 3.02 Sumber: Hasil kajian penulis, 2006
Nilai Mutu
Nilai Kinerja Pelayanan
A B C D E
Sangat Baik Baik Sedang Kurang Sangat Kurang
Teknis a nalisis berikutnya adalah berkaitan dengan pemodelan, yakni menggunakan perangkat lunak komputer powersim, dengan tujuan untuk mengetahui atau menemukan pola kecenderungan perilaku variabel-variabel dalam model. Muhammadi, dkk (2001:374) mengetenga hkan beberapa teknik analisis model, namun yang dipandang sesuai dengan tujuan penelitian ini adalah apa yang disebutnya dengan ‘Pengembangan Alternatif Kebijakan Fungsional’ untuk keperluan penentuan kebijakan (dalam penelitian ini adalah untuk keperluan memutuskan model pemberdayaan mana yang paling sesuai). Teknik
analisis
tersebut
berupa
pengembangan
kebijakan
alternatif
untuk
mengembangkan ide- ide baru yang diperlukan dalam mempengaruhi sistem untuk
98
mencapai tujuan. Pengembangan ide-ide baru dalam kebijakan dapat dilakukan dengan cara membiarkan model tetap seperti apa adanya, sedangkan yang diubah adalah parameter dari fungsi- fungsi dalam model. Tabel 8 berikut ini akan membantu memperjelas hal tersebut. Tabel 8 Pengembangan Alternatif Kebijakan Fungsional PARAMETER
P1 , P2, P3, P4
PARAMETER SENSITIVITAS TINGGI P1, P2, P3
KOMBINASI PARAMETER Komponen Sensitivitas P1, P2 X1 P2, P3 X2 P3, P1 X3
PERNYATAAN KEBIJAKAN Kebijakan A Kebijakan B Kebijakan C
KATEGORI KEBIJAKAN Lama Lama Baru
(Sumber: Muhammadi, dkk, 2001:375)
Berdasarkan konsep analisis model tersebut, maka analisis model dalam disertasi ini akan mengacu pada langkah- langkah sebagai berikut : 1. Analisis kausalitas 4 kinerja utama BSC (Pelanggan, Proses Internal, Pembelajaran-Pertumbuhan, dan Keuangan) melalui model diagram CLD untuk mengetahui pola kecenderungan sistem kinerja BSC Puskesmas. Kemudian untuk mengetahui perilaku struktur sistem kinerja, analisis dilakukan terhadap diagram alir (diagram stock–flow) atau SFD. 2. Analisis uji sensitivitas model untuk menemukan perilaku ‘terbaik’ dari variabelvariabel kunci yang diyakini dapat menjadi pengungkit pemberdayaan Puskesmas. 3. Menyusun skenario pemberdayaan berdasarkan faktor- faktor kunci yang diperkirakan
dapat
menjadi
pengungkit
kinerja
Puskesmas
dengan
mempertimbangkan strategi dan lingkungan sistem kerja Puskesmas. Analisis skenario menggunakan kuadran Star. 4. Menetapkan model pemberdayaan Puskesmas yang dibuat berdasarkan skenario skenario yang telah ditetapkan.
99
Validitas dan Reliabilitas Instrumen
Validitas dan reliabilitas instrumen menggunakan validitas dan reliabilitas konstruk. Evaluasi validitas konstruk dimulai dengan memeriksa nilai t dari muatanmuatan faktor (factor loading) atau koefisien-koefisien yang ada dalam model. Nilai t suatu muatan faktor atau koefisien yang tinggi merupakan bukti bahwa variabel- variabel teramati atau faktor-faktor yang ada mewakili konstruk-konstruk yang mendasarinya. Nilai t setiap muatan faktor perlu melebihi nilai kritis yaitu 1,96 untuk tingkat signifikan 0,01. Nilai t suatu muatan faktor yang melebihi nilai kritis menunjukkan bahwa variabel yang bersangkutan secara nyata mempunyai hubungan dengan konstruk terkait dan sekaligus merupakan verifikasi hubungan antara variabel dan konstruk yang telah didefinisikan sebelumnya. Setelah pemeriksaan keeratan hubungan antara faktor dengan konstruk dilakukan, perlu juga pemeriksaan atas besarnya muatan faktor untuk melihat kuatnya hubungan antara variabel teramati dengan konstruk yang bersangkutan. Muatan faktor sebuah variabel minimal pada konstruknya dikatakan tinggi jika nilainya lebih dari 0,50 (Hair et al, 1998). Dengan demikian, sebuah variabel dikatakan memiliki validitas terhadap konstruk atau variabel laten yang baik apabila nilai t muatan faktornya lebih besar dari nilai kritis (1,96) dan nilai muatan faktornya lebih besar atau sama dengan 0,50. Reliabilitas sebuah pengukuran merupakan suatu cara untuk melihat konsistensi suatu pengukuran. Reliabilitas yang tinggi menunjukkan bahwa indikator- indikator mempunyai konsistensi tinggi dalam mengukur konstruk latennya. Reliabilitas ini diukur dengan nilai Cronbach Alpha. Nilai Cronbach Alpha diperoleh dengan memasukkan semua indikator sebuah konstruk pada aplikasi SPSS. Kecocokan model struktural diperiksa dengan cara melihat signifikansi dari berbagai koefisien persamaan struktural yang diestimasi. Hal ini dilakukan dengan melihat nilai alpha (α) dari konstruk variabel yang diestimasi. Konsistensi reliabilitas yang mencukupi ditunjukkan oleh nilai Cronbach Alpha lebih besar dari 0,6 dalam skala 0 sampai 1 (Maholtra, 1999). Adapun analisis faktor dilakukan dengan menggunakan metode Principal Component Analysis, untuk mengetahui apakah faktor tersebut layak digunakan dengan
100
memenuhi syarat-syarat Measure of Sampling Adequacy (MSA) test tidak dibawah 0,5 dan Anti Image Matrices tidak di bawah 0,5 (Hair et al., 1998). Jika MSA berada dibawah 0,5 berarti faktor tersebut tidak dapat digunakan, sedangkan jika terdapat item dalam Anti image matrices yang nilainya di bawah 0,5 maka item tersebut harus dibuang. Pada tabel Anti image matrice terlihat sejumlah angka yang membentuk diagonal, yang bertanda ‘a’. Hal ini menandakan bahwa MSA adalah sebuah indikator. Selain melihat uji nilai muatan faktor (factor loading), nilai alpha (α) dan nilai MSA, analisis faktor juga mensyaratkan nilai Kaiser-Meyer-Olkin Measure of Sampling Adequacy (KMO MSA) dan Bartlett’s Test of Sphercity dalam sampel secara keseluruhan. Besarnya nilai Kaiser-Meyer-Olkin Measure of Sampling Adequacy (KMO MSA) tidak di bawah 0,5 untuk melihat kecukupan sampel MSA secara keseluruhan. Sementara nilai signifikansi dalam Bartlett’s Test of Sphercity harus di bawah 0,05. Nilai ini digunakan untuk melihat adanya korelasi diantara variabel-variabel pengukuran. Berikut ini akan disajikan contoh hasil pengolahan validitas indikator- indikator instrumen kepuasan pelanggan, persyaratan nilai KMO-MSA, dan reliabilitas kelompok variabel dalam instrumen. Validitas Model dan Uji Sensitifitas
Validasi berikutnya dilakukan dalam kaitannya dengan tujuan penelitian kedua, yakni model pemberdayaan. Menurut Sterman (2000:846) validasi adalah berasa l dari kata latin ‘verus’ yang artinya kebenaran obyektif (truth), sedangkan istilah verifikasi diartikan sebagai ‘mencari kebenaran, akurasi, dan realitas dari suatu fenomena ’. Dengan demikian tanggung jawab terhadap model secara ilmiah adalah, bagaimana menciptakan model yang sebaik mungkin dalam arti memiliki kebenaran baik dari logika pemikiran atau teoritis, dan dari logika empiris dapat dipertanggung jawabkan yakni melalui uji statistik. Pada dasarnya tidak ada ketentuan berapa kali atau dengan cara apa saja suatu model harus divalidasi. Banyak cara atau metode validasi dan dapat dilakukan sesuai dengan keyakinan yang diinginkan oleh pembuat model. Hal ini sebagaimana
101
diketengahkan oleh Forrester dan Senge (1980, dalam Maani dan Cavana, 2000:69) bahwa: “There is no single test which serves to ‘validate’ a system dynamic model. Rather,confidence in a dynamic simulation model accumulates gradually as the model passes more test and as new points of correspondence between the model and empirical reality are identified”
Coyle, (dalam Maani dan Cavana, 2000:69) menganjurkan validasi model melalui tiga cara, yakni, pertama melakukan test verifikasi terutama terhadap parameterparameter yang digunakan dalam model. Tes ini untuk mencocokan ukuran yang digunakan dalam model dengan kenyataannya. Kedua, tes validasi, yakni tes untuk menunjukkan bahwa secara aktual, model memiliki konsistensi perilaku yang tetap atau sama dengan kenyataannya. Ketiga, tes legitimasi, di mana model yang ditetapkan berdasarkan atas hukum- hukum dalam sistem, atau secara umum aturan-aturan yang mengikuti model diterima. Prinsip dari validasi terakhir ini adalah bahwa perilaku model harus masuk akal ( plausible), dan tidak bertentangan dengan dunia nyata. Muhammadi, dkk (2001:344) menyatakan bahwa, teknik validasi yang utama dalam metode berpikir sistem adalah ‘validasi struktur model’ , yakni sejauh mana keserupaan struktur model mendekati struktur nyata. Artinya adalah sejauh mana interaksi variabel model dapat menirukan interaksi kejadian nyata. Berdasarkan
pada
uraian
tersebut,
validasi
model
dalam
penelitian
ini
mengakomodir anjuran para ahli dengan penyesuaian-penyesuaian yang didasarkan atas pertimbangan faktor kondisional di lapangan. Dalam hal ini penulis melakuka n validasi secara lintas perspektif yakni menggunakan metode validasi yang memenuhi kaidah logika pemikiran atau teori, dan logika empirik atau statistik. Dengan demikian validasi model pada penelitian ini ditetapkan melalui : Pertama, validasi pada taraf proses modelling. Pada proses pembuatan model, logika pemikiran dibangun selain melalui teori juga mengikut sertakan para ahli dan pakar dynamic modelling, serta pihak stakeholder yakni Puskesmas dan Suku Dinas Kesehatan, untuk memberikan masukan maupun kritikan terhadap model teoritik yang digagas. Melalui proses diskusi berkali-kali dan cukup panjang serta terdokumentasi, dihasilkan suatu model berdasarkan 4 kinerja BSC yang didasarkan atas logika pemikiran dan empiris dan berbagai parameter yang
102
digunaka n. (daftar nama pakar modelling dan tanggal pertemuan diskusi dilampirkan). Kedua, Validasi
secara
kuantitatif
atau
secara
statistik
dengan
menghitung
penyimpangan antara nilai rata-rata simulasi terhadap nilai rata-rata aktual, dengan rumus AME (Absolute Means Error). Dalam hal ini ditetapkan batas penyimpangan yang dapat diterima adalah antara 5 - 10 % . Berikut ini adalah rumus AME Rumus AME = Si - Ai
(Si = nilai rata-rata simulasi ; Ai = nilai rata-rata aktual)
Ai Berikut ini gambar proses validasi sebagaimana diketengahkan oleh Muhammadi, dkk
Proses
Keluaran
PERILAKU DAN KINERJA MODEL
Kontrol
Konstruksi Model
Validasi Konstruksi * Dasar Teori
Observasi kompleksitas dan ketidakpastian
Validasi Model
Rencana. Keluaran
STRUKTUR MODEL
Validasi Struktur Validasi Kinerja *Konsistensi (Statistik) *Sensitiitas
Validasi Model
Masukan
PERILAKU DAN KINERJA NYATA (FAKTA DAN DATA)
STRUKTUR DUNIA NYATA
Gambar 7 Proses Validasi Mode l ( Sumber: Muhammadi, dkk, 2001:346) Setelah validasi model dilakukan, selanjutnya dilakukan uji sensitivitas model. Menurut Muhammadi, dkk, ( 2001:361), uji sensitivitas adalah untuk mengetahui respon model terhadap suatu stimulus. Respon ditunjukkan dengan perubahan perilaku dan/atau kinerja model. Sedangkan stimulus dilakukan dengan memberikan perlakuan tertentu pada unsur atau struktur model. Uji sensitivitas bertujuan untuk menjelaskan sensitivitas parameter, variabel, dan hubungan antar variabel dalam model. Sedangkan hasil uji sensitivitas adalah dalam bentuk perubahan perilaku dan/atau kinerja model, dan digunakan untuk menganalisis efek intervensi terhadap model.
103
Terdapat dua macam uji sensitivitas yang diketengahkan oleh Muhammadi, dkk, yakni : Pertama, intervensi Fungsional, yakni intervensi terhadap parameter tertentu atau kombinasi parameter tertentu dari model dengan menggunakan fasilitas dalam perangkat lunak komputer (powersim) yang cocok atau mewakili perubahan keputusan, kejadian, dan keadaan tertentu. Maani dan Cavana (2000:228) menambahkan bahwa intervensi fungsional ini dapat dilakukan dengan cara menambah atau mengurangi 10 % dari parameter-parameternya. Sedangkan Muhammadi melakukannya dengan menambah atau mengurangi 10 – 20 % parameter-para meternya. Selanjutnya dalam penelitian ini, dipilih uji sensitivitas melalui intervensi fungsional, dengan pertimbangan efisiensi, dan agar tidak perlu mengubah struktur sistem kinerja yang diuji Kedua, intervensi Struktural, yakni intervensi yang mempengaruhi hubungan antar unsur atau struktur, yang dapat dilakukan dengan mengubah unsur atau hubungan yang membentuk struktur model, misalnya dengan menambahkan sub-model ‘penghubung’ kedalam model awal, sehingga mengubah struktur model semula. Uji sensitivitas dilakukan terhadap model yang baru, jika hasilnya tidak mengubah bentuk dasar (archetype) model maka disebut ‘intervensi inkremental’
sebaliknya jika mengubah
bentuk dasar model, maka disebut ‘intervensi radikal’.
104
