PENERAPAN METODE RANDOM FOREST DALAM DRIVER ANALYSIS
NARISWARI KARINA DEWI
DEPARTEMEN STATISTIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2011
RINGKASAN NARISWARI KARINA DEWI. Penerapan Metode Random Forest dalam Driver Analysis. Dibimbing oleh UTAMI DYAH SYAFITRI dan SONI YADI MULYADI. Driver analysis adalah analisis yang digunakan untuk mengetahui prioritas peubah penjelas yang menggerakkan peubah respons. Analisis tersebut dikenal dalam bidang riset pemasaran. Driver analysis dijalankan menggunakan metode-metode analisis yang bersesuaian dengan kondisi data. Umumnya, data yang dianalisis berupa data ordinal dan memiliki hubungan non-linier antara peubah penjelas dan peubah respons. Salah satu metode yang sesuai dengan hal tersebut adalah metode random forest. Penerapan metode random forest dalam driver analysis didasarkan pada ukuran random forest dan ukuran contoh peubah penjelas. Simulasi dilakukan untuk mengetahui ukuran yang tepat agar dihasilkan random forest berakurasi tinggi dan stabil, serta hasil driver analysis yang stabil. Dalam penelitian ini, driver analysis dilakukan dalam rangka memperbaiki kinerja produk Z, yaitu mengenai kesediaan seseorang membeli produk Z. Hasil simulasi menunjukkan bahwa akurasi yang tinggi dan stabil dicapai saat ukuran random forest lebih dari 500 dan ukuran contoh peubah penjelas sebesar 4. Pada ukuran tersebut juga dihasilkan driver analysis yang stabil. Kata kunci : Driver Analysis, Random Forest, Variable Importance.
PENERAPAN METODE RANDOM FOREST DALAM DRIVER ANALYSIS
NARISWARI KARINA DEWI
Skripsi sebagai salah satu syarat untuk memperoleh gelar Sarjana Statistika pada Departemen Statistika
DEPARTEMEN STATISTIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2011
Judul : Penerapan Metode Random Forest dalam Driver Analysis Nama : Nariswari Karina Dewi NRP : G14060941
Menyetujui :
Pembimbing I,
Pembimbing II,
Utami Dyah Syafitri, S.Si, M.Si NIP. 197709172005012001
Soni Yadi Mulyadi, S.Si
Mengetahui : Ketua Departemen Statistika Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor
Dr. Ir. Hari Wijayanto, M.Si NIP. 196504211990021001
Tanggal Lulus :
RIWAYAT HIDUP Penulis dilahirkan di Brebes pada tanggal 2 Mei 1989 dari pasangan Suryanto dan Tri Nurhayati. Penulis merupakan putri pertama dari tiga bersaudara. Penulis menyelesaikan sekolah dasar pada tahun 2000 di SD Al-Ahzar 1 Bandar Lampung, kemudian melanjutkan studi di SLTP Negeri 4 Bandar Lampung hingga tahun 2003. Selanjutnya, penulis menyelesaikan pendidikan sekolah menengah atas di SMA Negeri 2 Bandar Lampung dengan lulus pada tahun 2006. Pada tahun yang sama penulis lulus seleksi masuk Institut Pertanian Bogor melalui jalur Undangan Seleksi Masuk IPB (USMI). Setelah satu tahun menjalani perkuliahan Tingkat Persiapan Bersama (TPB), pada tahun 2007 penulis diterima sebagai mahasiswa Departemen Statistika, FMIPA IPB dengan mayor Statistika dan minor Matematika Keuangan dan Aktuaria. Selama masa kuliah penulis aktif sebagai anggota dari himpunan keprofesian Gamma Sigma Beta (GSB). Penulis juga berkesempatan menjadi asisten Metode Statistika pada tahun 2009. Penulis melaksanakan kegiatan praktik lapang di PT. Ipsos Indonesia selama bulan Februari hingga April 2010.
KATA PENGANTAR Segala puji dan syukur penulis panjatkan kehadirat Allah SWT atas segala limpahan karuniaNya sehingga penulis dapat menyelesaikan karya ilmiah dengan judul “Penerapan Metode Random Forest dalam Driver Analysis”. Shalawat serta salam semoga selalu tercurah kepada suri tauladan manusia Rasulullah Muhammad SAW, beserta keluarga, sahabat, dan umatnya. Penulis menyusun karya ilmiah ini sebagai salah satu syarat untuk mendapatkan gelar Sarjana Statistika pada Departemen Statistika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Ucapan terima kasih penulis sampaikan kepada semua pihak yang telah turut berperan serta dalam penyusunan karya ilmiah ini, terutama kepada : 1. Ibu Utami Dyah Syafitri, S.Si, M.Si dan Bapak Soni Yadi Mulyadi, S.Si atas bimbingan, masukan, dan perhatiannya dalam membimbing penulis. 2. Bapak Dr. Ir. I Made Sumertajaya, M.Si selaku penguji luar dalam ujian sidang saya. Terima kasih atas saran dan masukannya. 3. Rekan-rekan pembahas seminar (Novira Sartika dan Ahmad Chaerus Suhada) serta rekanrekan yang bersedia hadir pada seminar saya. Terima kasih atas kehadiran serta masukan yang diberikan. 4. Rekan-rekan mahasiswa Departemen Statistika IPB angkatan 43/2006 atas diskusi dan semangatnya kepada penulis. 5. Kedua orang tua dan seluruh keluarga atas doa dan dukungan tulus baik moril maupun materil yang diberikan kepada penulis. Semoga Allah SWT membalas segala kebaikan yang telah diberikan kepada penulis. Harapan penulis atas karya ilmiah ini tak lain ialah semoga karya ilmiah ini dapat bermanfaat.
Bogor, Maret 2011
Nariswari Karina Dewi
DAFTAR ISI Halaman DAFTAR GAMBAR ................................................................................................................. viii DAFTAR TABEL ...................................................................................................................... viii DAFTAR LAMPIRAN .............................................................................................................. viii PENDAHULUAN ..................................................................................................................... Latar Belakang ..................................................................................................................... Tujuan ...................................................................................................................................
1 1 1
TINJAUAN PUSTAKA ............................................................................................................. Driver Analysis ..................................................................................................................... Classification and Regression Tree (CART) ........................................................................ Random Forest .....................................................................................................................
1 1 1 3
METODOLOGI ......................................................................................................................... Data ...................................................................................................................................... Metode ..................................................................................................................................
4 4 4
HASIL DAN PEMBAHASAN .................................................................................................. Analisis Deskriptif ................................................................................................................ Simulasi Ukuran Random Forest dan Ukuran Contoh Peubah Penjelas terhadap Keakuratan Prediksi Random Forest .................................................................................... Simulasi Ukuran Random Forest dan Ukuran Contoh Peubah Penjelas terhadap Hasil Driver Analysis .....................................................................................................................
5 5
SIMPULAN DAN SARAN ....................................................................................................... Simpulan ............................................................................................................................... Saran .....................................................................................................................................
9 9 9
DAFTAR PUSTAKA ................................................................................................................
9
LAMPIRAN ...............................................................................................................................
10
5 6
viii DAFTAR GAMBAR Halaman 1. Struktur Pohon pada Metode CART ..................................................................................... 2 2. Rataan tingkat misklasifikasi random forest berukuran k pada beberapa ukuran contoh peubah penjelas (m) .............................................................................................................. 5 3. Rataan tingkat misklasifikasi random forest berukuran contoh peubah penjelas m pada beberapa ukuran random forest (k) ....................................................................................... 6 4. Diagram kotak garis tingkat misklasifikasi random forest pada ukuran contoh peubah penjelas (m) dan ukuran random forest (k) ........................................................................... 6 5. Diagram kotak garis mean decrease gini (MDG) peubah penjelas, pada random forest berukuran m = 2, 4, 8 dan k = 25, 50,100, 500, 1000 ........................................................... 7 6. Urutan tingkat kepentingan peubah penjelas berdasarkan rataan Mean Decrease Gini (MDG), pada random forest berukuran m = 4 dan k = 25, 50,100, 500, 1000 ..................... 7
DAFTAR TABEL Halaman 1. Kategori peubah penjelas dan peubah respons .................................................................... 4 2. Frekuensi dan persentase kategori peubah respons (status kesediaan seseorang untuk membeli produk Z) ............................................................................................................... 5
DAFTAR LAMPIRAN Halaman 1. Tingkat misklasifikasi random forest pada ukuran random forest (k) dan ukuran contoh peubah penjelas (m) yang dicobakan .................................................................................... 11 2. Urutan tingkat kepentingan peubah penjelas berdasarkan nilai rataan Mean Decrease Gini (MDG) peubah penjelas pada ukuran random forest (k) sebesar 25, 50, 100, 500, 1000 dan ukuran contoh peubah penjelas (m) sebesar 4 ................................................................ 12 3. Koefisien korelasi Spearman antara peubah penjelas (X) dan peubah respons (Y) .............. 13 4. Modus frekuensi terpilihnya peubah penjelas sebagai pemilah (split) simpul dalam sebuah random forest dengan ukuran contoh peubah penjelas (m) sebesar 2 dan ukuran random forest (k) sebesar 25, 50, 100, 500, dan 1000 ....................................................................... 14 5. Modus frekuensi terpilihnya peubah penjelas sebagai pemilah (split) simpul dalam sebuah random forest dengan ukuran contoh peubah penjelas (m) sebesar 4 dan ukuran random forest (k) sebesar 25, 50, 100, 500, dan 1000 ....................................................................... 15 6. Modus frekuensi terpilihnya peubah penjelas sebagai pemilah (split) simpul dalam sebuah random forest dengan ukuran contoh peubah penjelas (m) sebesar 8 dan ukuran random forest (k) sebesar 25, 50, 100, 500, dan 1000 ....................................................................... 16
1 PENDAHULUAN Latar Belakang Persaingan pasar mendorong setiap produsen untuk selalu memperbaiki kinerja produknya. Salah satu kinerja produk yang perlu diperhatikan adalah kesediaan seseorang untuk membeli produk tersebut. Untuk menghasilkan kinerja yang lebih baik, tindakan perbaikan dilakukan pada atribut produk yang mempengaruhi kinerja tersebut. Perbaikan yang efektif dan efisien dapat dilakukan jika produsen mengetahui prioritas atribut produk yang menggerakkan kinerja yang dimaksud. Dalam riset pemasaran, analisis yang digunakan untuk menghasilkan informasi tersebut dikenal dengan nama driver analysis. Driver analysis didasarkan pada metode analisis yang mengeksplorasi hubungan antara peubah penjelas dan peubah respons. Beberapa metode yang umum digunakan adalah analisis korelasi dan analisis regresi. Dalam driver analysis, data yang dianalisis berupa data ordinal dan umumnya memiliki hubungan non-linier antara peubah penjelas dan peubah respons. Salah satu metode yang mampu mengatasi hal tersebut adalah random forest. Random forest merupakan metode pohon gabungan yang berasal dari pengembangan metode classification and regression tree (CART). Metode ini didasarkan pada teknik pohon keputusan sehingga mampu mengatasi masalah non-linier. Untuk mengidentifikasi peubah penjelas yang relevan dengan peubah respons, random forest menghasilkan ukuran tingkat kepentingan (variable importance) peubah penjelas. Dalam bidang biostatistika, hal tersebut telah populer diterapkan pada masalah gene selection (Díaz-Uriarte & Andrés 2006). Prioritas peubah penjelas dapat diketahui melalui ukuran tingkat kepentingan peubah penjelas. Oleh karena itu, metode random forest dapat diterapkan pada driver analysis. Penelitian ini mengkaji hal tersebut. Pada penelitian ini, driver analysis dilakukan dalam rangka memperbaiki kinerja produk Z, yaitu dalam hal kesediaan seseorang membeli produk Z. Tujuan Tujuan penelitian ini adalah mengetahui ukuran random forest dan ukuran contoh peubah penjelas yang menghasilkan random forest berakurasi prediksi tinggi dan stabil,
serta yang menghasilkan driver analysis yang stabil. TINJAUAN PUSTAKA Driver Analysis Driver analysis merupakan istilah yang digunakan secara luas dan meliputi berbagai metode analisis. Analisisnya melibatkan peubah respons dan peubah penjelas. Peubah respons biasanya berupa hal-hal yang para manajer usahakan untuk meningkatkan kondisi organisasinya. Peubah penjelas berupa hal-hal yang dianggap mempengaruhi peubah respons. Contoh peubah respons yang sering dianalisis dalam driver analysis adalah kepuasan keseluruhan (overall satisfaction), loyalitas, serta kesediaan merekomendasikan (Sambandam 2001). Driver analysis dilakukan untuk memahami pengaruh peubah penjelas terhadap peubah respons sehingga dapat diketahui prioritas setiap peubah penjelas dalam menggerakkan peubah respons (Weiner & Tang 2005). Metode analisis yang digunakan dalam driver analysis disesuaikan dengan kondisi data yang dianalisis (Sambandam 2001). Classification and Regression Tree (CART) CART merupakan metode eksplorasi data yang didasarkan pada teknik pohon keputusan. Metode ini diperkenalkan oleh Leo Breiman, Jerome H. Friedman, Richard A. Olshen dan Charles J. Stone. CART menghasilkan pohon klasifikasi saat peubah respons berupa data kategorik (nominal), sedangkan pohon regresi dihasilkan saat peubah respons berupa data numerik (interval dan rasio). Peubah penjelas yang dianalisis dapat berupa kategorik, numerik, maupun campuran keduanya (Breiman et al. 1984). CART menghasilkan pohon yang tersusun atas banyak simpul (node) yang terbentuk dari proses pemilahan rekursif biner. Setiap pemilahan memisahkan sebuah gugus data menjadi dua gugus data yang lebih kecil dan saling lepas. Nilai peubah respon pada setiap gugus data hasil pemilahan akan lebih homogen dibandingkan dengan sebelum dilakukan pemilahan (Breiman et al. 1984). Pemilahan dilakukan pada simpul nonterminal, yaitu simpul yang memenuhi kriteria pemilahan. Pemilahan dimulai
2 dengan memilah gugus data lengkap atau simpul akar , kemudian dihentikan saat suatu simpul memenuhi kriteria berhenti memilah. Simpul tersebut dinamakan simpul terminal. Gambar 1 mengilustrasikan struktur pohon yang dihasilkan metode CART. Pohon pada Gambar 1 tersusun atas simpul t1, t2, …, t5. t1 adalah simpul akar. Simpul non-terminal dilambangkan dengan lingkaran, sedangkan simpul terminal dilambangkan dengan kotak. Setiap pemilah (split) memilah simpul non-terminal menjadis dua simpul yang saling lepas. Hasil prediksi respons suatu amatan terdapat pada simpul terminal. simpul akar
: simpul nonterminal : simpul terminal
t1 pemilah 1
t3
t2 pemilah 2
t4 Gambar 1
t5 Struktur Pohon pada Metode CART.
dibangkitkan adalah semua pertanyaan yang berbentuk “Apakah x ≤ c?”, dengan . Sementara itu, jika X adalah peubah penjelas nominal dengan sebagai kategorinya, maka pertanyaan biner meliputi semua pertanyaan yang berbentuk “Apakah ?”, dimana . Jika pada t telah terbentuk himpunan S, yaitu himpunan dari pemilah s, maka pemilah untuk t diperoleh dengan cara aturan pemilahan mencari s yang memaksimumkan fungsi kriteria kebaikan pemilah , dimana . Pemilah s yang terpilih kemudian dinotasikan dengan pemilah terbaik (Breiman et al. 1984). Salah satu aturan pemilahan yang umum digunakan adalah indeks Gini. Indeks Gini merupakan fungsi impurity. Nilai dari fungsi impurity dikenal dengan ukuran impurity simpul t, yaitu . Semakin besar , maka semakin besar tingkat keheterogenan nilai peubah respons pada t. Jika terdapat fungsi impurity , maka ukuran impurity pada setiap simpul t didefinisikan dengan (Breiman et al. 1984):
Dalam CART, pembentukan pohon diawali dengan membangun pohon sampai ukuran tertentu (umumnya sampai ukuran maksimum). Bila diperlukan, akan dilanjutkan dengan pemangkasan pohon sampai diperoleh ukuran yang tepat sehingga dihasilkan pohon optimum. Menurut Breiman et al. (1984), pembangunan pohon klasifikasi CART meliputi tiga hal, yaitu: 1. Pemilihan pemilah (split) 2. Penentuan simpul terminal 3. Penandaan label kelas
dimana:
Pemilihan pemilah (split) Pemilihan pemilah (split) pada setiap simpul bertujuan mendapatkan pemilah (split) yang mampu menghasilkan simpul dengan tingkat kehomogenan nilai peubah respons paling tinggi. Untuk mencapai tujuan tersebut, aturan pemilahan diterapkan pada proses ini. Pada setiap simpul t, pemilah s dibangkitkan dengan cara membentuk pertanyaan biner, sehingga s memilah t menjadi simpul kiri tL dan simpul kanan tR. Setiap amatan pada t yang menjawab “ya” dikirim menuju tL, sedangkan yang menjawab “tidak” dikirim menuju tR. Setiap pemilah hanya bergantung pada nilai dari sebuah peubah penjelas. Misalkan X adalah sebuah peubah penjelas numerik, pertanyaan biner yang
dimana
:
j
:
dugaan peluang suatu amatan merupakan kelas j, dimana amatan tersebut berada dalam simpul t. kelas pada peubah respons, yaitu .
dinyatakan dengan:
.
Saat
, maka
.
dengan: : : : :
peluang prior kelas ke-j banyaknya amatan kelas ke-j yang berada di dalam simpul t banyaknya amatan kelas ke-j banyaknya amatan pada simpul t
Saat indeks Gini digunakan sebagai aturan pemilahan, maka i(t) dituliskan dengan (Breiman et al. 1984): dimana j adalah kelas pada peubah respons. Pada suatu t, jika s memilah t sedemikian sehingga besar proporsi amatan pada tL dan
3 tR adalah pL dan pR, maka penurunan impurity didefinisikan dengan (Breiman et al. 1984): digunakan sebagai fungsi kriteria kebaikan pemilah . Pemilah s yang dipilih sebagai pemilah simpul t adalah pemilah terbaik , yaitu (Breiman et al. 1984): Jika pada t1, terpilih sebagai pemilah yang memilah t1 menjadi t2 dan t3, maka dengan cara yang sama dilakukan pencarian pemilah terbaik pada simpul t2 dan t3, secara terpisah. Begitu juga pada simpul non-terminal lainnya (Breiman et al. 1984). Penentuan simpul terminal Pemilahan pada simpul t dihentikan jika memenuhi salah satu atau lebih dari kriteria berhenti memilah. Selanjutnya, t dinyatakan sebagai simpul terminal. Berikut adalah kriteria tersebut (Breiman et al. 1984): tidak terdapat penurunan nilai impuritas secara berarti pada t ( ). banyaknya amatan pada t mencapai batas minimum yang telah ditentukan (N(t) ≤ 5 atau bahkan N(t) = 1). amatan pada t sudah homogen. Penandaan Label Kelas Label kelas pada simpul terminal t ditentukan melalui aturan pluralitas (jumlah terbanyak), yaitu jika , dimana j = {1, 2, …, J}, maka label kelas untuk simpul terminal t adalah kelas j0. Jika dicapai oleh dua atau lebih kelas yang berbeda, maka label kelas untuk simpul terminal t adalah pilihan acak dari kelas yang maksimum tersebut (Brieman et al. 1984). Random Forest Metode random forest adalah pengembangan dari metode CART, yaitu dengan menerapkan metode bootstrap aggregating (bagging) dan random feature selection (Breiman 2001). Metode ini merupakan metode pohon gabungan. Dalam random forest, banyak pohon ditumbuhkan sehingga terbentuk suatu hutan (forest), kemudian analisis dilakukan pada kumpulan pohon tersebut. Pada gugus data yang terdiri atas n amatan dan p peubah penjelas, prosedur untuk melakukan random forest
adalah (Breiman 2001; Breiman & Cutler 2003): 1. Lakukan penarikan contoh acak berukuran n dengan pemulihan pada gugus data. Tahap ini adalah tahapan bootstrap. 2. Dengan menggunakan contoh bootstrap, pohon dibangun sampai mencapai ukuran maksimum (tanpa pemangkasan). Pembangunan pohon dilakukan dengan menerapkan random feature selection pada setiap proses pemilihan pemilah, yaitu m peubah penjelas dipilih secara acak dimana m << p, lalu pemilah terbaik dipilih berdasarkan m peubah penjelas tersebut. 3. Ulangi langkah 1 dan 2 sebanyak k kali, sehingga terbentuk sebuah hutan yang terdiri atas k pohon. Random forest memprediksi respons suatu amatan dengan cara menggabungkan (aggregating) hasil prediksi k pohon. Untuk masalah klasifikasi, pohon yang dibangun adalah pohon klasifikasi dan hasil prediksi random forest adalah berdasarkan majority vote (suara terbanyak), yaitu kategori atau kelas yang paling sering muncul sebagai hasil prediksi dari k pohon klasifikasi. Pada setiap iterasi bootstrap, terdapat sekitar sepertiga amatan gugus data asli yang tidak termuat dalam contoh bootstrap. Amatan tersebut disebut data out-of-bag (OOB). Data OOB tidak digunakan untuk membangun pohon, melainkan menjadi data validasi pada pohon yang bersesuaian. Nilai salah klasifikasi random forest diduga melalui error OOB yang diperoleh dengan cara (Breiman 2001; Breiman & Cutler 2003; Liaw & Wiener 2002): 1. Lakukan prediksi terhadap setiap data OOB pada pohon yang bersesuaian. 2. Umumnya setiap amatan gugus data asli akan menjadi data OOB sebanyak sekitar 36% atau sepertiga dari banyak pohon yang dibentuk. Oleh karena itu, pada langkah 1, masing-masing amatan gugus data asli mengalami prediksi sebanyak sekitar sepertiga kali dari banyaknya pohon. Jika a adalah sebuah amatan dari gugus data asli, maka hasil prediksi random forest terhadap a adalah gabungan dari hasil prediksi setiap kali a menjadi data OOB. 3. Error OOB dihitung dari proporsi misklasifikasi hasil prediksi random forest dari seluruh amatan gugus data asli.
4 METODOLOGI Breiman (2001) menyebutkan bahwa error OOB bergantung pada korelasi antar pohon dan kekuatan (strength) masingmasing pohon dalam random forest. Peningkatan korelasi meningkatkan error OOB, sedangkan peningkatan kekuatan pohon menurunkan error OOB. Saat melakukan random forest, ukuran contoh peubah penjelas (m) yang digunakan sangat mempengaruhi korelasi dan kekuatan tersebut. Meningkatkan m akan meningkatkan keduanya, begitu juga sebaliknya. Penggunaan m yang tepat akan menghasilkan random forest dengan korelasi antar pohon cukup kecil namun kekuatan setiap pohon cukup besar. Hal tersebut ditunjukkan dengan diperolehnya random forest dengan error OOB bernilai kecil (Breiman 2001; Breiman & Cutler 2001; Sartono & Syafitri 2010). Dengan demikian, nilai m tersebut dapat diketahui melalui pengamatan error OOB pada berbagai nilai m. Breiman dan Cutler (2003) menyarankan untuk mengamati error OOB saat dan k kecil, lalu memilih m yang menghasilkan error OOB terkecil. Untuk melakukan random forest yang menghasilkan variable importance, disarankan untuk menggunakan banyak pohon, misalnya 1000 pohon atau lebih. Jika peubah penjelas yang dianalisis sangat banyak, nilai tersebut sebaiknya lebih besar agar variable importance yang dihasilkan semakin stabil (Breiman & Cutler 2003). Mean Decrease Gini Mean Decrease Gini (MDG) merupakan salah satu ukuran tingkat kepentingan (variable importance) peubah penjelas yang dihasilkan oleh metode random forest. Misalkan terdapat p peubah penjelas dengan , maka MDG mengukur tingkat kepentingan peubah penjelas Xh dengan cara (Breiman & Cutler 2003; Sandri & Zuccolotto 2006):
dimana: : besar penurunan indeks Gini untuk peubah penjelas Xh pada simpul t
k
: banyaknya pohon dalam random forest (ukuran random forest)
Data Data yang digunakan dalam penelitian ini adalah data sekunder yang diperoleh dari sebuah perusahaan riset pemasaran di Indonesia. Data tersebut terdiri atas sejumlah merek yang berbeda, dimana merek-merek tersebut merupakan jenis produk yang sama, yaitu produk Z. Banyaknya amatan dalam data adalah 1200 amatan. Data yang digunakan terdiri atas sebuah peubah respons dan dua puluh peubah penjelas. Seluruhnya berskala pengukuran ordinal dengan lima kategori. Peubah responsnya adalah status kesediaan seseorang untuk membeli produk Z, sedangkan peubah penjelasnya adalah status kesetujuan seseorang terhadap atribut produk Z. Kategori masing-masing peubah dapat dilihat pada Tabel 1. Untuk melakukan metode random forest pada masalah klasifikasi, skala pengukuran data dianggap nominal. Tabel 1 Kategori peubah penjelas dan peubah respons Kategori peubah Peubah Kode Keterangan 1 Sangat tidak setuju 2 Tidak setuju Penjelas 3 Biasa saja (X) 4 Setuju 5 Sangat setuju 1 Pasti tidak akan membeli 2 Tidak akan membeli Respons Tidak yakin akan 3 (Y) membeli atau tidak 4 Akan membeli 5 Pasti akan membeli Metode Langkah-langkah yang dilakukan dalam penelitian ini adalah: 1. Melakukan analisis statistika deskriptif terhadap peubah respons. 2. Melakukan simulasi random forest. Simulasi dilakukan dengan cara: a. Sebanyak 1000 random forest dibentuk pada setiap m dan k yang dicobakan, kemudian dicatat tingkat misklasifikasi masing-masing random forest dan Mean Decrease Gini (MDG) setiap peubah penjelas. Nilai m dan k yang disarankan Breiman (2001) dicobakan dalam simulasi ini. Nilai k yang disarankan
5
dimana p adalah banyaknya peubah penjelas dalam data, yaitu p = 20. b. Menganalisis tingkat misklasifikasi random forest yang dihasilkan dari langkah 2a. Analisis dilakukan secara eksploratif. c. Melakukan driver analysis menggunakan metode random forest, yaitu mengamati urutan MDG peubah penjelas. MDG setiap peubah penjelas dihasilkan pada langkah 2a. 3. Melakukan analisis korelasi Spearman terhadap data. 4. Melakukan intepretasi hasil driver analysis dan hasil analisis korelasi. Dalam penelitian ini, metode random forest dihasilkan menggunakan software R ver 2.12.0 dengan paket randomForest ver 3.6-2. Kriteria berhenti memilah yang digunakan adalah terdapatnya satu amatan pada simpul terminal. HASIL DAN PEMBAHASAN Analisis Deskriptif Frekuensi dan persentase dari banyaknya amatan pada setiap kategori peubah respons disajikan dalam Tabel 2. Tabel 2 Frekuensi dan persentase kategori peubah respons (status kesediaan seseorang untuk membeli produk Z) Kategori peubah respons Persentase Frekuensi (%) Kode Keterangan 1 Pasti tidak akan 0 0.0 membeli 2 Tidak akan membeli 4 0.3 3 Tidak yakin akan 24 2.0 membeli atau tidak 4 Akan membeli 672 56.0 5 Pasti akan membeli 500 41.7 Total 1200 100.0
Berdasarkan Tabel 2, diketahui bahwa terdapat 5 kategori pada peubah respons, namun tidak terdapat responden yang menyatakan „pasti tidak akan membeli‟. Oleh karena itu, peubah respons yang dianalisis hanya terdiri atas 4 kategori. Dari 1200 responden, 56% responden menyatakan akan membeli produk Z, 41.7% responden menyatakan pasti akan membeli produk Z, 2% responden menyatakan tidak yakin akan membeli produk Z atau tidak membelinya, dan 0.3% responden menyatakan tidak akan membelinya. Secara deskriptif dapat dikatakan bahwa sebagian besar responden bersedia membeli produk Z. Simulasi Ukuran Random Forest dan Ukuran Contoh Peubah Penjelas terhadap Keakuratan Prediksi Random Forest Keakuratan prediksi random forest diukur dari tingkat misklasifikasinya. Akurasi yang tinggi dan stabil dapat diperoleh jika ukuran contoh peubah penjelas (m) dan ukuran random forest (k) ditentukan dengan tepat. Simulasi dilakukan dengan menganalisis tingkat misklasifikasi random forest pada berbagai nilai m dan k yang dicobakan. Perubahan rataan tingkat misklasifikasi random forest akibat perubahan m disajikan dalam Gambar 2. Semakin besar k, perubahan rataan tingkat misklasifikasi akibat perubahan m menjadi semakin tidak terlihat. Meskipun demikian, terlihat bahwa rataan tingkat misklasifikasi terendah selalu dicapai saat , yaitu m = 4. Rataan tingkat misklasifikasi (%)
untuk digunakan pada metode bagging juga dicobakan, yaitu k = 50. Umumnya k = 50 sudah memberikan hasil yang memuaskan untuk masalah klasifikasi (Breiman 1996). Sementara itu, k ≥ 100 cenderung menghasilkan tingkat misklasifikasi yang konstan (Sutton 2005). Nilai m dan k yang dicobakan adalah:
38.0 37.5 37.0 36.5 36.0 35.5 35.0 34.5 34.0
k = 25 k = 50 k = 100 k = 500 k = 1000
2
Gambar 2
4
m
8
Rataan tingkat misklasifikasi random forest berukuran k pada beberapa ukuran contoh peubah penjelas (m).
Hal tersebut menunjukan bahwa m = 4 adalah m optimal. Gambar 2 juga menunjukkan bahwa m optimal sudah dapat diketahui meski dengan k kecil. Dengan m = 4, random forest yang terbentuk merupakan random forest dengan pohon-pohon yang
6
38.0 37.5 37.0 36.5 36.0 35.5 35.0 34.5 34.0
m=2 m=4 m=8
25
50
100
500
1000
k
Gambar 3
misklasifikasi. Memendeknya diagram kotak garis terjadi secara perlahan dan bergerak menuju nilai tertentu. Saat k sebesar 1000,
Rataan tingkat misklasifikasi random forest berukuran contoh peubah penjelas m pada beberapa ukuran random forest (k).
Gambar 3 memperlihatkan perubahan rataan tingkat misklasifikasi akibat berubahnya k. Terlihat bahwa semakin besar k maka semakin kecil rataan tingkat misklasifikasi. Breiman (2001) menyatakan bahwa tingkat misklasifikasi random forest akan konvergen menuju nilai tertentu saat ukuran random forest semakin besar. Hasil simulasi (Gambar 3) sesuai dengan hal tersebut, yaitu ditunjukkan dengan saat k semakin besar, besarnya penurunan rataan tingkat misklasifikasi menjadi semakin tidak terlihat. Peningkatan k dari 500 pohon menjadi 1000 pohon terlihat tidak memberikan penurunan rataan tingkat misklasifikasi yang berarti. Dengan demikian, dapat dikatakan bahwa akurasi random forest dalam memprediksi kesediaan membeli mulai konvergen saat menggunakan 500 pohon dan konvergen menuju 34.5%. Tingkat misklasifikasi tersebut adalah yang terendah. Nilai tingkat misklasifikasi pada seluruh k dan m yang dicobakan dapat dilihat dalam Lampiran 1. Penyebaran tingkat misklasifikasi menggambarkan kestabilan tingkat misklasifikasi. Dengan membandingkan seluruh diagram kotak garis pada Gambar 4, terlihat bahwa panjang diagram kotak garis cenderung konstan meskipun terjadi perubahan m. Akan tetapi, panjang diagram kotak garis semakin memendek saat k meningkat. Ini menunjukkan bahwa kestabilan tingkat misklasifikasi random forest hanya bergantung pada k. Semakin besar k maka semakin stabil tingkat misklasifikasi random forest. Gambar 4 juga memperlihatkan terdapatnya konvergensi tingkat
m=2 m=4 m=8
41
Tingkat misklasifikasi (%)
Rataan tingkat misklasifikasi (%)
kuat, namun korelasi antar pohon cukup kecil. Oleh karena itu, tingkat misklasifikasinya adalah yang terendah.
40 39 38 37 36 35 34 33 32 25
50
100
500
1000
k
Gambar 4
Diagram kotak garis tingkat misklasifikasi random forest pada ukuran contoh peubah penjelas (m) dan ukuran random forest (k).
akurasi random forest yang dihasilkan berada antara 33% dan 35.5%, dengan letak pemusatan berada pada nilai sekitar 34.5%. Pada k tersebut, akurasi prediksi random forest memiliki kestabilan yang baik dibandingkan dengan k yang lebih kecil. Selain itu, letak pemusatannya merupakan nilai konvergensi akurasi dan nilai akurasi tertinggi yang dapat dicapai. Mengenai waktu komputasi, penggunaan k dan m yang semakin besar menyebabkan meningkatnya waktu komputasi. Walau demikian, pembentukan random forest tunggal hanya memerlukan waktu komputasi yang singkat. Umumnya, waktu komputasi menjadi hal yang perlu dipertimbangkan ketika metode random forest digunakan untuk membangun banyak random forest, seperti pada simulasi ini. Simulasi Ukuran Random Forest dan Ukuran Contoh Peubah Penjelas terhadap Hasil Driver Analysis Pada penerapan random forest dalam driver analysis (DA-RF), random forest menghasilkan nilai Mean Decrease Gini (MDG) untuk setiap peubah penjelas. Driver analysis dilakukan dengan memeringkatkan peubah penjelas berdasarkan MDG. Oleh karena itu, kestabilan MDG sangat mmenentukan kestabilan hasil driver analysis. Kestabilan MDG diamati melalui diagram kotak garis MDG pada berbagai m dan k yang dicobakan. Hasil tersebut disajikan dalam Gambar 5. Dapat dilihat bahwa perubahan m, tidak mengubah
7 40
MDG (m = 2)
35 30 25 20 15
50DGG.G.11_.G11_.G12._1D3_GG4.G.22_.G21._G22._2D3_GG4.G.33._G31._G32_.3D3_GG4.G.44._G41_.G42_.4D3_GG4.G.55_.G51_.G52._5D3_GG4.G.66_.G61._G62._6D3_GG4.G.77._G71._G72_.7D3_GG4.G.88._G81_.G82_.8D3_GG4.G.99_.G91_.G92._93G_.4.11.001_0.11_0.21_03G_..4111.11_1.11_.121_13G_.4.112.21_.211_.221_23G_.4.11.331_.311_3.21_33G_.4.11.441_4.11_4.21_43G_..4115.51_5.11_.521_53G_.4.116.61_.611_.621_63G_.4.11.771_.711_7.21_73G_.4.11.881_8.11_8.21_83G_..4119.91_9.11_.921_93G_..4220.02_.012_.022_03_4
k = 25 k = 50 k = 100 k = 500 k = 1000
45
MDG (m = 4)
40 35 30 25 20
55 1_15_16_17_18_29_25_26_27_28_39_35_36_37_38_49_45_46_47_48_59_55_56_57_58_69_65_66_67_68_79_75_76_77_78_89_85_86_87_88_99_95_96_97_98_09_05_06_07_08_19_15_16_17_18_29_25_26_27_28_39_35_36_37_38_49_45_46_47_48_59_55_56_57_58_69_65_66_67_68_79_75_76_77_78_89_85_86_87_88_99_95_96_97_98_09_05_06_07_08_9 G .G.G .G .G .G.G .G .G .G.G .G .G .G.G .G .G .G.G .G .G .G.G .G .G .G.G .G .G .G.G .G .G .G.G .G .G .G.G .G .G .G.G .G .G ..1.1. 1.1.1.1. 1.1.1.1. 1.1.1.1. 1.1.1.1. 1.1.1.1. 1.1.1.1. 1.1.1.1. 1.1.1.1. 1.1.1.1. 1.1.1.1. 1.1.1.1. 1.1.1.1. 2.2.2.2. 2
50
MDG (m = 8)
45 40 35 30 25 20
X1
Rataan MDG
Gambar 5
X2
X3
X4
X5
X6
X7
X9 X10 X11 X12 X13 X14 X15 X16 X17 X18 X19 X20
Diagram kotak garis mean decrease gini (MDG) peubah penjelas, pada random forest berukuran m = 2, 4, 8 dan k = 25, 50,100, 500, 1000.
43 40 37 34 31 28 25 22 19 16
k = 25
X2
X8
X6
X14
X8
X15
X1
k = 50
X13
X7
k = 100
X12
X5
k = 500
k = 1000
X19 X17 X18
X3
X10 X20
X9
X16
X4
X11
Peubah penjelas
Gambar 6
Urutan tingkat kepentingan peubah penjelas berdasarkan rataan Mean Decrease Gini (MDG), pada random forest berukuran m = 4 dan k = 25, 50,100, 500, 1000.
panjang diagram kotak garis. Hasil ini menunjukkan bahwa keragaman MDG selalu sama besar pada m berapapun, yang berarti m tidak mempengaruhi kestabilan MDG sehingga m tidak mengubah hasil
driver analysis. Dengan demikian, diketahui bahwa m tidak mempengaruhi kestabilan hasil driver analysis. Mengenai pengaruh k terhadap MDG, peningkatan k menyebabkan diagram kotak
8 garis semakin pendek. Ini menunjukkan bahwa keragaman MDG semakin kecil saat k semakin besar, sehingga MDG suatu peubah penjelas semakin stabil saat k semakin besar. Berbeda dengan susunan diagram kotak garis pada Gambar 4, Gambar 5 memperlihatkan bahwa memendeknya diagram kotak garis tidak disertai dengan perubahan letak pemusatan MDG. Hasil tersebut menunjukkan bahwa kestabilan MDG sangat bergantung pada k, namun k tidak mempengaruhi besar perolehan MDG. MDG memiliki kestabilan yang baik saat k bernilai lebih dari 500, sehingga hasil driver analysis stabil pada k tersebut. Telah diketahui bahwa m tidak mengubah hasil driver analysis, namun random forest memiliki akurasi tertinggi saat m = 4. Oleh karena itu, pengamatan hasil driver analysis selanjutnya dilakukan saat m = 4. Hal tersebut dilakukan dengan menyusun driver analysis berdasarkan rataan MDG dari 1000 random forest. Hasilnya ditampilkan dalam Gambar 6. Seperti hasil sebelumnya, Gambar 6 juga memperlihatkan bahwa perubahan k tidak menyebabkan perubahan letak pemusatan. Ini menunjukkan bahwa berapapun k yang digunakan tidak mempengaruhi rataan MDG peubah penjelas. Oleh sebab itu, penyusunan driver analysis berdasarkan rataan MDG menghasilkan driver analysis yang stabil. Nilai rataan MDG peubah penjelas saat random forest berukuran m = 4 dan k = 25, 50, 100, 500, 1000 disajikan dalam Lampiran 2. Terlihat bahwa hasil driver analysis pada k = 25 dan k = 50 sedikit berbeda dengan hasil driver analysis pada k lainnya (k = 100, 500, 1000). Pada k = 25, hal tersebut terjadi saat urutan X6-X14, yaitu dengan masing-masing nilai rataan MDG sebesar 31.319 dan 31.328. Sementara itu, pada k = 50, hal tersebut terjadi saat urutan X1-X13, dengan masing-masing nilai rataan MDG sebesar 28.651 dan 28.668. Karena nilai-nilai tersebut tidak terlalu berbeda jauh, maka hasil driver analysis berdasarkan rataan MDG tetap dapat dikatakan stabil meskipun menggunakan k yang bernilai kecil. Dalam Gambar 6 diperlihatkan bahwa rataan MDG tertinggi dimiliki oleh X2. Penurunan rataan MDG secara drastis hanya terjadi pada peubah penjelas peringkat 1 dan 2, yaitu X2 dan X6. Pada peringkat selanjutnya, rataan MDG menurun secara lambat. Hasil tersebut memperlihatkan bahwa X2 teridentifikasi sebagai atribut
yang paling penting dalam mempengaruhi kesediaan membeli produk Z, serta memiliki pengaruh yang jauh lebih besar daripada pengaruh atribut lainnya. Ini menunjukkan bahwa memperbaiki atribut X2 jauh lebih berpengaruh terhadap perbaikan kesediaan membeli dibandingkan dengan jika memperbaiki atribut lainnya. Oleh karena itu, untuk memperbaiki hal kesediaan seseorang dalam membeli produk Z, sangat diprioritaskan untuk memperbaiki atribut X2. Prioritas berikutnya disesuaikan dengan hasil driver analysis. Urutan prioritas atribut berdasarkan hasil driver analysis adalah X2X6-X14-X8-X15-X1-X13-X7-X12-X5X19-X17-X18-X3-X10-X20-X9-X16-X4X11. Nilai koefisien korelasi Spearman antara kesediaan membeli produk Z dan atribut produk Z disajikan dalam Lampiran 3. Arah koefisien korelasi Spearman menggambarkan bentuk hubungan antara suatu atribut dengan kesediaan seseorang membeli produk Z. Saat koefisien korelasi Spearman bernilai positif, maka diindikasikan bahwa terdapatnya suatu atribut di dalam produk Z mampu menggerakkan seseorang untuk bersedia membeli produk Z. Sebaliknya, koefisien korelasi Spearman yang bernilai negatif mengindikasikan bahwa tidak terdapatnya suatu atribut di dalam produk Z akan menggerakkan seseorang untuk bersedia membeli produk Z. Untuk atribut X2, koefisien korelasi Spearman antara atribut X2 dengan kesediaan membeli produk Z bernilai positif dan nyata pada taraf nyata 5%. Hasil ini menunjukkan bahwa terdapatnya atribut X2 di dalam produk Z dapat menggerakkan seseorang untuk bersedia membeli produk Z. Jika frekuensi terpilihnya suatu peubah penjelas untuk menjadi pemilah simpul dalam sebuah random forest diamati, maka terlihat bahwa atribut X2 merupakan peubah penjelas yang paling sering terpilih sebagai pemilah simpul. Hal tersebut ternyata sejalan dengan hasil driver analysis berdasarkan rataan MDG. Akan tetapi, saat m = 8, hal tersebut tampak tidak sejalan dengan hasil driver analysis. Saat m = 8, atribut X6 menjadi peubah penjelas yang paling sering terpilih sebagai pemilah simpul. Hal tersebut dapat terjadi karena untuk menghasilkan nilai MDG suatu peubah penjelas, nilai penurunan impurity peubah penjelas tersebut juga turut diperhitungkan. Nilai modus mengenai frekuensi terpilihnya suatu peubah
9 penjelas untuk menjadi pemilah dalam sebuah random forest pada masing-masing m dan k yang dicobakan dapat dilihat pada Lampiran 4, Lampiran 5, dan Lampiran 6. SIMPULAN DAN SARAN Simpulan Akurasi prediksi yang tinggi dan stabil diperoleh saat random forest dibangun menggunakan ukuran contoh peubah penjelas sebesar 4 dan ukuran random forest lebih dari 500. Pada kondisi tersebut, tingkat misklasifikasi yang dicapai berkisar antara 33% dan 35.5%, dengan nilai rataan tingkat misklasifikasi sebesar 34.5%. Pada penerapan random forest dalam driver analysis, penyusunan driver analysis berdasarkan MDG menghasilkan driver analysis yang stabil jika ukuran random forest lebih dari 500. Sementara itu, jika penyusunan driver analysis dilakukan berdasarkan rataan MDG dari 1000 random forest, maka tetap dihasilkan driver analysis yang stabil meskipun ukuran random forest yang digunakan cukup kecil. Hasil driver analysis pun stabil pada berbagai ukuran contoh peubah penjelas. Saran Penelitian ini dilakukan pada ukuran bootstrap yang sama besar dengan ukuran data, yaitu sebesar 1200. Selain itu, juga dilakukan pada ukuran iterasi simulasi (banyaknya random forest dalam satu iterasi simulasi) sebesar 1000. Berkenaan dengan hal tersebut, saran untuk penelitian selanjutnya adalah: 1. Mengurangi ukuran bootstrap untuk melihat bagaimana pengaruhnya terhadap akurasi random forest dan hasil driver analysis. Salah satu keunggulan metode random forest adalah mampu menganalisis data yang ukuran datanya jauh lebih sedikit dibandingkan ukuran peubah penjelas dalam data (Breiman & Cutler 2001; Díaz-Uriarte & Andrés 2006). 2. Mengurangi ukuran iterasi simulasi untuk mengetahui ukuran iterasi yang efisien dalam menghasilkan driver analysis yang stabil. DAFTAR PUSTAKA Brieman L, Friedman JH, Olshen RA, Stone CJ. 1984. Classification and Regression Trees. New York: Chapman & Hall.
Breiman L. 1996. Bagging Predictors. Machine Learning 24:123-140. Breiman L. 2001. Random Forests. Machine Learning 45:5-32. Breiman L, Cutler A. 2001. Random Forest. [terhubung berkala]. http://www.stat.berkeley.edu/~breiman/R andomForests/cc_home.htm#intro. [8 Jul 2010] Breiman L, Cutler A. 2003. Manual on Setting Up, Using, and Understanding Random Forest V4.0. [terhubung berkala]. http://oz.berkeley.edu/users/breiman/Usi ng_random_forests_v4.0.pdf. [8 Jul 2010] Díaz-Uriarte R, Andrés SA de. 2006. Gene Selection and Classification of Microarray Data Using Random Forest. BMC Bioinformatics 7:3. Liaw A, Wiener M. Des 2002. Classification and Regression by randomForest. RNews Vol. 2/3:18-22. Sambandam R. 2001. Survey of analysis methods -- Part I: key driver analysis. http://www.trchome.com/white-paperlibrary/wpl-all-white-papers/206. [30 Nopember 2009]. Sandri M, Zuccolotto P. 2006. Variable Selection Using Random Forest. Di dalam: Zani S, Cerioli A, Riani M, Vichi M, editor. Data Analysis, Classification and the Forward Search. Proceedings of the Meeting of the Classification and Data Analysis Group (CLADAG) of the Italian Statistical Society; University of Parma, 6-8 Jun 2005. New York: Springer Berlin Heidelberg. hlm 263270. Sartono B, Syafitri UD. 2010. Ensemble Tree: an Alternative toward Simple Classification & Regression Tree. Forum Statistika dan Komputasi 15(1):1-7. Sutton CD. 2005. Classification and Regression Trees, Bagging, and Boosting. Handbook of Statistics 24:303329. Wiener JL, Tang J. 2005. Multicollinearity in Customer Satisfaction Research. Ipsos Loyalty.
10
LAMPIRAN
11 Lampiran 1
Tingkat misklasifikasi random forest pada ukuran random forest (k) dan ukuran contoh peubah penjelas (m) yang dicobakan
Ukuran Random Forest (k)
25
50
100
500
1000
Ukuran Contoh Peubah Penjelas (m) 2
Rataan Tingkat Misklasifikasi (%) 37.724
4
37.289
8
37.354
2
36.154
4
35.783
8
35.892
2
35.276
4
34.950
8
35.058
2
34.549
4
34.438
8
34.639
2
34.475
4
34.469
8
34.555
12 Lampiran 2
Urutan tingkat kepentingan peubah penjelas berdasarkan nilai rataan Mean Decrease Gini (MDG) peubah penjelas pada ukuran random forest (k) sebesar 25, 50, 100, 500, 1000 dan ukuran contoh peubah penjelas (m) sebesar 4
Urutan Tingkat Kepentingan Peubah Penjelas
Peubah Penjelas
25
Ukuran Random Forest (k) 50 100 500
1000
1
X2
42.109
42.114
42.145
42.113
42.104
2
X6
31.320
31.376
31.359
31.351
31.349
3
X14
31.328
31.326
31.358
31.336
31.334
4
X8
31.215
31.188
31.160
31.138
31.129
5
X15
29.402
29.397
29.437
29.456
29.448
6
X1
28.650
28.651
28.678
28.685
28.684
7
X13
28.641
28.669
28.660
28.671
28.671
8
X7
28.542
28.517
28.521
28.515
28.522
9
X12
28.393
28.414
28.371
28.373
28.375
10
X5
27.300
27.243
27.197
27.198
27.220
11
X19
26.947
27.033
27.045
27.085
27.086
12
X17
25.959
25.978
25.962
25.948
25.947
13
X18
25.864
25.837
25.874
25.890
25.888
14
X3
25.750
25.793
25.779
25.802
25.806
15
X10
24.559
24.602
24.591
24.588
24.591
16
X20
24.443
24.395
24.404
24.394
24.384
17
X9
24.337
24.340
24.338
24.352
24.347
18
X16
22.931
22.917
22.926
22.915
22.921
19
X4
21.975
21.991
21.984
21.988
21.991
20
X11
21.449
21.436
21.452
21.457
21.444
13 Lampiran 3 Peubah Penjelas X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 X11 X12 X13 X14 X15 X16 X17 X18 X19 X20
Koefisien korelasi Spearman antara peubah penjelas (X) dan peubah respons (Y) Y 0.091 0.229 0.159 0.129 0.138 0.147 0.224 0.191 0.143 0.114 0.146 0.071 0.149 0.040 - 0.013 0.061 0.071 0.205 0.237 0.223
Nilai-p 0.002 0 0 0 0 0 0 0 0 0 0 0.013 0 0.161 0.659 0.034 0.014 0 0 0
14 Lampiran 4
Peubah Penjelas X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 X11 X12 X13 X14 X15 X16 X17 X18 X19 X20
Modus frekuensi terpilihnya peubah penjelas sebagai pemilah (split) simpul dalam sebuah random forest dengan ukuran contoh peubah penjelas (m) sebesar 2 dan ukuran random forest (k) sebesar 25, 50, 100, 500, dan 1000
25 388 421 350 342 374 424 356 389 357 376 320 376 372 411 394 357 371 322 315 292
Ukuran Random Forest (k) 50 100 500 789 1564 7817 856 1731 8700 712 1446 7215 715 1405 6972 778 1523 7480 834 1646 8310 691 1415 7040 786 1568 7790 719 1434 7076 730 1493 7482 682 1334 6678 763 1549 7781 748 1517 7657 829 1606 8155 768 1555 7749 716 1440 7163 758 1527 7681 679 1354 6604 642 1303 6398 571 1136 5778
1000 15523 17380 14289 13985 14908 16624 14079 15598 14106 14894 13095 15596 15201 16271 15486 14456 15341 13344 13016 11461
15 Lampiran 5
Peubah Penjelas X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 X11 X12 X13 X14 X15 X16 X17 X18 X19 X20
Modus frekuensi terpilihnya peubah penjelas sebagai pemilah (split) simpul dalam sebuah random forest dengan ukuran contoh peubah penjelas (m) sebesar 4 dan ukuran random forest (k) sebesar 25, 50, 100, 500, dan 1000
25 437 493 368 384 438 482 373 450 382 414 357 444 431 457 418 392 411 355 322 264
50 858 995 742 783 885 983 716 876 784 836 722 887 871 941 841 750 838 685 644 558
k 100 1768 1994 1493 1566 1720 1976 1443 1819 1550 1669 1455 1789 1749 1838 1681 1526 1691 1407 1309 1083
500 8881 10041 7494 7780 8692 9804 7442 8984 7710 8322 7268 8927 8742 9231 8414 7570 8407 7136 6405 5421
1000 17677 19990 15041 15479 17337 19671 14828 17914 15411 16771 14383 17846 17476 18315 16899 15180 16826 14139 12866 10888
16 Lampiran 6
Peubah Penjelas X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 X11 X12 X13 X14 X15 X16 X17 X18 X19 X20
Modus frekuensi terpilihnya peubah penjelas sebagai pemilah (split) simpul dalam sebuah random forest dengan ukuran contoh peubah penjelas (m) sebesar 8 dan ukuran random forest (k) sebesar 25, 50, 100, 500, dan 1000
25 420 488 317 349 421 490 326 415 347 389 326 417 419 430 386 323 387 334 276 227
50 839 946 649 711 842 980 677 867 688 773 652 820 839 850 764 660 760 648 555 443
k 100 1663 1935 1296 1437 1662 1954 1327 1739 1388 1556 1316 1641 1703 1712 1529 1314 1530 1315 1074 938
500 8351 9418 6465 7136 8386 9756 6743 8584 6934 7739 6620 8245 8379 8478 7666 6570 7654 6504 5442 4630
1000 16707 19072 12987 14306 16751 19578 13439 17150 13879 15546 13260 16590 16885 16870 15272 13130 15425 13071 10982 9260
