UCAPAN TERIMA KASIH
Puji syukur kita panjatkan kehadirat Tuhan Yang Maha Esa atas segala rahmat dan hidayah-Nya penulis dapat menyelesaikan tesis dengan judul Perbandingan Metode SOM/Kohonen Dengan Adaptive Resonance Theory 2 Pada Data Mining Perusahaan Retail Dalam menyelesaikan tesis ini penulis mendapatkan banyak sekali bantuan, bimbingan dan dorongan dari berbagai pihak. Oleh karena itu penulis ingin mengucapkan terima kasih kepada semua pihak yang telah membantu dalam penyelesaian tesis ini, antara lain Rektor Universitas Udayana Prof. Dr. dr. Ketut Suastika, Sp.PD.KEMD atas kesempatan dan fasilitas yang diberikan kepada penulis untuk mengikuti dan menyelesaikan pendidikan Program Magister di Universitas Udayana. Direktur Program Pascasarjana Universitas Udayana yang dijabat oleh Prof. Dr. dr. A.A. Raka Sudewi, Sp.S(K), Prof. Dr. Made Budiarsa, M.A. sebagai Asisten Direktur I Program Pascasarjana Universitas Udayana, serta Prof. Made Sudiana Mahendra, Ph.D. sebagai Asisten Direktur II Program Pascasarjana Universitas Udayana atas kesempatan yang diberikan kepada penulis untuk menjadi mahasiswa Program Magister pada Program Pascasarjana Universitas Udayana. Prof. Ir. I. A. Dwi Giriantari, M.Eng.Sc., Ph.D. selaku Kepala Program Studi Magister Teknik Elektro atas bimbingan dan motivasinya. Prof. Dr. IKG Darma Putra, S.Kom., M.T. selaku dosen pembimbing I, atas bimbingan, pengarahan, saran, dan dukungan selama penyusunan tesis ini. Ir. Linawati, M.Eng.Sc., Ph.D. selaku dosen pembimbing II yang dengan penuh perhatian dan kesabaran telah memberikan bimbingan dan saran kepada penulis. Seluruh Dosen khususnya dosen Program Magister Teknik Elektro Universitas Udayana atas ilmu
vi
yang telah diberikan. Prof. Ir. Rukmi Sari Hartati, M.T., Ph.D., Dr. Ir. Made Sudarma, M.A.Sc, NMAE Dewi Wirastuti, S.T., M.Sc., Ph.D.,
yang telah
memberikan masukan, saran, sanggahan, dan koreksi sehingga tesis ini dapat terwujud. Pada kesempatan ini, penulis juga menyampaikan rasa terima kasih kepada Orang tuaku tercinta A.A. Raka dan Ni Made Partini yang tiada hentinya memberikan doa, semangat, dan pengorbanan yang sangat besar. Saudari A.A. Mas Aditya Prasanthi yang telah meluangkan waktu untuk melakukan proses penyuntingan laporan ini. Teman-teman seperjuangan Manajemen Sistem Informasi dan Komputer atas semangat dan dukungannya. Semua pihak yang telah membantu dalam penyusunan laporan ini yang tidak dapat kami sebutkan satu per satu. Penulis menyadari bahwa penulisan tesis yang telah dibuat masih jauh dari kesempurnaan. Oleh karena itu, penulis sangat mengharapkan kritik dan saran yang membangun dari pembaca.
Denpasar, Agustus 2016
Penulis
vii
ABSTRAK
PERBANDINGAN METODE SOM/KOHONEN DENGAN ADAPTIVE RESONANCE THEORY 2 PADA DATA MINING PERUSAHAAN RETAIL Perusahaan ritel adalah perusahaan yang bergerak dalam bidang transaksi jual beli dalam jumlah kecil, satuan, atau eceran. Usaha ritel ini memiliki peranan penting dalam dunia perekonomian, karena tanpa usaha ritel, suatu barang dari produsen tidak akan sampai di tangan konsumen. Objek penelitian pada penelitian ini adalah UD. Fenny, yang merupakan perusahaan ritel yang menjual bahan dan alat membuat kue. Permasalah yang dihadapi oleh perusahaan ini adalah kesulitan untuk mengidentifikasi pelanggan potensial agar strategi pemasaran lebih tepat sasaran. Untuk melakukan proses identifikasi pelanggan, dilakukan proses data mining pada data pelanggan dengan metode clustering. Penelitian ini dilakukan dalam dua tahap, tahap pertama adalah persiapan data dan tahap kedua adalah proses clustering pada data yang telah disiapkan. metode clustering yang digunakan adalah Metode Self Organizing Map dan Adaptive Resonance Theory 2. Kedua metode tersebut merupakan metode yang menerapkan kecerdasaran buatan yaitu jaringan saraf tiruan. Sebelum dilakukan proses mining, data dibentuk menjadi datamart dengan model RFM atau Recency, Frequency, dan Monetary. Perbandingan metode dilakukan dengan kombinasi parameter pada masing-masing metode untuk mendapatkan cluster yang sempurna. Kesempurnaan cluster diukur dengan menggunakan indeks validasi Davies-Bouldin, Dunn Index dan Silhouette Index. Berdasarkan hasil penelitian, nilai indeks Davies-Bouldin terendah, indeks Dunn tertinggi dan Silhouette Index yang mendekati satu didapatkan dari metode Self Organizing Map. Dalam hal ini metode Self Organizing Map dapat mengelompokkan data dengan lebih baik. Metode Adaptive Resonance Theory mampu memberikan lebih banyak pola setiap perubahan konfigurasi parameter. Hal ini dapat dilihat dari nilai indeks validasi cluster yang lebih beragam pada metode Adaptive Resonance Theory 2 dibandingkan metode Self Organizing Map
Kata kunci : data mining, jaringan saraf tiruan, Self Organizing Map, Adaptive Resonance Theory II
viii
ABSTRACT
COMPARISON BETWEEN METHOD OF SOM / KOHONEN AND ADAPTIVE RESONANCE THEORY 2 ON DATA MINING RETAIL COMPANY
Retail company is a company that specializes in buying and selling in small quantities, units, or retail. The retail business has an important role in the economic world, because without a retail business, a product of the manufacturer will not be delivery to the consumers. The object of research in this study is UD. Fenny, which is a retail company that sells materials and tools to make a cake. Problems faced by these companies is the difficulty to identify potential customers in order to better targeted marketing strategies. In order to perform the customer identification process, it is carried out the process of data mining in customer data clustering method. This research was conducted in two stages, the first stage is the preparation of data and the second stage is the process of clustering on the data that has been prepared. Clustering method used is the method of Self Organizing Map and Adaptive Resonance Theory 2. Both methods are methods that apply artificial neural network. Before the mining process, the data is formed into a datamart model or Recency Frequency Monetary RFM. Comparison of methods are performed by parameters for each method to obtain perfect cluster. Perfection cluster validation index is measured by using Davies-Bouldin, Dunn Index and Index Silhouette. Based on the results of study, the lowest Davies-Bouldin index value, highest Index Dunn, and Silhouette Index near by one is obtained from Self Organizing Map method. In this case, the method of Self Organizing Map can group the data better. Adaptive Resonance Theory method is able to provide more patterns in each parameter configuration changing. It can be seen from the cluster validation index values are more diverse in the method of Adaptive Resonance Theory 2 compared to Self Organizing Map method.
Keywords: data mining , neural networks , Self Organizing Map , Adaptive Resonance Theory 2
ix
DAFTAR ISI
SAMPUL DALAM .................................................................................................. i PRASYARAT GELAR ........................................................................................... ii LEMBAR PENGESAHAN ................................................................................... iii PENETAPAN PANITIA PENGUJI ...................................................................... iv PERNYATAAN KEASLIAN PENELITIAN ........................................................ v UCAPAN TERIMA KASIH .................................................................................. vi ABSTRAK ........................................................................................................... viii ABSTRACT ........................................................................................................... ix DAFTAR ISI ........................................................................................................... x DAFTAR TABEL ................................................................................................. xii DAFTAR GAMBAR ........................................................................................... xiv BAB I PENDAHULUAN ....................................................................................... 1 1.1 Latar Belakang .......................................................................................... 1 1.2 Rumusan Masalah ..................................................................................... 3 1.3 Batasan Masalah ....................................................................................... 3 1.4 Tujuan ....................................................................................................... 4 1.5 Keaslian Penelitian.................................................................................... 4 BAB II TINJAUAN PUSTAKA............................................................................. 6 2.1 State of The Art ......................................................................................... 6 2.2 Data Mining ............................................................................................ 12 2.3 Tahapan Data Mining dengan CRISP-DM ............................................. 13 2.4 Customer Relationship Management ...................................................... 16 2.5 Model RFM ............................................................................................. 18 2.6 Jaringan Saraf Tiruan .............................................................................. 20 2.6.1 Perbandingan Jaringan Saraf Biologis dan Tiruan .......................... 20 2.6.2 Unit Jaringan Saraf Tiruan ............................................................... 21 2.6.3 Pembelajaran Terawasi (Supervised Learning) ............................... 22 2.6.4 Pembelajaran Tak Terawasi (Unsupervised Learning) ................... 23 2.7 Jaringan SOM/Kohonen (Self-Organizing Map) .................................... 25 2.7.1 Arsitektur SOM................................................................................ 25 2.7.2 Algoritma SOM ............................................................................... 26 2.7.3 Jarak Antar Neuron (Fungsi Jarak) .................................................. 27 2.8 Adaptive Resonance Theory (ART) ....................................................... 29 2.8.1 Arsitektur Dasar ............................................................................... 29 2.8.2 Arsitektur ART 2 ............................................................................. 31 2.8.3 Parameter ART 2 ............................................................................. 32 2.8.4 Algoritma Pembelajaran ART 2 ...................................................... 33 2.9 Indeks Validitas Cluster .......................................................................... 35 2.9.1 Davies-Bouldin Index ...................................................................... 36
x
2.9.2 Dunn Index ...................................................................................... 38 2.9.3 Silhouette Index ............................................................................... 38 BAB III METODE PENELITIAN........................................................................ 40 3.1 Tempat dan Waktu Penelitian ................................................................. 40 3.2 Sumber Data............................................................................................ 40 3.3 Alur Penelitian ........................................................................................ 40 3.4 Kebutuhan Perangkat Keras dan Perangkat Lunak ................................. 41 3.5 Perancangan Sistem ................................................................................ 42 3.5.1 Gambaran Umum Sistem ................................................................. 42 3.5.2 Persiapan Data ................................................................................. 43 3.5.3 Datamart dengan Nilai RFM............................................................ 47 3.5.4 Pemodelan RFM, Metode SOM dan ART 2.................................... 49 3.5.5 Evaluasi dan Analisis Metode.......................................................... 52 BAB IV HASIL DAN PEMBAHASAN .............................................................. 55 4.1 Persiapan Data ........................................................................................ 55 4.2 Pengujian Sistem ..................................................................................... 57 4.2.1 Tujuan Pengujian ............................................................................. 57 4.2.2 Skenario Pengujian .......................................................................... 58 4.3 Pengujian Data Pelanggan Tahun 2009 .................................................. 58 4.3.1 Analisis Hasil Pengujian Metode SOM ........................................... 61 4.3.2 Analisis Hasil Pengujian Metode ART 2 ......................................... 64 4.3.3 Analisis Perbandingan Metode SOM dan ART 2 pada Dataset 2009 .................................................................................... 68 4.4 Proses Segmentasi Pelanggan pada Dataset Tahun 2009 ....................... 69 4.4.1 Segmentasi Pelanggan Metode SOM .............................................. 70 4.4.2 Segmentasi Pelanggan Metode ART 2 ............................................ 75 4.5 Pengujian Data Pelanggan Tahun 2014 .................................................. 79 4.5.1 Analisis Hasil Pengujian Metode SOM ........................................... 82 4.5.2 Analisis Hasil Pengujian Metode ART 2 ......................................... 85 4.5.3 Analisis Perbandingan Metode SOM dan ART 2 pada Dataset 2014 .................................................................................... 89 4.6 Proses Segmentasi Pelanggan pada Dataset Tahun 2014 ....................... 90 4.6.1 Segmentasi Pelanggan Metode SOM .............................................. 91 4.6.2 Segmentasi Pelanggan Metode ART 2 ............................................ 96 4.7 Analisis Perbandingan Dataset Tahun 2009 dan 2014 ......................... 100 4.8 Analisis Perbandingan Kompleksitasi Metode ..................................... 102 BAB V SIMPULAN DAN SARAN ................................................................... 105 5.1 Simpulan ............................................................................................... 105 5.2 Saran ..................................................................................................... 106 DAFTAR PUSTAKA ......................................................................................... 107
xi
DAFTAR TABEL
Tabel 2.1 Daftar Penelitian ................................................................................... 11 Tabel 2.2 Pembagian Pelanggan pada Perusahaan Retail dengan Model RFM ... 19 Tabel 2.3. Perbandingan Jaringan Saraf Biologis dan Tiruan ............................... 21 Tabel 2.4 Klasifikasi Jaringan Saraf Tiruan .......................................................... 24 Tabel 2.5 Notasi Perumusan Indeks Validasi Clustering...................................... 36 Tabel 3.1 Struktur Tabel tbCustomer .................................................................... 44 Tabel 3.2 Struktur Tabel tbBarang ........................................................................ 44 Tabel 3.3 Struktur Tabel tbMasterJual .................................................................. 44 Tabel 3.4 Struktur Tabel tbDetilJual ..................................................................... 45 Tabel 3.5 Struktur Tabel tbMasterPiutang ............................................................ 45 Tabel 3.6 Struktur Tabel tbDetilPiutang ............................................................... 45 Tabel 3.7 Data Parsial dari Database UD. Fenny ................................................. 46 Tabel 3.8 Struktur Tabel Summary ....................................................................... 49 Tabel 3.9 Hasil Query Database ........................................................................... 49 Tabel 3.10 Domain Value RFM ............................................................................ 50 Tabel 3.11 Deskripsi Kelas Pelanggan.................................................................. 51 Tabel 3.12 Deskripsi Kelas Pelanggan Superstar ................................................. 53 Tabel 3.13 Deskripsi Kelas Pelanggan Golden ..................................................... 53 Tabel 3.14 Deskripsi Kelas Pelanggan Typical..................................................... 53 Tabel 3.15 Deskripsi Kelas Pelanggan Occasion ................................................. 54 Tabel 3.16 Deskripsi Kelas Pelanggan Everyday ................................................. 54 Tabel 3.17 Deskripsi Kelas Pelanggan Dormant .................................................. 54 Tabel 4.1 Hasil Query Database ........................................................................... 55 Tabel 4.2 Hasil Query Matlab............................................................................... 56 Tabel 4.3 Data Setelah Diskalakan ....................................................................... 57 Tabel 4.4 Kombinasi Nilai Parameter SOM dan ART 2 ...................................... 58 Tabel 4.5 Hasil Pengujian Metode SOM Dataset Tahun 2009 ............................. 59 Tabel 4.6 Hasil Pengujian Metode ART 2 Dataset Tahun 2009 .......................... 60 Tabel 4.7 Cluster Terbaik Hasil Pengujian Metode SOM Dataset Tahun 2009 ......................................................................................... 64 Tabel 4.8 Cluster Terbaik Hasil Pengujian Metode ART 2 Dataset Tahun 2009 ......................................................................................... 67 Tabel 4.9 Nilai Indeks Validasi Metode SOM dan ART 2 Dataset Tahun 2009 ......................................................................................... 69 Tabel 4.10 Rentang Nilai Recency Dataset Tahun 2009 ...................................... 69 Tabel 4.11 Rentang Nilai Frequency Dataset Tahun 2009................................... 69 Tabel 4.12 Rentang Nilai Monetary Dataset Tahun 2009 .................................... 70 Tabel 4.13 Profil Cluster Pelanggan Metode SOM Dataset Tahun 2009 ............. 72 Tabel 4.14 Profil Cluster Pelanggan Metode ART 2 Dataset Tahun 2009 ........... 77
xii
Tabel 4.15 Hasil Pengujian Metode SOM tahun 2014 ......................................... 80 Tabel 4.16 Hasil Pengujian Metode ART 2 Tahun 2014 ...................................... 81 Tabel 4.17 Cluster Terbaik Hasil Pengujian Metode SOM Dataset Tahun 2014 ......................................................................................... 85 Tabel 4.18 Cluster Terbaik Hasil Pengujian Metode ART 2 Dataset Tahun 2014 ......................................................................................... 89 Tabel 4.19 Nilai Indeks Validasi Metode SOM dan ART 2 Dataset Tahun 2014 ......................................................................................... 90 Tabel 4.20 Rentang Nilai Recency Dataset Tahun 2014 ...................................... 90 Tabel 4.21 Rentang Nilai Frequency Dataset Tahun 2014................................... 90 Tabel 4.22 Rentang Nilai Monetary Dataset Tahun 2014 .................................... 91 Tabel 4.23 Profil Cluster Pelanggan Metode SOM Dataset Tahun 2014 ............ 93 Tabel 4.24 Profil Cluster Pelanggan Metode ART 2 Dataset Tahun 2014 .......... 98 Tabel 4.25 Rangkuman Perbandingan Dataset Tahun 2009 dan 2014 ............... 100
xiii
DAFTAR GAMBAR
Gambar 2.1 Siklus Hidup Pengembangan Data Mining ....................................... 14 Gambar 2.2 Rincian Tahapan CRISP-DM ............................................................ 16 Gambar 2.3 Framework Klasifikasi Data Mining pada CRM .............................. 17 Gambar 2.4 Struktur Jaringan Saraf Biologis ....................................................... 20 Gambar 2.5 Struktur Jaringan Saraf Tiruan .......................................................... 22 Gambar 2.6 Pembelajaran Terawasi (Supervised Learning)................................. 22 Gambar 2.8 Arsitektur Self-Organizing Map........................................................ 26 Gambar 2.9 Arsitektur ART 2............................................................................... 31 Gambar 3.1 Gambaran Umum Sistem .................................................................. 42 Gambar 3.2 Skema Relasi Tabel ........................................................................... 46 Gambar 3.3 Tabel-tabel pada Sistem yang Dibangun ........................................... 47 Gambar 3.4 Program Pentaho Data Integration .................................................... 48 Gambar 4.1 Grafik Nilai Davies-Bouldin Index Metode SOM Dataset Tahun 2009 ......................................................................................... 61 Gambar 4.2 Grafik Nilai Dunn Index Metode SOM Dataset Tahun 2009 ........... 62 Gambar 4.3 Grafik Nilai Silhouette Index Metode SOM Dataset Tahun 2009 .... 63 Gambar 4.4 Grafik Nilai Davies-Bouldin Index Metode ART 2 Dataset Tahun 2009 ......................................................................................... 65 Gambar 4.5 Grafik Nilai Dunn Index Metode ART 2 Dataset Tahun 2009......... 66 Gambar 4.6 Grafik Nilai Silhouette Index Metode ART 2 Dataset Tahun 2009 . 67 Gambar 4.7 Grafik Jumlah Cluster Metode ART 2 Dataset Tahun 2009 ............ 68 Gambar 4.8 Antarmuka Metode SOM Dataset Tahun 2009 ................................ 70 Gambar 4.9 Grafik Cluster Frequency-Recency Metode SOM Dataset Tahun 2009 ......................................................................................... 71 Gambar 4.10 Grafik Cluster Monetary-Recency Metode SOM Dataset Tahun 2009 ......................................................................................... 71 Gambar 4.11 Grafik Cluster Monetary-Frequency Metode SOM Dataset Tahun 2009 ......................................................................................... 72 Gambar 4.12 Antarmuka Metode ART 2 Dataset Tahun 2009 ............................ 75 Gambar 4.13 Grafik Cluster Frequency-Recency Metode ART 2 Dataset Tahun 2009 ......................................................................................... 76 Gambar 4.14 Grafik Cluster Monetary-Recency Metode ART 2 Dataset Tahun 2009 ......................................................................................... 76 Gambar 4.15 Grafik Cluster Monetary-Frequency Metode ART 2 Dataset Tahun 2009 ......................................................................................... 77 Gambar 4.16 Grafik Nilai Davies-Bouldin Index Metode SOM Dataset Tahun 2014 ......................................................................................... 82 Gambar 4.17 Grafik Nilai Dunn Index Metode SOM Dataset Tahun 2014 ......... 83 Gambar 4.18 Grafik Nilai Silhouette Index Metode SOM Dataset Tahun 2014.. 84
xiv
Gambar 4.19 Grafik Nilai Davies-Bouldin Index Metode ART 2 Dataset Tahun 2014 ......................................................................................... 86 Gambar 4.20 Grafik Nilai Dunn Index Metode ART 2 Dataset Tahun 2014....... 87 Gambar 4.21 Grafik Nilai Silhouette Index Metode ART 2 Dataset Tahun 2014 ......................................................................................... 88 Gambar 4.22 Grafik Jumlah Cluster Metode ART 2 Dataset Tahun 2014 .......... 88 Gambar 4.23 Antarmuka Metode SOM Dataset Tahun 2014 .............................. 91 Gambar 4.24 Grafik Cluster Frequency-Recency Metode SOM Dataset Tahun 2014 ......................................................................................... 92 Gambar 4.25 Grafik Cluster Monetary-Recency Metode SOM Dataset Tahun 2014 ......................................................................................... 92 Gambar 4.26 Grafik Cluster Monetary-Frequency Metode SOM Dataset Tahun 2014 ......................................................................................... 93 Gambar 4.27 Antarmuka Metode ART 2 Dataset Tahun 2014 ............................ 96 Gambar 4.28 Grafik Cluster Frequency-Recency Metode ART 2 Dataset Tahun 2014 ......................................................................................... 97 Gambar 4.29 Grafik Cluster Monetary-Recency Metode ART 2 Dataset Tahun 2014 ......................................................................................... 97 Gambar 4.30 Grafik Cluster Monetary-Frequency Metode ART 2 Dataset Tahun 2014 ......................................................................................... 98
xv
