PENERAPAN ALGORITMA SVM BERBASIS PARTICLE SWARM OPTIMIZATION UNTUK SELEKSI ATRIBUT PADA TINGKAT PELAYANAN MARKETING TERHADAP LOYALITAS PELANGGAN KARTU KREDIT
Elin Panca Saputra AMIK BSI Jakarta Jl. RS Fatmawati No. 24 Jakarta (10440), Jakarta Selatan Indonesia
[email protected] Abstrak
Tingkat pelayanan dalam dunia perbankkan merupakan suatu keharusan untuk mencapai keberhasilan. Dalam mencari penilaian atribut dalam tingkat pelayanan relationship terhadap loyalitas pelanggan sangat penting untuk profitabilitas pelayanan. Peningkatan akurasi penilaian pelayanan dilakukan dengan cara melakukan seleksi atribut, karena seleksi atribut mengurangi dimensi dari data sehingga operasi algoritma data mining dapat berjalan lebih efektif. Banyak penelitian yang dilakukan untuk penentuan tingkat pelayanan. Salah satu metode paling banyak digunakan adalah metode support vector machine. penelitian ini akan digunakan metode support vector machine dan akan dilakukan seleksi atribut dengan menggunakan particle swarm optimization untuk penentuan tingkat pelayanan. Setelah pengujian hasil yang didapat adalah support vector machine menghasilkan nilai akurasi sebesar 92,25 %, nilai precision 95,98% dan nilai AUC sebesar 0,976% Kemudian dilakukan seleksi atribut menggunakan particle swarm optimization atribut yang berjumlah 8 variabel prediktor terpilih 2 atribut yang digunakan. Hasil menunjukkan nilai akurasi yang lebih tinggi yaitu sebesar 93,75%, nilai precision 93,91% dan nilai AUC sebesar 0,973%. Sehingga peningkatan akurasi sebesar 1,5 %, dan peningkatan AUC sebesar 0,006. Dengan nilai akurasi dan AUC, maka algoritma support vector machines berbasis particle swarm optimization masuk kategori klasifikasi sangat baik. Kata kunci: penilaian pelayanan, seleksi atribut, support vector machine, particle swarm optimization
I
PENDAHULUAN
Kartu kredit merupakan suatu fasilitas pembayaran yang lebih praktis dan efisien di bandingkan dengan uang kartal dan relatif aman. Mengingat kemudahan dan manfaat yang diberikan kartu kredit maka jumlah pemegang kartu kredit ini bertambah banyak, bahkan sebagian dari mereka memilikinya lebih dari satu dan dimana beranggapan bahwa kartu kredit merupakan
produk yang eksklusif memilikinya seolah olah tingkat status mereka meningkat (Siamat, 2001). Sedangkan menurut peraturan Bank Indonesia Nomer 7/52/PB/2005 tentang penyelenggaraan kegiatan alat pembayaran dengan menggunakan kartu, kartu kredit adalah alat pembayaran yang dapat digunakan untuk melakukan pembayaran atas kewajiban dari kegiatan ekonomi,
termasuk transaksi belanja dan atau tarik tunai, dimana kewajiban pembayaran pemegang kartu dipenuhi terlebih dahulu oleh penerbit dan pemegang kartu berkewajiban melunaisi pembayaran tersebut pada waktu yang telah disepakati, baik secara kontan maupun angsuran. Untuk menarik pelanggan baru sangat penting untuk sebuah pertemubuhan perbankan untuk membangun loyalitas pelanggan sebagai target untuk semua pelanggan setia karena lebih mudah menjual kepada pelanggan yang ada daripada menarik dan menjual yang baru. Pelanggan merupakan aset yang paling terpenting dalam setiap organisasi yang menganggap sebagai sumber utama dari keuntungan. (Hudaib Amjad & etc, 2015). Kredit macet dapat dihindari dengan cara melakukan analisa kredit yang akurat terhadap calon debitur (Bellotti & Crook, 2007). Tujuan utamanya adalah untuk memperoleh keyakinan bahwa debitur akan dapat memenuhi setiap kewajibannya dan memastikan kualitas kredit tetap lancar sampai berakhirnya perjanjian kredit. Keakuratan penilaian kredit sangat penting untuk profitabilitas lembaga keuangan (Gang, Jinxing, Jian & Hongbing, 2011). Penilaian kredit mengelompokkan para calon debitur menjadi dua jenis yaitu debitur baik dan debitur buruk. Debitur baik memiliki kemungkinan besar akan membayar kewajiban keuangannya dengan lancar, sedangkan debitur buruk memiliki kemungkinan besar mengalami kredit macet (Gang, Jinxing, Jian & Hongbing, 2011). Maka untuk meningkatkan pelayanan pelanggan terhadapa pemegang kartu kredit pada suatu perbankkan swasta penulis menggunakan particle swarm optimization. Dengan penerapan menggunakan algoritma Particle Swarm Optimization, algoritma tersebut dapat mengoptimasi stokastik meniru perilaku hewan, yang menunjukkan kinerja yang buruk ketika mengoptimalkan multimodel dan fungsi dimensi yang lebih tinggi (wang et al. 2009). Sehingga dengan selesksi atribut dalam dataset untuk mendapatkan data record dengan atribut yang relevan dan konsisten terhadapa hasil output / keluaran yang di inginkan serta dilakukan pemrosesan awal terdapat beberapa data transakasi untuk mengapus data atau record yang tidak konsisten, redudent dan missing value.
Penelitian terdahulu mengenai topik penilaian kredit telah banyak dilakukan seperti penelitian yang dilakukan oleh Tony Bellotti dan Jonathan Crook yang berjudul Support vector machines for credit scoring and discovery of significant features, menggunakan model Support Vector Machine (SVM), Logistic Regression (LR), Linear Discriminant Analysis (LDA) dan kNearest Neighbours (kNN) untuk penentuan kelayakan pemberian kredit dan menentukan fitur yang berpengaruh. Hasil menunjukkan bahwa metode Support Vector Machine (SVM) mengungguli ketiga metode lainnya dan dapat digunakan sebagai metode yang baik dalam seleksi fitur yang berpengaruh secara signifikan terhadap dasar keputusan kelayakan pemberian kredit dan juga sangat tepat dalam pengolahan data dengan jumlah besar (Bellotti & Crook, 2007). Penelitian selanjutnya dilakukan oleh Jianguo Zhou dan Tao Bai yang berjudul Credit risk assessment using rough set theory and GAbased SVM. Meneliti tentang penilaian resiko kredit dilakukan pengurangan terhadap fitur tanpa kehilangan informasi penting, setelah itu dilakukan optimasi terhadap parameter. Hasil menunjukkan bahwa optimasi dengan Genetic Algorithm Support Vector Machine (GA-SVM) menghasilkan akurasi yang lebih tinggi dibandingkan dengan model Discriminant analysis (DA), BP Neural networks (BPN) dan SVM standar (Jianguo & Tao, 2008). Genetic Algorithms pada Support Vector Machine (GA-SVM) adalah Algoritma genetik (GAs) menawarkan cara alami untuk mengatasi Masalah ini. Dalam penulisan ini menyajikan Algoritma Genetika khusus, yang terutama memperhitungkan ada batas pada kesalahan generalisasi untuk Vector Machines Support (SVMs). Pendekatan baru ini dibandingkan dengan metode tradisional melakukan validasi silang dan lain yang patut algoritma rexisting untuk seleksi fitur (Frohlich.,C & Bernhard, 2004) . Mengangkat permasalahan tentang tingkat pelayanan dalam industri kartu kredit. Pertama-tama dilakukan pemilihan fitur yang tepat dengan menggunakan principles component analysis (PCA), tahap kedua pelatihan dilakukan dengan menggunakan beberapa kernel yang berbeda dalam genetic algorithm untuk mengoptimalkan parameter. Tahap ketiga dilakukan pelatihan dengan menggunakan beberapa strategi ansambel. Hasil menunjukkan bahwa kinerja penilaian resiko kredit dengan menggunakan strategi
ansambel berbasis SVM lebih baik dari strategi SVM tunggal (Wei, Shenghu, Dongmei & Yanhui, 2010). Dengan kata lain dapat dikatakan hal ini SVM memiliki tingkat yang sangat baik pada klasifikasi dan prediksi dan secara luas digunakan pada suatu penelitian, SVM berfungsi dengan baik pada masalah klasifikasi dua kelompok. Penelitian ini menggabungkan pilihan fitur dan SVM rekursif fitur eliminasi (SVM-RFE) untuk menyelidiki akurasi klasifikasi masalah multiclass (Mei-Ling Huang, etc, 2015). Seleksi fitur adalah langkah untuk memilih dan mendapatkan informasi yang lebih berharga dari data dengan fitur yang besar. Atribut dan informasi yang berlebihan yang dimasukkan kedalam model penilaian kredit mengakibatkan banyaknya waktu dan biaya yang dikorbankan bahkan akan mengurangi tingkat akurasi dan kompleksitas yang lebih tinggi. Untuk itu diperlukan metode seleksi atribut pada data set dengan jumlah atribut yang besar untuk meningkatkan hasil akurasi (Ping, 2009). Particle swarm optimization (PSO) merupakan algoritma yang memiliki kecepatan dan posisi partikel swarm yang telah diperbarui setelah dievaluasi dalam suatu kinerja. Algoritma ini juga dikenal sebagai sinkron PSO. Kekuatan metode terbaru ini adalah dalam eksploitasi informasi. PSO memiliki kecepatan dan posisi kinerja yang telah dievaluasi. Oleh karena itu, pada partikel ini diperbarui menggunakan informasi parsial, yang menyebabkan eksplorasi atau akurasi yang lebih kuat (Nor Azlina Ab Aziz, 2014). Particle swarm optimization dapat digunakan sebagai teknik optimasi untuk mengoptimalkan subset fitur dan parameter secara bersamaan (Yun, Qiu-yan & Hua, 2011). Algoritma PSO sederhana dan memiliki kompleksitas yang lebih rendah. sehingga dapat memastikan solusi optimal dengan menyesuaikan pencarian global dan lokal, sehingga kinerja klasifikasi SVM dapat ditingkatkan (Yun, Qiu-yan & Hua, 2011). Melihat kemampuan dari metode Particle swarm optimization (PSO) tersebut, maka pada penelitian ini metode Particle swarm optimization (PSO) akan diterapkan untuk seleksi atribut dalam penentuan penilaian kredit sehingga akan diperoleh peningkatan akurasi.
II. PEMBAHASAN Tinjauan Pustaka 1. Penilaian Terhadap Pelayanan Marketing Terhadap Loyalitas Pelangkan Kartu Kredit Tingginya sebuah persaingan perbankkan menuntut perusahaan termasuk jasa komunikasi untuk selalu memperhatikan kebutuhan dan keinginan para pelanggan serta dapat memenuhi harapan mereka dengan cara yang lebih memuaskan dari pada yang dilakukan para pesaing perbankan. Berdasarkan permasalahan tersebut maka perlu diketahui Bagaimana Pengaruh Kualitas Pelayanan terhadap Kepuasan dan Loyalitas Pelanggan kartu kredit. Proses seleksi fitur dapat dianggap sebagai masalah optimasi kombinatorial secara global, yang mengurangi jumlah fitur, menghilangkan yang tidak relevan, dan berlebihan data, dan hasil dalam akurasi klasifikasi yang diterima. Fitur seleksi sangat penting dalam klasifikasi pola, pengolahan data pada aplikasi data mining. Oleh karena itu, metode seleksi fitur yang baik berdasarkan jumlah fitur diseleksi untuk klasifikasi sampel yang dibutuhkan untuk mempercepat laju pengolahan, akurasi prediksi, dan untuk menghindari kesalahan. Dalam tulisan ini, Particle swarm optimization (PSO) yang digunakan untuk mengimplementasikan pilihan fitur, dan mendukung (SVM) dengan metode satuversus-sisa berfungsi sebagai fungsi dari PSO untuk masalah klasifikasi. Metode yang diusulkan diterapkan untuk memecahkan masalah klasifikasi dari literatur. Hasil percobaan menunjukkan bahwa metode yang di gunakan menyederhanakan fitur secara efektif dan memperoleh akurasi klasifikasi yang lebih tinggi dibandingkan dengan metode seleksi fitur lainnya (Chung-Jui Tu, 2007). 2. Data Mining Menurut Gartner Group data mining adalah suatu proses menemukan hubungan yang berarti, pola, dan kecenderungan dengan memeriksa dalam sekumpulan besar data yang tersimpan dalam penyimpanan dengan menggunakan teknik pengenalan pola seperti teknik statistik dan matematika (Larose, 2006). Sedangkan menurut Cortez Data mining adalah suatu istilah yang digunakan untuk menemukan pengetahuan yang
tersembunyi di dalam basis data. Data Mining yang bertujuan untuk penggalian tinggi tingkat pengetahuan dari data mentah, menawarkan alat otomatis menarik yang dapat membantu (Cortez, P., S., & Goncalves. 2008). 3. Klasifikasi Klasifikasi adalah suatu proses yang menempatkan obyek atau konsep tertentu kedalam satu set kategori, berdasarkan sifat obyek atau konsep yang bersangkutan (Gorunescu, 2011). Metode klasifikasi ditujukan untuk pembelajaran fungsi-fungsi berbeda yang memetakan masing-masing data terpilih kedalam salah satu Dari sebuah kelompok kelas yang telah ditetapkan sebelumnya. Dari pembelajaran tersebut, metode klasifikasi dapat secara otomatis dapat memprediksi kelas dari data lain yang belum diklasifikasikan (Olson & Shi, 2008). Proses klasifikasi didasarkan pada komponen (Gorunescu, 2011):
6. Algoritma Particle Swarm Optimization Algoritma PSO pertama kali diusulkan oleh Kennedy dan Eberhart pada tahun 1995. Particle swarm optimization (PSO) dapat diasumsikan dengan sekelompok burung yang secara acak mencari makanan di suatu daerah. Hanya ada satu potong makanan di daerah yang dicari tersebut. Burung-burung tidak tahu di mana makanan tersebut. Tapi mereka tahu seberapa jauh makanan tersebut dan posisi rekan-rekan mereka. Jadi strategi terbaik. untuk menemukan makanan adalah dengan mengikuti burung yang terdekat dari makanan (Abraham, Grosan & Ramos, 2006). Evaluate Particles : Set the Best Particle
Is Thetermination Condition Satisfied
Yes
Select Best Particle
No Print the Results
Generate Initial Particles Calculate Particle Velocities
Update Particle Positions
Update the Best Particle
4. Algoritma Support Vector Machine Support Vector Machine (SVM) diperkenalkan oleh Vapnik, Boser dan Guyon pada tahun 1992. SVM merupakan salah satu teknik yang relatif baru dibandingkan dengan teknik lain, tetapi memiliki performansi yang lebih baik berdasarkan metode dengan keterlibatan beberapa kernel yang menyangkut beberapa bidang untuk menunjukkan peningkatan (patel & Gond, 2014). 5. Seleksi Atribut Proses data mining membutuhkan biaya komputasi yang tinggi ketika berhadapan dengan kumpulan data dalam jumlah besar. Mengurangi dimensi yaitu jumlah atribut set data atau kelompok atribut, secara efektif dapat memotong biaya tersebut. Pengurangan dimensi tersebut dilakukan dengan menekan seminimal mungkin kerugian yang dapat terjadi akibat kehilangan sebagian informasi. Tujuan pengurangan dimensi dalam domain data mining adalah untuk mengidentifikasi biaya terkecil di mana algoritma data mining dapat menjaga tingkat kesalahan di bawah perbatasan garis efisiensi.
(Abraham, Grosan & Ramos, 2006) Gambar 2.1 Struktur dasar PSO 7. Pengujian K-Fold Cross Validation Cross Validation adalah teknik validasi dengan membagi data secara acak kedalam k bagian dan masing-masing bagian akan dilakukan proses klasifikasi (Han & Kamber, 2006). Dengan menggunakan cross validation akan dilakukan percobaan sebanyak k. Data yang digunakan dalam percobaan ini adalah data training untuk mencari nilai error rate secara keseluruhan. Secara umum pengujian nilai k dilakukan sebanyak 10 kali untuk memperkirakan akurasi estimasi. Dalam penelitian ini nilai k yang digunakan berjumlah 10 atau 10-fold Cross Validation. tiap percobaan akan menggunakan satu data testing dan k-1 bagian akan menjadi data training, kemudian data testing itu akan ditukar dengan satu buah data training sehingga untuk tiap percobaan akan didapatkan data testing yang berbeda-beda. 8. Evaluasi dan Hasil Validasi a. Confusion matrix Confusion matrix memberikan keputusan yang diperoleh dalam traning dan
testing, confusion matrix memberikan penilaian secara baik dalam klasifikasi berdasarkan objek dengan benar atau salah (Gorunescu, 2011). Table2.1
Sumber : (Gorunescu, 2011) b. Kurva ROC Dengan kurva ROC, kita dapat melihat trade off antara tingkat dimana suatu model dapat mengenali tuple positif secara akurat dan tingkat dimana model tersebut salah mengenali tuple negatif sebagai tuple positif. Sebuah grafik ROC adalah plot dua dimensi dengan proporsi positif salah (fp) pada sumbu X dan proporsi positif benar (tp) pada sumbu Y. Titik (0,1) merupakan klasifikasi yang sempurna terhadap semua kasus positif dan kasus negatif. Nilai positif salah adalah tidak ada (fp = 0) dan nilai positif benar adalah tinggi (tp = 1). Titik (0,0) adalah klasifikasi yang memprediksi setiap kasus menjadi negatif {-1}, dan titik (1,1) adalah klasifikasi yang memprediksi setiap kasus menjadi positif {1}. Grafik ROC menggambarkan trade-off antara manfaat (true positive) dan biaya (false positives). Berikut tampilan dua jenis kurva ROC (discrete dan continous). 8. Tinjauan Studi Penelitian yang dilakukan oleh Yun Ling, Qiu-yan Cao, Hua Zhang (2011) yang berjudul Application of the PSO-SVM model for Credit Scoring) untuk model menentukan tingkat akurasi pada kredit dengan membandingkan beberapa algoritma yaitu PSO + SVM, GA + SVM, LDA + SVM, RST + SVM, DT + SVM, Grid Search + SVM. Dari hasil komparasi tersebut maka PSO + SVM memiliki akurasi lebih tinggi dari pada algoritma yang lain yaitu dengan tingkat akurasi sebesar 87,10%. Berdasarkan penelitian tersebut diatas dapat disimpulkan bahwa algoritma Support Vector Machine telah banyak digunakan dan menunjukkan hasil yang lebih baik dari beberapa metode. Maka pada penelitian ini akan digunakan Particle swarm optimization (PSO) untuk seleksi atribut dalam penentuan penilaian kredit,
sehingga diperoleh nilai akurasi yang sangat baik. 9. Kerangka Pemikiran Kerangka pemikiran pada penelitian ini terdiri dari beberapa tahap seperti terlihat pada Gambar 2.2. Permasalahan pada penelitian ini adalah banyaknya atribut sehingga akan mengurangi akurasi dan menambah kompleksitas dari algoritma Support Vector Machine. Untuk itu Particle Swarm Optimization untuk memecahkan permasalahan tersebut. Particle Swarm Optimization based Support Vector Machine for Grain Prediction INDICATORS
PROPOSED METHOD
OBJECTIVES
MEASUREMENT
Data Koperasi Indonesia Power 2012
Population
Feature Selection Particle Swarm Optimization
Confusion, Materix Model Accuracy
C Prediction Algoritma
Support Vecyor Machine
ROC Curve (AUC)
Ɛ Observed Variables
PSO Based Support Vector Machine Model
Gambar 2.1 Kerangka Pemikiran Pada penelitian ini, data set yang di gunakan adalah data pemegang kartu kredit bank bumi putera yang bersifat rentet yang saat ini bank tersebut sudah di akuisisi oleh MNC Group sedangkan metode yang di usulkan adalah menggunakan metode Support Vector Machine, dinama pada proses pemilihan (optimisasi) parameternya di bantu oleh algoritma Particle Swarm Optimization. Indikator yang diobservasi adalah nilai population dan generation pada Particle Swarm Optimization, serta kernel type dan iteration pada Support Vector Machine. Tujuan (Objectives) pada penelitian ini adalah adanya peningkatan akurasi pada model, dimana pengukuran peningkatan akurasi akan menggunakan confusion materix dan AUC. III. METODE PENELITIAN 1. Desain Penelitian Penelitian adalah kegiatan pemecahan masalah yang sistematis, yang dilakukan
Observed Variables
dengan perhatian dan kepedulian dalam konteks situasi yang dihadapi (Berndtsson et al., 2008). Sedangkan menurut (Dawson, 2009) Penelitian adalah mencari melalui proses yang metodis untuk menambahkan pengetahuan itu sendiri dan dengan yang lainnya, oleh penemuan fakta dan wawasan tidak biasa. Pengertian lainnya, penelitian adalah sebuah kegiatan yang bertujuan untuk membuat kontribusi orisinal terhadap ilmu pengetahuan. 2. Pengumpulan Data Dalam penelitian ini, data yang diperoleh adalah dengan menggunakan kuisioner yang diperoleh dari pemegang kartu kredit Bank ICB Bumi Putera. Data bank ini merupakan data internal karena data tersebut hanya di publikasikan bagi anggota kartu kredit saja. Penggunaan data - data Bank ICB Bumi Putera dalam hal penelitian hanya dapat di pergunakan bagi peneliti yang hanya dapat diberikan izin dari perusahaan data Bank ICB Bumi Putera tersebut. Masalah yang harus di pecahkan disini adalah tingkat pelayanan marketing terhadap loyalitas pada data Bank ICB Bumi Putera dari 400 data data Bank ICB Bumi Putera, 231 yang di identifikasikan sebagai pemegang kartu kredit yang memiliki loyalitas yang yang baik terhadap marketing sedang 144 anggota merupakan pemegang kartu kredit yang buruk terhadap loyalitas terhadap marketing. Terdiri dari 8 atribut. Variable tersebut ada yang tergolong variabel prediktor atau pemrediksi yaitu variabel yang dijadikan sebagai penentu hasil penilaian kredit, dan variable tujuan yaitu varibale yang di jadikan sebagai hasil preidksi, adapun variable prediktor yaitu berikut pada gambar 3.1.
3. Pengolahan Awal Data Jumlah data awal yang diperoleh dari pengumpulan data yaitu sebanyak 400 data, namun tidak semua data dapat digunakan dan tidak semua atribut digunakan karena harus melalui beberapa tahap pengolahan awal data (preparation data). Untuk mendapatkan data yang valid dan memiliki kualitas, beberapa teknik yang dilakukan sebagai berikut : Tabel 3.2 Tabel atribut yang digunakan
4. Model yang Diusulkan Model yang diusulkan pada penelitian ini adalah menggunakan algoritma support vector machine dan algoritma support vector machine berbasis particle swarm optimization, yang terlihat pada gambar 3.1
Sumber : Hasil Pemetaan, 2010
Gambar 3.1 Model yang diusulkan
Pada Gambar 3.1. menunjukan proses yang dilakukan dalam Tahap modeling untuk menyelesaikan penentuan penilaian kredit dengan menggunakan dua metode yaitu algoritma support vector machine dan algoritma particle swarm optimization. 5. Eksperimen dan Pengujian Metode
2. Metode Support Vector Machine berbasis Particle Swarm Optimization Berikut adalah gambar pengujian algoritma Support Vector Machine berbasis Particle Swarm Optimization menggunakan metode K-Fold Cross Validation yaitu dengan menggunakan_RapidMiner.
Pada penelitian kali ini yang digunakan adalah penelitian Ekperiment. Penelitian eksperimen melibatkan penyelidikan hubungan kausal menggunakan tes dikendalikan oleh si peneliti itu sendiri. Dalam penelitian eksperimen digunakan spesifikasi perangkat lunak dan perangkat keras sebagai alat bantu dalam penelitian pada Tabel 3.3: Tabel 3.3 Spesifikasi Perangkat Lunak dan Perangkat Keras
IV. HASIL PENELITIAN DAN PEMBAHASAN Eksperimen dan Pengujian Metode 1. Metode Support Vector Machine Berikut adalah gambar pengujian algoritma Support Vector Machine menggunakan metode K-Fold Cross Validation dengan menggunakan RapidMiner :
Gambar 4.1 Pengujian K-Fold Cross Validation algoritma Support Vector Machine
Gambar 4.2. Pengujian K-Fold Cross Validation algoritma Support Vector Machine berbasis PSO 3. Hasil Pengujian Metode Support Vector Machin Confusion Matrix Table 4.1 Hasil Confusion Untuk Metode Suport Vector Machine
Jumlah True Positive (TP) adalah 236 diklasifikasikan sebagai 1 sesuai dengan prediksi yang dilakukan dengan metode Support Vector Machine, lalu False Negative (FN) sebanyak 25 data diprediksi sebagai 1 tetapi ternyata 2, kemudian True Negative (TN) sebanyak 133 data sebagai 2 sesuai dengan prediksi, dan False Positive (FP) sebanyak 6 data diprediksi 2 ternyata 1. Tingkat akurasi yang dihasilkan dengan menggunakan algoritma support vector machine adalah sebesar 92,25%, dan dapat dihitung untuk mencari nilai
accuracy, sensitivity, specificity, ppv, dan npv pada persamaan dibawah ini:
Gambar 4.2 Kurva ROC dengan Metode Support Vector Machine 5. Hasil Pengujian Metode Support Vector Machine Berbasis Particle Swarm Optimization 1. Confusion Matrix Tabel 5.1. menunjukkan hasil dari confusion matrix metode support vector machine berbasis particle swarm optimization. Tabel 5.1 Hasil Confusion Matrix untuk Metode SVM berbasis PSO
Hasil perhitungan terlihat pada tabel 3.1 dibawah ini
Tabel 4.2 Nilai accuracy, sensitivity, specificity, ppv dan npv metode svm Jumlah True Positive (TP) adalah 231 diklasifikasikan sebagai 1 sesuai dengan prediksi yang dilakukan dengan metode Support Vector Machine berbasis PSO, lalu False Negative (FN) sebanyak 14 data diprediksi sebagai 1 tetapi
4. Kurva ROC Hasil perhitungan divisualisasikan dengan kurva ROC. Perbandingan kedua class bisa dilihat pada Gambar 4.1 yang merupakan kurva ROC untuk algoritma Support Vector Machines. Kurva ROC pada gambar 4.1 mengekspresikan confusion matrix dari tabel 4.2. Garis horizontal adalah false positives dan garis vertikal true positives. Menghasilkan nilai AUC (Area Under Curve) sebesar 0.967 dengan nilai akurasi klasifikasi sangat baik (excellent classification).
ternyata 2, kemudian True Negative (TN) sebanyak 144 data sebagai 2 sesuai dengan prediksi, dan False Positive (FP) sebanyak 11 data diprediksi 2 ternyata 1. Tingkat akurasi yang dihasilkan dengan menggunakan algoritma support vector machine berbasis PSO adalah sebesar 93.75%, dan dapat dihitung untuk mencari nilai accuracy, sensitivity, specificity, ppv, dan npv pada persamaan dibawah ini:
Hasil perhitungan terlihat pada tabel 5.1 dibawah ini:
Tabel 5.2 Nilai accuracy, sensitivity, specificity, ppv, dan npv metode svm berbasis PSO
Tabel 5.3 membandingkan accuracy dan AUC dari tiap metode. Terlihat bahwa nilai accuracy dan AUC Support Vector Machine berbasis Particle Swarm Optimization lebih tinggi dibandingkan Support Vector Machine tunggal. Penerapan Particle Swarm Optimization untuk seleksi atribut menghasilkan peningkatan akurasi sebesar 1.50% dan AUC sebesar 0.006. 8. Penerapan Algoritma Terpilih
6. Kurva ROC Hasil perhitungan divisualisasikan dengan kurva ROC. Perbandingan kedua class bisa dilihat pada Gambar 4.4 yang merupakan kurva ROC untuk algoritma Support Vector Machines berbasis PSO. Kurva ROC pada gambar 5.1 mengekspresikan confusion matrix dari tabel 5.2 Garis horizontal adalah false positives dan garis vertikal true positives. Menghasilkan nilai AUC (Area Under Curve) sebesar 0.973 dengan nilai akurasi klasifikasi sangat baik (excellent classification).
Dengan melihat hasil evaluasi dan validasi maka dapat diketahui bahwa algoritma SVM yang dioptimasi dengan Particle Swarm Optimization (PSO) memiliki akurasi dan performa terbaik. Dengan algoritma optimasi Particle Swarm Optimization (PSO) maka terjadi pembobotan terhadap attribute yang digunakan di dalam dataset. Pembobotan attribute bertujuan untuk dapat mengetahui attribute terbaik untuk digunakan didalam pengolahan data. Pada penelitian ini nilai pembobotan attribute yang digunakan adalah attribute yang memiliki nilai pembobotan lebih besar sama dengan 0.500. Maka attribute yang digunakan adalah komunikasi dengan nilai 0.990 dan awal Komitment dengan nilai 0.580. Tabel 5.3 Nilai Akurasi Support Vector Machine Berbasis Particle Swarm Optimization (PSO)
Gambar 5.1. Kurva ROC dengan Metode Support Vector Machine berbasis PSO 7. Analisa Evaluasi dan Validasi Model Hasil analisis dari metode algoritma Support Vector Machine dan Support Vector Machine berbasis Particle Swarm Optimization dirangkumkan dalam tabel dibawah ini. Tabel 5.3 Komparasi Nilai Accuracy dan AUC
Berdasarkan hasil evaluasi dan validasi, diketahui bahwa algoritma SVM yang dioptimasikan dengan Particle Swarm Optimization (PSO) memiliki akurasi dan performa terbaik, sehingga rule yang dihasilkan oleh algoritma SVM dioptimasi dengan Particle Swarm Optimization (PSO) dijadikan sebagai rule untuk pembuatan interface yang dapat memudahkan dalam penentuan pelayanan loyalitas pelanggan terhadap marketing. Interface yang digunakan dalam penelitian ini dibuat dengan menggunakan code igniter 3 berbasis web. Tampilan untuk Graphical user interface (GUI) sistem penunjang keputusan. dapat dilihat pada gambar 5.2.
Gambar 5.2 Graphical User Interface (GUI) Sistem Pengaruh Relationship Marketing Terhadap Loyalitas Pelanggan Dalam pembuatan Graphical user interface (GUI) sistem tingkat pelayanan relationship marketing terhadap loyalitas pelanggan ini di maksudkan untuk mengetahui apakah peminjam dapat di terima atau di tolak pada saat melakukan peminjaman. 9. Kesimpulan Dalam penelitian ini dilakukan pengujian model dengan menggunakan Support Vector Machine dan Support Vector Machine berbasis Particle Swarm Optimization dengan menggunakan data kuesioner pemegang kartu kredit sebanyak 400. Model yang dihasilkan diuji untuk mendapatkan nilai accuracy dan AUC dari setiap algoritma sehingga didapat pengujian dengan menggunakan support vector machine didapat nilai accuracy adalah 92.25 % dan nilai AUC adalah 0.976. Sedangkan pengujian dengan mengunakan support vector machine berbasis Particle Swarm Optimization dilakukan seleksi atribut. Dari 8 variabel prediktor dilakukan seleksi atribut sehingga menghasikan terpilihnya 2 atribut yang digunakan. didapatkan nilai accuracy 75.90% dan nilai AUC adalah 0.973% Maka dapat disimpulkan pengujian data pada PT. Bank ICB Bumi Putera Jakarta menggunakan support vector machine dan penerapan Particle Swarm Optimization dalam pemilihan atribut didapat bahwa metode tersebut lebih akurat dalam penentuan penilaian mencarari pengaruh relationship marketing terhadap pelanggan dibandingkan dengan metode support vector machine tunggal, ditandai dengan peningkatan nilai akurasi sebesar 1.50 % dan nilai AUC sebesar 0.006, dengan nilai tersebut masuk kedalam klasifikasi akurasi sangat baik (excellent classification).
Daftar Pustaka Abraham, A., Grosan, C., Ramos, V., (2006). Swarm Intelligence in Data Mining.Springer-Verlag Berlin Heidelberg. Bellotti dan Crook. (2008). Support vector machines for credit scoring and discovery of significant features. Expert Systems with Applications : An International Journal, 36, 3302-3308. Berndtsson et al. (eds). (2008). Thesis Projects – A Guide for Students in Computer Science and Information System 2nd Edition. Springer-Verlag London Limited, 2008. Chung-Jui., & etc. (2007). Feature Selection using PSO-SVM. IAENG International Journal of Computer Science, 33:1, IJCS_33_1_18. Cortez, P., S., & Goncalves. (2008). Using data mining to predict secondary school student performance. Proceedings of 5th Annual Future Business Technology Conference, ISBN 978-9077381-39-7. Dahlan Siamat. (2001). Manajemen Lembaga Keuangan. Jakarta : Lembaga Penerbit Fakultas Ekonomi Universitas Indonesia. Dawson, C. W. (2009). Projects in Computing and Information System A Student's Guide. England: AddisonWesley. Frohlich,H., & etc. (2004). Feature selection for support vector machines using genetic algorithms. International Journal on Artificial Intelligence Tools, 791-800. Gang, W., Jinxing, H., Jian, M., & Hongbing, J. (2011). A comparative assessment of ensemble learning for credit scoring. Expert Systems with Applications: An International Journal. 38, 223-230. Gorunescu, Florin. (2011). Data Mining: Concepts, Models, and Techniques. Verlag Berlin Heidelberg: Springer. Han, J., dan Kamber, M. (2006). Data Mining Concepts and technique. San Francisco: Diane Cerra. Hudaib Amjad., etc (2015). Hybrid Data Mining Models for Predicting Customer Churn. International Journal of Communications, Network and System Sciences. Vol.08 No.05. Jianguo, Z, dan Tao, B. (2008). Credit Risk Assessment using Rough Set Theory and GA-based SVM. The 3rd International Conference on Grid and Pervasive Computing, 320-325. Larose, D. T. (2005). Discovering Knowledge in Data. New Jersey: John Willey dan Sons, Inc. Mei-Ling Huang, & etc. (2014). SVM-RFE Based Feature Selection and Taguchi Parameters Optimization for Multiclass SVM Classifier. The Scientific World Journal. ISBN 795624. Nor Azlina Ab Aziz,. & etc. (2014). ASynchronous-Asynchronous ParticleSwarm Optimisation Algorithm. Universiti Teknologi Malaysia,81310 Johor Bahru,Malaysia. Patel & Gond.( 2014). Supervised Machine (SVM) Learning for Credit Card Fraud Detectio. International Journal of Engineering Trends and Technology (IJETT). Ping, Y. (2009). Feature selection based on SVM for credit scoring. International Conference on Computational Intelligence and Natural Computing. ISBN 2, 44-47. Wang, C., Zeng. (2009). Particle Swarm Optimization with group decision making. 2009 Ninth International Conference on Hybrid Intelligent Systems.
Wei Xu, & etc. (2010). A Support Vector Machine Based Method for Credit Risk Assessment. e-Business Engineering (ICEBE), 2010 IEEE 7th International Conference on. 978-0-7695-4227-0. Yun Ling,. & etc. (2011). Application of the PSO-SVM Model for Credit Scoring. Computational Intelligence and Security (CIS), 2011 Seventh International Conference on. ISBN 978-1-4577-2008-6. 15 febuari 2016. http://talkslab.github.io/metro-bootstrap/.
