PENDEKATAN METODE FEATURE EXTRACTION DENGAN ALGORITMA NAÏVE BAYES

Konferensi Nasional Ilmu Sosial & Teknologi (KNiST) Maret 2017, pp. 19~24

19

PENDEKATAN METODE FEATURE EXTRACTION DENGAN ALGORITMA NAÏVE BAYES Riski Annisa AMIK BSI Pontianak e-mail: [email protected] Abstrak Feature adalah alat ukur proses yang sedang diamati. Menggunakan seperangkat feature, setiap algoritma pembelajaran dapat melakukan proses klasifikasi. Penelitian ini akan melakukan pendekatan metode feature extraction. Dengan metode principal componen analysis (PCA), independent component analysis (ICA), dan self organizing map (SOM) dengan algoritma klasifikasi Naïve Bayes. Pendekatan feature extraction yang diusulkan bertujuan untuk mengatasi masalah yang timbul dari klasifikasi Naïve Bayes dengan mengukur kinerja pengurangan dimensi algoritma klasifikasi Naïve Bayes menggunakan dataset heart disease for male. Untuk validasi menggunakan 10-fold cross validation. Hasil pengukuran algoritma dengan membandingkan accuracy dan tingkat error dari ketiga metode yang digabung dengan algoritma Naïve Bayes. Metode feature extraction dan Naïve Bayes tersebut dimanfaatkan sebagai pendekatan klasifikasi dan perbandingan yang dibuat diukur dengan membandingkan accuracy dari ketiganya. Hasil penelitian didapatkan dari Confusion Matrix untuk mendapatkan nilai accuracy, sensitivity/recall, specitifity, FPrate, precision, F measure, dan G-mean. Hasilnya didapatlah nilai accuracy dan tingkat error yang menunjukkan metode feature extraction ICA lebih baik kinerja pengurangan dimensinya diimplementasikan menggunakan Naïve Bayes dibandingkan PCA dan SOM yaitu sebesar 69.84%. Keywords: Feature Extraction, Naïve Bayes, PCA, ICA, SOM

1. Pendahuluan Feature adalah alat ukur proses yang sedang diamati. Menggunakan seperangkat feature, setiap algoritma pembelajaran dapat melakukan proses klasifikasi. Dalam beberapa tahun terakhir dalam aplikasi pembelajaran algoritma atau pengenalan pola, domain feature telah diperluas dari puluhan hingga ratusan variabel atau feature yang digunakan dalam aplikasi tersebut. Beberapa teknik yang dikembangkan untuk mengatasi masalah mengurangi variabel yang tidak relevan dan berlebihan yang merupakan tugas menantang (Chandrashekar & Sahin, 2014). Ada dua pendekatan utama untuk pengurangan dimensi: feature extraction dan feature selection (Bonev, Escolano, & Cazorla, 2008). Feature extraction merupakan masalah penting dalam klasifikasi data dengan dimensi besar. Tujuan dari feature extraction adalah untuk menghasilkan satu set fitur yang memiliki dimensi lebih kecil dari dimensi dari data asli, sementara untuk tetap mempertahankan karakteristik data asli yang cukup untuk mengklasifikasikan data (Park & Choi, 2009). Metode feature extraction digambarkan dari dimensi data

yang tinggi ke ruang dimensi rendah dengan membangun ruang fitur baru. Saat ini, ada banyak metode ekstraksi fitur, seperti analisis komponen utama (PCA), non-linear dimensionality reduction (NLDR), independent component analysis (ICA), linear discriminant analysis (LDA), etc (Wang & Wei, 2016). Beberapa teknik klasifikasi yang telah diusukan dan meningkat selama beberapa tahun misalnya: Linear supervised classification yaitu: Rule-based classifier, Nearest-Neighbor classifier, Bayesian classifier, Principal Component Analysis (PCA), Decision Trees, Fisher discriminant analysis (FDA), Partial Least Squares (PLS); dan teknik non-linear classification yaitu: Artificial Neural Networks (ANN), Support Vector Machine (SVM), dan lainnya (Jing & Hou, 2015). Klasifikasi Naïve Bayes adalah klasifikasi probabilistik yang sederhana menerapkan teorema Bayes dengan asumsi independensi yang kuat (Li, Wu, & Ye, 2015) dan Principal Component Analysis dan Independent Component Analysis banyak digunakan adalah baik pengurangan dimensi dan alat diagnosis kesalahan. Selain diterapkan sebagai pengurangan dimensi,

Diterima 28 Februari 2017; Revisi 07 Maret 2017; Disetujui 15 Maret 2017

ISBN: 978-602-61242-0-3 juga diterapkan untuk kesalahan klasifikasi (Jing & Hou, 2015)(Cai, Tian, & Chen, 2014). Penelitian ini akan melakukan pendekatan metode feature extraction. Dengan metode principal componen analysis (PCA), independent component analysis (ICA), dan self organizing map (SOM) dengan algoritma klasifikasi Naïve Bayes. Metode feature extraction dan Naïve Bayes tersebut dimanfaatkan sebagai pendekatan klasifikasi dan perbandingan yang dibuat diukur dengan membandingkan accuracy dari ketiganya. Paper ini disusun dengan urutan sebagai berikut: Pada bagian 2, menjelaskan metode penelitian yang diusulkan akan dipaparkan. Selanjutnya pada bagian 3 akan menyajikan pembahasan. Kemudian pada bagian akhir bagian 4 akan disampaikan kesimpulan dari penelitian yang dilakukan. 2. Metode Penelitian Penelitian ini membahas performa salah satu teknik feature extraction yaitu PCA dengan algoritma klasifikasi Naïve Bayes. Dalam penelitian ini menerapkan tiga aturan pengurangan dimensi algoritma klasifikasi Naïve Bayes, yaitu (NB + PCA), (NB + ICA), dan (NB + SOM). Karena pendekatan feature extraction yang diusulkan bertujuan untuk mengatasi masalah yang timbul dari klasifikasi Naïve Bayes. Naïve Bayes didasarkan pada teorema Bayes. Oleh karena itu, meninjau teorema Bayes dan kemudian menggambarkan klasifikasi. List dari paket software data mining yang mendukung pembelajaran klasifikasi Naïve Bayes tersedia. Beberapa aplikasi klasifikasi Naïve Bayes tersedia dengan referensi (Brown, 2014). Teorema Bayes berasal dari persamaan: ( | ) ( ) ( )

( | )

Klasifikasi Naïve Bayes memperkirakan persamaan probabilitas berikut: ( ) ( | ) Keterangan: n , total nomor dari point data pada data set training ny , nomor dari point data target class y ny&xi , nomor dari point data dengan target class y KNiST, 30 Maret 2017

i , variabel atribut yang mengambil nilai dari xi PCA adalah teknik pengurangan variabel. Hal ini digunakan ketika variabel yang sangat berkorelasi. Hal ini mengurangi jumlah variabel yang diamati untuk sejumlah kecil komponen utama yang menjelaskan sebagian dari varians dari variabel yang diamati. Ini adalah prosedur sampel yang besar. Jumlah total varians dalam PCA adalah sama dengan jumlah variabel yang diamati dianalisis. Dalam PCA, mengamati variabel yang standar, misalnya, mean = 0, standar deviasi = 1, diagonal dari matriks sama dengan 1. jumlah perbedaan dijelaskan sama dengan jejak matriks (jumlah dari diagonal dari korelasi membusuk matriks). Jumlah komponen diekstraksi adalah sama dengan jumlah variabel yang diamati dalam analisis (Chandrashekar & Sahin, 2014). Konsep sentral dari PCA adalah untuk menurunkan dimensi dari dataset yang memiliki berbagai variabel yang saling terkait sementara tetap variasi di dalamnya sebanyak mungkin. Ini membangun yang disebut pemuatan vektor terdiri dari sekelompok vektor orthogonal. vektor ini diurutkan menurut nilai varians. Mempertimbangkan n × m dataset training (n observasi dan variabel pengamatan m) dan susun nilai tersebut ke matriks X, maka pemuatan vektor dihitung melalui dekomposisi eigenvalue.

mxm

Dimana V ∈ R adalah matriks kesatuan, dan Λ adalah matriks diagonal utama yang diurutkan berdasarkan besarnya penurunan nilai eigen nyata non negatif di sepanjang diagonal utamanya, (yaitu, λ1 ≥ λ2 ... ≥ λm ≥ 0) dan unsur-unsur sisa diagonal utama adalah nol. Vektor-vektor kolom dalam matriks V ortogonal, dan vektor dalam matriks yang diberi nama pemuatan vektor, th λi adalah i nilai karakteristik dari dataset 2 pelatihan. Statistik T dapat digunakan untuk mendeteksi kesalahan untuk proses data yang berhubungan antara dua variabel. T n×m Beranggapan bahwa Λ=Σ Σ , Σ∈R adalah terbalik, representasi PCA berikut digunakan 2 untuk menghitung statistik T secara langsung. ( ) 2

Statistik T untuk ruang dimensi yang lebih rendah harus dihitung sebagai berikut:

20

ISBN: 978-602-61242-0-3

Dimana P terdiri dari nilai-nilai singular terbesar, Σα mengandung baris pertama dari 2 Σ. Statistik T berasal dari: (

)( (

) )

( (

))

Dimana α adalah tingkat signifikan (Jing & Hou, 2015). SOM adalah salah satu model jaringan saraf yang paling populer untuk belajar tanpa pengawasan. kelompok SOM contoh data yang sama ke dalam 2D atau 3D kisi, yaitu, peta output. Di sisi lain, contoh data yang berbeda akan terpisah dalam peta output. Selain itu, beberapa sifat ruang input penting dapat disimpulkan dari itu peta keluaran. Algoritma SOM secara singkat dijelaskan n dalam apa yang berikut. Misalkan X ϵ R data manifold n-dimensi (De la Hoz, De La Hoz, Ortiz, Ortega, & Prieto, 2015). Peta SOM terdiri dari unit d, masing-masing diwakili oleh ωi model vektor n-dimensi. Untuk setiap input data misalnya v, Best Matching Unit (BMU) didefinisikan sebagai unit ωi terdekat v:

faktor tersembunyi yang mendasari satu set variabel acak. Dibandingkan dengan analisis komponen utama yang mencoba untuk mengubah Ulasan variabel ini menjadi satu set variabel berkorelasi, ICA mencoba untuk mengubah mereka menjadi variabel baru yang saling independen atau sebagai independen mungkin satu sama lain. Oleh karena itu teknik yang lebih kuat yang telah Banyak digunakan dalam memecahkan berbagai masalah klasifikasi, misalnya analisis microarray data dan klasifikasi EKG beat (Fan, Poh, & Zhou, 2009). Untuk mengukur kinerja pengurangan dimensi algoritma klasifikasi Naïve Bayes dengan menggunakan dataset heart disease for male. Untuk validasi menggunakan 10fold cross validation. Hasil pengukuran algoritma dengan membandingkan accuracy ketiga metode yang digabung dengan algoritma Naïve Bayes. Partisi Dataset Validation - 1 Validation - 2 Validation - 3 Validation - 4 Validation - 5

∈

Validation - 6

Dimana adalah jarak Euclidean dan X adalah dataset pelatihan. Setelah BMU ditentukan untuk iterasi saat ini, vektor Model diperbarui sesuai dengan aturan:

Validation - 7 Validation - 8 Validation - 9 Validation - 10

(

)

( )

( ) ( )(

( )) Gambar 1. Stratified 10 Fold Cross Validation

dimana α(t) adalah tingkat pembelajaran dan hi(t) adalah fungsi yang mendefinisikan lingkungan sekitar ωi BMU. Biasanya, α(t) berkurang menyusul aturan peluruhan eksponensial dan hi adalah teknik Gaussian yang lebar menyusut dalam waktu (iterasi). SOM telah diinisialisasi linear sebagai berikut untuk menghindari efek acak. Linear SOM prototipe inisialisasi bertujuan untuk mengakomodasi nilai-nilai eigen data training dan vektor eigen. Metode inisialisasi ini menyiratkan bahwa dimensi pertama dari prototipe diatur secara proporsional ke komponen utama pertama dan bahwa dimensi kedua diatur proporsional untuk komponen utama kedua (De la Hoz et al., 2015). Independent Component Analysis (ICA) adalah yang teknik multivariate statistical yang relatif baru untuk menemukan faktor-

KNiST, 30 Maret 2017

Proses pengujian metode dimulai dari pembagian dataset dengan metode 10-fold cross validation yang membagi dataset menjadi dua yaitu data training dan data testing. Selanjutnya diterapkan tahapan evaluasi menggunakan Area Under Curve (AUC) untuk mengukur hasil akurasi dari performa model klasifikasi. Hasil akurasi dilihat menggunakan curva Receiver Operating Characteristic (ROC) dan hasil confusion matrix. ROC menghasilkan dua garis dengan bentuk true positive sebagai garis vertikal dan false positive sebagai garis horizontal. Pengukuran akurasi dengan confusion matrix dapat dilihat pada tabel berikut ini:

21

ISBN: 978-602-61242-0-3

Tabel 1. Confusion Matrix Actual True Actual False True False Predicted Positive Negative(FN) True (TP) False True Predicted Positive Negative False (FP) (TN) Formulasi berikut:

perhitungan

adalah

sebagai

Gambar 2. Model Penerapan Pendekatan Feature Extraction dengan Algoritma Naïve Bayes

√

Dalam pengklasifikasian data menggunakan AUC penjelasannya sebagai berikut: Tabel 2. Nilai AUC dan Keterangan Nilai AUC Klasifikasi excellent classification 0.90 - 1.00 good classification 0.80 - 0.90 fair classification 0.70 - 0.80 poor classification 0.60 - 0.70 failure 0.50 - 0.60 Hasil pengukuran algoritma dengan membandingkan accuracy ketiga metode yang digabung dengan algoritma Naïve Bayes. 3. Pembahasan Dalam eksperimen ini menggunakan dataset heart disease male. Dataset diambil dari UCI repository yang terdiri dari data numerik dan nominal.

KNiST, 30 Maret 2017

Metode yang diuji untuk pengurangan dimensi algoritma klasifikasi Naïve Bayes dengan principal component analysis (PCA), independent component analysis (ICA), dan self organizing map (SOM). Hasil eksperimen yang disajikan dalam confusion matrix untuk mendapatkan hasil accuracy, sensitivity/recall, specitifity, FPrate, precision, F measure, dan G-mean. Confusion matrix merupakan matrik 2 dimensi yang menggambarkan perbandingan antara hasil prediksi dengan kenyataan. 3.1. Naïve Bayes dan PCA Berikut ini tabel pengukuran menggunakan Confusion Matrix yang didapat dari algoritma Naïve Bayes dengan Metode Principal Component Analysis (PCA): Tabel 3. Confusion Matrix NB+PCA True False Pred. True 19 10 Pred. False 10 24 Dari tabel tersebut didapat perhitungan accuracy, sensitivity/recall, specitifity, FPrate, precision, F measure, dan G-mean.

22

ISBN: 978-602-61242-0-3 3.3. Naïve Bayes dan SOM Berikut ini tabel pengukuran menggunakan Confusion Matrix yang didapat dari algoritma Naïve Bayes dengan Metode Self Organizing Map (SOM): Tabel 5. Confusion Matrix NB+SOM True False Pred. True 11 5 Pred. False 18 29 Dari tabel tersebut sebagai berikut:

didapat

perhitungan

√

3.2. Naïve Bayes dan ICA Berikut ini tabel pengukuran menggunakan Confusion Matrix yang didapat dari algoritma Naïve Bayes dengan Metode Independent Component Analysis (PCA): Tabel 4. Confusion Matrix NB+ICA True False Pred. True 13 7 Pred. False 12 31 Dari tabel tersebut sebagai berikut:

didapat

perhitungan √

Berdasarkan perhitungan dari penggabungan ketiga metode dengan algoritma Naïve bayes, dapat dijabarkan dalam tabel berikut: Tabel 6. Hasil Perhitungan dari Confusion Matrix NB+PCA NB+ICA NB+SOM Accuracy Recall Spesificity FPrate Precision F-Measure √

KNiST, 30 Maret 2017

Dari tabel diatas menunjukkan hasil accuracy dan spesificity tertinggi pada metode NB+ICA, sedangkan nilai recall dan FPrate oleh metode NB+SOM, serta nilai precision dan f-measure oleh metode NB+PCA. Dikukur dari tingkat akurasinya maka metode

23

ISBN: 978-602-61242-0-3 ICA lebih baik dibanding PCA dan SOM pada Naïve Bayes. Jika kita bandingkan lagi dengan tingkat error masing-masing metode dengan Naïve Bayes maka didapatkan data sebagai berikut: Tabel 7. Tingkat Error masing-masing metode NB+PCA NB+ICA NB+SOM 0.3175 0.3016 0.3651 Dari data tabel diatas didapatkan hasil bahwa NB+ICA memiliki tingkat error yang jauh lebih kecil dari pada PCA dan SOM yaitu sebesar 0.3016. Semakin kecil implikasi error suatu metode maka metode tersebut semakin baik. Dari hasil perbandingan nilai accuracy tertingi sebesar 69.86% dan memiliki tingkat error terkecil maka kinerja pengurangan dimensinya akan semakin baik. 4. Simpulan Penelitian ini menggunakan dataset heart disease for male dengan mengkomparasi algoritma Naïve Bayes dengan metode feature extraction untuk mengukur kinerja pengurangan dimensi algoritma Naïve Bayes. Dengan menggunakan validasi 10-fold cross validation. Dengan menggunakan dataset untuk menguji metode feature extraction terbaik dengan algoritma Naïve Bayes. Menggunakan Confusion Matrix untuk mendapatkan nilai accuracy, sensitivity/recall, specitifity, FPrate, precision, F measure, dan G-mean. Hasil penelitian dengan menggunakan pengukuran accuracy dan tingkat error menunjukkan metode feature extraction ICA lebih baik kinerja pengurangan dimensinya diimplementasikan menggunakan Naïve Bayes dibandingkan PCA dan SOM yaitu sebesar 69.84%. Referensi Bonev, B., Escolano, F., & Cazorla, M. (2008). Feature selection, mutual information, and the classification of high-dimensional patterns: Applications to image classification and microarray data analysis. Pattern Analysis and Applications, 11(3–4), 309–319. https://doi.org/10.1007/s10044-0080107-0 Brown, M. S. (2014). (For Dummies) Meta S. Brown-Data Mining For Dummies-Wiley Publishing Inc. (2014).pdf. Retrieved

KNiST, 30 Maret 2017

from www.wiley.com Cai, L., Tian, X., & Chen, S. (2014). A process monitoring method based on noisy independent component analysis. Neurocomputing, 127, 231–246. https://doi.org/10.1016/j.neucom.2013.0 7.029 Chandrashekar, G., & Sahin, F. (2014). A survey on feature selection methods. Computers and Electrical Engineering, 40(1), 16–28. https://doi.org/10.1016/j.compeleceng.2 013.11.024 De la Hoz, E., De La Hoz, E., Ortiz, A., Ortega, J., & Prieto, B. (2015). PCA filtering and probabilistic SOM for network intrusion detection. Neurocomputing, 164, 71–81. https://doi.org/10.1016/j.neucom.2014.0 9.083 Fan, L., Poh, K. L., & Zhou, P. (2009). A sequential feature extraction approach for na??ve bayes classification of microarray data. Expert Systems with Applications, 36(6), 9919–9923. https://doi.org/10.1016/j.eswa.2009.01.0 75 Jing, C., & Hou, J. (2015). SVM and PCA based fault classification approaches for complicated industrial process. Neurocomputing, 167, 636–642. https://doi.org/10.1016/j.neucom.2015.0 3.082 Li, L., Wu, Y., & Ye, M. (2015). Experimental comparisons of multi-class classifiers. Informatica (Slovenia), 39(1), 71–85. Park, M. S., & Choi, J. Y. (2009). Theoretical analysis on feature extraction capability of class-augmented PCA. Pattern Recognition, 42(11), 2353–2362. https://doi.org/10.1016/j.patcog.2009.04. 011 Wang, S., & Wei, J. (2016). Feature selection based on measurement of ability to classify subproblems. Neurocomputing, (March), 0–1. https://doi.org/10.1016/j.neucom.2016.1 0.062

24