PERBANDINGAN HASIL KLASIFIKASI ANALISIS DISKRIMINAN DAN JARINGAN SYARAF TIRUAN

TUGAS AKHIR - ST 1325

PERBANDINGAN HASIL KLASIFIKASI ANALISIS DISKRIMINAN DAN JARINGAN SYARAF TIRUAN ANANG SETIYO BUDI NRP 1303 100 060 Dosen Pembimbing Dra. Kartika Fitriasari, M.Si Adatul Mukarromah, S.Si JURUSAN STATISTIKA Fakultas Matematika Dan Ilmu Pengetahuan Alam Institut Teknologi Sepuluh Nopember Surabaya 2007

FINAL PROJECT - ST 1325

A COMPARISON OF CLASSIFICATION RESULT USING DISCRIMINANT ANALYSIS AND ARTIFICIAL NEURAL NETWORK ANANG SETIYO BUDI NRP 1303 100 060 Supervisors Dra. Kartika Fitriasari, M.Si Adatul Mukarromah, S.Si DEPARTMENT Of STATISTICS Faculty Of Mathematics And Science Sepuluh Nopember Institute Of Technology Surabaya 2007

LEMBAR PENGESAHAN PERBANDINGAN HASIL KLASIFIKASI ANALISIS DISKRIMINAN DAN JARINGAN SYARAF TIRUAN TUGAS AKHIR Diajukan Untuk Memenuhi Salah Satu Syarat Kelulusan Di Program Studi Strata Satu Statistika Fakultas Matematika Dan Ilmu Pengetahuan Alam Institut Teknologi Sepuluh Nopember Surabaya Oleh: ANANG SETIYO BUDI Nrp. 1303 100 060

Disetujui oleh Pembimbing Tugas Akhir : 1. Dra. Kartika Fitriasari, M.Si NIP. 132 061 809

(Pembimbing I)

2. Adatul Mukarromah, S.Si NIP. 132 306 303

(Pembimbing II)

Mengetahui, Ketua Jurusan Statistika FMIPA-ITS

Ir. Mutiah Salamah, Mkes NIP. 131 283 368 SURABAYA, JANUARI, 2007

PERBANDINGAN HASIL KLASIFIKASI ANALISIS DISKRIMINAN DAN JARINGAN SYARAF TIRUAN Nama Mahasiswa Nrp Jurusan Dosen Pembimbing Co-Pembimbing

: Anang Setiyo Budi : 1303 100 060 : Statistika FMIPA-ITS : Dra. Kartika Fitriasari, M.Si : Adatul Mukarromah, S.Si

Abstrak Seringkali ditemukan permasalahan untuk mengelompokkan beberapa objek ke dalam suatu kelompok atau grup berdasarkan variabel pembeda (prediktor). Analisis diskriminan linear dan kuadratik merupakan analisis multivariat yang dapat diterapkan untuk pengklasifikasian objek ke dalam 2 kelompok atau lebih berdasarkan variabel prediktor. Variabel prediktor yang digunakan pada analisis ini adalah interval-ratio sedangkan variabel responnya merupakan variabel yang nominal-ordinal. Analisis ini membutuhkan asumsi normal multivariat dan matrik varian-kovarian yang homogen. Dalam prakteknya, kedua asumsi ini tidak selalu dapat dipenuhi. Tidak terpenuhinya asumsi diatas dan ketepatan klasifikasi yang dihasilkan analisis diskriminan terkadang masih rendah sehingga memunculkan metode alternatif untuk memperbaiki kekurangan tersebut. Metode tersebut adalah jaringan syaraf tiruan dengan algoritma backpropagation dan radial basis function. Pada data kasus, asumsi matrik variankovarian tidak dapat dipenuhi sehingga metode yang dapat dipakai adalah bootstrap diskriminan, dengan metode bootstrap diskriminan linear dihasilkan ketepatan klasifikasi data training sebesar 71.55% dan 76.56% untuk bootstrap diskriminan kuadratik, sedangkan jaringan syaraf tiruan dengan algoritma backpropagation (11-1-1) dan radial basis function (11-128-1) menghasilkan ketepatan klasifikasi yang sama yaitu 69.53% untuk data training dan 68.75% untuk data testing. Simulasi model 1 untuk metode analisis diskriminan dan jaringan syaraf tiruan memberi-

iii

kan hasil ketepatan klasifikasi yang sama yaitu 100% pada data training maupun data testing, simulasi model 2 dengan analisis diskriminan didapatkan ketepatan klasifikasi data training sebesar 88.33%, sedangkan jaringan syaraf tiruan dengan algoritma pembelajaran backpropagation dan radial basis function memberikan ketepatan klasifikasi sebesar 92.50% dan 98.83%. Pada simulasi model 3 ketepatan klasifikasi tertinggi pada data training dihasilkan oleh metode radial basis function sebesar 100% dan ketepatan klasifikasi tertinggi pada data testing dihasilkan oleh algoritma pembelajaran backpro- pagation sebesar 43.33%. Kata kunci : Algoritma Pembelajaran Backpropagation; Analisis Diskriminan; Klasifikasi; Radial Basis Function.

iv

A COMPARISON OF CLASSIFICATION RESULT USING DISCRIMINANT ANALYSIS AND ARTIFICIAL NEURAL NETWORK Name Nrp Department Supervisor Co-Supervisor

: Anang Setiyo Budi : 1303 100 060 : Statistics FMIPA-ITS : Dra. Kartika Fitriasari, M.Si : Adatul Mukarromah, S.Si

Abstract Usually founded to classify several objects into groups based on a set of predictor variables. Linear and quadratic discriminant analysis are multivariet analysis can be applied to classify several objects into two groups or more based on a set of predictor variables. Type of predictor variables are interval and ratio and response variables are nominal-ordinal. In practice this methods require two assumptions, multivariet normal and variance homogenous. But in several cases, both assumptions can’t always be fulfilled. Unfulfilled these assumptions and accuracy of classification using discriminant analysis sometimes still lower, so the alternative methods are built to improve or repair the insuffiency. The alternative methods that used in this research are artificial neural network with backpropagation algorithm and radial basis function. In case study of Globe Lamp, assumption of variance homogenous can’t fulfilled, method which can be used is bootstrap discriminant analysis which give accuracy classification for training set is 71.56% and 76.56% for linear and quadratic methods, respectively, neural network with backpropagation (11-1-1) algorithm and radial basis function (11128-1) give same result for accuracy classification are 69.53% for training set and 68.75% for test set. Simulation model 1 for training set and test set, with analysis discriminant and artificial neural network give same result are 100%. Accuracy classification for simulation model 2 with analysis discriminant is

v

88.33% and backpropagation algorithm and radial basis function give accuracy of classification are 92.50% and 98,83%. In simulation model 3 the highest accuracy of classification for training set resulted by radial basis function is 100% but for test set resulted by backpropagation algorithm is 43.33%. Keywords : Backpropagation Algorithm; Classification; Discriminant Analysis; Radial Basis Function.

vi

KATA PENGANTAR Puji Syukur ke hadirat Allah SWT yang telah melimpahkan segala rahmat dan hidayah-Nya, sehingga atas ijinNya laporan Tugas Akhir yang berjudul “PERBANDINGAN HASIL KLASIFIKASI ANALISIS DISKRIMINAN DAN JARINGAN SYARAF TIRUAN “ dapat diselesaikan tepat pada waktunya. Penulis berharap laporan Tugas Akhir ini dapat memberikan sumbangan yang bermanfaat bagi masyarakat dan bagi penulis sendiri. Penulis menyadari bahwa dalam penulisan dan penyusunan laporan tugas akhir ini masih banyak kekurangan dan kelemahan, oleh karena itu penulis mengharapkan saran dan kritik yang membangun. Ucapan terima kasih ditujukan kepada : 1. Ibu Ir. Mutiah Salamah, M.Kes selaku ketua jurusan Statistika FMIPA ITS. 2. Ibu Dra. Kartika Fitriasari, M.Si, selaku dosen pembimbing, terima kasih atas arahan dan bimbingannya. 3. Ibu Adatul M, S.Si, selaku co-pembimbing tugas akhir saya 4. Ibu Vita Ratnasari, S.Si, M.Si, selaku koordinator tugas akhir jurusan Statistika-FMIPA ITS 5. Bapak Ir. Arie Kismanto,M.Sc selaku dosen wali. 6. Kedua orang tua dan saudara-saudaraku tercinta dan semua teman-teman jurusan Statistika angkatan 2003, yang telah memberi dukungan moril dan materiil serta doanya. For All My Friends jangan lupa 3B, belajar, bekerja dan beribadah Semoga Kesuksesan ada pada kita semua. Amin. 7. “Trio kwek-kwek”, mas Jati dan mas Dani, terima kasih atas sumbangan tenaga dan pikiran selama pembuatan tugas akhir ini. Surabaya, Januari 2007

Penulis

vii

DAFTAR ISI HALAMAN JUDUL.................................................................. i LEMBAR PENGESAHAN........................................................ ii ABSTRAK ................................................................................. iii ABSTRACT ............................................................................... v KATA PENGANTAR................................................................ vii DAFTAR ISI .............................................................................. viii DAFTAR GAMBAR ................................................................. xi DAFTAR TABEL ..................................................................... xii BAB I

PENDAHULUAN ....................................................... 1 1.1 Latar Belakang ...................................................... 1 1.2 Perumusan Masalah............................................... 3 1.3 Tujuan Penelitian................................................... 3 1.4 Manfaat Penelitian................................................. 3 1.5 Batasan Masalah.................................................... 4

BAB II TINJAUAN PUSTAKA .............................................. 5 2.1 Analisis Multivariat ............................................... 5 2.2 Analisis Diskriminan ............................................ 6 2.2.1 Analisis diskriminan linear........................... 9 2.2.2 Analisis diskriminan kuadratik..................... 11 2.3 Jaringan Syaraf Tiruan .......................................... 12 2.3.1 Karakteristik jaringan syaraf tiruan .............. 14 2.3.2 Algoritma pembelajaran backpropagation... 19 2.3.3 Radial basis function .................................... 24 2.3.4 Transformasi data ......................................... 27 2.4 Metode Bootstrap ................................................... 27 2.5 Kriteria Hasil Klasifikasi........................................ 29 BAB III METODOLOGI PENELITIAN.................................. 33 3.1 Sumber Data ........................................................ 33 3.2 Perbandingan Metode Pada Kasus Data Globe Lamp................................................... 33 3.2.1 Langkah-langkah pengelompokkan

viii

dengan analisis diskriminan.................... 34 3.2.2 Langkah-langkah pengelompokkan dengan algoritma pembelajaran backpropagation.................................... 34 3.2.3 Langkah-langkah pengelompokkan dengan radial basis function................... 34 3.3 Perbandingan Metode Pada Data Simulasi...... 35 3.3.1 Langkah-langkah pengelompokkan dengan analisis diskriminan..................... 35 3.3.2 Langkah-langkah pengelompokkan dengan algoritma pembelajaran backpropagation..................................... 35 3.3.3 Langkah-langkah pengelompokkan dengan radial basis function.................... 35 3.4 Tahapan Akhir .................................................. 36 BAB IV ANALISA DATA DAN PEMBAHASAN ................. 37 4.1 Data kasus Globe Lamp......................................... 37 4.1.1 Analisis diskriminan ..................................... 39 4.1.2 Algoritma pembelajaran backpropagation ... 40 4.1.3 Radial basis function .................................... 43 4.1.4 Perbandingan metode ................................... 44 4.2 Data simulasi .......................................................... 45 4.2.1 Simulasi model 1 ........................................... 45 4.2.1.1Analisis diskriminan .......................... 46 4.2.1.2 Algoritma pembelajaran backpropagation............................... 47 4.2.1.3 Radial basis function ........................ 47 4.2.2 Simulasi model 2 ........................................... 48 4.2.2.1 Analisis Diskriminan ........................ 48 4.2.2.2 Algoritma pembelajaran backpropagation............................... 49 4.2.2.3 Radial basis function ........................ 50 4.2.3 Simulasi model 3 ............................................ 50 4.2.3.1.Analisis diskriminan ........................... 51

ix

4.2.3.2 Algoritma pembelajaran backpropagation.................................... 51 4.2.3.3 Radial basis function .............................. 52 4.3 Perbandingan Metode.............................................. 52 4.4 Metode Bootstrap .................................................... 54 BAB V KESIMPULAN DAN SARAN ..................................... 59 5.1 Kesimpulan.............................................................. 59 5.2 Saran........................................................................ 59 DAFTAR PUSTAKA LAMPIRAN

x

DAFTAR GAMBAR Gambar 2.1 Jaringan Saraf Tiruan yang Sederhana ................... 13 Gambar 2.2 Jaringan Saraf dengan Lapisan Tunggal................. 15 Gambar 2.3 Jaringan Saraf dengan Banyak Lapisan .................. 15 Gambar 2.4 Fungsi Identitas....................................................... 17 Gambar 2.5 Fungsi Step Biner(Treshold)................................... 17 Gambar 2.6 Fungsi Sigmoid Biner ............................................. 18 Gambar 2.7 Fungsi Sigmoid Bipolar .......................................... 19 Gambar 2.8 Pemilihan Jumlah Node yang Optimal ................... 20 Gambar 2.9 Topologi Radial Basis Function Network .............. 24 Gambar 4.1 Pemetaan Kategori Ketepatan Klasifikasi Data Training.......................................................... 38 Gambar 4.2 Pemetaan Kategori Ketepatan Klasifikasi Data Testing............................................................ 38 Gambar 4.3 Pemilihan Jumlah Node Hidden ............................. 41 Gambar 4.4 Pemilihan Nilai Spread........................................... 44 Gambar 4.5 Plot Simulasi Model 1 ............................................ 45 Gambar 4.6 Pemilihan Jumlah Node Hidden ............................. 47 Gambar 4.7 Pemilihan Nilai Spread........................................... 48 Gambar 4.8 Plot Simulasi Model 2 ............................................ 48 Gambar 4.9 Pemilihan Jumlah Node Hidden ............................. 49 Gambar 4.10 Pemilihan Nilai Spread......................................... 50 Gambar 4.11 Plot Simulasi Model 3 .......................................... 50 Gambar 4.12 Pemilihan Jumlah Node Hidden ........................... 52 Gambar 4.13 Pemilihan Nilai Spread......................................... 52

xi

DAFTAR TABEL Tabel 2.1 Klasifikasi Actual dan Predicted Group .................... 30 Tabel 4.1 Pembagian Data Training dan Data Sampel............... 37 Tabel 4.2 Hasil Klasifikasi Analisis Diskriminan ...................... 40 Tabel 4.3 Hasil Klasifikasi Data Training Globe Lamp ............. 41 Tabel 4.4 Hasil Klasifikasi Data Testing Globe Lamp............... 42 Tabel 4.5 Nilai Bobot Awal dan Akhir ...................................... 43 Tabel 4.6 Perbandingan Hasil Klasifikasi untuk Data Globe Lamp ............................................. 44 Tabel 4.7 Pembagian Data Training dan Data Testing............... 45 Tabel 4.8 Hasil Klasifikasi Analisis Diskriminan ...................... 46 Tabel 4.9 Hasil Klasifikasi Analisis Diskriminan ...................... 49 Tabel 4.10 Hasil Klasifikasi Analisis Diskriminan .................... 51 Tabel 4.11 Perbandingan Hasil Klasifikasi untuk Model 1........ 53 Tabel 4.12 Perbandingan Hasil Klasifikasi untuk Model 2........ 53 Tabel 4.13 Perbandingan Hasil Klasifikasi untuk Model 3........ 54 Tabel 4.14 Hasil Bootstrap Pemilihan Model Globe Lamp ....... 55 Tabel 4.15 Hasil Bootstrap Pemilihan Model 1 ......................... 55 Tabel 4.16 Hasil Bootstrap Pemilihan Model 2 ......................... 56 Tabel 4.17 Hasil Bootstrap Pemilihan Model 3 ......................... 56

xii