LABORATORIUM DATA MINING JURUSAN TEKNIK INDUSTRI FAKULTAS TEKNOLOGI INDUSTRI UNIVERSITAS ISLAM INDONESIA
Modul IV KLASIFIKASI TUJUAN PRAKTIKUM Setelah mengikuti praktikum modul ini diharapkan: 1. Mahasiswa mempunyai pengetahuan dan kemampuan dasar mengenai metode pencarian pengetahuan/pola data dari sejumlah data dengan menggunakan teknik Klasifikasi. 2. Mahasiswa
mampu
menyelesaikan
kasus
klasifikasi
data
dengan
menggunakan/menerapan decision tree. LANDASAN TEORI 4.1 Definisi Klasifikasi Klasifikasi adalah sebuah proses untuk menemukan model yang menjelaskan atau membedakan konsep atau kelas data, dengan tujuan untuk dapat memperkirakan kelas dari suatu objek yang kelasnya tidak diketahui (Tan et all, 2004). Di dalam klasifikasi diberikan sejumlah record yang dinamakan training set, yang terdiri dari beberapa atribut, atribut dapat berupa kontinyu ataupun kategoris, salah satu atribut menunjukkan kelas untuk record.
Gambar 1. Klasifikasi sebagai suatu tugas memetakan atribut x ke dalam label kelas y (Tan et all, 2006) Model Klasifikasi terdiri dari (Tan et all, 2006): 1. Pemodelan Deskriptif Dapat
bertindak
sebagai
suatu
alat
yang
membedakan antara objek dengan klas yang berbeda.
bersifat
menjelaskan
untuk
2. Pemodelan Prediktif Model klasifikasi juga dapat menggunakan prediksi label kelas yang belum diketahui recordnya. 4.2 Tujuan Klasifikasi Tujuan dari klasifikasi adalah untuk: 1. Menemukan model dari training set yang membedakan record kedalam kategori atau kelas yang sesuai, model tersebut kemudian digunakan untuk mengklasifikasikan record yang kelasnya belum diketahui sebelumnya pada test set. 2. Mengambil keputusan dengan memprediksikan suatu kasus, berdasarkan hasil klasifikasi yang diperoleh . 4.3 Konsep Pembuatan Model dalam Klasifikasi Untuk mendapatkan model, kita harus melakukan analisis terhadap data latih (training set). Sedangkan data uji (test set) digunakan untuk mengetahui tingkat akurasi dari model yang telah dihasilkan. Klasifikasi dapat digunakan untuk memprediksi nama atau nilai kelas dari suatu obyek data. Proses klasifikasi data dapat dibedakan dalam 2 tahap, yaitu : 1.
Pembelajaran / Pembangunan Model Tiap – tiap record pada data latih dianalisis berdasarkan nilai – nilai atributnya, dengan menggunakan suatu algoritma klasifikasi untuk mendapatkan model.
2. Klasifikasi Pada tahap ini, data uji digunakan untuk mengetahui tingkat akurasi dari model yang dihasilkan. Jika tingkat akurasi yang diperoleh sesuai dengan nilai yang ditentukan, maka model tersebut dapat digunakan untuk mengklasifikasikan record – record data baru yang belum pernah dilatihkan atau diujikan sebelumnya. Untuk meningkatkan akurasi dan efisiensi proses klasifikasi, terdapat beberapa langkah pemrosesan terhadap data, yaitu : 1. Data Cleaning Data cleaning merupakan suatu pemrosesan terhadap data untuk menghilangkan noise dan penanganan terhadap missing value pada suatu record.
2. Analisis Relevansi Pada tahap ini, dilakukan penghapusan terhadap atribut – atribut yang redundant ataupun kurang berkaitan dengan proses klasifikasi yang akan dilakukan. Analisis relevansi dapat meningkatkan efisiensi klasifikasi karena waktu yang diperlukan untuk pembelajaran lebih sedikit daripada proses pembelajaran terhadap data – data dengan atribut yang masih lengkap (masih terdapat redundansi). 3. Transformasi Data Pada data dapat dilakukan generalisasi menjadi data dengan level yang lebih tinggi. Misalnya dengan melakukan diskretisasi terhadap atribut degan nilai kontinyu. Pembelajaran terhadap data hasil generalisasi dapat mengurangi kompleksitas pembelajaran yang harus dilakukan karena ukuran data yang harus diproses lebih kecil.
(a)
(b) Gambar 2. Proses Klasifikasi: (a) Learning: Training data dianalisis dengan algoritma klasifikasi. Disini atribut label kelas adalah ”Tenured“, dan “Learned Model“ atau “classifier“ di gambarkan pada blok aturan klasifikasi. (b). Classification: Test data digunakan untuk memperkirakan keakuratan aturan klasifikasi. Jika keakuratan tersebut dianggap diterima, maka aturan itu dapat diaplikasikan untuk mengkalsifikasikan data tuples baru.
Pada Gambar 2 terdiri dari pembuatan model dan penggunaan model. Pembuatan model menguraikan sebuah set dari penentuan kelas-kelas sebagai: 1. Setiap tuple diasumsikan sudah mempunyai kelas yang dikenal seperti ditentukan oleh label kelas atribut. 2.
Kumpulan tuple yang digunakan untuk membuat model disebut kumpulan pelatihan (training set)
3. Model direpresentasikan sebagai classification rules, decision tree atau formula matematika. Penggunaan model menguraikan pengklasifikasian masa yang akan datang atau obyek yang belum ketahui, yaitu taksiran keakuratan dari model yang terdiri dari: 1. Label
yang telah
diketahui
dari
contoh
tes
dibandingkan
dengan
hasil
klasifikasi dari model. 2. Nilai keakuratan adalah prosentase dari kumpulan contoh tes yang diklasifikasikan secara tepat oleh model. 3. Kumpulan tes tidak terikat pada kumpulan pelatihan, 4. Jika akurasi diterima, gunakan model untuk mengklasifikasikan data tuple yang label kelasnya belum diketahui. Untuk mengevaluasi performansi sebuah model yang dibangun oleh algoritma klasifikasi dapat dilakukan dengan menghitung jumlah dari test record yang di prediksi secara benar (akurasi) atau salah (error rate) oleh model tersebut. Akurasi dan error rate didefinisikan sebagai berikut. Akurasi
= Jumlah prediksi benar Jumlah total prediksi
Error rate = Jumlah prediksi salah Jumlah total prediksi Algoritma klasifikasi berusaha untuk mencari model yang mempunyai akurasi yang tinggi atau error rate yang rendah ketika model diterapkan pada test set.
4.4 Teknik Klasifikasi Didalam Klasifikasi sebagaimana telah dijelaskan, ada beberapa teknik klasifikasi yang digunakan, anataralain: pohon keputusan, rule based, neural network, support vector machine, naive bayes, dan nearest neighbour. Dan pada praktikum ini akan menggunakan teknik pohon keputusan, karena beberapa alasan: 1. Dibandingkan dengan classifier JST atau bayesian, sebuah pohon keputusan mudah diinterpretasi/ ditangani oleh manusia. 2. Sementara training JST dapat menghabiskan banyak waktu dan ribuan iterasi, pohon keputusan efisien dan sesuai untuk himpunan data besar. 3. Algoritma dengan pohon keputusan tidak memerlukan informasi tambahan selain yang terkandung dalam data training (yaitu, pengetahuan domain dari distribusidistribusi pada data atau kelas-kelas). 4. Pohon keputusan menunjukkan akurasi klasifikasi yang baik dibandingkan dengan teknik-teknik yang lainnya. 4.5 Decision Tree Salah satu metoda Data Mining yang umum digunakan adalah decision
tree.
Decision tree adalah struktur flowchart yang menyerupai tree (pohon), dimana setiap simpul internal menandakan suatu tes pada atribut, setiap cabang merepresentasikan hasil tes, dan simpul daun merepresentasikan kelas atau distribusi kelas. Alur pada decision tree di telusuri dari simpul akar ke simpul daun yang memegang prediksi kelas untuk contoh tersebut.
Decision tree
mudah untuk dikonversi ke aturan klasifikasi
(classification rules)(Zalilia, 2007). Konsep Decision Tree Mengubah data menjadi pohon keputusan (decision tree) dan aturan-aturan keputusan (rule) (Basuki dkk, 2003).
DATA
Decision Tree Gambar 3. Konsep Decision Tree
Rule
Tipe Simpul Pada Tree Tree mempunyai 3 tipe simpul yaitu (Zalilia, 2007): 1. Simpul akar dimana tidak ada masukan edge dan 0 atau lebih keluaran edge (tepi), 2. Simpul internal, masing-masing 1 masukan edge dan 2 atau lebih edge keluaran, 3. Simpul daun atau simpul akhir, masing-masing 1 masukan edge dan tidak ada edge keluaran. Pada decision tree setiap simpul daun menandai label kelas. Simpul yang bukan simpul akhir terdiri dari akar dan simpul internal yang terdiri dari kondisi tes atribut pada sebagian record yang mempunyai karakteristik yang berbeda. Simpul akar dan simpul internal ditandai dengan bentuk oval dan simpul daun ditandai dengan bentuk segi empat (Han, 2001).
Gambar 4. Decision tree untuk masalah klasifikasi intrusion Konsep Data Dalam Decision Tree Ada beberapa konsep dalam decision tree, antara lain: 1. Data dinyatakan dalam bentuk tabel dengan atribut dan record. 2. Atribut menyatakan suatu parameter yang dibuat sebagai kriteria dalam pembentukan tree. Misalkan untuk menentukan main tenis, kriteria yang diperhatikan adalah cuaca, angin dan temperatur. Salah satu atribut merupakan atribut yang menyatakan data solusi per-item data yang disebut dengan target atribut.
3. Atribut memiliki nilai-nilai yang dinamakan dengan instance. Misalkan atribut cuaca mempunyai instance berupa cerah, berawan dan hujan.
Contoh pemakaian Decision Tree 1. Diagnosa penyakit tertentu, seperti hipertensi, kanker, stroke dan lain-lain. 2. Pemilihan produk seperti rumah, kendaraan, komputer dan lain-lain 3. Pemilihan pegawai teladan sesuai dengan kriteria tertentu Proses Dalam Decision Tree (Basuki dkk, 2003) Proses pembentukan Decision Tree adalah sbb: 1. Mengubah bentuk data (tabel) menjadi model tree.
Gambar 5. Proses Data Menjadi Tree
Ukuran untuk Memilih Split Terbaik Pemilihan atribut pada algoritma
induksi
decision
tree
menggunakan
ukuran berdasarkan entropy yang dikenal dengan information gain sebagai sebuah heuristic untuk memilih atribut yang merupakan bagian terbaik dari contoh ke dalam kelas. Semua atribut adalah bersifat kategori yang bernilai diskrit. Atribut dengan nilai continuous harus didiskritkan (Zalilia, 2007). Ukuran information gain digunakan untuk memilih tes atribut pada setiap simpul dalam
tree. Atribut
dengan
information
gain tertinggi
(atau nilai
pengurangan entropy yang terbesar) dipilih sebagai tes atribut untuk simpul tersebut. Atribut ini meminimalkan informasi yang dibutuhkan untuk mengklasifikasikan contoh pada proses pembagian dan mencerminkan ketidakmurnian (impurity). Misalkan S adalah kumpulan dari s contoh data. Andaikan atribut label kelas mempunyai
m
nilai
berbeda
yang
menjelaskan
m
nilai
kelas
yang
berbeda, C i (for i = 1, ..., m). Misalkan si menjadi jumlah contoh S dalam kelas C i . Informasi yang dibutuhkan untuk mengklasifikasikan diberikan contoh sebagai berikut. m
I ( S1 ,S 2 ,...,S m ) = − ∑ pi log 2 ( pi )
(1)
i= 1
dimana pi adalah
kemungkinan
sebuah contoh
kepunyaan
kelas
Ci
dan
diperkirakan oleh si/s . Catatan bahwa fungsi log basis 2 digunakan semenjak informasi dikodekan dalam bit-bit. Misalkan atribut A mempunyai nilai v yang berbeda, { a1 , a 2 ,..., a v } Atribut A dapat digunakan untuk membagi S kedalam v bagian (subset), { S1 , S 2 ,..., S v } , dimana S j berisi contoh di S yang mempunyai nilai a j dari A . Jika A terpilih sebagai tes atribut (misal atribut untuk splitting), maka bagian ini akan sesuai dengan pertumbuhan cabang dari simpul yang berisi S . Misal Sij menjadi contoh kelas C i pada sebuah subset S j . Entropy atau informasi berdasarkan pembagian ke dalam bagian A sebagai berikut. E ( A) =
v
∑
j= 1
s1 j + ... + smj s
.I ( s1 j ,..., smj )
(2)
Bentuk
sij + ... + smj s
adalah bobot dari bagian (subset) jth dan merupakan jumlah
contoh pada subbagian dibagi oleh total jumlah contoh dalam S . Nilai entropy terkecil adalah kemurnian (purity) terbesar pada pembagian subbagian. Catatan untuk subbagian s j , I ( s1 j , s2 j ,..., smj ) = − ∑ pij log 2 ( pij ) m
(3)
i= 1
Dimana
pij =
sij Sj
adalah probabilitas pada contoh
s j kepunyaan kelas C i .
Pengkodean informasi yang akan diperoleh dari percabangan pada A adalah: Gain( A) = I ( s1 , s2 ,...., sm ) − E ( A)
(4)
Dengan kata lain, Gain( A) adalah reduksi yang diharapkan dalam entropy yang disebabkan oleh pengetahuan nilai pada atribut A. Algoritma
menghitung
information gain pada setiap atribut. Atribut dengan nilai gain terbesar dipilih sebagai tes atribut (simpul akar). Simpul A dibuat dan dilabelkan dengan atribut, cabang dibuat untuk setiap nilai atribut. a.
Entropy
Definisi Entrophy (Basuki, 2003): 1. Entropy (S) adalah jumlah bit yang diperkirakan dibutuhkan untuk dapat mengekstrak suatu kelas (+ atau -) dari sejumlah data acak pada ruang sample S. 2. Entropy bisa dikatakan sebagai kebutuhan bit untuk menyatakan suatu kelas. Semakin kecil nilai Entropy maka semakin baik untuk digunakan dalam mengekstraksi suatu kelas. 3. Panjang kode untuk menyatakan informasi secara optimal adalah − log 2 p bits untuk messages yang mempunyai probabilitas p. 4. Sehingga jumlah bit yang diperkirakan untuk mengekstraksi S ke dalam kelas adalah: − p ( + ) log 2 p ( + ) − p ( − ) log 2 p ( − ) Entropy ( S ) = − p ( + ) log 2 p ( + ) − p ( − ) log 2 p ( − )
(5) (6)
Keterangan : S
= ruang (data) sample yang digunakan untuk training.
P(+)
= jumlah yang bersolusi positif (mendukung) pada data sample untuk
kriteria tertentu. P(-)
= jumlah yang bersolusi negatif (tidak mendukung) pada data sample untuk
kriteria tertentu. 2. Mengubah model tree menjadi rule.
Gambar 6. Mengubah Tree Menjadi Rules
Gambar 7. Conjunction & Disjunction (pada kasus main tennis)
3. Menyederhanakan Rule (“test of independency” dengan distribusi terpadu chi-square) Apabila individu-individu suatu populasi dapat diklasifikasikan dalam dua variable (kategori),tiap-tiap kategori dapat terdiri dari beberapa alternative. Kemudian kita ingin menguji Ho apakah kedua variable kedua variable itu independent. Untuk menguji Ho tersebut kemudian diambil suatu sample, individu-individu dalam sample tersebut diklasifikasikan dalam”two way classification”. Test yang demikian dinamakan test of independency (pengujian Independensi). Tabelnya dinamakan tabel kontingensi. Apabila variabel I terdiri dari k kategori dan variabel II terdiri dari r kategori, tabelnya dapat disusun seperti tabel dibawah ini. Tabel kontingensi
Variabel II Jumlah
B1 B2 . . . . Br
A1 n11 n21 . . . . nr1 n1
A2 n12 n22 . . . . nr2 n2
Variabel I A3 n13 ……… n23 ……… . ……… . ……… . ……… . ……… nr3 ……….. n3
Ak n1k n2k . . . . nrk nk
Dimana; nij i j
= individu dari baris i kolom j = 1, 2, ……………………..r = 1, 2, 3, …………………...k
Langkah-langkah dalam test of independensi: 1. Menentukan formulasi null hipotesis dengan alternative hipotesis: Ho: P11 = P12 = …………......= P1k P21 = P22 = …………......= P2k --------------------------------------Pr1 = Pr2 = = Prk H1 : tidak semua proporsi sama 2. Dipilih level of significant tertentu (α) degree of freedom (r-1)(k-1)
Jumlah n1 n2 . . . . nr n
3. Kriteria pengujian:
Daerah tolak
Daerah terima
X X Ho diterima apabila : X
2
≤X
2
2
{α ; (r-1)(k-1)}
α ; (n-1) (k-1)
2
berarti kriteria independent (dapat dihilangkan) Ho ditolak apabila
:X
2
>X
2
α ; (r-1) (k-1)
berarti kriteria dependent (tidak dapat dihilangkan) 4. Perhitungan: X
2
=
r
k
i= j
j= i
∑ ∑
Dimana eij =
( nij − eij ) 2 ……………………………………………… (1) eij
(ni .)(n. j ) n
……………………………………………………. (2)
nij = frekuensi pengamatan (observasi) dari baris I dan kolom j eij = frekuensi diharapkan (expected) dari baris I dan kolom j
5. Kesimpulan:
Apakah
Ho
diterima
(Variabel
yang
satu
tidak
mempengaruhi/independent dengan variabel yang lain) atau Ho ditolak (variabel I dependen dengan variabel II) Contoh: Kita ingin mengetahui apakah ada pengaruh (hubungan dependen) antara pendapatan individu dengan kualitas bahan makanan yang dikonsumir. Untuk tujuan ini kemudian diadakan ujian penyelidikan terhadap 100 individu dan didapat kenyatan sebagai berikut:
Baik Mutu Cukup bahan makan Jelek Jumlah
Tinggi 14 10
Pendapatan Sedang Rendah jumlah 6 9 29 16 10 36
2 26
13 35
20 39
nij
35 100
Penyelesaian: 1. Hipotesis Ho : P11 = P12 = P13 P21 = P22 = P23 P31 = P32 = P33 Atau mutu bahan makan dependen dengan tingkat dependen. Ho : Mutu bahan makan dependen dengan tingkat pendapatan 2. Dipilih level of significance 0,05 3. Kriteria Pengujian:
Daerah tolak
Daerah terima
X X
2
{0,05 ; (3-1)(3-1)}= 9,488
Ho diterima apabila X Ho ditolak apabila 4. Perhitungan X
2
2
X
2 2
≤ 9,488 > 9,488
dari sample:
Dengan menggunakan persamaan (2), maka dapat kita cari eij e11 =
(29)(26) (29)(35) = 7,54 e12 = = 10,15 100 100
e13 =
(29)(39) = 11,31 100
e21 =
(36)(26) (36)(35) = 9,36 e22 = = 12,60 100 100
e23 =
(36)(39) = 14,04 100
e31 =
(35)(26) (35)(35) = 9,10 e32 = = 12,25 100 100
e33 =
(35)(39) = 13,65 100
Baik Mutu Cukup bahan makan Jelek Jumlah
X
2
Tinggi 7,54 9,36 9,10 26
Pendapatan Sedang Rendah jumlah 10,15 11,31 29 12,60 14,04 36 12,25 35
13,65 39
eij
35 100
(14 − 7,54) 2 (6 − 10,15) 2 (9 − 11,31) 2 (10 − 9,36) 2 (16 − 12,60) 2 = ⊕ ⊕ ⊕ ⊕ 7,54 10,15 11,31 9,36 12,60 (10 − 14,40) 2 ( 2 − 9,10) 2 (13 − 12,25) 2 ( 20 − 13,65) 2 ⊕ ⊕ ⊕ ⊕ 14,40 9,10 12,25 13,65 = 18,36
5. Kesimpulan: Oleh karena 18,36 > 9,48 maka Ho kita tolak, berarti terdapat hubungan antara mutu bahan makan dengan tingkat pendapatan (kriteria dependent).
4.6 CONTOH KASUS Contoh: Permasalahan Penentuan Seseorang Menderita Hipertensi Menggunakan Decision Tree. Data diambil dengan 18 sample, dengan pemikiran bahwa yang mempengaruhi seseorang menderita hipertensi atau tidak adalah usia, berat badan, dan jenis kelamin. Usia mempunyai instance: muda dan tua. Berat badan mempunyai instance: underweight, average dan overweight. Jenis kelamin mempunyai instance: pria dan wanita. Data sample yang digunakan untuk menentukan hipertensi adalah: Nama Pasien Oki lukman Pasha ungu Budi anduk Indra bekti Luna maya Tukul Afgan Desta Ringgo Ruben Titi kamal Aurakasih Jengkelin Ari untung Gita gutawa Fedi nuril Dian sastro Nicholas
Berat Badan Overweight Overweight Overweight Overweight Overweight Overweight Average Average Average Average Average Average Average Average Underweight Underweight Underweight Underweight
Usia Tua Tua Tua Tua Muda Muda Tua Tua Muda Muda Muda Tua Tua Muda Muda Muda Tua Tua
Jenis Kelamin Perempuan Laki-laki Laki-laki Laki-laki Perempuan Laki-laki Laki-laki Laki-laki Laki-laki Laki-laki Perempuan Perempuan Perempuan Laki-laki Perempuan Laki-laki Perempuan Laki-laki
Hipertensi? Ya Ya Ya Ya Ya Ya Ya Ya Tidak Tidak Tidak Tidak Tidak Tidak Tidak Tidak Tidak Tidak
Langkah penyelesaian kasus: 1. Mengubah Data Menjadi Tree. 2. Mengubah tree menjadi rule. 3. Menyederhanakan dan menguji rule. 4. Menentukan rule akhir Penyelesaian: Langkah -1: Mengubah Data Menjadi Tree. a. Menentukan Node Terpilih. Dari data sampel tentukan dulu node terpilih, yaitu dengan menghitung nilai information gain masing-masing atribut. (usia, berat badan, dan jenis kelamin).
Catatan: •
Untuk menentukan node terpilih, gunakan nilai information gain dari setiap kriteria dengan data sample yang ditentukan.
•
Node terpilih adalah kriteria dengan information gain yang paling besar.
Langkah – langkah menentukan node terpilih: 1. Menghitung nilai informasi (I) dari seluruh data training Dengan menggunakan persamaan: − p ( + ) log 2 p ( + ) − p ( − ) log 2 p ( − )
I = -8/18 log2 8/18 – 10/18 log2 10/18 = 0.99 2. Menghitung nilai informasi tiap atribut Contoh: nilai informasi atribut berat badan Dengan menggunakan persamaan: − p ( + ) log 2 p ( + ) − p ( − ) log 2 p ( − ) BB Overweight Overweight Average Average Underweight Underweight
Hiper? Ya Tidak Ya Tidak Ya Tidak Total
Jumlah 6 0 2 6 4 0 18
3. Menghitung nilai entrophy tiap atribut Contoh: Entropy untuk berat badan: E
= (6/18)q1 + (8/18)q2 + (4/18)q3 = 0.36
4. Menghitung nilai information gain tiap atribut Contoh: atribut berat badan Gain( A) = I ( s1 , s2 ,...., sm ) − E ( A) = 0.99 – 0.36 = 0.63
q1= -6/6 log2 6/6 – 0/6 log2 0/6 = 0 q2= -2/8 log2 2/8 – 6/8 log2 6/8 = 0.81 q1= -4/4 log2 4/4 – 0/4 log2 0/4 = 0
Dengan menggunakan langkah – langkah yang sama kita hitung nilai information gain atribut usia dan jenis kelamin, sehingga didapat nilai information gain atribut usia sebesar 0.091 dan jenis kelamin sebesar 0.048. Sehingga, terpilih atribut BERAT BADAN sebagai node awal karena memiliki information gain terbesar. b. Menyusun Tree Awal Berat badan
Overweight
Oki lukman Pasha ungu Budi anduk Indra bekti Luna maya Tukul
Average
Afgan Desta Ringgo Ruben Titi kamal Aurakasih Jengkelin Ari untung
+ + + + + +
Underweight
+ + -
Fedi nuril Gita gutawa Dian sastro Nicholas
-
Node berikutnya dapat dipilih pada bagian yang mempunyai nilai + dan -, pada contoh di atas hanya berat = average yang mempunyai nilai + dan –, maka semuanya pasti mempunyai internal node. Untuk menyusun internal node lakukan satu-persatu. Penentuan Internal Node untuk berat = average Nama Pasien Afgan Desta Ringgo Ruben Titi kamal Aurakasih Jengkelin Ari untung
Usia Tua Tua Muda Muda Muda Tua Tua Muda
Jenis Kelamin Laki-laki Laki-laki Laki-laki Laki-laki Perempuan Perempuan Perempuan Laki-laki
Hipertensi? Ya Ya Tidak Tidak Tidak Tidak Tidak Tidak
Nilai informasi (I) dari data training untuk berat average: Dengan menggunakan persamaan:
− p ( + ) log 2 p ( + ) − p ( − ) log 2 p ( − )
I = -2/8 log2 2/8 – 6/8 log2 6/8 = 0.811 Kemudian kita menghitung nilai entrophy untuk masing – masing atribut yang tersisa: Usia Tua Tua Muda Muda E = 0.5
Hiper? Ya Tidak Ya Tidak
Jumlah 2 2 0 4
Jenis Kelamin Laki-laki Laki-laki Perempuan Perempuan E = 0.61
Hiper? Ya Tidak Ya Tidak
Jumlah 2 3 0 3
Setelah itu didapatkan nilai information gain untuk atribut usia sebesar 0.811 – 0.5 = 0.311, dan nilai information gain untuk atribut jenis kelamin sebesar 0.811 – 0.61 = 0.201, sehingga atribut usia dipilih sebagai node berikutnya. Begitu seterusnya sampai node terakhir dapat menentukan kelas dari data. Menyusun Tree Lanjutan Berat badan
Overweight
Underweight
Usia
YES Tua
Afgan Desta Aurakasih Jengkelin
Average
+ + -
NO Muda
Ringgo Ruben Titi kamal Ari untung
-
Berat badan
Overweight
Average
Underweight
Usia
YES Tua
NO Muda
NO
Jenis Kelamin Perempuan
Laki-laki
Afgan Desta
Aurakasih Jengkelin
+ +
-
Hasil Tree Akhir Berat badan
Overweight
Average
Usia
YES Tua
YES
NO Muda
NO
Jenis Kelamin Laki-laki
Underweight
Perempuan
NO
Langkah -2 : Mengubah Tree menjadi rule Berat badan
Overweight
Average
Underweight
Usia
YES Tua
NO Muda
NO
Jenis Kelamin Laki-laki
Perempuan
YES
NO
R1: IF berat = overweight THEN hipertensi = ya R2: IF berat = underweight THEN hipertensi = tidak R3: IF berat = average^usia = muda^ THEN hipertensi = tidak R4: IF berat = average^usia = tua^jenis kelamin=laki-laki^ THEN hipertensi = ya R5: IF berat = average^usia = tua^jenis kelamin=perempuan^ THEN hipertensi = tidak
Langkah -3 : Menyederhanakan dan Menguji Rule Dalam langkah menyederhanakan dan menguji rule ini, kita dapat menjalankan langkahlangkah berikut: 1. Membuat table distribusi terpadu dengan menyatakan semua nilai kejadian pada setiap rule. 2. Menghitung tingkat independensi antara kriteria pada suatu rule, yaitu antara atribut dan target atribut (penghitungan tingkat independensi menggunakan “Test of Independency” Chi-square) 3. Mengeliminasi kriteria yang tidak perlu, yaitu yang tingkat independensinya tinggi.
Untuk Atribut Berat Badan BB OW OW AV AV UW UW
hiper? ya tidak ya tidak ya tidak
jumlah 6 0 2 6 4 0
Hipertensi Tidak Jumlah
OW 6 0 6
AV 2 6 8
UW 4 0 4
Jumlah 12 6 18
Hipotesis: H0
: tidak ada hubungan antara berat badan dengan seseorang menderita
hipotensi H1
: ada hubungan antara berat badan dengan seseorang menderita hipotensi
Tingkat signifikansi : α = 0.05 Degree of freedom (DOF) = {α; (r – 1)*(k - 1)} = {0.05; (2– 1)*(3 - 1)} = {0.05; 2} 2 X tabel = 5.9915 (lihat tabel)
Daerah kritis: Daerah tolak
Daerah terima
X X Ho diterima apabila X Ho ditolak apabila
X
2 2
2
2
{0,05 ; (2-1)(3-1)}= 5.99
≤ 5.99 > 5.99
Uji Independensi dengan distribusi Chi-Square Hipertens i Tidak Jumlah
OW 6
AV 2
UW 4
Jumlah 12
0 6
6 8
0 4
6 18
nij
nij
OW 4 2 6
Hipertensi Tidak Jumlah
AV 5.33 2.67 8
Perhitungan: (12)(6) e11 = =4 18 e21 =
(6)(6) =2 18
UW 2.67 1.33 4
12 6 18
eij
e12 =
(12)(8) = 5.33 18
e13 =
(12)(4) = 2.67 18
e22 =
(6)(8) = 2.67 18
e23 =
(6)(4) = 1.33 18
Lalu, kita hitung nilai X2 dengan menggunakan persamaan: 2
X hitung Dimana
eij =
=
r
k
( nij − ei j ) 2
i= j
j= i
eij
∑ ∑
(ni .)(n. j ) n
(6 − 4) 2 (2 − 5.33) 2 (4 − 2.67) 2 (0 − 2) 2 (6 − 2.67) 2 (0 − 1.33) 2 + + + + + X2 hitung = 4 5.33 2.67 2 2.67 1.33 = 1 + 2.08 + 0.67 + 2 + 4.17 +1.33 = 11.25 Karena nilai X2 hitung > X2 tabel yaitu 11.25 > 5.99, maka H0 ditolak, artinya atribut berat badan mempengaruhi seseorang menderita hipertensi atau tidak (dependent), sehingga atribut ini tidak bisa dihilangkan. Untuk Atribut Usia Dengan cara yang sama pada atribut berat badan, maka dapat diperoleh: •
2 {0,05 ; 1} X tabel = 3.8415 (lihat tabel)
•
X2
hitung = 2.205
Kesimpulan: Karena nilai X2 hitung ≤ X2 tabel yaitu 2.205 yaitu 2.205 ≤ 3.8415, artinya atribut usia tidak mempengaruhi seseorang menderita hipertensi atau tidak (independent), sehingga atribut ini bisa dihilangkan.
Untuk Atribut Jenis kelamin Dengan cara yang sama pada atribut berat badan, maka dapat diperoleh: •
2 {0,05 ; 1} X tabel = 3.8415 (lihat tabel)
•
X2
hitung = 5.299
Kesimpulan: Karena nilai X2 hitung > X2 tabel yaitu 5.299> 3.8415, maka H0 ditolak, artinya atribut berat badan mempengaruhi seseorang menderita hipertensi atau tidak (dependent), sehingga atribut ini tidak bisa dihilangkan. Langkah -4 : Menentukan Rule Akhir Berdasarkan hasil penyederhanaan rule dengan Chi-Square, maka rule akhir yang terbentuk adalah: R1: IF berat = overweight THEN hipertensi = ya R2: IF berat = underweight THEN hipertensi = tidak R4: IF berat = average ^jenis kelamin=laki-laki^ THEN hipertensi = ya R5: IF berat = average ^jenis kelamin=perempuan^ THEN hipertensi = tidak
