BAB IV HASIL DAN PEMBAHASAN 4.1
Hasil Eksperimen Pada penelitian ini dilakukan eksperimen sebanyak
dua kali.
Eksperimen pertama dilakukan untuk menguji keberhasilan klasifikasi ROI
ke
dalam
jenis
keabnormalan,
yaitu
benign
dan
malignant.Eksperimen kedua dilakukan untuk menguji keberhasilan ke dalam jenis dan struktur keabnormalan, yaitu Calcification, Welldefined/circumscribed masses, Other,ill-defined masses, dan Asymmetry. Bagian ini akan membahas hasil yang diperoleh, baik dalam fase offline, maupun dalam fase online, disertai dengan pembahasan pada eksperimen tersebut.
4.1.1 Fase Offline Fase Offline terdiri dari 2 tahap, yaitu tahap pelatihan (training) dan tahap validasi.Jaringang NN yang digunakan terdiri dari 2 jenis, yaitu NN untuk klasifikasi benign dan malignant, dan NN untuk klasifikasi kombinasi struktur keabnormalan.Tahap pelatihan ditujukan untuk memberikan data-data yang ada kepada NN sebagai sampel yang akan digunakan NN untuk melakukan proses pelatihan untuk mendapatkan jaringan yang sesuai dengan klasifikasi. Sedangkan tahap validasi digunakan untuk mendapatkan konstanta yang optimal untuk melakukan klasifikasi. Konstanta yang digunakan untuk validasi terdiri dari 5
35
36
komponen, yaitu jumlah hidden layer yang digunakan, jumlah hidden note pada setiap layer, tingkat dekomposisi dan jenis filter yang digunakan oleh DTCWT. Pada eksperimen pertama, tahap validasi menunjukan hasil yang optimal didapat dengan konstanta berikut: Jumlah hidden layer : 1 Jumlah hidden note
:5
Tingkat dekomposisi : 2 Filter tingkat pertama : near-symmetric panjang 5,7 Filter tingkat kedua
: q-shift panjang 10,10
Selain penggunaan kombinasi konstanta tersebut, hasil paling optimal juga didapat dengan mengkombinasikan mean, deviasi standar, variance, dan entropy untuk merangkum hasil pemfilteran DTCWT. Penggunaan kombinasi tersebut akan menghasilkan 48 fitur, yang terdiri dari 6 fitur berupa mean, 6 fitur berupa deviasi standar, 6 fitur berupa variance, dan 6 fitur berupa entropy untuk setiap orientasi, dan setiap jenis fitur tersebut dimiliki oleh setiap tingkat dekomposisi, yaitu dekomposisi tingkat 1 dan dekomposisi tingkat 2.
37
Gambar 4.1 Confusion Matrix untuk tahap pelatihan
Gambar 4.1 menunjukkan hasil pelatihan menggunakan NN.Angka 1 menunjukkan class benign, dan angka 2 menunjukan class malignant. Dari total keseluruhan 50 gambar yang digunakan sebagai pelatihan, 45 gambar berhasil diklasifikasi dengan benar, akhirnya diperoleh tingkat keakuratan sebesar 90%. Pada eksperimen kedua, hasil optimal didapat dengan konstanta berikut: Jumlah hidden layer
:2
Jumlah hidden node pertama : 11 Jumlah hidden node kedua
:5
Filter tingkat pertama
: near-symmetric panjang 5,7
Filter tingkat kedua
: q-shift panjang 10,10
38
Fitur yang digunakan pada eksperimen kedua sama dengan eksperimen pertama, yaitu menggunakan kombinasi mean, deviasi standar, variance, dan entropy.
4.1.2 Fase Online Pada fase online, eksperimen dilakukan dnengan menginput satu per satu data pengujian ke dalam sistem berbasis DT CWT dan NN yang telah dilatih sebelumnya. Eksperimen dilakukan dengan menggunakan konstanta yang sama, yaitu pada tahap pelatihan. Pada eksperimen pertama, 24 dari 26 kasus benign dan 18 dari 19 kasus malignant berhasil diklasifikasi dengan benar pada fase online. Berdasarkan pada hasil ini, maka tingkat keakuratan yang diperoleh sebesar 93.33%.
Tabel 4.1 Hasil Klasifikasi pada eksperimen pertama Jenis Keabnormalan Hasil Total Benign 24 26 Malignant 18 19 Pada eksperimen kedua, 13 dari 45 kasus berhasil diklasifikasi dengan benar, dan tingkat keakuratan yang diperoleh sebesar 28.88%.
39
Kelas Kelas 1 Kelas 2 Kelas 3 Kelas 4 Kelas 5 Kelas 6 Kelas 7 Kelas 8
4.2
Tabel 4.2 Hasil Klasifikasi pada eksperimen kedua Jenis Keabnormalan Struktur Keabnormalan Hasil Total Benign Calcification 0 8 Benign Well-defined/ circumscribed 9 9 masses Benign Asymmetry 0 4 Benign Other,ill-defined masses 0 5 Malignant Calcification 1 6 Malignant Well-defined/ circumscribed 3 3 masses Malignant Asymmetry 0 4 Malignant Other,ill-defined masses 0 6
Pembahasan Hasil Penelitian Eksperimen yang dilakukan pada akhirnya memberikan hasil yang akan digunakan untuk mengukur keberhasilan metodologi. Metodologi yang diusulkan berhasil memperoleh tingkat keakuratan sebesar 93.33% untuk kasus klasifikasi jenis kanker, yaitu benign dan malignant. Pada eksperimen pertama, percobaan yang dilakukan adalah dengan mengkombinasikan jenis koefisien yang akan digunakan sebagai input ke NN. Koefisien yang digunakan untuk percobaan terdiri dari empat jenis, yaitu mean, deviasi standar, variance, dan entropy. Selain empat jenis koefisien, percobaan juga dilakukan dengan mengkombinasikan beberapaa jenis koefisien sebagai input. Data tingkat keakuratan klasifikasi jenis kanker dengan satu jenis koefisien dapat dilihat pada gambar berikut:
40
80
Akurasi (%)
75 70 65 60 55 50 1
2
3
4
5
6
7
8
Percobaan ke‐ Mean
Deviasi Standar
Variance
Entropy
Gambar 4.2 Perbandingan akurasi menggunakan satu jenis koefisien
Dari grafik tersebut dapat terlihat bahwa koefisien yang menghasilkan
akurasi
terbaik
adalah
menggunakan
koefisien
entropy.Setelah itu diikuti dengan koefisien variance. Hasil terburuk didapat dengan koefisien mean. Dari hasil diatas, percobaan kembali dilakukan
dengan
menggabungkan
beberapa
koefisien
seperti
menggabungkan dua, tiga, atau empat koefisien. Hasil terbaik didapatkan dengan menggabungkan empat koefisien yaitu mean, deviasi standar, variance, dan entropy. Data tingkat keakuratan dengan tiga dan empat koefisien dapat dilihat pada gambar berikut:
41
95
Akurasi (%)
90 85 80 75 70 65 60 1
2
3
4
5
6
7
8
Percobaan ke‐ Mean, Deviasi Standar, Variance Mean, Standar Deviasi, Entropy Mean, Variance, Entropy Deviasi Standar, Variance, Entropy Mean, Deviasi Standar, Variance, Entropy
Gambar 4.3 Perbandingan akurasi menggunakan tiga dan empat jenis koefisien
Dari gambar diatas dapat dilihat bahwa dengan mengkombinasikan empat jenis koefisien dapat dihasilkan akurasi yang baik (diatas 90%).Dan entropy mempunyai peran besar dalam klasifikasi jenis kanker. Hal ini dapat dilihat dari percobaan yang menggunakan tiga jenis koefisien, yaitu mean, deviasi standar, dan variance. Akurasi yang dihasilkan oleh tiga kombinasi tersebut tergolong rendah (di bawah 80%). Setelah mendapat kombinasi yang terbaik, eksperimen berikutnya adalah menentukan arsitektur NN yang optimal. Pada eksperimen ini, dengan menggunakan koefisien yang sama, yaitu mean, deviasi standar, variance, dan entropy percobaan training dan testing akan dilakukan
42
berulang dengan menggunakan hidden node yang digunakan. Jumlah hidden layer yang digunakan adalah satu hidden layer.
95
Akurasi (%)
90 85 DWT
80
DT CWT 75 70 2
5
8
11
14
17
20
23
26
29
Jumlah Node
Gambar 4.4 Perbandingan akurasi menggunakan satu hidden layer
Pada gambar diatas, dapat dilihat bahwa DWT mendapat akurasi tertinggi dengan menggunakan dua hidden node (88.89%). DT CWT memperoleh akurasi terbaik dengan menggunakan lima hidden node (93.33%). Hal ini diperoleh karena DWT hanya menggunakan 24 fitur sebagai input, sedangkan DT CWT menggunakan 48 fitur sebagai input. Dengan jumlah input yang berbeda, maka jumlah hidden node yang digunakan juga berbeda. Dari gambar diatas dapat juga dilihat bahwa akurasi yang dihasilkan oleh DWT dan DT CWT memperoleh hasil yang stabil pada hidden node 14. Penelitian yang dilakukan oleh Manimegalai.P (2012) mengenai klasifikasi benign dan malignant.Penelitian tersebut menggunakan DWT
43
sebagai metode untuk ekstraksi fitur dan Neural Network sebagai classifier. Koefisien yang digunakan pada penelitian tersebut adalah mean, standar deviasi, variance, dan entropy. Penelitian tersebut menghasilkan akurasi sebesar 90%.Sedangkan penelitian yang dilakukan oleh Tirtajaya, A (2010) menghasilkan akurasi 88.64%.Penelitian tersebut menggunakan DTCWT sebagai metode ekstraksi fitur dan SVM sebagai classifier. Sedangkan koefisien yang digunakan hanya mean, dan standar deviasi. Dari hasil akurasi diatas dapat dilihat bahwa penggabungan antara DTCWT sebagai metode ekstraksi fitur serta Neural Network sebagai classifier menghasilkan akurasi yang paling besar dibandingkan dengan metode pembanding. Pada eksperimen kedua, percobaan dilakukan dengan melakukan perbandingan penggunaan DT CWT sebagai ekstraksi fitur dengan DWT. Koefisien yang digunakan menggunakan mean, deviasi standar, variance, dan entropy. Percobaan dilakukan sebanyak empat kali dengan menggunakan kombinasi dua hidden layer dan menggunakan jumlah node sebanyak dua dan lima untuk masing-masing hidden layer. Angka ini dipilih karena pada kasus benign dan malignant, angka tersebut menghasilkan akurasi yang terbaik dari kedua metode tersebut.
Akurasi (%)
44
20 18 16 14 12 10 8 6 4 2 0 2
5
8
11
14
17
20
23
26
29
Jumlah Node layer kedua DWT
DT CWT
Gambar 4.5 Perbandingan DWT dan DT CWT dengan 2 node pada layer pertama
Pada gambar diatas terlihat bahwa secara keseluruhan DT CWT menghasilkan tingkat akurasi yang lebih baik dibandingkan dengan DWT. Persentase akurasi pada DT CWT dan DWT mengalami penurunan ketika node berjumlah > 11. Dan persentase akurasi mencapai tingkat stabil ketika node berjumlah lebih dari 17. Percobaan berikutnya menggunakan dua hidden layer dengan lima jumlah node pada hidden layer pertama. Percobaan yang dilakukan sama dengan percobaan sebelumnya, dimana jumlah node yang digunakan sama dengan percobaan sebelumnya.
45
25
Akurasi (%)
20 15 10 5 0 2
5
8
11
14
17
20
23
26
29
Jumlah Node layer kedua DWT
DT CWT
Gambar 4.6 Perbandingan DWT dan DT CWT dengan 5 node pada layer pertama
Pada gambar diatas dapat terlihat bahwa akurasi yang diperoleh DT CWT lebih baik dibandingkan dengan DWT. Tingkat akurasi tertinggi dihasilkan oleh DT CWT menggunakan jumlah node <= 11 pada hidden layer kedua. Secara keseluruhan, DT CWT dan DWT menghasilkan akurasi yang lebih baik dibandingkan dengan percobaan sebelumnya yang menggunakan dua hidden layer dengan 2 node pada hidden layer pertama dan 5 node pada hidden layer kedua. Percobaan berikutnya menggunakan dua hidden layer dengan dua node pada hidden layer kedua.Hidden layer pertama diubah untuk mendapatkan tingkat akurasi terbaik.
46
30
Akurasi (%)
25 20 15 10 5 0 2
5
8
11
14
17
20
23
26
29
Jumlah Node layer kedua DWT
DT CWT
Gambar 4.7 Perbandingan DWT dan DT CWT dengan dua node pada hidden layer kedua
Pada gambar diatas dapat dilihat bahwa terjadi perbedaan yang signifikan pada DT CWT dan DWT. Akurasi tertinggi pada DT CWT diperoleh dengan menggunakan jumlah node <= 5. DT CWT mengalami kenaikan akurasi dibandingkan dengan menggunakan nilai yang konstan untuk hidden layer pertama. Pada percobaan berikutnya, arsitektur NN menggunakan dua hidden layer dengan lima node pada hidden layer kedua.
47
35 30 Akurasi (%)
25 20 15 10 5 0 2
5
8
11
14
17
20
23
26
29
Hidden Node Layer pertama DWT
DT CWT
Gambar 4.8 Perbandingan akurasi menggunakan DT CWT dan DWT dengan 5 hidden node pada hidden layer kedua
Pada gambar diatas dapat bahwa tingkat akurasi yang dihasilkan oleh DT CWT lebih baik dibandingkan dengan DWT. 13 dari 45 kasus berhasil diklasifikasi dengan benar menggunakan DT CWT sehingga tingkat akurasi yang diperoleh sebesar 28.89%. DT CWT menghasilkan tingkat akurasi yang lebih baik dibandingkan dengan DWT. Hal ini disebabkan karena hasil ekstraksi fitur menggunakan DT CWT menghasilkan 6 matriks dengan orientasi arah yang berbeda-beda, sehingga informasi yang dihasilkan lebih banyak dibandingkan dengan DWT yang hanya menghasilkan 3 matriks pada setiap tingkat dekomposisi. Pada praktiknya di lapangan, klasifikasi terhadap kasus benign dan malignant dilakukan dengan mengamati bagian yang dinyatakan kanker.Hal ini berarti terdapat perbedaan-perbedaan pada kasus benign
48
dan malignant secara visual. DT CWT dapat mereplikasi mata manusia dalam membedakan citra dengan cara membagi citra menjadi beberapa bagian. Hasil dari pembagian tersebut kemudian dimaukkan ke dalam NN.NN mampu membedakan kasus berupa benign dan malignant dengan baik.Metodologi yang diusulkan memberikan hasil yang lebih baik dibandingkan dengan penelitian yang dilakukan oleh Alolfe. M. A, et al (2008) dimana penelitian sebelumnya berhasil memperoleh hasil sebesar 75%. Hasil tersebut juga lebih baik dibandingkan dengan paper yang dibuat oleh Yusof.N, et al (2007).Paper tersebut membandingkan beberapa metode dengan berbagai classifier.Dengan menggunakan wavelet sebagai ekstraksi fitur dan ANFIS sebagai classfier, hasil keakuratan yang diperoleh sebesar 87.5%. Sedangkan dengan menggunakan shape feature sebagai fitur dan NN sebagai classifier, hasil yang diperoleh adalah 88.9%. Dari hasil diatas dapat dilihat bahwa metodologi yang diusulkan memperoleh hasil yang lebih baik.
