Kode/Nama Rumpun Imu : 123/ Ilmu Komputer
LAPORAN KEMAJUAN PENELITIAN DOSEN PEMULA
PENERAPAN ALGORITMA K-MEANS DENGAN SELEKSI FITUR INFORMATION GAIN UNTUK OPTIMASI ANALISIS SENTIMEN MOVIE REVIEW
Tahun ke 1 dari rencana 1 tahun
KETUA : Setyo Budi, M.Kom. ANGGOTA : Dwiyono Arifianto, S.Kom
NIDN : 0615097602 NIDN : 0602128104
UNIVERSITAS DIAN NUSWANTORO SEMARANG JULI 2016 i
HALAMAN PENGESAHAN
ii
RINGKASAN Keberadaan website memberikan kemudahan dan kebebasan bagi manusia dalam menyampaikan informasi dan pendapatnya. Informasi dan pendapat kemudian tersimpan didalam kumpulan dokumen teks. Dalam kurun waktu yang lama kumpulan dokumen teks bertambah besar, sehingga ada pemikiran untuk melakukan penggalian dokumen teks. Analisis sentimen merupakan salah satu metode penggalian dokumen teks, dimana terdapat proses memahami, mengekstrak, dan mengolah informasi tekstual secara otomatis. Banyak penelitian analisis sentimen menggunakan algoritma yang berbeda baik yang supervised learning atau unsupervised learning. Hal ini disebabkan karena perbedaan akurasinya dan kecepatannya. Dokumen teks yang berasal dari website masih terdapat atribut yang tidak relevan yang digunakan pada dataset, sehingga dibutuhkan seleksi fitur yang dapat digunakan untuk mengurangi dataset yang tidak relevan. Seleksi fitur yang digunakan di penelitian ini adalah Information Gain (IG). Hasil pengujian algoritma K-Means tanpa seleksi fitur Information Gain dengan dataset 300 dokumen negatif dan positif akurasinya masih rendah yaitu 57.83%, setelah menggunakan seleksi fitur Information Gain akurasinya naik menjadi 78.67%. Pengujian dengan dataset 700 dokumen negatif dan positif tanpa seleksi fitur akurasinya 56.71%, setelah menggunakan seleksi fitur menjadi 72.79%, selanjutnya untuk dataset 1000 dokumen negatif dan positif akurasi K-Means tanpa seleksi fitur akurasinya 50.40%, setelah menggunakan seleksi fitur akurasinya 72.15%. Sehingga dengan model yang peneliti usulkan, algoritma K-Means menggunakan seleksi fitur Information Gain dapat meningkatkan optimasi analisis sentimen movie review.
Kata Kunci : analisis sentimen, algoritma k-means, seleksi fitur, information gain, clustering
iii
PRAKATA Assalamu’alaikum wr.wb. Alhamdulillah, puji syukur penulis panjatkan ke hadirat Allah SWT, atas segala nikmat, rakhmat dan karunia-Nya, sehingga penulis dapat menyelesaikan laporan kemajuan penelitian dosen pemula dengan judul “ PENERAPAN ALGORITMA K-MEANS DENGAN SELEKSI FIRTUR INFORMATION GAIN UNTUK OPTIMASI ANALISIS SENTIMEN MOVIEW REVIEW”. Hasil penelitian dosen pemula ini semoga dapat memberikan manfaat kepada seluruh masyarakat yang membacanya. Untuk itu dalam kesempatan yang baik ini, saya mengucapkan banyak terima kasih kepada seluruh pihak yang membantu dalam menyelesaikan penelitian dosen pemula ini. Wassalamu’alaikum wr.wb.
Semarang,
Peneliti
iv
Juli 2016
DAFTAR ISI
LAPORAN KEMAJUAN PENELITIAN DOSEN PEMULA ....................................................... i HALAMAN PENGESAHAN........................................................................................................ ii RINGKASAN ...............................................................................................................................iii DAFTAR ISI .................................................................................................................................. v DAFTAR GAMBAR ................................................................................................................... vii DAFTAR TABEL .......................................................................................................................viii DAFTAR LAMPIRAN ................................................................................................................ iix BAB 1 ............................................................................................................................................ 1 PENDAHULUAN ......................................................................................................................... 1 1.1. Latar Belakang ........................................................................................................................ 1 1.2. Rumusan Masalah ................................................................................................................... 4 1.3. Batasan Masalah ..................................................................................................................... 4 1.4. Keluaran .................................................................................................................................. 4 BAB 2 ............................................................................................................................................ 5 TINJAUAN PUSTAKA ................................................................................................................ 5 2.1
Penelitian Terkait .............................................................................................................5
2.2
Landasan Teori ................................................................................................................7
2.2.1
Analisis Sentimen ........................................................................................................7
2.2.2
Text Mining ..................................................................................................................7
2.2.3
Teknik Clustering ........................................................................................................8
2.2.4
RapidMiner ................................................................................................................11
2.2.5
Algoritma K-Means ...................................................................................................12
2.2.6
Tentang Movie Review ...............................................................................................13
2.2.7
Preprocessing Dokumen ............................................................................................14
2.2.8
Pembobotan TF-IDF ..................................................................................................16
2.2.9
Seleksi Fitur ...............................................................................................................16
2.2.10
Measure similarity......................................................................................................18
2.2.11
Model Confusion Matrix ............................................................................................19
TUJUAN DAN MANFAAT PENELITIAN ............................................................................... 21 3.1
Tujuan Penelitian ...............................................................................................................21 v
3.2
Manfaat Penelitian .............................................................................................................21
BAB 4 .......................................................................................................................................... 22 METODE PENELITIAN ............................................................................................................. 22 4.1
Kerangka Pemikiran ......................................................................................................22
4.2
Metode Penelitian ..........................................................................................................22
4.2.1
Pendahuluan dan Literatur .........................................................................................22
4.2.2
Rumusan Masalah ......................................................................................................23
4.2.3
Pengumpulan Data .....................................................................................................23
4.2.4
Model yang diusulkan ................................................................................................24
4.2.5
Evaluasi ......................................................................................................................40
BAB 5 .......................................................................................................................................... 42 HASIL YANG DICAPAI ............................................................................................................ 42 5.1
Eksperimen dan Pengujian Model .....................................................................................42
5.2
Analisis Accuracy K-Means menggunakan seleksi Information Gain 300 dokumen .......48
5.3
Analisis Waktu Clustering K-Means dengan seleksi fitu .................................................50
5.4 Analisa Precision dan Recall Algoritma K-Means menggunakan seleksi fitur Information Gain 300 dokumen .......................................................................................................................51 5.5 Analisis Accuracy, Precision dan Recall dengan menggunakan dataset movie review 700 dokumen dan 1000 dokumen .......................................................................................................52 5.5.1
Akurasi 700 dokumen dan 1000 dokumen ................................................................53
5.5.2
Precision 700 dokumen dan 1000 dokumen ..............................................................55
5.5.3
Recall 700 dokumen dan 1000 dokumen ...................................................................56
BAB 6 .......................................................................................................................................... 57 RENCANA TAHAPAN BERIKUTNYA ................................................................................... 57 6.1
Rencana dan Jadual Selanjutnya .......................................................................................57
BAB 7. KESIMPULAN DAN SARAN ..................................................................................... 58 7.1
Kesimpulan........................................................................................................................58
7.2
Saran ..................................................................................................................................58
DAFTAR PUSTAKA .................................................................................................................. 59 LAMPIRAN-LAMPIRAN........................................................................................................... 62
vi
DAFTAR GAMBAR
Gambar 2. 1.Analisis Clustering Pada Gambar Kotak Berdasarkan Warna............................ 10 Gambar 2.2. Tampilan Area Kerja Rapidminer ....................................................................... 12 Gambar 2.3. Tahapan Preprocessing Secara Umum ............................................................... 14 Gambar 4.1. Kerangka Pemikiran ............................................................................................ 22 Gambar 4.2. Metode Penelitian ............................................................................................... 22 Gambar 4.3. Model Yang Diusulkan ....................................................................................... 24 Gambar 4.4. Contoh Gambar Confusion Matrix ...................................................................... 40 Gambar 5.1. Proses Pembacaan Dokumen Di Direktori……………………………..… … 43 Gambar 5.2. Proses Pembacaan Dokumen Di Direktori……………………………… ....... 43 Gambar 5. 1. Pembobotan TF-IDF masuk didalam preprocessing …………………… …..…. 44 Gambar 5. 2. Proses tanpa menggunakan Information Gain…………………………… …..…. 44 Gambar 5. 3. Akurasi K-Means tanpa menggunakan information gain……………… …..…. 45 Gambar 5. 4. Confunsion Matrik K-Means tanpa menggunakan information gain ….….. …45 Gambar 5. 5. Akurasi K-Means dengan menggunakan information gain………………...… 46 Gambar 5. 6. Confunsion Matrix K-Means menggunakan information gain ……… …..…. 47 Gambar 5. 7. Formula untuk algoritma clustering menggunakan information gain ..….……48 Gambar 5. 8. Accuracy K-Means dengan seleksi fitur information gain …………..….….. 49 Gambar 5. 9. Gambar akurasi K-Mean tanpa seleksi fitur 700 dokumen ………………… 50 Gambar 5. 10. Gambar akurasi K-Mean tanpa seleksi fitur 1000 dokumen ……………….. 50 Gambar 5. 11. Waktu proses K-Means untuk proses clustering …………………………… 51 Gambar 5. 12. Precision dan Recall K-Means dengan Information Gain ………………. …52 Gambar 5. 13. Grafik akurasi K-Means dengan information gain dataset 700 dan 1000 dokumen ………………………………………………………………………………… 53 Gambar 5. 14. Grafik precision 700 dokumen dan 1000 dokumen ……………..………… 53 Gambar 5. 15. Grafik recall 700 dokumen dan 1000 dokumen ………………...…………. 56
vii
DAFTAR TABEL Tabel 2.1: Tabel Confusion Matrix ……………………………………………….….…..…19 Tabel 4.1 Tabel Term Frequency dan Document Frequency………………………….…..……28 Tabel 4.2 Tabel Invers Document Frequency (idf)………………………………………….29 Tabel 4.3 Hasil tf * idf……………………………………………………………………………….30 Tabel 4.4 : Hasil tf * idf setelah ditambah 1 ……………………………………………….. 31 Tabel 4.5 Contoh hasil pembobotan setelah di Normalisasi………………………………. 32 Tabel 4.6 Hasil Normalisasi pembobotan term secara keseluruhan…………………………32 Tabel 4.7 Hasil tf * idf dan bobot setelah dinormalisasi ditambah kolom query………………33 Tabel 4.8: Dataset untuk proses algoritma K-Means…………………………………...…………36 Tabel 4. 9: Tabel hasil perhitungan data ke 1 dengan medoid…………………………….….….28 Tabel 4.10: Tabel hasil perhitungan data ke 1 dengan medoid baru………………….….…..39 Tabel 4.11: Tabel hasil perhitungan data ke 2 dengan medoid baru…………………..……..39 Tabel 5.1 Tabel 5.1 Perbandingan akurasi K-Means tanpa dan menggunakan IG…………..54 Tabel 5.2 Perbandingan akurasi K-Means tanpa dan menggunakan IG dataset 300, 700 dan 1000………………………………………………………………………………………..…54
viii
DAFTAR LAMPIRAN
LAMPIRAN 1 DRAFT MAKALAH DI YANG DIKIRIM KE SEMINAR NASIONAL MASIF II TAHUN 2016 ...................... 62 LAMPIRAN 2 . PENDAFTARAN MAKALAH DI SEMINAR NASIONAL MASIF II TAHUN 2016 3 SEPTEMBER 2016 ... 70 LAMPIRAN 3 : CONTOH DOKUMEN MOVIE REVIEW BERKATEGORI POSITIF, NAMA FILE CV000_29590.TXT ..... 71 LAMPIRAN 4 : CONTOH DOKUMEN MOVIE REVIEW BERKATEGORI POSITIF, NAMA FILE NAMA FILE CV000_29416.TXT ....................................................................................................................................... 73 LAMPIRAN 5 : ANGGARAN PERUBAHAN ............................................................................................................ 75
ix
BAB 1 PENDAHULUAN 1.1. Latar Belakang Website atau yang biasa disebut internet merupakan salah satu media yang tepat sebagai pusat layanan informasi secara global untuk berbagai informasi (Jiawei & Kamber, 2006). Keuntungan dalam menggunakan website adalah dapat memberikan kemudahan dan kebebasan bagi penggunanya untuk menyampaikan informasi dan pendapat. Semua informasi dan pendapat yang telah disampaikan oleh pengguna akan tersimpan didalam sebuah kumpulan dokumen yang berbentuk teks. Karena dalam dokumen teks maka sulit untuk menemukan kembali informasi yang sesuai antara satu dokumen teks yang satu dengan yang lainnya. Apalagi ditambah dalam kurun waktu yang cukup lama sehingga kumpulan dokumen teks akan semakin bertambah besar, sehingga pada akhirnya ada pemikiran untuk melakukan penambangan dokumen teks. Penambangan dokumen teks dari website yang berisi komentar, pendapat, feedback, kritik dan review merupakan hal penting, karena apabila dikelola dengan baik dan benar maka akan memberikan keuntungan berupa informasi yang bermanfaat untuk membantu individu atau organisasi didalam pengambilan sebuah keputusan (Li & Liu, A Clustering-based Approach on Sentiment Analysis, 2010). Hal itu tentu saja sangat menguntungkan bagi siapa saja yang memanfaatkan penambangan dokumen teks. Yang menjadi permasalahan didalam penambangan kumpulan dokumen teks yang berasal dari website ialah dokumen teks masih dinyatakan didalam bahasa alami atau natural artinya masih banyak atribut yang kurang sesuai pada dataset, sehingga bagi siapa saja yang membutuhkan memungkinkan untuk membaca dan menganalisis kembali semua review atau kumpulan dokumen yang ada (Li & Liu, A Clustering-based Approach on Sentiment Analysis, 2010). Maka untuk mengatasi masalah itu membutuhkan seleksi fitur yang dapat digunakan untuk mengurangi dataset yang tidak relevan. Ada beberapa algoritma seleksi fitur yang dapat digunakan antara lain information gain, chi square, forward selection dan backward elimination. Saat ini, teknik yang berkembang untuk menganalisis kumpulan dokumen teks adalah analisis sentimen atau opinion mining. Analisis sentimen merupakan suatu proses memahami, mengekstrak, dan mengolah informasi tekstual secara otomatis. Pentingnya analisis sentimen sekarang sangat terasa bagi manusia atau organisasi, hal itu ditandai dengan banyaknya
1
penelitian dan pesatnya perkembangan analisis sentimen, terbukti di Amerika Serikat kurang lebih 20-30 perusahaan menfokuskan pada layanan analisis sentimen, ini membuktikan bahwa mengumpulkan informasi dan selalu mencari tahu tentang hal apa yang orang lain pikirkan merupakan sesuatu hal yang penting (Liu B. , 2010) baik melalui review situs online dan blog pribadi. Ada dua arah penelitian dalam analisis sentimen, yang pertama adalah untuk mengklasifikasikan polaritas suatu teks yang diberikan, apakah yang diungkapkan merupakan opini positif, negatif atau netral, penelitian ini sebelumnya dipelopori oleh (Pang, Lee, & Shivakumar, 2002). Arah penelitian yang kedua adalah identifikasi subjektivitas atau objektifitas, penelitian ini umumnya mengklasifikasikan sebuah teks kedalam satu dari dua kelas yaitu tujuan atau subyektif. Beberapa contoh penelitian yang berhubungan dengan analisis sentimen atau opinion mining, antara lain menganalisa rating movie review dapat digunakan untuk mengetahui tingkat pendapatan dari pemutaran suatu film (Pang, Lee, & Shivakumar, 2002). Review movie dapat dimanfaatkan para penikmat film untuk memutuskan film apa yang akan ditonton, bagi produser film dapat memanfaatkan opini untuk mengetahui penilaian yang diberikan oleh para penikmat film tentang film-film yang paling banyak dikritik. Selain review movie, review sebuah produk dapat membantu perusahaan untuk mempromosikan produk mereka. Dalam bidang politik, opini kebijakan politik dapat membantu politisi untuk memperjelas strategi politik mereka,
dan dengan review twitter dapat digunakan untuk
mengidentifikasi sentimen tentang pariwisata di Thailand selama kerusuhan di awal tahun 2010 (Claster, Cooper, & Sallis, 2010). Tetapi sampai saat ini belum ada teknik unsupervised learning yang paling akurat untuk meningkatkan optimasi analisis sentimen review sebuah film, hal ini seperti yang disampaikan oleh Kucuktunc et al. (Kucuktunc & Bambazoglu, 2012) dalam A Large-Scale Sentiment Analysis for Yahoo! Answers. Dalam perkembangannya, banyak penelitian dengan menggunakan metode atau algoritma yang berbeda, hal ini disebabkan karena masing-masing metode atau algoritma mempunyai perbedaan, baik tingkat akurasi maupun tingkat kecepatannya dalam melakukan proses clustering atau klasifikasi sebuah dokumen. Pada penelitian sebelumnya ada beberapa teknik supervised learning seperti algoritma SVM (Stylios, 2010); (Abbasi, Chen , & Salem , 2008); (O’Keefe & Koprinska, 2009); (Somayajulu, Reddy, & Dani, 2010) dan algoritma Naive Bayes (Stylios, 2010); (Keefe & Koprinska, 2009), algoritma ini digunakan untuk klasifikasi dokumen. Sedangkan teknik unsupervised learning dengan metode clustering, seperti penelitian yang dilakukan oleh Gang Li dan Fei Liu (Li & Liu, A Clustering-based 2
Approach on Sentiment Analysis, 2010)
yaitu suatu metode dimana didalam
mengelompokkan dokumen dengan menggunakan persamaan topik yang dimiliki oleh masing-masing dokumen, dengan tujuan untuk memudahkan pengguna dalam menemukan dokumen yang diinginkan. Penelitian-penelitian terdahulu
yang terkait tentang analisis sentimen baik
menggunakan teknik supervised learning maupun unsupervised learning adalah (Pang, Lee, & Shivakumar, 2002) melakukan penelitian untuk mengetahui rating film dengan cara melihat dan mengklasifikasikan review ke label positif atau negatif, dataset diambil dari Internet Movie Database (IMDb), menggunakan metode Naïve Bayes Clasifier (NBC), Maximum Entropy (ME) dan Suport Vector Machine (SVM) serta menggunakan pemilihan fitur Unigram, N-Gram dan Part-of-Speech (POS), hasil penelitian ini menyatakan bahwa algoritma terbaik dan efektif untuk klasifikasi teks adalah SVM sedangkan algoritma terburuk untuk klasifikasi adalah NBC. Christopher et al. (Christopher, Wong, & Chih-Ping, 2009) melakukan penelitian untuk menganalisis klasifikasi review opini pembeli produk di website, metode yang digunakan adalah Class Association Rule, NBC Information Gain dan NBC Chi Square, dengan hasil penelitian bahwa akurasi Class Association Rules adalah 73%, NBC dan Information Gain adalah 76,12% sedangkan NBC Chi Square tingkat akurasinya adalah 67,64 %. Gang Li dan Fei Li (Li & Liu, A Clustering-based Approach on Sentiment Analysis, 2010), melakukan
penelitian
menggunakan
algoritma K-Means dengan menerapkan
metode pembobotan TF-IDF, Voting Mechanism dan Importing Term Score. Dataset yang digunakan adalah movie review sebanyak 600 dokumen yang terbagi menjadi 300 dokumen positif dan 300 dokumen negatif. Dalam penelitian ini hasil yang diperoleh adalah bahwa clustering dokumen dengan menggunakan algoritma K-Means memiliki keunggulan lebih baik dibanding jenis pendekatan symbolic techniques dan metode supervised learning, dengan akurasi 77.17% - 78.33%. Berdasarkan penelitian diatas, ada beberapa metode atau algoritma yang digunakan untuk analisis sentimen, namun belum diketahui algoritma unsupervised learning yang memiliki akurasi terbaik untuk meningkatkan optimasi analisis sentimen movie review, maka didalam penelitian ini akan menerapkan algoritma K-Means dengan seleksi fitur Information Gain untuk optimasi analisis sentimen movie review.
3
1.2. Rumusan Masalah Berdasarkan uraian latar belakang diatas dapat dirumuskan suatu permasalahan yaitu banyak metode atau algoritma yang digunakan untuk analisis sentimen, namun belum diketahui algoritma unsupervised learning
yang memiliki akurasi terbaik untuk
meningkatkan optimasi analisis sentimen movie review, maka didalam penelitian ini akan menerapan algoritma K-Means dengan seleksi fitur Information gain untuk optimasi analisis sentimen movie review. 1.3. Batasan Masalah Batasan masalah dalam penelitian ini adalah sebagai berikut : Konsentrasi pada penelitian analisis sentimen movie review untuk mengetahui kinerja algoritma K-Means dengan seleksi fitur information gain pada proses pengelompokan dokumen teks movie review. Dataset yang digunakan adalah dalam bentuk dokumen teks bahasa inggris. Menggunakan dataset movie review dalam bahasa inggris sebanyak 300 dokumen berlabel negatif dan 300 berlabel dokumen positif, 700 dokumen berlabel negatif dan 700 dokumen berlabel positif dan 1000 dokumen berlabel negatif dan 1000 dokumen berlabel positif yang diunduh dari http://www.cs.cornell.edu/people/pabo/moviereview-data/. 1.4. Keluaran Kontribusi yang disumbangkan dari penelitian ini adalah diketahui tingkat akurasi algoritma K-Means setelah menggunakan seleksi fitur Information Gain untuk optimasi analisis sentimen movie review, sehingga dapat dijadikan referensi untuk penelitian selanjutnya.
4
BAB 2 TINJAUAN PUSTAKA
2.1
Penelitian Terkait Bertambahnya dokumen di website dari waktu ke waktu semakin bertambah tanpa
melihat besarnya dokumen yang sudah ada. Hal ini menyebabkan banyaknya penelitian untuk menggali dokumen teks agar dapat diambil manfaatnya. Metode dan algoritma yang digunakan juga berbeda-beda antara satu peniliti dengan peneliti lainnya, tujuannya adalah untuk mendapatkan algoritma atau metode yang paling baik kinerjanya, baik itu untuk teknik clustering maupun teknik klasifikasi. Selain metode dan algoritma yang berbeda, dataset yang digunakan peneliti juga berlainan, ada yang menggunakan movie review (Reddy, Somayajulu, & Dani, 2010); (Kucuktunc & Bambazoglu, 2012), data blog dan media sosial ( (Vidhya & Aghila, 2010); (Al-Subaihin, Al-Khalifa, & Al-Salman, 2011). Berikut ini adalah beberapa penelitian yang terkait tentang analisis sentimen yang diambil dari beberapa jurnal dan artikel, secara garis besar tinjauan studi dalam penelitian ini yaitu penelitian yang dilakukan oleh Pang et al. (Pang, Lee, & Shivakumar, 2002) yang berjudul Thumbs up? Sentiment Classification using Machine Learning Techniques, membahas
tentang
penelitian
untuk
mengetahui
rating
sebuah
film
dengan
mengklasifikasikan review ke label positif atau negatif dari sebuah film, dataset yang digunakan adalah Internet Movie Database (IMDb). Penelitian ini memanfaatkan metode klasifikasi machine learning Naïve Bayes Clasifier (NBC), Maximum Entropy (ME) dan Support Vector Machine (SVM) serta menggunakan seleksi fitur unigram, n-gram dan Partof-Speech (POS). Dari pengukuran kinerja yang dilakukan, diketahui bahwa algoritma terbaik dan efektif untuk klasifikasi teks adalah SVM, sedangkan NBC adalah algoritma yang terbutuk untuk klasifikasi. Songbo Tan dan Zhang Jin (Tan & Zhang, 2007),
melakukan penelitian tentang
sentimen corpus bahasa china sebanyak 1.021 dokumen, menggunakan 4 metode feature selection tradisional (DF, CHI, MI, IG) dan 5 metode machine learning (Centroid Classifier, K-Nearest Neighbor, Naïve Bayes, Winnow Classifier, SVM classifier, hasil penelitian ini menunjukkan bahwa Information Gain (IG) melakukan yang terbaik dalam seleksi fitur dan SVM menunjukkan kinerja terbaik untuk klasifikasi sentimen.
5
Selanjutnya Abasi et al. (Abbasi, Chen , & Salem , 2008) mereka melakukan penelitian tentang klasifikasi sentimen berbagai bahasa dengan menggunakan pendekatan SVM dan pemilihan fitur Entropy Weighted Genetic Algorithm (EWGA), Information Gain (IG) dan Genetic Algorithm (GA), mereka mengembangkan feature selection EWGA dengan memanfaatkan informasi yang dihasilkan dari IG. Dataset untuk klasifikasi yang mereka gunakan adalah bahasa inggris dan bahasa arab. Akurasi tertinggi yang mereka dapatkan adalah sebesar 91,7% untuk EWGA. Penelitian Jingnian et al. (Chen, Huang, Tian, & Qu, 2009) mereka melakukan penelitian dengan menkomparasi beberapa metode feature selection seperti information gain (IG), Multi-class Odds Ratio (MOR) dan Class Discriminating Measure (CDM), Extended Odds Ratio (EOR), Weighted Odds Ratio (WOR) dan MC-OR. Menggunakan multikelas dataset yaitu dataset routers dan dataset bahasa china. Akurasi tertinggi yang mereka dapatkan adalah dengan pemilihan fitur CMD dengan akurasi sebesar 85,60 %. Siva et al. (Reddy, Somayajulu, & Dani, 2010) melakukan penelitian klasifikasi movie review dengan dataset dari IMDb, empat metode klasifikasi digunakan yaitu Naïve Bayes (NB), Support Vector Machine (SVM), Complemented Naïve Bayes (CNB) dan Discriminative Using Bayesian Networks (DPBN) dengan seleksi fitur Information Gain (IG). Hasil penelitian mereka bahwa akurasi Complemented Naïve Bayes classifier (CNB) adalah (94,85%), NB (89.25%), Discriminative Partitioning Using Bayesian Networks (DPBN) (93.25) dan SVM (88.55%). Gang Li dan Fei Li (Li & Liu, A Clustering-based Approach on Sentiment Analysis, 2010), melakukan
penelitian
menggunakan
algoritma K-Means dengan menerapkan
metode pembobotan TF-IDF, Voting Mechanism dan Importing Term Score. Dataset yang digunakan adalah movie review sebanyak 600 dokumen yang terbagi menjadi 300 dokumen berlabel positif dan 300 dokumen berlabel negatif. Dalam penelitian ini hasil yang diperoleh adalah bahwa clustering dokumen dengan menggunakan algoritma
K-Means memiliki
keunggulan lebih kompetitif dibanding jenis pendekatan symbolic techniques dan metode supervised learning, dengan akurasi 77.17% - 78.33%, lebih efesiensi waktu dan tidak ada partisipasi manusia. Selanjutnya Bruno et al. (Ohana & Brendan, 2011) melakukan penelitian tentang klasifikasi sentiment dengan pendekatan SVM berbasis fitur seleksi yang digunakan untuk menambah kecepatan klasifikasi berdasarkan perhitungan bobot atribut.
Dataset yang
digunakan sama seperti (Pang, Lee, & Shivakumar, 2002) validasi dan evaluasi mereka menggunakan teknik 10-fold cross validation. Penelitian ini memperoleh rata-rata akurasi 6
sebesar 85,39% untuk SVM menggunakan semua fitur, setelah penghapusan fitur mereka membatasi data yang diambil nilai terbaik yang ditemukan selama pengujian parameter berjumlah 1800 fitur disimpan menggunakan bobot berbasis korelasi, yang menghasilkan akurasi 85,49%. 2.2
Landasan Teori
2.2.1 Analisis Sentimen Analisis sentimen atau juga bisa disebut opinion mining adalah suatu proses memahami, mengekstrak, dan mengolah data tekstual secara otomatis, atau merupakan studi komputasi pendapat, perasaan dan emosi yang dinyakan dalam bentuk teks.
Informasi
tekstual dikategorikan menjadi dua : fakta dan opini. Fakta merupakan ekpresi obyektif mengenai suatu entitas, kejadian atau sifat, sedangkan opini adalah ekspresi subyektif yang menggambarkan sentimen orang, pendapat atau perasaan tentang sebuah entitas, kejadian atau sifat (Liu B. , 2010). Analisis Sentimen bertujuan untuk mengekstrak atribut dan komponen dari objek yang telah dikomentari di dalam setiap dokumen dan untuk menentukan apakah komentar tersebut positif, negatif atau netral (Lee & Pang, 2008). Ada dua cara untuk pertambangan pendapat yaitu dengan machine learning dan semantic orientation (Al-Subaihin, Al-Khalifa, & AlSalman, 2011). Machine learning dilakukan dengan cara mengumpulkan dan menyeleksi opini yang ada di web, kemudian opini-opini tersebut diberikan label positif dan negatif, sedangkan semantic orientatition merupakan kebalikan dari machine learning dan digunakan secara realtime. 2.2.2 Text Mining Seringkali studi data mining diprioritaskan pada pengolahan data yang terstruktur antara lain data relasioanal, transaksional dan data warehouse. Tetapi pada kenyataanya banyak data yang berupa informasi dan dokumen yang tersimpan didalam basis teks atau basis dokumen. Banyaknya data ini bisa berasal dari berbagai sumber seperti review, opini, berita, paper, buku, perpustakaan digital, pesan e-mail dan halaman web. Sehingga untuk mengambil intisari dari kumpulan teks dan dokumen dibutuhkan suatu teknik yang disebut text mining. Teknik ini merupakan suatu proses pengambilan intisari dari dokumen teks sehingga didapatkan hasil yang berguna untuk tujuan tertentu (Witten, Frank, & Hall, 2011). Text mining merupakan riset yang tergolong baru dan merupakan salah satu bidang dari data mining yang saat ini terus berkembang. Sesuai dengan buku The Text Mining Handbook 7
(Francis & Flynn, 2010), text mining dapat didefinisikan sebagai suatu proses menggali informasi dimana seorang user berinteraksi dengan sekumpulan dokumen menggunakan tools analisis yang merupakan komponen-komponen dalam data mining yang salah satunya adalah kategorisasi. Perbedaan antara data mining dengan text mining adalah terletak pada dataset yang digunakan, didalam data mining dataset yang digunakan bersifat terstruktur tetapi didalam text mining data yang digunakan bersifat tidak terstruktur (Francis & Flynn, 2010). Karena data yang tidak tersetruktur inilah diperlukan text mining yang dapat memberikan solusi baru dalam hal pemrosesan, pengelompokan atau pengorganisasian dan analisis teks untuk kumpulan dokumen yang sangat besar. Kegiatan riset untuk text mining antara lain ekstraksi dan penyimpanan teks, preprocessing akan konten teks, pengumpulan data statistic, indexing dan analisa konten. Proses text mining meliputi kategori teks, text clustering, ekstraksi konsep/entitas, produksi taksonomi granular, sentiment analisys, penyimpulan dokumen dan pemodelan relasi entitas. Tujuan yang akan dicapai didalam text mining adalah untuk menemukan pola yang berguna dalam sebuah kumpulan dokumen. 2.2.3 Teknik Clustering Dalam “Data Mining Cluster Analysis: Basic Concepts and Algorithms “, (Tan, Steinbach, & Kumar, 2004). membagi clustering menjadi dua kelompok, yaitu hierarchical dan partitional clustering. Partitional Clustering disebutkan sebagai pembagian obyek-obyek data ke dalam kelompok yang tidak saling overlap sehingga setiap data berada tepat di satu cluster. Hierarchical clustering adalah sekelompok cluster yang bersarang seperti sebuah pohon hirarki. William (Williams, 2006) membagi algoritma clustering ke dalam kelompok besar adalah sebagai berikut: 1. Partitioning algorithms merupakan kelompok Algoritma yang membentuk bermacam partisi dan kemudian mengevaluasinya dengan berdasarkan beberapa kriteria. 2. Hierarchy algorithms merupakan kelompok algoritma dengan proses pembentukan dekomposisi hirarki dari sekumpulan data menggunakan beberapa kriteria. 3. Density-based merupakan kelompok algoritma dengan pembentukan cluster berdasarkan pada koneksi dan fungsi densitas. 4. Grid-based merupakan kelompok algoritma dengan proses pembentukan cluster berdasarkan pada struktur multiple-level granularity
8
5. Model-based: sebuah model dianggap sebagai hipotesa untuk masing-masing cluster dan model yang baik dipilih diantara model hipotesa tersebut. Clustering dapat dianggap suatu proses yang penting didalam metode unsupervised learning (Jain, Murty, & Flynn, 1999) yaitu proses pengelompokan dokumen berdasar pada kesamaan topik (Al-Mubaid & Umair, 2006) antara cluster yang satu dengan yang lainnya. Xu dan Wunsch (Xu & Wunsch, 2009) menyatakan bahwa pengelompokan clustering objek kedalam beberapa kelompok (cluster) yang mempunyai sifat homogen atau dengan variasi sekecil mungkin adalah diperlukan karena dapat memudahkan analisis data. Tujuan utama dari clustering dokumen adalah untuk membagi dokumen menjadi beberapa kelompok dimana dokumen didalam kelompok yang sama mempunyai kemiripan satu dengan yang lainnya berdasarkan kemiripan dari kemunculan term. Keuntungan yang diperoleh dari proses clustering adalah dapat menarik pola dan struktur secara langsung yang ditemukan dari dataset yang sangat besar (Velmurugan & Santhanam, 2010), dengan clustering maka dapat dilakukan analisis pola-pola, mengelompokkan, membuat keputusan dan machine learning termasuk data mining, document retrieval, segmentasi citra serta klasifikasi pola. Metodologi clustering cocok untuk eksplorasi hubungan antar data untuk membuat penilaian terhadap suatu struktur. Contoh hasil analisis clustering ditampilkan
pada gambar kotak yang dikelompokkan menjadi tiga
berdasarkan warna seperti yang disajikan pada Gambar 2.1. Teknik clustering dokumen merupakan teknik yang lebih spesifik dari pengorganisasian unsupervised dokumen, otomatis ekstraksi topik serta pengambilan dan penyaringan informasi secara cepat (Boiy, Hens, Deschacht, & Moens, 2007; Zamir, Oren, Madani, & Karp, 1997). Contoh pemakaian teknik clustering adalah digunakan pada search engine web untuk mengelompokkan dokumen secara otomatis pada sebuah daftar kategori yang memudahkan untuk memperoleh keterkaitan informasi yang relevan, dibidang pemasaran clustering dapat membantu penjual menemukan kelompok yang berbeda dari pusat pelanggan mereka kemudian menggunakan ilmu pengetahuan untuk mengembangkan program penjualan sehingga penjualan dapat dipenuhi, dibidang perencanaan kota metode clustering dapat digunakan untuk mengidentifikasi kelompok rumah sesuai dengan tipe rumah, harga dan lokasi geografis.
9
Gambar 2. 1.Analisis clustering pada gambar kotak berdasarkan warna Terdapat dua pendekatan atau tipe pada teknik clustering yaitu partitional clustering dan hirerarchical clustering. Dalam partitional clustering kita kelompokkan objek x1,x2,......,xn kedalam sebuah k cluster. Hal ini bisa dilakukan dengan menentukan pusat cluster awal, kemudian dilakukan relokasi objek berdasarkan kriteria tertentu sampai dicapai pengelompokan yang maksimal, sedangkan pada hirerarchical clustering dimulai dengan membuat m cluster, dimana setiap cluster beranggotakan satu objek, dan berakhir dengan satu cluster dimana anggotanya adalah m objek. Pada setiap tahap dalam prosedurnya, satu cluster digabung dengan satu cluster lainnya. Kita bisa memilih berapa jumlah cluster yang diinginkan dengan menentukan pemotongan untuk berhenti pada tingkat tertentu. Dasar dari tahapan dalam clustering dokumen adalah preprocessing, term weighting baru kemudian penerapan algoritma clustering yang kita tentukan. Tahap preprocessing akan menghasilkan kumpulan term yang nantinya akan diberikan bobot atau nilai dimana bobot tersebut mengindikasikan pentingnya sebuah term terhadap dokumen. Semakin sering term muncul pada koleksi dokumen, maka semakin tinggi nilai atau bobot term tersebut, maka kemudian pemberian bobot dapat disebut term weighting. Hasil dari pemberian bobot atau term weighting adalah menghasilkan sebuah matrik term dokumen dengan dimensi mxn, dimana m adalah jumlah term dan n adalah jumlah dokumen, maka model ini bisa disebut model ruang vektor atau vector space model. Beberapa algoritma untuk clustering telah diusulkan oleh para peneliti (Berkhin, 2002; Xiong, 2009; Borah & Ghose, 2009; Rakhlin & Caponnetto, 2007), contoh aplikasi yang menerapkan clustering adalah pengenalan pola, analisis data spatial, pemrosesan gambar, aplikasi ilmu ekonomi (terutama riset pasar), aplikasi web meliputi klasifikasi dokumen dan weblog cluster.
10
2.2.4 RapidMiner Tools yang digunakan didalam penelitian ini adalah framework RapidMiner. Perangkat lunak ini dibuat oleh Dr. Markus Hofmann dari Institute of Technology Blanchardstown, Blanchardstown Road North, Dublin, Irlandia dan Ralf Klinkenberg dari www.rapid-i.com dengan tampilan yang menarik dan sudah menggunakan GUI (Graphical User Interface). RapidMiner menyediakan software, solusi dan layanan di bidang analisis prediktif, data mining, dan text mining. RapidMiner akan memudahkan pengguna dalam menggunakan perangkat lunak ini. Gambar 1 merupakan tampilan area kerja RapidMiner. Perangkat lunak ini bersifat terbuka (open source) dan dibuat dengan menggunakan bahasa Java di bawah lisensi GNU Public License dan RapidMiner dapat dijalankan di sistem operasi manapun. Dengan menggunakan RapidMiner, tidak dibutuhkan kemampuan khusus harus bisa membuat program, karena semua fasilitas sudah disediakan. RapidMiner memiliki beberapa sifat sebagai berikut:
Ditulis dengan bahasa pemrograman Java sehingga dapat dijalankan di berbagai sistem operasi.
Proses penemuan pengetahuan dimodelkan sebagai operator trees
Representasi XML internal untuk memastikan format standar pertukaran data.
Bahasa scripting memungkinkan untuk eksperimen
skala besar dan otomatisasi
eksperimen.
Konsep multi-layer untuk menjamin tampilan data
yang efisien dan menjamin
penanganan data.
Memiliki GUI, command line mode, dan Java API yang dapat dipanggil dari program lain.
Beberapa Fitur dari RapidMiner, antara lain:
Banyaknya algoritma data mining, seperti decision tree dan self-organization map.
Bentuk grafis yang canggih, seperti tumpang tindih diagram histogram, tree chart dan 3D Scatter plots.
Banyaknya variasi plugin, seperti text plugin untuk melakukan analisis teks.
Menyediakan prosedur data mining dan machine learning termasuk: ETL (extraction, transformation,
loading), data preprocessing, visualisasi, modelling dan evaluasi
Proses data mining tersusun atas operator-operator yang nestable, dideskripsikan dengan XML, dan dibuat dengan GUI 11
Mengintegrasikan proyek data mining Weka dan statistika R.
Model yang disediakan juga cukup lengkap, seperti model Clustering, Fitute Selection, Bayesian Modelling, Tree Induction, Neural Network dan lain-lain. Banyak metode yang disediakan oleh RapidMiner mulai dari klasifikasi, Clustering, asosiasi dan lain-lain. Di antara pengguna perusahaan terkenal seperti Ford, Honda, Nokia, Miele, Philips, IBM, HP, Cisco, Merrill Lynch, BNP Paribas, Bank of America, Mobilkom Austria, Akzo Nobel, Aureus Pharma, PharmaDM, Cyprotex, Celera, Revere, LexisNexis, Mitre dan masih banyak model bisnis open-source dari Rapid-I.
Gambar 2.2. Tampilan area kerja RapidMiner 2.2.5 Algoritma K-Means Metode K-Means diperkenalkan oleh James B Mac Queen pada tahun 1967 dalam Proceding of the 5th Berkeley Symposium on Mathematical Statistics and Probability (MacQueen, 1967). K-Means merupakan suatu metode untuk menganalisa data atau metode data mining dimana dalam melakukan proses pemodelan tanpa supervisi (unsupervised) dan merupakan salah satu metode yang melakukan pengelompokan data dengan sistem partisi. K-Means adalah salah satu teknik unsupervised learning yang paling sederhana dan baik untuk memecahkan masalah clustering (Velmurugan & Santhanam, 2010). Prinsip utama dari algoritma K-Means adalah mengelompokkan dokumen dalam beberapa cluster. Banyaknya centroid menentukan jumlah cluster yang akan dihasilkan. Tujuan dari algoritma ini adalah meminimalkan tujuan suatu fungsi, dalam hal ini adalah sebuah kuadrat kesalahan fungsi. Berikut adalah pseudocode dari algoritma K-Means. Algoritma K-Means Clustering 12
Input : Koleksi Dokumen D={d1, d2, d3, … dn}; Jumlah cluster (k) yang akan dibentuk; Output : k cluster; Proses : 1. Memilih k dokumen untuk dijadikan centroid (titik pusat cluster) awal secara random; 2. Hitung jarak setiap dokumen ke masing-masing centroid menggunakan persamaan cosines similarity (persamaan 3) kemudian jadikan satu cluster untuk tiap-tiap dokumen yang memiliki jarak terdekat dengan centroid; 3. Tentukan centroid baru dengan cara menghitung nilai rata-rata dari data-data yang ada pada centroid yang sama; 4. Kembali ke langkah 2 jika posisi centroid baru dan centroid lama tidak sama; 2.2.5.1 Keunggulan K-Means Ada beberapa keunggulan dari algoritma K-Means antara lain K-Means memiliki kelebihan yaitu relatif lebih efesien dan mempunyai kemampuan
lebih cepat
dalam
memproses dataset yang besar dan K-Means mudah dipahami dan diimplementasikan, mampu mengelompokan objek yang besar dan noise
dengan sangat cepat sehingga
mempercepat proses pengelompokan. 2.2.5.2 Kelemahan K-Means Algoritma K-Means mempuanyai beberapan kelemahan yaitu dalam iterasinya algoritma ini akan berhenti dalam kondisi optimum lokal (Williams, 2006), mengharuskan didalam menentukan banyaknya cluster yang akan dibentuk, hanya dapat digunakan dalam data meannya, dan tidak mampu menangani data yang mempunyai noise atau outlier. 2.2.6 Tentang Movie Review Internet Movie Database atau IMDb adalah situs yang diciptakan Col Needham 20 tahun lalu. Needham adalah seorang pencinta film yang pada waktu bekerja di salah produsen hardware komputer yaitu Hewlett Packard, diluncurkan pada tahun 1990. Tahun 1999, IMDb.com memenangkan Webby Award dan kemudian miliki oleh Amazon.com. Kini, IMDb adalah salah satu situs yang paling besar dan paling lengkap untuk segala hal yang berhubungan dengan film dan produksi film. The Internet Movie Database adalah database film terbesar di Website, menampilkan film terbaik, berita film, movie review, trailer film, jadwal pemutaran film, review film DVD, profil selebriti, dll. Internet Movie Database (IMDb) benar-benar merupakan tempat penyimpanan terbesar tentang informasi film. Sehingga dengan populernya IMDb, maka dalam penelitian ini dataset yang digunakan 13
adalah
movie
review
dalam
teks
berbahasa
inggris
http://www.cs.cornell.edu/people/pabo/movie-review-data/.
yang
Dataset
diambil tersebut
dari sudah
dikelompokkan didalam dua kelompok yaitu kelompok movie review yang berlabel positif dan kelompok movie review yang berlabel negatif, jumlah masing-masing kelompok ada 1000 dokumen. 2.2.7 Preprocessing Dokumen Dalam pengolahan text mining salah satu langkah awal yang perlu dilakukan
adalah
preprocessing. Preprocessing merupakan tahapan untuk mengukur struktur isi dari suatu dokumen kedalam format yang sesuai yaitu berupa kumpulan term (Suanmali, Salim, & Binwahlan, 2008) untuk selanjutnya diproses kedalam algoritma clustering. Preprocessing biasanya dilakukan dengan menghilangkan stopword ( term yang tidak signifikan ) dan proses stemming (Wajeed & Adilakshmi, 2005 - 2009). Preprocessing digunakan untuk menghasilkan data training yang menghasilkan sejumlah tuple (record) dan class, sehingga dapat digunakan untuk menggolongkan nilai suatu opini kedalam kategori positif dan negatif. Tahapan umum preprocessing adalah seperti pada Gambar 2. Tokenizing
Filtering
Analysing
Stemming
Tagging
Gambar 2.3. Tahapan preprocessing secara umum 1.
Tokenizing Tokenizing merupakan proses pemenggalan susunan term dari suatu kalimat menjadi kumpulan token, menghilangkan karakter selain huruf seperti angka dan tanda baca, serta karakter angka dan tanda baca dianggap sebagai delimiter atau pemisah. Proses tokenizing dapat dilihat pada contoh dibawah ini. Teks Input : “Studying the Text Mining “
Hasil Tokenizing
Ttudying the Text Mining
14
2.
Filtering Stopword Dalam tahap stopword, kata-kata yang tidak sesuai dalam suatu topik, atau kata-kata yang tidak mendeskripsikan suatu dokumen akan dihilangkan, contohnya antara lain kata-kata : “a”,”and”,”are”,”the” dan yang lainnya. Contoh stopword sebagai berikut. Teks Input : “Studying the text mining “ studying
3.
Hasil Filtering
text
Stopword
mining
Stemming Steming merupakan bagian dari preprocessing yang digunakan untuk mencari kata dasar dengan cara mengubah kata berimbuhan menjadi kata dasarnya, dengan tujuan untuk meningkatkan kualitas informasi. Kualitas informasi yang dimaksud adalah hubungan diantara kata itu sendiri, misalnya “writing”, “write”, “writed”, yang semula adalah kata yang berbeda, tetapi dengan adanya stemming, kata tersebut menjadi ‘write’, sehingga ada hubungan antara ketiga kata tersebut. Selain itu, space yang digunakan untuk penyimpanan juga menjadi lebih kecil, contoh stemming sebagai berikut :
4.
Hasil Stopword
Hasil Stemming
studying
study
text
text
mining
mine
Tagging Tagging adalah tahap mencari bentuk awal / root dari tiap kata lampau atau kata hasil stemming. Tagging biasanya dipakai untuk bahasa inggris. Contoh stemming sebagai berikut. Was used stori
5.
Be Use story
Analysing
Tahap analysing merupakan tahap akhir untuk menentukan seberapa jauh kedekatan atau kemiripan antar kata-kata atau antar dokumen yang ada. Pada tahap ini dilakukan representasi nilai numerik yaitu dengan melakukan pembobotan tf-idf dan model ruang vector (vector space model ). Setelah itu dari vektor yang sudah diukur kemiripannya 15
(similarity) dengan menghitung cosines sudut antar vector query, sehingga diperoleh nilai dengan range antara 0 sampai 1. Nilai semakin mencapai angka 1 maka dokumen tersebut semakin sama. 2.2.8 Pembobotan TF-IDF Sering munculnya term dalam dokumen dapat digunakan sebagai proses untuk melakukan perhitungan sehingga diketahui penting atau tidaknya suatu kalimat. Proses perhitungan bisa dilakukan setelah dokumen direpresentasikan kedalam bentuk nilai numerik dokumen oleh Vector Space Model dan TF-IDF. Skor kalimat dapat dihitung sebagai jumlah dari skor/nilai kata dalam kalimat tersebut (Suanmali, Salim, & Binwahlan, 2008). Salah satu algoritma yang dipakai untuk menghitung skor atau pembobotan sebuah term dalam suatu dokumen adalah TF-IDF (Term Frequency-Inversed Document Frequency) (Yates & Neto, 1999). TF (Term Frekuency) adalah banyaknya kemunculan suatu term dalam dokumen. IDF (Inverse Document Frequency) adalah perhitungan logaritma antara pembagian jumlah total dokumen dengan cacah dokumen yang mengandung term, dan TF-IDF adalah perkalian antara TF dengan IDF. Semakin besar bobot TF-IDF pada suatu term, maka semakin penting term tersebut untuk bisa digunakan pada tahapan klasifikasi atau clustering dokumen. TF-IDF weighting menghitung term dari dokumen yang diwujudkan sebagai sebuah vector dengan elemen sebanyak term yang berhasil dideteksi pada proses penghilangan stopword dan stemming. Vector tersebut beranggotakan bobot dari tiap term yang dihitung berdasarkan metode ini. Formula yang digunakan untuk menghitung bobot adalah seperti persamaan dibawah ini: wij = tf ij × ( log (D /df j ) + 1 )
(1)
D
= total dokumen
df
= banyak dokumen yang mengandung kata yang dicari
tf
= banyaknya kata yang dicari pada sebuah dokumen
2.2.9
Seleksi Fitur
Feature Selection adalah salah teknik terpenting dan sering digunakan dalam preprocessing data mining (Kira & Rendel, 1992), khususnya untuk knowledge discovery maupun discovery scince. Tujuan dari feature selection adalah untuk mengurangi jumlah fitur yang terlibat dalam hal untuk menentukan suatu nilai kelas target, mengurangi fitur yang tidak sesuai, fitur yang berlebihan dan data yang menyebabkan salah pengertian terhadap menentukan kelas target yang mempunyai efek mempercepat proses aplikasi. Hasil yang didapat dari seleksi fitur adalah untuk mempercepat dan meningkatkan kinerja proses mining, contohnya adalah 16
proses prediksi. Feature adalah seluruh kata yang muncul dalam training set. Set ini biasanya sangat besar yaitu satu dimensi untuk setiap kata unik sehingga memiliki feature space yang sangat besar. Feature selection adalah metode untuk mereduksi dimensi feature space dengan cara memilih kata-kata yang paling berkualitas. Salah satu metode yang terbukti sangat efektif dalam melakukan supervised feature selection diantaranya adalah Information Gain (IG) dan Chi Square (CHI) (Liu T. a., 2003) . Maka didalam penelitian ini seleksi fitur yang digunakan adalah Information Gain (IG). Pada tahap ini, atribut yang akan diolah harus diminimalisasi terlebih dahulu dengan tujuan untuk membuang atribut yang tidak perlu sehingga hanya atribut yang mempunyai relevansi kuat yang akan diproses, sehingga efisiensi space dan waktu dapat dicapai dan kualitas data yang dihasilkan lebih baik. Salah satu cara untuk mereduksi atribut adalah dengan information gain. Information gain adalah pengukuran yang dilakukan untuk menyeleksi atribut.
Info(D)=-∑𝑚 𝑖=1 𝑝𝑖 log2 pi
(2)
Dalam hal ini pi adalah probabilitas sebuah tuple pada D masuk ke kelas Ci dan diestimasi dengan |Ci,D|/|D|. Fungsi log diambil berbasis 2 karena informasi dikodekan berbasis bit. Misal S adalah himpunan beranggotakan s data. Misalkan label atribut yang mendefinisikan kelas memiliki m nilai berbeda yang mendefinisikan m kelas Ci (untuk i=1,2,..,m) berbeda. Misalkan Si adalah jumlah sampel S yang masuk ke dalam kelas Ci. Berdasarkan (1) maka informasi yang diharapkan perlu untuk mengklasifikasi suatu sampel yang diberikan adalah: (S1,S2,.....,Sm)= - ∑𝑚 𝑖=1 𝑝𝑖 log2 pi
(3)
Yang mana pi adalah peluang suatu sampel sembarang yang masuk ke kelas ci dan ditaksir dengan si / s. Misalkan atribut A yang bukan atribut suatu kelas, memiliki v buah nilai yang berbeda yaitu {a1, a2, …,av}. Atribut A dapat digunakan untuk memisahkan S ke dalam v subset Sj yaitu {S1, S2, …,Sv}, dalam hal ini Sj memuat sampel-sampel didalam S yang memiliki nilai aj dari A. Jika atribut A dipilih sebagai atribut uji maka subset-subset tersebut akan berhubungan dengan cabang-cabang yang turun dari simpul yang memuat himpunan S. Misalkan Sij adalah jumlah sampel dari kelas Ci di dalam suatu subset Sj. Entropi atau informasi harapan berdasarkan pemisahan ke dalam subset-subset A dihitung dengan: E(A) = ∑𝑚 𝑖−1
𝑆1𝑗+𝑠2𝑗+,…,+𝑠𝑚𝑗 𝑠
/ (S1j,S2j...,Smj)
17
(4)
𝑆1𝑗+𝑠2𝑗+,…,+𝑠𝑚𝑗 , 𝑠
bentuk ini bertindak sebagai pemberat dari subset j dan merupakan jumlah
sampel di dalam subset tersebut (yang memiliki nilai aj dari A) dibagi dengan jumlah total sampel di dalam S. Semakin kecil nilai entropi maka semakin murni pemisahan subset. 2.2.10 Measure similarity Didalam Vector Space Model dokumen digambarkan dalam bentuk dokumen d = {w1, w2, w3,…, wn} dimana d adalah dokumen dan w adalah nilai bobot setiap term dalam suatu dokumen. Model ruang vektor dan pembobotan tf*idf digunakan untuk mempresentasekan nilai numerik sehingga dapat dihitung kedekatan antar dokumen. Semakin dekat dua vektor didalam ruang vektor maka semakin mirip dua dokumen yang diwakili oleh vektor tersebut. Kemiripan antar dokumen dihitung menggunakan fungsi ukuran kemiripan . Ukuran ini digunakan untuk perangkingan dokumen sesuai dengan kemiripan (relevasi) nya terhadap query. Setelah dokumen dirangking, sejumlah tetap dokumen top-scoring dikembalikan pada pengguna. Ada beberapan metode yang digunakan untuk pengukuran kemiripan antara lain yaitu cosine similarity, manhattan distance, dan eucliedean distance. 2.2.10.1 Cosine similarity Cosine similarity salah satu metode untuk mengukur kemiripan teks yang sering digunakan (Tata & Patel M, 2007 ). Ukuran ini menghitung nilai cosinus sudut antara dua vektor. Jika terdapat dua vektor dokumen dj dan query q, serta term diekstrak dari koleksi dokumen maka nilai cosinus antara dj dan q didefinisikan dibawah ini.
cosines 𝜃𝐷1=
(5)
𝑄∗𝐷1 |𝑄|∗|𝐷1 |
Similiraty (Q,Di ) =
∑𝑖 𝑊𝑄,𝑗 𝑊𝑖,𝑗
(6)
2 2 √∑𝑗 𝑊𝑄,𝑗 √∑𝑖 𝑊𝑄,𝑗
2.2.10.2 Manhattan Disctance Jarak rectilinear sering disebut dengan jarak manhattan adalah formula untuk menghitung jarak antara dua titik. Pengukuran dengan manhattan banyak digunakan karena mudah perhitungannya, mudah dimengerti. Perhitungan Manhattan distance untuk mencari jarak minimal dari dua buah titik (x1,x2) dan b(x2,y2), persamaan manhattan distance sebagai berikut : dij = |xi - xj | + |yi - yj|
(7)
sebagai contoh pada gambar 2.4, jarak antara i dan j adalah sebagai berikut. 18
2.2.10.3 Euclidean Disctance Teknik pengukuran kemiripan ini sering digunakan dalam teknik clustering, karena sederhana, tetapi mempunyai kekurangan yaitu sangat sensitif terhadap pencilan, seperti pada persamaan dibawah ini.
Dij= √∑𝑚 𝑘=1(𝑑𝑗𝑘 − 𝑐𝑗𝑘 ) 2
(8)
Dimana D adalah jumlah komponen pada vektor
i
k
dan vector
, dari ketiga metode
pengukuran kemiripan antar dokumen tersebut yang digunakan didalam penenlitian ini adalah cosine similarity. 2.2.11 Model Confusion Matrix Confusion Matrix (Gorunescu, 2011) merupakan tools visualisasi yang biasa digunakan pada supervised learning dan dapat digunakan untuk unsupervised learning. Tiap kolom pada matriks adalah contoh dalam kelas prediksi, sedangkan setiap baris mewakili kejadian di kelas yang sebenarnya. Satu keuntungan dari Confusion Matrix adalah mudah untuk mengetahui jika ada data diantara dua kelas. Confusion Matrix berisi informasi tentang aktual dan prediksi pada sistem klasifikasi. Kinerja sistem seperti ini biasanya dievaluasi dengan menggunakan data pada matriks. Berikut ini adalah contoh tabel yang menunjukkan confusion matrix untuk klasifikasi dua kelas. Confusion matrix terdiri dari: Predicted Negative
Positive
Negative
a
b
Positive
c
d
Actual
Tabel 2.1: Tabel Confusion Matrix 1.
a adalah jumlah prediksi yang tepat bahwa instance bersifat negatif
2.
b adalah jumlah prediksi yang salah bahwa instance bersifat positif
3.
c adalah jumlah prediksi yang salah bahwa instance bersifat negatif
4.
d adalah jumlah prediksi yang tepat bahwa instance bersifat positif
Dari tabel 2.1 dapat jelaskan beberapa persyaratan standar yang telah didefinisikan untuk matriks klasifikasi dua kelas :
19
a.
Accuracy (AC) adalah proporsi jumlah prediksi dataset yang benar. Hal ini ditentukan dengan menggunakan persamaan : AC =
b.
a+d a+d+b+c
(9)
Recall adalah rasio proporsi jumlah dokumen positif yang diidentifikasikan dengan benar, yang dihitung dengan menggunakan persamaan :
R = c.
d
(10)
c+d
Precision (P) adalah proporsi prediksi jumlah dokumen positif yang benar, dihitung dengan menggunakan persamaan : P=
d.
b
(11)
b+d
Tingkat positif salah (TP) adalah proporsi kasus negatif yang salah diklasifikasikan sebagai positif, yang dihitung dengan menggunakan persamaan : 𝑏
TP = e.
(12)
𝑎+𝑏
Tingkat negatif sejati (TN) didefinisikan sebagai proporsi kasus negatif yang diklasifikasikan dengan benar, yang dihitung dengan menggunakan persamaan: TN =
f.
𝑎
(13)
𝑎+𝑏
Tingkat negatif palsu (FN) adalah proporsi kasus positif yang salah diklasifikasikan sebagai negatif, yang dihitung dengan menggunakan persamaan : FN =
c
(16)
c+d
20
BAB 3 TUJUAN DAN MANFAAT PENELITIAN
3.1 Tujuan Penelitian Berdasarkan latar belakang dan rumusan masalah diatas, maka tujuan penelitian ini adalah sebagai berikut : 1. Untuk mengetahui akurasi algoritma K-Means tanpa menggunakan seleksi fitur untuk analisis sentimen movie review dengan dataset 300 dokumen, 700 dokumen dan 1000 dokumen, masing-masing berlabel positif dan negatif. 2. Untuk mengetahui akurasi algoritma K-Means dengan menggunakan seleksi fitur Information Gain untuk analisis sentimen movie review dengan dataset 300 dokumen, 700 dokumen dan 1000 dokumen, masing-masing berlabel positif dan negatif. 3. Untuk mengetahui akurasi model yang diusulkan untuk analisis sentimrn movie review, bahwa dengan model yang diusulkan akan meningkatkan akurasi K-Means untuk optimasi analisis sentimen movie review. 3.2 Manfaat Penelitian Manfaat dari penelitian ini adalah sebagai berikut : 1. Diharapkan dapat bermanfaat untuk penelitian selanjutnya tentang clustering dokumen teks berbahasa inggris. 2. Diharapkan dapat bermanfaat bagi penelitian selanjutnya tentang analisis sentimen movie review. 3. Diharapkan dapat memberikan sumbangan pengetahuan yang berhubungan dengan seleksi fitur Information Gain untuk sentimen analisis sentiment movie review. 4. Diharapkan dapat memberikan sumbangan pengetahuan yang berkaitan dengan clustering dokumen berbahasa inggris tentang analisis sentimen movie review.
21
BAB 4 METODE PENELITIAN
4.1 Kerangka Pemikiran Permasalahan yang ada didalam sebuah penelitian akan menimbulkan cara bagaimana menyelesaikan masalah tersebut. Permasalahan didalam penelitian ini adalah belum diketahuinya algoritma K-Means dengan seleksi fitur Information Gain untuk optimasi analisis sentimen movie review. Adapun tools yang digunakan untuk eksperimen didalam penelitian ini adalah RapidMiner, kemudian hasil yang diperoleh adalah Accuracy, Precission dan Recall. Gambaran singkat penelitian ini ada pada kerangka pemikiran yang tersaji pada gambar 4.1.
MASALAH
PENGUMPULAN DATA & PREPROCESSING
Belum diketahui akurasi algoritma K-Means dengan Seleksi Fitur Information Gain untuk optimasi analisis sentimen movie review.
- Case folding - Stopword - Tokenizing - Stemming
TOOLS PENELITIAN
IMPLEMENTASI
RapidMiner
Algoritma K-Means dengan seleksi fitur Information Gain
UKURAN
HASIL
Accuracy, Precision, Recall
Diketahui akurasi algoritma K-Means dengan Seleksi Fitur Information Gain untuk optimasi sentimen analisis movie review
Gambar 4.1. Kerangka Pemikiran
22
4.2 Metode Penelitian Metode penelitian yang dilakukan adalah metode penelitian eksperimen, dengan tahapan penelitian seperti dalam skema penelitian sebagai berikut:
Pendahuluan dan Literatur
Rumusan Masalah
Pengumpulan Data
Model yang diusulkan
Evaluasi
Gambar 5.2. Metode Penelitian
4.2.1 Pendahuluan dan Literatur Bertambahnya dokumen di website dari waktu ke waktu semakin bertambah tanpa melihat besarnya dokumen. Hal ini menyebabkan banyaknya penelitian untuk menggali dokumen agar dapat diambil manfaatnya. Metode dan algoritma yang digunakan juga berbeda-beda antara satu peniliti dengan peneliti lainnya, tujuannya adalah untuk mendapatkan algoritma atau metode yang paling baik kinerjanya baik itu untuk teknik clustering maupun teknik klasifikasi. Namun kumpulan dokumen teks yang berasal dari website masih dinyatakan didalam bahasa alami atau natural artinya masih banyak atribut yang kurang sesuai pada dataset, sehingga bagi siapa saja yang membutuhkan memungkinkan untuk 22
membaca dan menganalisis kembali semua review atau kumpulan dokumen yang ada (Li & Liu, A Clustering-based Approach on Sentiment Analysis, 2010). Sehingga seleksi fitur dapat digunakan untuk mengurangi dataset yang tidak relevan tersebut. Beberapa algoritma seleksi fitur yang digunakan adalah information gain, chi square, forward selection dan backward elimination. 4.2.2 Rumusan Masalah Berdasarkan literature review yang dilakukan didapat permasalahan yaitu banyak metode atau algoritma yang digunakan untuk analisis sentimen, namun belum diketahui algoritma unsupervised learning yang memiliki akurasi terbaik untuk meningkatkan optimasi analisis sentimen movie review,
maka didalam
penelitian ini akan menerapan algoritma K-Means dengan seleksi fitur Information Gain untuk optimasi analisis sentimen movie review. 4.2.3 Pengumpulan Data Dataset yang digunakan didalam penelitian ini adalah dataset movie review yang diambil dari www.cs.cornell.edu/People/pabo/movie-review-data/. Movie review
ini sudah dikelompokkan kedalam 1000 kelompok dokumen yang
mempunyai label positif dan 1000 kelompok dokumen label negatif. Dataset ini sudah populer karena pernah digunakan oleh (Pang, Lee, & Shivakumar, 2002); (Chaovalit & Zhou, 2005); (Keefe & Koprinska, 2009), dan sudah siap dijadikan corpus untuk penelitian. Dataset tersebut dikumpulkan dari IMDb (Internet Movie Database) (Chaovalit & Zhou, 2005). Dari 1000 dokumen berlabel positif dan negatif tersebut kemudian oleh peneliti ambil secara acak masing-masing 300 dokumen berlabel positif dan 300 dokumen berlabel negatif , kemudian 700 dokumen berlabel positif dan 700 dokumen berlabel negatif, dan seluruh dokumen yang berjumlah 1000 dokumen berlabel positif dan 1000 dokumen berlabel negatif Dari ketiga kelompok dataset peneliti gunakan untuk menguji algoritma dan model yang diusulkan, baik algoritma K-Means tanpa menggunakan seleksi fitur dan KMeans dengan menggunakan seleksi fitur information gain.
23
4.2.4 Model yang diusulkan Model yang diusulkan adalah seperti gambar 4.3
Dataset Movie Review
Pre processing
Case folding
Tokenizing
Stopword
Stemming (porter)
Pembo botan TF-IDF
Seleksi Fitur Information Gain (IG )
Clustering Algoritma K-Means
Evaluasi Accuracy, Precision, Recall
Gambar 6.3. Model yang diusulkan 4.2.4.1 Dataset Movie Review Dataset yang digunakan dalam penelitian ini berasal dari movie review yang diambil dari website www.cs.cornell.edu/People/pabo/moviereview-data/. movie review dalam bentuk dokumen teks kemudian dikelompokkan ke dalam dokumen positif dan negatif. Dataset tersebut dikumpulkan dari IMDb (Internet Movie Database) (Chaovalit & Zhou, 2005). Jumlah movie review yang digunakan sebanyak 1000 dokumen movie review dengan kategori negatif dan 1000 dokumen movie review dengan kategori positif. 4.2.4.2 Preprocessing Dokumen dari website rata-rata masih dalam dokumen natural artinya teks dokumen masih seperti apa adanya, belum ada proses 24
pengolahan data sama sekali. Dokumen natural memiliki dimensi yang tinggi, terdapat noise, outlier, dan terdapat struktur teks yang jelek. Agar proses analisis teks untuk proses clustering dapat berjalan dengan baik maka perlu adanya
preprocessing. Tahapan preprocessing
yang
digunakan dalam penelitian ini adalah sebagai berikut : 1. Case folding
Karena dokumen dari website masih dalam bentuk dokumen alami atau natural maka teks dokumen tersebut memerlukan penyeragaman bentuk tulisannya, yaitu berbentuk huruf kecil semua. Proses mengubah teks dokumen dalam bentuk huruf kecil semua disebut case folding (Transform Case). Contoh implementasi case folding dengan mengambil kalimat dari salah satu movie review negatif di file cv001_29416.txt adalah sebagai berikut : - Teks input case folding Story regarding a crew of a tugboat that comes across a Deserted russian tech ship that has a strangeness to it when they kick the power back on little - Hasil case folding story regarding a crew of a tugboat that comes across a deserted russian tech ship that has a strangeness to it when they kick the power back on little Dari contoh diatas dapat dilihat bahwa kata huruf depan di kata “Story” dan “Deserted” adalah huruf besar, setelah dilakukan proses preprosesing case folding, hasilnya adalah “story” dan “deserted” dimana huruf depan pada kata itu berubah menjadi huruf kecil. 2. Tokenezing Tokenezing digunakan untuk pemenggalan susunan term dari suatu kalimat menjadi kumpulan token, menghilangkan karakter selain huruf seperti angka dan tanda baca, serta karakter angka dan tanda baca dianggap sebagai delimiter atau pemisah. Dibawah cuplkan kalimat dokumen positif, yaitu :
25
hasil tokenizing dengan menggunakan
“story regarding a crew of a tugboat that comes accros a deserted russian tech ship that has a strangeness to it when they kick the power back on litte” 3. Stopword Stopword merupakan proses menghilangkan kata-kata yang tidak relevan
dalam
suatu
topik,
atau
kata-kata
yang
tidak
mendiskripsikan suatu dokumen akan dihilangkan. Stopword dilakukan setelah proses tokenizing adalah tahap stopword, contoh kata-kata yang termasuk stopword adalah “a”,”and”,”are”,”the”. Dibawah ini contoh proses stopword dengan menggunakan teks hasil tokenizing. “story regarding a crew of a tugboat that comes accros a deserted russian tech ship that has a strangeness to it when they kick the power back on litte” Kalimat dibawah ini contoh kalimat hasil tokenizing yang sudah melalui preprocessing stopword. “story regarding crew tugboat comes accros deserted russian tech ship strangeness kick power back little” Dari kalimat diatas ada beberapa kata yang hilang yaitu “a”,”of”,”that”,”has”,”to”,”it”,”when”,”they”,”the” dan “on” 4. Stemming Stemming merupakan proses untuk mencari kata dasar dengan cara mengubah kata berimbuhan menjadi kata dasarnya, dengan tujuan untuk meningkatkan kualitas informasi. “story regarding crew tugboat comes deserted russian tech ship strangeness kick power “ Teks hasil stemming “story regard crew tugboat come desert russian tech ship strang kick power “ 4.2.4.3 Pembobotan TF-IDF TF-IDF (Term Frequency - Inverse Document Frequency) adalah salah satu algoritma yang digunakan untuk menghitung skor atau pembobotan term atau kata didalam suatu dokumen (Yates & Neto, 1999). TF (Term frequency) 26
adalah banyaknya kemunculan suatu term dalam dokumen. Pembobotan TF dilakukan dengan menghitung jumlah kemunculan kata dalam satu dokumen, IDF (inverse document frequency) adalah perhitungan logaritma antara pembagian jumlah total dokumen dengan cacah dokumen yang mengandung term, dan TF-IDF adalah perkalian antara TF dengan IDF. Semakin besar bobot TF-IDF pada suatu term, maka semakin penting term tersebut untuk bisa digunakan pada tahapan klasifikasi dokumen. Penghitungan bobot dari term tertentu dalam sebuah dokumen dengan menggunakan tf * idf menunjukkan bahwa deskripsi terbaik dari dokumen adalah term yang banyak muncul dalam dokumen tersebut dan sangat sedikit muncul pada dokumen yang lain. Demikian juga sebuah term yang muncul dalam jumlah yang sedang dalam proporsi yang cukup dalam dokumen di koleksi yang diberikan juga akan menjadi descriptor yang baik. Bobot terendah akan diberikan pada term yang muncul sangat jarang pada beberapa dokumen (low-frequency documents) dan term yang muncul pada hampir atau seluruh dokumen (high-frequency document). Sebagaimana terlihat pada studi kasus di bawah ini : Didalam kasus ini terdapat tiga (3) koleksi dokumen yaitu : Dokumen 1 (d1)
=
the dark side of such sleeper success
Dokumen2 (d2)
=
in order to make the film a success , all they had to do was cast two extremely popular and attractive stars
Dokumen 3 (d3)
=
this film guaranteed them all successful careers because each gave an outstanding performance
Jadi didalam kasus ini terdapat tiga dokumen (D) = 3 yaitu d1,d2 dan d3, sebelum pemberian bobot masing-masing term, terlebih dahulu dokumen di preprocessing, antara lain mengubah dalam bentuk huruf kecil, pemotongan string, menghilangkan tanda baca, angka dan stopword. Setelah proses preprocessing maka didapatkan term-term ( document term ) sebagai berikut : dokumen1(d1) -
dark
d2 -
order
27
d3 -
film
-
side
-
make
-
guarante
-
sleeper
-
film
-
success
-
success
-
success
-
career
-
cast
-
gave
-
extrem
-
outstand
-
popular
-
perform
-
attract
Setelah tahap preprocessing maka tiap dokumen dipresentasikan dalam bentuk sebuah vektor dengan elemen sebanyak term query yang terdapat pada tiap dokumen yang berhasil dikenali tahap ekstraksi dokumen sebelumnya. Vektor tersebut beranggotakan bobot dari setiap term query yang dihitung berdasarkan metode TF-IDF. Ilustrasi dari perhitungan TF-IDF adalah sebagaimana terlihat pada perhitungan dibawah ini: 1. Term frequency (tf) dan document frequency (df) Term frequency (tf)
merupakan frekuensi kemunculan term (t) pada
dokumen (d). Document frequency (df) adalah banyaknya dokumen dimana suatu term (t) muncul, hasil perhitungan tf disajikan pada tabel 4.1 2. Invers Document Frequency (idf) Untuk menghitung idf suatu term dengan menggunakan persamaan 15. 𝟏
𝑵
idf = 𝒅𝒇 atau idf = log (𝒅𝒇) Tabel 4.8 Tabel Term Frequency dan Document Frequency. term (t)
tf
df
d1
d2
d3
attract
0
1
0
1
career
0
0
1
1
cast
0
1
0
1
dark
1
0
0
1
extrem
0
1
0
1
film
0
1
1
2
28
gave
0
0
1
1
guarante
0
0
1
1
make
0
1
0
1
order
0
1
0
1
outstand
0
0
1
1
perform
0
0
1
1
popular
0
1
0
1
side
1
0
0
1
sleeper
1
0
0
1
success
1
1
1
3
dimana N = jumlah dokumen dengan diketahui N=3 hasil dari perhitungan idf disajikan pada tabel 4.2. Dapat kita amati pada tabel 4.2 bahwa nilai idf akan semakin besar untuk term/token yang tingkat kemunculannya sedikit, begitu sebaliknya bahwa semakin sedikit kemunculan term/token pada dokumen maka nilai idf semakin besar. Setelah diketahui tf dan idf pada dokumen makan kita dapat menghitung pembobotan tf-idf, yaitu suatu formula untuk menghitung bobot hubungan suatu term/token di dalam suatu dokumen Perlu diperhatikan juga bahwa berapapun nilai tf, kalau term/token tersebut muncul di semua dokumen (df = N), maka nilai idf nya 0, untuk mengatasi masalah tersebut maka ditambahkan nilai 1 ke perhitungan idf. Sehingga hasil tf * idf seperti tabel 4.3 Tabel 4.9 Tabel Invers Document Frequency (idf). terms(t)
df
Idf=log(N/df)
attract
1
0.477
career
1
0.477
cast
1
0.477
dark
1
0.477
extrem
1
0.477
film
2
0.176
gave
1
0.477
29
guarante
1
0.477
make
1
0.477
order
1
0.477
outstand
1
0.477
1
0.477
popular
1
0.477
side
1
0.477
sleeper
1
0.477
success
3
0
perform
Dengan menggunakan rumus tf * idf yang disajikan pada tabel 3.3 bahaa berapapun nilai tf, kalau token tersebut muncul di semua dokumen (df = N), maka bobot dokumen tersebut adalah 0, sehingga untuk mengatasi masalah tersebut ditambahkan nilai 1 ke perhitungan idf nya, sehingga persamaan untuk bobot term seperti pada persamaan 17. 𝑤𝑖𝑗 = 𝑡𝑓𝑖𝑗 x (𝑙𝑜𝑔(𝑁/𝑛)) + 1
(17)
n = df dari token j Tabel 4.10 Hasil tf * idf. tf
Token / term (t)
d1
d2
d3
N df
Idf=log(N/f
attract
0
1
0
1
3
Career
0
0
1
1
Cast
0
1
0
Dark
1
0
Extrem
0
Film
df
Wf(t,d)=tf(td) x idf(t)
0.477
d1 0
d2 0.477
d3 0
3
0.477
0
0
0.477
1
3
0.477
0
0.477
0
0
1
3
0.477
0.477
0
0
1
0
1
3
0.477
0
0.477
0
0
1
1
2
1.5
0.176
0
0.176
0.176
Gave
0
0
1
1
3
0.477
0
0
0.477
guarante
0
0
1
1
3
0.477
0
0
0.477
Make
0
1
0
1
3
0.477
0
0.477
0
Order
0
1
0
1
3
0.477
0
0.477
0
outstand
0
0
1
1
3
0.477
0
0.477
0.477
30
perform
0
0
1
1
3
0.477
0
0.477
0.477
popular
0
0
1
1
3
0.477
0
0.477
0.477
Side
1
0
0
1
3
0.477
0
0.477
0.477
sleeper
1
0
0
1
3
0.477
0
0.477
0.477
success
1
1
1
3
1
0
0
0
0
Setelah penambahan nilai 1, bobot dari masing-masing term tidak sesuai standar untuk perhitungan pembobotan term, bobot term hasil penambahan nilai 1 disajikan pada tabel 4.4. Hasil ini tidak dapat digunakan
untuk
standarisasi
pembobotan
term,
maka
harus
dinormalisasi agar supaya bobot terstandarisasi yaitu antara 0 s/d 1, persamaan untuk menormalisasi bobot term adalah seperti persamaan dibawah 18.
𝑊
𝑖𝑗=
𝑡𝑓𝑖𝑗 X (𝑙𝑜𝑔(𝑁/𝑑𝑓)+1) 2 √∑𝑡 [(𝑙𝑜𝑔(𝑁/𝑑𝑓)+1)]2 𝑘=1(𝑡𝑓𝑖𝑘 ) X
(18)
Keterangan : i = jumlah token t = dokumen ke 1,2,3..n j & k = term ke 1,2,3..n
Tabel 4.11 : Hasil tf * idf setelah ditambah 1. token / term (t)
tf
W=tf*((idf)+1)
df
N df
Idf= log(N/df)
d1
d2
d3
d1
d2
d3
attract
0
1
0
1
3/1=3
1.477
1
1.477
1
career
0
0
1
1
3/1=3
1.477
1
1
1.477
cast
0
1
0
1
3/1=3
1.477
1
1.477
1
dark
1
0
0
1
3/1=3
1.477
1.477
1
1
extrem
0
1
0
1
3/1=3
1.477
1
1.477
1
0
1
1
2
1.176
1
1.176
1.176
gave
0
0
1
1
3/1=3
1.477
1
1
1.477
guarante
0
0
1
1
3/1=3
1.477
1
1
1.477
film
3/2=1.5
31
make
0
1
0
1
3/1=3
1.477
1
1.477
1
order
0
1
0
1
3/1=3
1.477
1
1.477
1
outstand
0
0
1
1
3/1=3
1.477
1
1
1.477
perform
0
0
1
1
3/1=3
1.477
1
1
1.477
popular
0
0
1
1
3/1=3
1.477
1
1
1.477
side
1
0
0
1
3/1=3
1.477
1.477
1
1
sleeper
1
0
0
1
3/1=3
1.477
1.477
1
1
Success
1
1
1
3
3/3=1
0
1
1
1
Dibawah ini contoh perhitungan untuk mengetahui bobot term “attract” pada dokumen 1. 1 𝑥 (log(3/1)+1)
W21 =
2
3
3
2
((12 x [log (1+1)] )+(02 x [log ( 1+1)] )) 1.477121 W21 = 2.181887
W21
=
0.677
Dapat dilihat pada tabel 4.5 merupakan contoh hasil bobot term setelah dinormalisasi, kemudian tabel 4.6 merupakan hasil secara keseluruhan pembobotan term setelah dinormalisasi dan tidak ditemukan bobot term lebih dari 1. Tabel 4.12 Contoh hasil pembobotan setelah di Normalisasi. token / term (t)
tf
W=tf*((idf)+1)
df
N df
Idf= log(N/df)
d1
d2
d3
d1
d2
d3
attract
0
1
0
1
3/1=3
0.477
0
0.677
1
career
0
0
1
1
3/1=3
0.477
0
0
0.677
Tabel 4.13 Hasil Normalisasi pembobotan term secara keseluruhan. token / term (t)
tf df
d1
d2
d3
attract
0
1
0
1
career
0
0
1
1
W=tf*(idf)
N df 3
d1 0
d2 0,113
d3 0
3
0
0
0,085
32
cast
0
1
0
1
3
0
0,113
0
dark
1
0
0
1
3
0,170
0
0
extrem
0
1
0
1
3
0
0,113
0
film
0
1
1
2
1.5
0
0,113
0,085
gave
0
0
1
1
3
0
0
0,085
guarante
0
0
1
1
3
0
0
0,085
make
0
1
0
1
3
0
0,113
0
order
0
1
0
1
3
0
0,113
0
outstand
0
0
1
1
3
0
0
0,085
perform
0
0
1
1
3
0
0
0,085
popular
0
0
1
1
3
0
0
0,085
side
1
0
0
1
3
0,170
0
0
sleeper
1
0
0
1
3
0,170
0
0
success
1
1
1
3
1
0
0
0
Pembobotan TF-IDF berfungsi untuk mencari nilai dari setiap term didalam dokumen. Fungsi ini akan dibentuk suatu vektor antara dokumen dan query yang ditentukan oleh nilai bobot dari sebuah term query didalam dokumen. Semakin
besar nilai bobot yang diperoleh maka semakin tinggi tingkat
kemiripan dokumen terhadap query. Salah satu ukuran kemiripan teks yang populer adalah menggunakan persamaan cosine similarity, ilustrasi pemakaian cosine similarity untuk mengukur kemiripan antar dokumen tersaji didalam kasus seperti dibawah ini : Diketahui term yang akan diquery adalah film, perform, success, term ini diambil dari dokumen pada tiga koleksi dokumen yang tertulis diawal subbab ini, kemudian dilakukan perhitungan tf*idf dan hasil pembobotannya seperti tabel 4.7. Tabel 4.14 Hasil tf * idf dan bobot setelah dinormalisasi ditambah kolom query. token / term (t)
tf d1
d2
d3
attract
0
1
0
1
3
Idf= log(N/ df) 0.477
career
0
0
1
1
3
0.477
Q
df
N df
33
W=tf*(idf) Q
d1
d3
0
d2 0,11 3
0 0
0
0
0,08
0
5 cast dark extrem film
1
gave guarante make order outstand perform
1
popular side sleeper success
1
0
1
0
1
3
0.477
1
0
0
1
3
0.477
0
1
0
1
3
0.477
0 0
0
1
1
3
1
0
0
0
1
1
3
0.477
0
0
1
1
3
0.477
0
1
0
1
3
0.477
0
1
0
1
3
0.477
0
0
1
1
3
0.477
0
0
1
2
1.5
0.176
0
0
1
1
3
0.602
1
0
0
1
3
0.602
1
0
0
1
3
0.602
1
1
1
3
1
0
0 0,17 0
0,11 3
0
0 0,2 26
0 0
0 0,11 3 0,11 3
0
0
0
0
0
0
0
0
0
0 0,11 3 0,11 3
0 0,2 26
0
0
0
0
0
0 0
0
0
0 0,17 0 0,17 0
0 0,08 5 0,08 5 0,08 5
0
0
0
0
0
0
0
0 0 0,08 5 0,08 5 0,08 5 0
dengan menggunakan persamaan 5 dan persamaan 6, maka diperoleh perhitungan sebagai berikut : |D1 | = √0.1702 + 0.1702 + 0.1702 = √0,0867 = 0.294 |D2 | =√0.1132 +0.1132 + 0.1132 + 0.1132 + 0.1132 + 0.1132 = √0,0766 = 0.277 |D3 | = √0.0852 + 0.0852 + 0.0852 + 0.0852 + 0.0852 + 0.0852 + 0.0852 = √0,0506 = 0.225 |Q| = √0.2262 + 0,2262 + 0 = √0,153 = 0.391 Kemudian di hitung dot product nya
34
Q x D1 = 0.226 * 0 = 0 Q x D2= 0,226 x 0.113=0.026 Q x D3= 0,226 x 0,085 +0,226 x 0,085 = 0.038 Setelah itu dihitung nilai similaritynya, perhitungannya seperti dibawah ini : Cosine θ D1 =
𝑄 𝑥 𝐷1 0 = |𝑄|∗|𝐷1 | 0.391 𝑥0
𝑄 𝑥 𝐷2 0,026 = |𝑄|∗|𝐷2 | 0,391 𝑥 0,277
= 0.235
𝑄 𝑥 𝐷3 0,038 = |𝑄|∗|𝐷3 | 0,391 𝑥 0,225
= 0.436
Cosine θ D2 = Cosine θD3 =
=0
dengan hasil perhitungan similarity tersebut maka kemiripan query untuk term extrem, film dan perform adalah pada dokumen3 (D3) 4.2.4.4 Seleksi Fitur Information Gain Information gain merupakan seleksi fitur yang dapat digunakan untuk menentukan atribut terbaik dari suatu dataset. Sebagai contoh pemakaian information gain diambilkan dari penelitian Muhammad Noor Adityana (Adityana, 2009), dalam penelitiannya dicontohkan sekumpulan S ={s1,s2,s3,s4} yang
dikategorikan
menjadi positif dan negatif, dimana s1 berkategori positif dan yang lainnya berkategori negatif. Untuk menghitung information gain dari sebuah atribut A, dan A memiliki nilai {v1,v2,v3}, ditentukan bahwa : S1 memiliki nilai v2 untuk A S2 memiliki nilai v2 untuk A S3 memiliki nilai v3 untuk A S4 memiliki nilai v1 untuk A Langkah pertama adalah menghitung entropy dari S. Untuk menggunakan persamaan entropi pada persoalan ini, kita harus mengetahui jumlah positif dan negatif pada S. Dari soal dapat diketahui bahwa positif =1/4 dan negatif 3/4 sehingga dapat dihitung dengan persamaan : Entropy(S) = - (1/4)log2(1/4) – (3/4)log2(3/4) = - (1/4)(-2)-(3/4)(-0.415)=0.5 + 0.311 = 0.811
35
Selanjutnya menghitung Entropi(Sy) untuk setiap nilai v=v1,v2,v3,v4. Sv merupakan kumpulan dari contoh pada S yang memiliki nilai v pada atribut A, atau dapat dituliskan sebagai berikut : Sv = {S4}, Sv2={S1,S2}, Sv3={S3}
(19)
Dengan menggunakan persamaan (19) dapat digunakan untuk menyelesaikan persamaan berikut : (|Sv1|/|S|) * Entropy(Sv1) = (1/4)*(-(0/1)log2(0/1)-(1/1)log2(1/1)) = (1/4)(-0-(1)log2(1))=(1/4)(-0-0) = 0 (|Sv2|/|S|) * Entropy(Sv2) = (2/4)*(-(1/2)log2(1/2)-(1/2)log2(1/2)) = (1/2)*(-(1/2)*(-1) – (1/2)*(-1)) = (1/2)*(1) = 1/2 (|Sv2|/|S|) * Entropy(Sv2) = (2/4)*(-(1/2)log2(1/2)-(1/2)log2(1/2)) = (1/2)*(-(1/2)*(-1) – (1/2)*(-1)) = (1/2)*(1) = 1/2 (|Sv3|/|S|) * Entropy(Sv3) = (1/4)*(-(0/1)log2(0/1)-(1/1)log2(1/1)) = (1/4)(-0-(1)log2(1))=(1/4)(-0-0) = 0 Sekarang ditambahkan ketiga nilai tersebut dan mendapatkan Entropi(S) untuk hasil akhir : Gain(S,A)=0.811-(0+1/2+0 = 0.311 4.2.4.5 Clustering algoritma K-Means Ilustrasi pengujian algoritma K-Means diambil dari (linuxarna, 2012 ) seperti pada contoh kasus dibawah ini dengan menggunakan Manhattan Distance. Diketahui dataset seperti pada tabel 4.8. Tabel 4.8: Dataset untuk proses algoritma K-Means. Data ke
X1 36
X2
1
1.5
1.0
2
1.5
2.0
3
3.0
4.5
4
6.0
7.0
5
3.5
5.0
6
4.5
5.0
Berdasarkan proses algoritma K-Means maka langkah-langkah yang perlu dilalui adalah sebagai berikut : Langkah 1: Menentukan jumlah cluster, dimana jumlah cluster adalah 2 Langkah 2: Menentukan centroid awal, dipilih dari data tertinggi dan terendah dari dataset dari tabel 4.8 yaitu record ke 1 dan ke 4. Cluster Cluster
1 2
1.5
1.0
6
7
Langkah 3: menghitung jarak dengan Manhattan Distance Dimisalkan mencari distance data ke 1 dengan centroid yang sudah ditentukan sebelumnya. Distance cluster 1
|1.5-1.5|+|1.0-1.0| = 0
Distance cluster 2
|6.0-1.5|+|7.0-1.0| =10.5
Untuk data ke 2 Distance Cluster 1 |1.5-1.5|+|1.0-2.5| = 1 Distance Cluster 2 |6.0-1.5|+|7.0-2.0| = 9.5 Untuk data ke 3 Distance Cluster 1 |1.5-3.0|+|1.0-4.5| = 5 Distance Cluster 2 |6.0-3.0|+|7.0-4.5| = 5.5 Untuk data ke 4 Distance Cluster 1 |1.5-6.0|+|1.0-7| = 10.5 Distance Cluster 2 |6.0-6.0|+|7.0-7.0| = 0 Untuk data ke 5 Distance Cluster 1 |1.5-3,5|+|1.0-5| = 6 Distance Cluster 2 |6.0-3.5|+|7.0-5.0| = 4.5 Untuk data ke 6 Distance Cluster 1 |1.5-4,5|+|1.0-5| = 7 Distance Cluster 2 |6.0-4.5|+|7.0-5.0| = 3.5 37
sehingga kalau ditampilkan secara keseluruhan adalah sebagai berikut : Tabel 4. 9: Tabel hasil perhitungan data ke 1 dengan medoid. Data ke
X1
X2
Hasil
1
0
10.5
Cluster 1
2
1
9.5
Cluster 1
3
5
5.5
Cluster 1
4
10.5
0
Cluster 2
5
6
4.5
Cluster 2
6
7
3.5
Cluster 2
Langkah 4 : Menghitung mean centroid baru Untuk menentukan centroid baru cara menghitung nilai rata-rata dari dataset yang ada pada centroid yang sama. Centroid cluster 1
(1.5+1.5+3.0)/3 = 2.0
Centroid cluster 1
(1.0+2.0+4.5)/3 = 2.5
Sehingga centroid baru adalah : Cluster 1
2.0
2.5
Cluster 2
4.7
5.7
Langkah 5 : Menghitung jarak dengan manhattan distance (perhitungan sama dengan langkah 3 hanya menggunakan centroid baru ) Distance cluster 1
|2.0-1.5|+|2.5-1.0| = 2.0
Distance cluster 2
|4.7-1.5|+|5.7-1.0| = 7.83
Untuk data ke 2 Distance Cluster 1 |2.0-1.5|+|2.5-2.0| =1.0 Distance Cluster 2 |4.7-1.5|+|5.7-2.0| = 6.9 Untuk data ke 3 Distance Cluster 1
|2.0-3.0|+|2.5-4.5| = 3.0
Distance Cluster 2
|4.7-3.0|+|5.7-4.5| = 2.9
Untuk data ke 4 Distance Cluster 1
|2.0-6.0|+|2.5-7.0| = 8.5
Distance Cluster 2
|4.7-6.0|+|5.7-7.0| = 2.6
Untuk data ke 5 38
Distance Cluster 1
|2.0-3.5|+|2.5-5.0| = 4.0
Distance Cluster 2
|4.7-3.5|+|5.7-5.0| = 1.83
Untuk data ke 6 Distance Cluster 1
|2.0-4.5|+|2.5-5.0| = 5
Distance Cluster 2
|4.7-4.5|+|5.7-5.0| = 0.83
Tabel 4.10: Tabel hasil perhitungan data ke 1 dengan medoid baru. Data ke
X1
X2
Hasil
1
2.0
7.83
Cluster 1
2
1.0
6.83
Cluster 1
3
3.0
2.83
Cluster 2
4
8.5
2.67
Cluster 2
5
4.0
1.83
Cluster 2
6
5.0
0.83
Cluster 2
Karena lebih kecil jarak ke cluster 1 maka untuk data ke 1 hasilnya masuk “cluster 1” Karena masih ada perubahan data maka berulang ke langkah 3. Bisa dilihat data ke 3 yang dulunya masuk cluster 1 sekarang masuk cluster 2. Langkah 6 : Menghitung Mean Centroid baru Cluster 1
1.5
1.5
Cluster 2
4.3
5.4
Langkah 7 : Menghitung jarak dengan manhattan distance (perhitungan sama dengan langkah 3 menggunakan centroid baru) Tabel 4.11: Tabel hasil perhitungan data ke 2 dengan medoid baru. Data ke
Distance
Hasil
Cluster 1
Cluster 2
1
0.50
7.13
Cluster 1
2
0.50
6.13
Cluster 1
3
4.50
2.13
Cluster 2
4
10.01
3.38
Cluster 2
5
5.5
1.13
Cluster 2
6
6.50
0.63
Cluster 2
39
Karena pada perhitungan ini data pada cluster tidak berubah maka untuk data ke 1 dan 2 tetap di cluster 1 dan data ke 3 sampai 6 tetap cluster 2 maka iterasi berhenti. 4.2.4.6 Evaluasi Confunsion Matrix Confusion Matrix merupakan tools visualisasi yang biasa digunakan pada supervised learning dan dapat digunakan untuk unsupervised learning. Tiap kolom pada matriks adalah contoh dalam kelas prediksi, sedangkan setiap baris mewakili kejadian di kelas yang sebenarnya, seperti yang disajikan pada Gambar
Gambar 7.4. Contoh gambar Confusion Matrix 4.2.5
Evaluasi Evaluasi dilakukan dengan mengamati kinerja algoritma K-Means dengan menggunakan seleksi fitur information gain untuk optimasi analisis sentimen movie review. Dalam penelitian ini digunakan Confusion Matrix untuk mengukur kinerja clustering. Accuracy (AC) adalah proporsi jumlah prediksi dataset yang benar, Recall adalah rasio proporsi jumlah dokumen positif yang diidentifikasikan dengan benar, sedangkan Precision (P) adalah proporsi prediksi jumlah dokumen positif yang benar.
40
41
BAB 5 HASIL YANG DICAPAI 5.1 Eksperimen dan Pengujian Model Setiap penelitian tentu ada hasil yang dicapai. Capaian yang di harapkan dari penelitian ini adalah bagaimana menerapkan algoritma K-Means dengan seleksi fitur Information Gain untuk optimasi analisis sentimen movie review. Yang dimaksud optimasi disini adalah dengan menggunakan seleksi fitur Information Gain akan meningkatkan akurasi K-Means
didalam
mengelompokkan
dokumen
movie
review
dibanding
sebelum
menggunakan seleksi fitur. Didalam penelitian ini dataset yang digunakan adalah movie review
yang
diambil
dari
http://www.cs.cornell.edu/People/pabo/movie-review-data/.
Langkah-langkah yang dilakukan didalam penelitian ini adalah sesuai dengan model yang diusulkan sedangkan tools yang digunakan adalah RapidMiner. Didalam penelitian ini nanti terdapat dua skenario pengujian, yang pertama ialah menguji model yang diusulkan dengan algoritma K-Means tanpa menggunakan seleksi fitur Information Gain, kemudian skenario kedua adalah menguji model yang diusulkan dengan menerapkan algoritma K-Means menggunakan seleksi fitur Information Gain. Skenario pertama dilakukan dengan maksud dan tujuan untuk mengetahui akurasi algoritma K-Means apabila tanpa menggunakan seleksi fitur Information Gain, sedangkan skenario kedua adalah untuk mengetahui akurasi model dengan algoritma K-Means setelah menggunakan Information Gain. Dibawah ini akan dijelaskan lebih mendetail tentang langkah-langkah yang terjadi pada masing-masing skenario. 1.
Skenario Pertama : Penerapan algoritma K-Means tanpa seleksi fitur information gain dengan menggunakan dataset 300 dokumen berlabel positif dan negatif. Didalam pengujian penerapan algoritma K-Means tanpa seleksi fitur information gain dengan menggunakan dataset 300 dokumen berlabel positif dan negatif, langkah pertama yang dilakukan yaitu pembacaan dataset yang sudah di kelompokkan didalam dua direktori yaitu direktori negatif dan positif yang sajikan pada gambar 5.1. Proses pembacaan dataset dokumen ini berada di operator Proces Documents From Files. Selain itu juga pada operator ini terjadi proses preprocessing sekaligus pembobotan TF-IDF. Proses preprocessing terdiri dari Transformation Case (case folding), tokenize, Filter Stopword dan Stemming (porter). Formula preprocessing apabila diterapkan di
42
RapidMiner disajikan pada Gambar 5.2, dan pembobotan TF-IDF disajikan pada gambar 5.3
Gambar 5.1. Proses Pembacaan Dokumen di direktori Proses ini juga nantinya berlaku untuk pengujian algoritma K-Means dengan seleksi fitur information gain dengan menggunakan dataset 300 dokumen berlabel positif dan 300 dokumen berlabel negatif, dataset 700 dokumen berlabel positif dan 700 dokumen berlabel negatif dan dataset 1000 dokumen berlabel positif dan 1000 dokumen berlabel negatif.
Gambar 5. 16. Proses Preprocessing Proses gambar 5.2 proses Preprocessing berada atau didalam operator Process Documents From Files.
43
Gambar 5. 17. Pembobotan TF-IDF masuk didalam preprocessing Setelah preprocessing dilakukan, maka dilanjutkan proses pembobotan TF-IDF yang juga terdapat didalam operator Process Documents From Files. Baru kemudian dilanjutkan dengan operator Clustering, kemudian Map Clustering on labels yang berfungsi untuk mengubah atribut pengelompokan kedalam atribut untuk prediksi algoritma K-Means. Dilanjutkan dengan operator performance, operator ini digunakan untuk mengevaluasi kinerja algoritma K-Means, memberikan daftar nilai kinerja sebuah kriteria, kinerja kriteria ini secara otomatis ditentukan agar sesuai dengan jenis tugasnya. Tahap pengujian algoritma tanpa seleksi fitur dapat dilihat pada Gambar 5.4. hasil pengujian algoritma KMeans tanpa menggunakan seleksi fitur information gain disajikan pada gambar 5.5.
Gambar 5. 18. Proses tanpa menggunakan Information Gain.
44
Gambar 5. 19. Akurasi K-Means tanpa menggunakan information gain. Pada gambar 5.5 menunjukkan bahwa accuracy K-Means tanpa menggunakan seleksi fitur Information gain adalah 57.83%, precision =60.35% dan recall =45.67%. Dari 300 dokumen negatif yang diprediksi negatif dan benar negatif adalah 201 dokumen dan yang diprediksi negatif tetapi betul positif berjumlah 163 dokumen, kemudian dari 300 dokumen positif, yang diprediksi positif tetapi betul negatif berjumlah 90 dokumen, dan yang diprediksi positif dan betul positif sebanyak 137 dokumen. Hasil akurasi K-Means tanpa seleksi fitur untuk analisis sentimen movie review ini masih rendah. Secara detail kinerja K-Means dapat dilihat dengan Confunsion Matrix disajikan pada gambar 5.6.
Gambar 5. 20. Confunsion Matrik K-Means tanpa menggunakan information gain.
45
2. Skenario Kedua : Penerapan algoritma K-Means menggunakan seleksi fitur Information Gain Penerapan algoritma K-Means dengan menggunakan seleksi fitur information gain proses awalnya sama dengan pada penerapan algoritma K-Means tanpa seleksi fitur yaitu pembacaan dataset dokumen positif dan dokumen negatif, preprocessing dan pembobotan TF-IDF. Yang membedakan pada pengujian ini ada setelah proses TF-IDF dilanjutkan proses seleksi fitur information gain, kemudian proses Select by Weight yaitu operator untuk memilih dataset uji yang beratnya memenuhi kriteria yang telah ditentukan oleh seleksi fitur information gain pada proses selanjutnya. Selanjutnya clustering dan menghitung performance algoritma K-Means. Algoritma K-Means diuji dengan ukuran k=2, pembobotan term yang digunakan p%= 0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9 dan 1, ini merujuk pada penelitian (Keefe & Koprinska, 2009). Dalam penentuan term yang digunakan untuk proses clustering adalah term yang ada pada seluruh dokumen atau dataset yang ada berdasarkan dari bobot tertinggi dan frekuensi kemunculan term dari masing-masing term didalam dokumen. Pada gambar 5.5 dijelaskan bahwa tingkat akurasi algoritama K-Means sebelum menggunakan information gain adalah 57.83%, tingkat akurasi ini dibawah penelitian Gang Li dan Fei Liu (Li & Liu, A Clustering-based Approach on Sentiment Analysis, 2010), tetapi setelah menggunakan seleksi fitur information gain dengan p%=0.1 tingkat akurasi mengalami kenaikan menjadi 78.67%, ini sesuai keunggulan dari information gain yaitu dapat menaikkan akurasi suatu algoritma sehingga hasil ini lebih baik dari penelitian sebelumnya, hasil uji dengan menggunakan seleksi fitur information disajikan pada gambar 5.7
Gambar 5. 21. Akurasi K-Means dengan menggunakan information gain.
46
Gambar 5.7 menunjukkan bahwa accuracy 78.67%, precision 84.96% dan recall=69.67%. Dari hasil pengujian dengan menggunakan RapidMiner dapat diketahuai Confusion Matrix seperti ditunjukkan pada gambar 5.8
Gambar 5. 22. Confunsion Matrix K-Means menggunakan information gain. Dari gambar 5.8 dapat dijelaskan bahwa dari 300 dokumen yang prediksi negatif dan benar negatif adalah 263 dokumen, dan yang diprediksi negatif tetapi betul positif 91 dokumen. Dari 300 dokumen yang diprediksi positif dan benar positif adalah 209 dokumen dan yang diprediksi positif tetapi betul negatif adalah 37 dokumen. Karena dengan menggunakan seleksi fitur tingkat akurasi K-Means naik, maka didalam penelitian ini akan menerapkan algoritma K-Means dengan menggunakan information gain sebagai seleksi fitur, hal ini dimaksudkan untuk mengetahui tingkat akurasi K-Means yang paling tinggi. Adapun model yang diusulkan diformulasikan didalam RapidMiner tersaji pada gambar 5.9.
47
Gambar 5. 23. Formula untuk algoritma clustering menggunakan information gain. Gambar 5.9 dapat dijelaskan bahwa langkah pertama yang perlu dilakukan adalah sama dengan proses clustering tanpa menggunakan seleksi fitur information gain, yaitu dengan langkah pembacaan dataset dengan menggunakan operator Process Dokumen From Files yang berisi preprocessing dan pembobotan TF-IDF, tetapi di model yang diusulkan oleh peneliti setelah Process Dokumen From Files adalah operator Weight By Information Gain yaitu pembobotan dengan seleksi fitur information gain, dilanjutkan operator Select By Weights, yaitu memilih dan menyeleksi term sesuai dengan prosentase term yang digunakan, kemudian dilanjutkan dengan operator Clustering K-Means yang berfungsi mengelompokkan dokumen teks, terus dilanjutkan proses Map Clustering on labels yang berfunsi untuk mengubah atribut pengelompokan kedalam atribut untuk proses prediksi algoritma K-Means, dan terakhir yaitu menghitung performance algoritma model yang diusulkan. 5.2 Analisis Accuracy K-Means menggunakan seleksi Information Gain 300 dokumen Sebelum menguji model yang diusulkan dengan menggunakan dataset 700 dokumen berlabel positif dan 700 berlabel negatif serta 1000 dokumen berlabel positif dan 1000 berlabel negarif, maka sebelumnya diuji terlebih dahulu dengan menggunakan 300 dokumen berlabel positif dan 300 dokumen berlabel negatif. Sebelumnya sudah diketahui bahwa akurasi algoritma K-Means menggunakan seleksi fitur information gain dengan p%=0.1 mengalami kenaikan hingga 78.67%, maka peneliti dengan model yang diusulkan melakukan pengujian algoritma K-Means dengan menggunakan seleksi fitur information gain pada masing-masing p%=0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 dan 1, dengan menggunakan dataset 600 dokumen terlebih dahulu yang
terbagi menjadi dua kategori yaitu 300 dokumen movie review
berkategori negatif dan 300 movie review dokumen berkategori positif. Hasil accuracy KMeans dengan seleksi fitur pada p% seperti yang disebutkan sebelumnya dapat dilihat pada gambar 5.10 48
80.00 70.00 60.00 50.00 40.00 30.00 20.00 10.00 0.00 p%=0.1 p%=0.2 p%=0.3 p%=0.4
p%=0.5
p%=0.6
p%=0.7
p%=0.8
p%=0.9
p%=1
p%=0 p%=0 p%=0 p%=0 p%=0 p%=0 p%=0 p%=0 p%=0 p%=1 .1 .2 .3 .4 .5 .6 .7 .8 .9 Accuracy(%) 78.67 70.67 58.83 58.67 58.17 57.33 56.33 55.83 57.67 57.83
Gambar 5. 24. Accuracy K-Means dengan seleksi fitur information gain Dari gambar 5.10 dapat di jelaskan bahwa akurasi tertinggi algoritma K-Means dengan seleksi fitur information gain adalah p%= 0.1 yaitu 78.67%, kemudian mengalami penurunan hingga 8 point pada p%=0.2, kemudian accuracy mulai menurun sangat banyak pada p%=0.3 yaitu 58.83%, hal ini berulang sampai pada p%=0.8 dengan akurasi 55.83%, akurasi ini dapat dikatakan akurasi paling rendah dari semua p%, tetapi setelah p%=0.8 mengalami kenaikan lagi. Ada pola yang unik dari akurasi K-Means dengan seleksi fitur information gain yaitu semakin besar prosentase term yang digunakan semakin menurun akurasi K-Means yaitu sampai p%=0.8, tetapi mengalami kenaikan lagi mulai pada p%=0.9. Terjadinya penurunan pada setiap p% dinaikkan dapat digunakan untuk penelitian selanjutnya apa yang menyebabkan terjadinya penurunan tersebut. Setelah menguji dengan dataset 300 dokumen maka pengujian selanjutnya dengan dataset 700 dokumen dan 1000 dokumen, hasil kedua pengujian dapat diihat di gambar 11 untuk dataset 700 dan gambar untuk dataset
49
Gambar 5. 25. Gambar akurasi K-Mean tanpa seleksi fitur 700 dokumen
Gambar 5. 26. Gambar akurasi K-Mean tanpa seleksi fitur 1000 dokumen 5.3 Analisis Waktu Clustering K-Means dengan seleksi fitu Untuk melengkapi apakah berkinerja baik atau tidakya sebuah algoritma maka dapat dilihat dari waktu yang ditempuh. Algoritma K-Means menggunakan seleksi fitur information gain didalam melakukan clustering dapat diukur dengan mengukur waktu proses didalam melakukan pengelompokan dokumen teks. K-Means merupakan algoritma yang mempunyai kecepatan tinggi didalam melakukan proses clustering Apabila waktu proses algoritma K-Means menggunakan seleksi fitur information gain lebih cepat dibanding tanpa menggunakan seleksi fitur maka dapat dikatakan bahwa seleksi fitur informasi gain dapat meningkatkan waktu proses. Dari pengujian model yang diusulkan dengan dataset 300 dokumen teks berlabel positif dan 300 dokumen berlabel negatif pada masing-masing p%= 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 dan 1, waktu proses yang dibutuhkan algoritma K-Means dengan seleksi fitur information gain untuk clustering dokumen teks dapat dilihat pada gambar 5.13.
50
Waktu
p%=1
19,500
p%=0.9 p%=0.8
23,400 8,580
p%=0.7
41,040
p%=0.6
35,280
p%=0.5
24,480
p%=0.4 p%=0.3
36,960 18,480
p%=0.2
31,680
p%=0.1
38,940
Gambar 5. 27. Waktu proses K-Means untuk proses clustering Gambar 5.13 menunjukkan bahwa waktu proses pada p%=0.1 adalah 11 menit 59 menit 59 detik, kemudian waktu proses mengalami kenaikan sampai p%=0.3, sehingga p%=0.3 ini dikatakan paling cepat dibanding pada p% lainnya. Setelah itu mengalami penurunan waktu proses sangat besar sampai p%=0.9. Dari gambar diatas dapat di simpulkan bahwa semakin besar besar p%, maka semakin lama waktu yang dibutuhkan, tetapi tidak untuk p%=0.3, waktu yang dibutuhkan menurun yaitu 11.28%. 5.4 Analisa Precision dan Recall Algoritma K-Means menggunakan seleksi fitur Information Gain 300 dokumen Precision (P) adalah proporsi prediksi jumlah dokumen positif yang benar dan Recall adalah rasio proporsi jumlah dokumen positif yang diidentifikasikan dengan benar. Nilai dari Precision dan Recall dalam bentuk persen (%). Gambar 5.14 menggambarkan precision dan recall dari algoritma K-Means dengan menggunakan information gain.
51
90.00 80.00
70.00 60.00 50.00 40.00 30.00 20.00 10.00 0.00
p%= p%= p%= p%= p%= p%= p%= p%= p%= p%= 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Precision 84.9675.6262.8061.8260.5259.4058.8858.2962.1060.35 Recall 69.6761.0043.3345.3347.0046.3342.0041.0039.3345.67 Gambar 5. 28. Precision dan Recall K-Means dengan Information Gain. Pada Gambar 5.14 dapat dijelaskan bahwa precision dan recall pada masing-masing p%=0.1 lebih tinggi dibanding dengan p% lainnya, yaitu precision = 84.96% dan recall = 69.67% kemudian sama-sama mengalami penurunan cukup banyak pada p%=0.3 yaitu precision = 62.80% dan recall = 43.33%. Akan tetapi setelah penurunan pada p%=0.3 terjadi perbedaan dari keduanya, untuk precision mengalami penurunan sampai p%=0.8 setelah itu mengalami kenaikan kembali tetapi untuk recall setelah p%=0.3 mengalami kenaikan sampai p%=0.5, setelah ini mengalami penurunan hingga p%=0.9. Dari precision dan recall yang ada digambar 5.14 dapat dilihat ada perbedaan yang mencolok yaitu pada p%=0.9, untuk precision mengalami kenaikan tetapi di recall mengalami penurunan. 5.5 Analisis Accuracy, Precision dan Recall dengan menggunakan dataset movie review 700 dokumen dan 1000 dokumen Dengan menggunakan dataset 300 dokumen negatif dan 300 dokumen positif terbukti algoritma K-Means menggunakan seleksi fitur Information Gain lebih tinggi akurasinya dibanding tanpa menggunakan seleksi fitur Information Gain, maka untuk menguji lebih lanjut tentang akurasi K-Means untuk optimasi analisis sentiment movie review, didalam penelitian ini dataset yang digunakan dinaikkan lebih banyak lagi yaitu 700 dokumen negatif dan 700 dokumen positif, 1000 dokumen negatif dan 1000 dokumen positif.
52
Masing-masing dataset akan diuji dengan formula tanpa menggunakan seleksi fitur information Gain dan menggunakan seleksi Informatin Gain. 5.5.1
Akurasi 700 dokumen dan 1000 dokumen 80.00 70.00 60.00 50.00 40.00 30.00 20.00 10.00 0.00
p%= p%= p%= p%= p%= p%= p%= p%= p%= p%= 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Dataset 700 72.79 50.07 51.43 51.07 50.21 56.14 56.07 56.14 57.00 56.71 Dataset 1000 72.10 61.75 58.50 59.00 50.85 51.35 50.70 57.95 50.25 50.40
Gambar 5. 29. Grafik akurasi K-Means dengan information gain dataset 700 dan 1000 dokumen Hasil akurasi secara keseluruhan pada p%=0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 dan 1 masing-masing dengan dataset 700 dan 1000 adalah dapat dilihat pada gambar 5.15. Semula dengan p%=0.1 accuracy K-Means mengunakan seleksi fitur adalah 72.79% kemudian mengalami penurunan mulai p%=0.2, naik lagi pada p%=0.3, turun lagi hingga p%=0.5 setelah ini mengalami kenaikan hingga p%=0.9. Sedangkan untuk akurasi K-Means dengan seleksi fitur menggunakan dataset 1000 dokumen pada p%=0.1 akurasinya 72.10% kemudian mengalami penurunan hingga p%=0.3 selanjutnya naik lagi pada p%=0.4. Untuk akurasi dengan datase 1000 dokumen positif dan 1000 dokumen negatif akurasinya tidak dapat diprediksi dengan jelas kadang mengalami kenaikan dan penurunan.
53
Tanpa Seleksi Fitur IG Dokumen 700 (Negatif 1000 (Negatif dan Positif) dan Positif) Accuracy
56.71%
Menggunakan Seleksi Fitur (p%=0.1) 700 (Negatif 1000 (Negatif dan Positif) dan Positif)
50.40%
72.79%
72.10%
Tabel 5.1 Perbandingan akurasi K-Means tanpa dan menggunakan IG Setelah dilakukan pengujian algoritma K-Means tanpa seleksi fitur information gain dan menggunakan seleksi fitur information gain dengan menggunakan dataset masing-masing 700 dokumen dan 1000 dokumen, maka hasil perbandingan dapat dilihat pada tabel 5.1. Hasil dengan masing-masing menggunakan dataset berjumlah 700 dokumen tanpa menggunakan seleksi fitur akurasi K-Means adalah 56.71% dan dataset 1000 dokumen akurasi K-Means adalah 50.40%, tetapi setelah digunakan seleksi fitur information gain dengan p%=0.1 akurasi K-Means meningkat dua point lebih yaitu menjadi 72.79% untuk penggunaan dataset 700 dokumen dan 72.10% dengan menggunakan dataset 1000 dokumen. Apabila diamati dari akurasi pada penggunaan dataset 300 dokumen, 700 dokumen dan 1000 dokumen, semakin banyak dataset yang digunakan makan semakin berkurang akurasi K-Means, hal ini terjadi pada K-Means tanpa menggunakan seleksi fitur dan K-Means dengan menggunakan seleksi fitur. Tanpa Menggunakan Seleksi Fitur Dokumen
Accuracy
Menggunakan Seleksi Fitur (p%=0.1)
300 (Negatif & Positif)
700 (Negatif & Positif)
1000 (Negatif & Positif)
300 (Negatif & Positif)
700 (Negatif dan Positif)
1000 (Negatif & Positif)
57.83%
56.71%
50.40%
78.67%
72.79%
72.10%
Tabel 5.2 Perbandingan akurasi K-Means tanpa dan menggunakan IG dataset 300, 700 dan 1000 Apabila digabung masing-masing akurasi dengan dataset 300 dokumen, 700 dokumen dan 1000 dokume, maka hasil dapat dilihat pada tabel 5.2, dimana akurasi semakin menurun apabilai semakin besar dataset yang digunakan, baik itu untuk KMeans tanpa menggunakan seleksi fitur dan yang menggunakan seleksi fitur.
54
5.5.2 Precision 700 dokumen dan 1000 dokumen 90
Prec.700 dok(%)
80 70
Prec.1000 dok(%)
60 50 40 30
20 10 0
Gambar 5.30. Grafik precision 700 dokumen dan 1000 dokumen Gambar 5.16 menjelaskan tentang precision dengan dataset 700 dokumen lebih tinggi dibanding dokumen 1000 yaitu untuk 700 dokumen 80.27 % dan 1000 dokumen 73.76%. Precision keduanya mengalami penurunan pada p%=0.2. Setelah p%=0.2 untuk dokumen 700 dokumen mengalami kenaikan kembali pada p%=0.6 setelahnya ada kenaikan dan penurunan yang tidak terlalu signifikan. Sedangkan untuk precision dataset 1000 dokumen setelah mengalami penurunan pada p%=0.2 kemudian mengalami kenaikan tidak terlalu siknifikan sampai pada p%=0.4, kemudian mengalami penurunan kembali pada p%=0.5, sampai p%=0.7 tidak ada kenaikan yang banyak, tetapi pada p%=0.8 mengalami kenaikan kembali yang cukup banyak yaitu 57.34%, setelah itu menurun kembali hingga p%=1.
55
5.5.3 Recall 700 dokumen dan 1000 dokumen 90.00 80.00 70.00
700 dok(%)
60.00 50.00
1000 dok(%)
40.00 30.00 20.00 10.00 0.00
Gambar 5. 31. Grafik recall 700 dokumen dan 1000 dokumen Gambar 5.17 menunjukkan bahwa recall menggunakan dataset 700 dokumen, recall tertinggi pada p%=0.2 yaitu 84.71 dan recall tertinggi dengan dataset 1000 dokumen pada p%=0.2 yaitu 71.40%. Melihat hasil recall ini maka dapat disimpulkan bahwa recall tertinggi dari keduanya pada p%=0.2. Dari gambar 5.17 dapat di jelaskan bahwa ada kondisi recall yang sangat mencolok, yaitu penurunan recall yang sangat signifikan pada p%=0.5 pada dataset 700 dokumen, sedangkan penurunan recall yang sangat signifikan untuk dataset 1000 dokumen adalah pada p%=0.9.
56
BAB 6 RENCANA TAHAPAN BERIKUTNYA
6.1 Rencana dan Jadual Selanjutnya a. Menyelesaikan pembuatan laporan yang diperkirakan akan selesai pada akhir oktober 2016. b. Pembuatan artikel ilmiah dan mempublikasi artikel ilmiah pada Seminar Nasional Masif II Tahun 2016 Universitas PGRI Semarang. c. Memasukan artikel ilmiah ke Jurnal Techno Com Universitas Dian Nuswantoro Semarang November 2016. d. Penggandaan Laporan yakni menggandakan laporan akhir untuk dikumpulkan di LPPM. e. Rencana digunakan sebagai bahan ajar.
57
BAB 7. KESIMPULAN DAN SARAN
7.1 Kesimpulan Kesimpulan yang bisa diperoleh dari penelitian ini adalah sebagai berikut : 1.
Algoritma K-Means dengan menggunakan seleksi fitur Information Gain meningkatkan optimasi analisis sentimen movie review.
2.
Algoritma K-Means tanpa menggunakan seleksi fitur dengan dataset 300 dokumen review negatif dan positif akurasi 57.83%, 700 dokumen (negatif & positif) akurasi 56.71%, dataset 1000 dokumen negatif dan positif akurasinya 50.40%.
3.
Algoritma K-Means dengan menggunakan seleksi fitur Information Gain tingkat akurasi meningkat yaitu dengan dataset 300 dokumen negatif dan positif akurasinya 78.67%, dataset 700 dokumen negatif dan positif akurasinya 72.79%, dataset 1000 dokumen negatif positif akurasinya 72.10%.
4.
Sesuai tabel 2 akurasi K-Means tanpa seleksi fitur dan menggunakan seleksi fitur akurasi mengalami penurunan apabila databaset bertambah besar.
7.2 Saran Saran yang akan diberikan terkait dengan penelitian ini adalah sebagai berikut : 1.
Untuk mengetahui keakuratan dari metode/model yang digunakan dalam penelitian ini, disarankan untuk menggunakan dataset yang lainnya seperti dataset dari opini-opini publik yang ada di web atau dataset dalam bentuk dokumen bahasa inggris.
2.
Untuk menguji kinerja model yang diusulkan peneliti, peneliti kedepan dapat menggunakan dataset yang lebih besar lagi.
58
DAFTAR PUSTAKA Abbasi, A., Chen , H., & Salem , A. (2008). Sentiment analysis in multiple languages : Feature selection for opinion clasification in web forums. ACM Transactions on Information Systems, 26(3), 1-34. Adityana, M. N. (2009). Penerapan Pohon Untuk Machine Learning. Makalah IF 2091 Strategi Algoritmik. Al-Mubaid, H., & Umair, S. A. (2006, September). A New Text Categorization Technique Using Distributional Clustering and Learning Logic. IEEE Transactions on Knowledge and Data Engineering, 18(9), 1156-1165 . Al-Subaihin, A. A., Al-Khalifa, H. S., & Al-Salman, A. S. (2011). A Proposed Sentiment Analysis Tool for Modern Arabic Using Human-Based Computing. iiWAS '11 Proceedings of the 13th International Conference on Information Integration and Webbased Applications and Services, (pp. 543-546). Chaovalit, P., & Zhou, L. (2005). Movie Review Mining: a Comparison between Supervised and Unsupervised Classification Approaches. Proceedings of the 38th Hawaii International Conference on System Sciences. IEEE. Chen, J., Huang, H., Tian, S., & Qu, Y. (2009). Feature selection for text classification with Naïve Bayes. In Expert Systems with Applications (pp. 5432-5435). Beijing, China: Elsevier Ltd. Christopher, C. Y., Wong, Y., & Chih-Ping, W. (2009). Classifying Web Review Opinions for Consumer Product Analysis. ICEC '09 Proceedings of the 11th International Conference on Electronic Commerce , (pp. 57-63). New York. Claster, W. B., Cooper, M., & Sallis, P. (2010). Thailand –Tourism and Conf ict. Modeling Sentiment from Twitter Tweets using Naïve Bayes and Unsupervised Artificial Neural Nets. CIMSIM '10 Proceedings of the 2010 Second International Conference on Computational Intelligence, Modelling and Simulation, (pp. 89-94). Francis, L., & Flynn, M. (2010). Text Mining Handbook. Spring. Gorunescu, F. (2011). Data Mining Concepts,Models and Techniques (Vol. 12). Verlag Berlin Heidelberg: Springer. Jain, A., Murty, M., & Flynn, P. (1999, September). Data Clustering: A Review. ACM Computing Surveys, 31. Jiawei, H., & Kamber, M. (2006). Data Mining: Concepts and Techniques 2nd. San Francisco: Morgan Kaufmann.
59
Keefe, T. O., & Koprinska, I. (2009, Desember 4). Feature Selection and Weighting Methods in Sentiment Analysis. Proceedings of the 14th Australasian Document Computing Symposium, 1-8. Kira, K., & Rendel, L. A. (1992). The Feature Selection Problem : Traditional Methods and a New Algoritmh. AAAI Press . Kucuktunc, O., & Bambazoglu, B. B. (2012, February). A Large-Scale Sentiment Analysis for Yahoo! Answers. Lee, L., & Pang, B. (2008). Opinion mining and sentiment analysis (Vol. Volume 2). Li, G., & Liu, F. (2010, Nov). A Clustering-based Approach on Sentiment Analysis. Intelligent Systems and Knowledge Engineering (ISKE), 2010 International Conference on, (pp. 331 - 337). Li, G., & Liu, F. (2010, Nov). A Clustering-based Approach on Sentiment Analysis. Intelligent Systems and Knowledge Engineering (ISKE), 2010 International Conference on, (pp. 331 - 337). Australia. linuxarna. ( 2012 , Desember ). Retrieved from http://linuxarna.net/berita-41-algoritmakmeans-clustering.html. Liu, B. (2010). (N. Indurkhya, & F. J. Damerau, Eds.) Sentiment Analysis and Subjectivity,Handbook of Natural Language Processing. Liu, T. a. (2003). An Evaluation on Feature Selection for Text Clustering. Proceedings of the Twentieth International Conference on Machine Learning. Washington DC. MacQueen. (1967). Some Methods For Classification And Analysis Of Multivariate Observations. Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability (pp. 281–297). University of California Press. O’Keefe, T., & Koprinska, I. (2009). Feature Selection and Weighting Methods in Sentiment Analysis. Proceedings of the 14th Australasian Document Computing. Sydney, Australia. Ohana, B., & Brendan, T. (2011, June). Supervised Learning Methods for Sentiment Classification with RapidMiner. RapidMiner Community Meeting And Conference, RCOMM, 1-8. Pang, B., Lee, L., & Shivakumar, V. (2002). Thumbs up? Sentiment Classification using Machine Learning Techniques. Reddy, S. R., Somayajulu, D. V., & Dani, A. R. (2010, Desember). Classification of Movie Reviews Using Complemented Naive Bayesian Classifier. International Journal of Intelligent Computing Research (IJICR), 1(4).
60
Somayajulu, Reddy, S. R., & Dani, A. (2010). Classification of Movie Reviews Using Complemented Naive Bayesian Classifier. International Journal of Intelligent Computing Research (IJICR), 1, 162-167. Stylios, G. a. (2010). Public Opinion Mining for Governmental Decisions. Electronic Journal of e-Government, 8(2), 203-214. Suanmali, L., Salim, N., & Binwahlan, M. S. (2008, Desember). Automatic Text Summarization Using Feature Based Fuzzy Extraction. Jurnal Teknologi Maklumat. Tan, S., & Zhang, J. (2007, Mei). An empirical study of sentiment analysis for chinese documents. Expert Systems with Applications: An International Journal, 34(4), 26222629 . Tan, Steinbach, & Kumar. (2004). Data Mining Cluster Analysis: Basic Concepts and Algorithms. In Introduction to Data Mining. Tata, S., & Patel M, J. (2007 , June ). Estimating the Selectivity of tf-idf based Cosine Similarity Predicates. ACM SIGMOD, 36(2), 7-12. Velmurugan, T., & Santhanam, T. (2010). Computational Complexity between K-Means and K-Medoids Clustering Algorithms for Normal and Uniform Distributions of Data Points. Journal of Computer Science 6, 363-368. Vidhya, K., & Aghila, G. (2010). A Survey of Naïve Bayes Machine Learning approach in Text Document Classification. International Journal of Computer Science and Information Security (IJCSIS), 7. Wajeed, M. A., & Adilakshmi, D. (2005 - 2009). Text Classification Using Machine Learning. Journal of Theoretical and Applied Information Technology. Williams, G. (2006). Data Mining Algorithms Cluster Analysis. Witten, I. H., Frank, E., & Hall, M. A. (2011). Data Mining,Practical Machine Learning Tools and Techniques 3rd Edition. Burlington: Morgan Kaufmann. Xu, R., & Wunsch, D. C. (2009). Clustering. (D. B. Fogel, Ed.) IEEE Computational Intelligence Society. Yates, R. B., & Neto, B. R. (1999). Modern Information Retrieval .
61
LAMPIRAN-LAMPIRAN Lampiran 1 Draft Makalah di yang dikirim ke Seminar Nasional Masif II Tahun 2016
Penerapan Algoritma K-Means Dengan Seleksi Fitur Information Gain Untuk Optimasi Analisis Sentimen Movie Review Setyo Budi, M.Kom.1, Dwiyono Arifianto, S.Kom.2 Ilmu Komputer, Universitas Dian Nuswantoro Semarang email:
[email protected] 2Fakultas Ilmu Komputer, Universitas Dian Nuswantoro Semarang email:
[email protected] 1Fakultas
Abstrak - Keberadaan website memberikan kemudahan dan kebebasan bagi manusia dalam menyampaikan informasi dan pendapatnya. Informasi dan pendapat kemudian tersimpan didalam kumpulan dokumen teks. Dalam kurun waktu yang lama kumpulan dokumen teks bertambah besar, sehingga ada pemikiran untuk melakukan penggalian dokumen teks. Analisis sentimen merupakan salah satu metode penggalian dokumen teks, dimana terdapat proses memahami, mengekstrak, dan mengolah informasi tekstual secara otomatis. Banyak penelitian analisis sentimen menggunakan algoritma yang berbeda baik yang supervised learning atau unsupervised learning. Hal ini disebabkan karena perbedaan akurasinya dan kecepatannya. Dokumen teks yang berasal dari website masih terdapat atribut yang tidak relevan yang digunakan pada dataset, sehingga dibutuhkan seleksi fitur yang dapat digunakan untuk mengurangi dataset yang tidak relevan. Seleksi fitur yang digunakan di penelitian ini adalah Information Gain (IG). Hasil pengujian algoritma K-Means tanpa seleksi fitur Information Gain dengan dataset 300 dokumen negatif dan positif akurasinya masih rendah yaitu 57.83%, setelah menggunakan seleksi fitur Information Gain akurasinya naik menjadi 78.67%. Pengujian dengan dataset 700 dokumen negatif dan positif tanpa seleksi fitur akurasinya 56.71%, setelah menggunakan seleksi fitur menjadi 72.79%, selanjutnya untuk dataset 1000 dokumen negatif dan positif akurasi K-Means tanpa seleksi fitur akurasinya 50.40%, setelah menggunakan seleksi fitur akurasinya 72.15%. Sehingga dengan model yang peneliti usulkan, algoritma K-Means menggunakan seleksi fitur Information Gain dapat meningkatkan optimasi analisis sentimen movie review. .
Kata Kunci : Analisis Sentimen, K-Means, Information Gain
I. PENDAHULUAN
Saat ini, teknik yang berkembang untuk menganalisis kumpulan dokumen adalah analisis sentimen. Ada dua arah penelitian dalam analisis sentimen, yang pertama adalah untuk mengklasifikasikan polaritas suatu teks yang diberikan, apakah yang diungkapkan merupakan opini positif, negatif atau netral, penelitian ini sebelumnya dipelopori oleh Pang, et. al, 2000 [2]. Arah penelitian yang kedua adalah identifikasi subjektivitas atau objektifitas, penelitian ini mengklasifikasikan sebuah teks kedalam satu dari dua kelas yaitu tujuan atau subyektif. Contoh penelitian yang berhubungan dengan analisis sentimen antara lain menganalisa rating movie review untuk mengetahui tingkat pendapatan dari pemutaran sebuah film [2]. Review movie dapat dimanfaatkan oleh penikmat film untuk memutuskan film apa yang akan ditonton, bagi produser film dapat memanfaatkan opini untuk mengetahui penilaian yang diberikan oleh para penikmat film tentang film-film yang paling banyak dikritik. Selain review movie, review sebuah produk dapat membantu perusahaan untuk mempromosikan produk mereka.
Website memberikan kemudahan dan kebebasan bagi pengguna untuk menyampaikan informasi dan pendapatnya, sehingga informasi dan pendapat selalu bertambah setiap saat. Informasi dan pendapat akan tersimpan didalam kumpulan dokumen teks. Karena masih dalam bentuk dokumen teks maka sulit untuk menemukan kembali informasi yang sesuai antara satu dokumen teks dengan yang lainnya. Dalam kurun waktu yang lama, kumpulan dokumen teks semakin bertambah besar. Penggalian dokumen teks dari website yang berisi komentar, pendapat, feedback, kritik dan review merupakan hal penting, karena apabila dikelola dengan baik dan benar maka akan memberikan informasi yang bermanfaat untuk membantu individu atau organisasi didalam pengambilan sebuah keputusan [1]. Namun kumpulan dokumen teks dari website masih dinyatakan didalam bahasa alami atau natural yaitu banyak atribut yang digunakan pada dataset, sehingga dibutuhkan seleksi fitur untuk mengurangi dataset yang tidak relevan. Seleksi fitur yang digunakan di penelitian ini adalah Information Gain (IG).
62
Dalam perkembangannya, banyak penelitian analisis sentimen dengan menggunakan metode atau algoritma yang berbeda, hal ini disebabkan karena masing-masing metode atau algoritma mempunyai perbedaan, baik tingkat akurasi maupun tingkat kecepatannya didalam melakukan proses clustering atau klasifikasi sebuah dokumen. Pada penelitian sebelumnya ada beberapa teknik supervised learning seperti algoritma Support Vector Machine (SVM) Stylos [3], Abbasi, et al [4], O’Keefe & Koprinska [5], Reddy, et al. [6] dan algoritma Naive Bayes (NB), Stylios, George at al. [3], Keefe & Koprinska, 2009 [7]. Sedangkan teknik unsupervised learning dengan metode clustering, seperti penelitian yang dilakukan oleh Gang Li dan Fei Liu [8] yaitu suatu metode didalam mengelompokkan dokumen dengan menggunakan persamaan topik yang dimiliki oleh masing-masing dokumen, dengan tujuan untuk memudahkan pengguna dalam menemukan dokumen yang diinginkan. Berdasarkan penelitian diatas, ada beberapa metode atau algoritma yang digunakan untuk analisis sentimen, namun belum diketahui akurasi algoritma K-Means dengan seleksi fitur Information Gain untuk meningkatkan optimasi analisis sentimen movie review, serta bagaimana kinerja algoritma tersebut setelah menggunakan seleksi fitur Information Gain. Maka didalam penelitian ini mengusulkan model penerapan algoritma K-Means dengan seleksi fitur Information Gain (IG) untuk optimasi analisis sentimen movie review sehingga diketahui kinerja dan akurasinya.
(IG) untuk optimasi analisis sentimen movie review sehingga diketahui kinerja dan akurasinya. 2. Rumusan Masalah Berdasarkan literature review yang dilakukan, didapat permasalahan yaitu banyak metode atau algoritma yang digunakan untuk analisis sentimen, namun belum diketahui akurasi algoritma K-Means dengan seleksi fitur Information Gain untuk meningkatkan optimasi analisis sentimen movie review. 3. Pengumpulan Data Dataset yang digunakan adalah dataset movie review yang diambil dari www.cs.cornell.edu/People/pabo/movie-reviewdata/. Movie review sudah dikelompokkan kedalam 1000 kelompok dokumen review negatif dan 1000 kelompok dokumen review negatif. Dataset ini sudah populer karena pernah digunakan oleh Pang et al. [2], Chaovalit dan Zhou [9], Keefe dan Koprinska [7], dan sudah siap dijadikan dataset untuk penelitian. Dataset tersebut dikumpulkan dari IMDb (Internet Movie Database) Chaovalit & Zhou, 2005 [9]. Di penelitian ini di gunakan dataset masing-masing 300,700 dan 1000 dokumen review negatif dan positif. 4. Model yang diusulkan Model yang Gambar 1.
diusulkan
Dataset Movie Review
adalah
seperti
Preprocessing Case folding, Tokenizing, Stopword, Stemming
II. METODE PENELITIAN Seleksi Fitur Information Gain
Permasalahan didalam penelitian ini adalah bagaimana model penerapan algoritma KMeans dengan seleksi fitur Information Gain (IG) untuk optimasi analisis sentimen movie review serta bagaimana kinerja dan akurasinya. Tools yang digunakan untuk eksperimen penelitian ini adalah RapidMiner versi 5. Metode penelitian yang dilakukan adalah metode penelitian eksperimen, dengan tahapan penelitian seperti dalam skema penelitian sebagai berikut:
Clustering Algoritma K-Means
Pembobotan TF-IDF
Evaluasi Accuracy, Precision, Recall
Gambar 1. Model yang diusulkan 1. Dataset Movie Review Dataset yang digunakan dalam penelitian ini terdiri dari 300, 700 dan 1000 dokumen masingmasing dokumen review negatif dan positif. Satu dokumen tersimpan dalam satu file yang berektensi txt.
1. Pendahuluan dan Literatur Metode dan algoritma yang digunakan untuk analisis sentimen dokumen teks berbeda antara satu lainnya, tujuannya adalah untuk mendapatkan algoritma atau metode yang paling akurat untuk teknik clustering. Didalam penelitian ini diusulkan model untuk penerapan algoritma K-Means dengan seleksi fitur Information Gain
2. Preprocessing Tahapan preprocessing yang digunakan dalam penelitian ini adalah Tranform Cases/Case folding, Tokenizing, Stopword, Stemming (porter).
63
1. Memilih k dokumen untuk dijadikan centroid (titik pusat cluster) awal secara random; 2. Hitung jarak setiap dokumen ke masingmasing centroid menggunakan persamaan cosines similarity kemudian jadikan satu cluster untuk tiap-tiap dokumen yang memiliki jarak terdekat dengan centroid; 3. Tentukan centroid baru dengan cara menghitung nilai rata-rata dari data-data yang ada pada centroid yang sama; 4. Kembali ke langkah 2 jika posisi centroid baru dan centroid lama tidak sama;
Gambar 2. Proses Preprocessing 3. Pembobotan TF-IDF TF-IDF (Term Frequency - Inverse Document Frequency) adalah salah satu algoritma yang digunakan untuk menghitung skor atau pembobotan term atau kata didalam suatu dokumen [10]. TF (Term frequency) adalah banyaknya kemunculan suatu term dalam dokumen. Pembobotan TF dilakukan dengan menghitung jumlah kemunculan kata dalam satu dokumen, IDF (inverse document frequency) adalah perhitungan logaritma antara pembagian jumlah total dokumen dengan cacah dokumen yang mengandung term, dan TF-IDF adalah perkalian antara TF dengan IDF. Semakin besar bobot TF-IDF pada suatu term, maka semakin penting term tersebut untuk bisa digunakan pada tahapan klasifikasi dokumen.
6. Evaluasi Evaluasi dilakukan dengan mengamati kinerja algoritma K-Means dengan menggunakan seleksi fitur Information Gain untuk optimasi analisis sentimen movie review. Dalam penelitian ini digunakan Confusion Matrix untuk mengukur kinerja clustering.
III.
HASIL DAN PEMBAHASAN
(1)
Capaian yang di harapkan dari penelitian ini adalah bagaimana menerapkan algoritma K-Means dengan seleksi fitur Information Gain untuk optimasi analisis sentimen movie review. Terdapat dua skenario pengujian, yang pertama ialah pengujian algoritma K-Means tanpa seleksi fitur Information Gain untuk mengetahui akurasi K-Means tanpa seleksi fitur, skenario kedua adalah algoritma K-Means menggunakan seleksi fitur Information Gain bertujuan untuk mengetahui akurasi K-Means menggunakan seleksi fitur. Dibawah ini dijelaskan tentang langkah-langkah pada masing-masing skenario.
Dalam hal ini pi adalah probabilitas sebuah tuple pada D masuk ke kelas Ci dan diestimasi dengan |Ci,D|/|D|. Fungsi log diambil berbasis 2 karena informasi dikodekan bit.
1. Skenario Pertama : Penerapan algoritma K-Means tanpa seleksi fitur Information Gain
4. Seleksi Fitur Information Gain Feature Selection adalah salah teknik terpenting dan sering digunakan dalam preprocessing data mining [11], khususnya untuk knowledge discovery maupun discovery scince. Seleksi Fitur yang terbukti sangat efektif antara lain adalah Information Gain (IG) dan Chi Square (CHI) [12] . Maka didalam penelitian ini seleksi fitur yang digunakan adalah Information Gain (IG), disajikan persamaan 1. Info(D)=-∑𝑚 𝑖=1 𝑝𝑖 log2 pi
Proses pembacaan dataset dokumen ini berada di operator Proces Documents From Files sekaligus terjadi proses Preprocessing dan pembobotan TF-IDF, disajikan Gambar 3.
5. Algoritma K-Means Metode K-Means diperkenalkan oleh James B Mac Queen pada tahun 1967 dalam Proceding of the 5th Berkeley Symposium on Mathematical Statistics and Probability [13]. K-Means adalah salah satu teknik unsupervised learning yang paling sederhana dan baik untuk memecahkan masalah clustering [14]. Berikut adalah pseudocode dari algoritma K-Means. Algoritma K-Means Clustering Input : Koleksi Dokumen D={d1, d2, d3, … dn}; Jumlah cluster (k) yang akan dibentuk; Output : k cluster; Proses :
Gambar 3. Process view tanpa seleksi fitur Proses preprocessing juga berlaku untuk penerapan algoritma K-Means menggunakan seleksi fitur.
64
Kemudian dilanjutkan operator Clustering dengan K-Means, selanjutnya Map Clustering on labels kemudian operator Performance. Setelah
ditemukan formula algoritma K-Means tanpa seleksi fitur maka dilakukan pengujian model.
Gambar 4. Akurasi K-Means tanpa seleksi fitur Information Gain Hasilnya terlihat pada Gambar 4 dimana akurasi K-Means tanpa seleksi fitur Information Gain(IG) menggunakan dataset 300 dokumen review negatif dan 300 dokumen review positif adalah 57.83%, precision =60.35% dan recall =45.67%. Hasil akurasi K-Means tanpa seleksi fitur untuk analisis sentimen movie review ini masih rendah, akurasi ini jauh lebih kecil di banding hasil penelitian Gang Li dan Fei Liu [8]. Dengan model yang sama maka pengujian selanjutnya adalah dataset meningkatkan dataset masingmasing menjadi 700 dokumen dan 1000 dokumen. Hasil pengujian dapat di lihat pada tabel 1.
untuk membuktikan kalau seleksi fitur Information Gain dapat meningkatkan akurasi. Hasil pengujian model disajikan pada Gambar 6, hasil tersebut menunjukkan bahwa tingkat akurasi algoritma K-Means menggunakan seleksi fitur mengalami peningkatan menjadi 78.67%, ini sesuai keunggulan dari Information Gain yaitu dapat menaikkan akurasi. Hasil ini lebih baik dari hasil penelitian sebelumnya.
Tabel 1. Akurasi K-Means tanpa seleksi fitur dataset masing-masing 700 dan 1000 dokumen Dokumen Accuracy
Tanpa Seleksi Fitur IG 700 (neg & pos) 1000 (neg & pos) 56.71%
Gambar 5. Process View menggunakan seleksi Fitur Karena dengan menggunakan seleksi fitur tingkat akurasi K-Means naik, maka penelitian ini akan menerapkan algoritma K-Means dengan menggunakan seleksi fitur Infomation Gain, hal ini dimaksudkan untuk mengetahui tingkat akurasi K-Means yang paling tinggi pada masingmasing p%.
50.40%
Dijelaskan pada tabel 1 bahwa akurasi K-Means tanpa seleksi fitur dengan dataset 700 dokumen akurasinya 67.71 % dan dataset 1000 dokumen akurasinya 50.40%. 2. Skenario Kedua : Penerapan algoritma K-Means menggunakan seleksi fitur Information Gain Proses pengujian model penerapan algoritma K-Means menggunakan seleksi fitur diawali pembacaan dataset, preprocessing dan pembobotan TF-IDF dilanjutkan formula seleksi fitur Information Gain(IG), kemudian proses Select by Weight selanjutnya Clustering kemudian Map Clustering on labels dan terakhir menghitung Performance algoritma K-Means, formula ini dapat dilihat pada gambar 5. Sebelum melakukan pengujian secara keseluruhan dengan p% =0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 dan 1, model diuji dengan seleksi fitur Information Gain (IG) dengan p%=0.1 terlebih dahulu, hal ini bertujuan
a. Analisis Akurasi K-Means menggunakan seleksi fitur 300 dokumen negatif dan positif. Setelah diketahui hasil pengujian model menggunakan seleksi fitur dengan p%=0.1 akurasi K-Means meningkat, maka pengujian selanjutnya adalah menguji p% secara keseluruhan dengan p%=0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 dan 1, dengan menggunakan dataset 600 dokumen yang terbagi menjadi dua kategori yaitu 300 dokumen review negatif dan 300 review positif. Hasil akurasi K-Means dengan seleksi
65
fitur pada masing-masing p% dapat dilihat pada Gambar 7 dengan penjelasan bahwa akurasi
tertinggi algoritma K-Means dengan seleksi fitur
Gambar 6. akurasi K-Means menggunakan seleksi fitur yaitu 78.67%, kemudian mengalami penurunan hingga p%=0.2. Akurasi mulai menurun signifikan pada p%=0.3 sampai dengan p%=0.8 dengan akurasi 55.83%, akurasi ini dapat dikatakan akurasi paling rendah dari semua p%, tetapi setelah p%=0.8 mengalami kenaikan lagi. Ada pola yang unik dari akurasi K-Means dengan seleksi fitur Information Gain yaitu semakin besar p% semakin menurun akurasi K-Means yaitu sampai p%=0.8, tetapi mengalami kenaikan lagi mulai pada p%=0.9. Terjadinya penurunan pada setiap p% dinaikkan dapat digunakan untuk penelitian selanjutnya apa yang menyebabkan terjadinya penurunan tersebut.
yang dibutuhkan algoritma K-Means dengan seleksi fitur Information Gain dapat dilihat pada Gambar 8. Gambar tersebut nunjukkan bahwa waktu proses yang paling lama pada p%=0.7 adalah 41.041 detik, dan yang paling cepat adalah pada p%=0.8 yaitu hanya 8.580 detik. Waktu p%=1 p%=0.9 p%=0.8 p%=0.7 p%=0.6 p%=0.5 p%=0.4 p%=0.3 p%=0.2 p%=0.1
80.00 70.00 60.00
19,500 23,400 8,580 41,040 35,280 24,480 36,960 18,480 31,680 38,940
50.00 40.00
Gambar 8. Waktu proses K-Means
c. Analisa Precision dan Recall KMeans menggunakan seleksi fitur Information Gain 300 dokumen negatif dan positif.
p%=1
p%=0.9
p%=0.8
p%=0.7
p%=0.5
p%=0.6
p%=0.4
p%=0.2
p%=0.3
p%=0.1
30.00 20.00 10.00 0.00
Precision (P) adalah proporsi prediksi jumlah dokumen positif yang benar dan Recall adalah rasio proporsi jumlah dokumen positif yang diidentifikasikan dengan benar. Nilai dari Precision dan Recall dalam bentuk persen (%) disajikan pada Gambar 9.
p%= p%= p%= p%= p%= p%= p%= p%= p%= p%= 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Accuracy(%) 78.6770.6758.8358.6758.1757.3356.3355.8357.6757.83
Gambar 7. Akurasi K-Means menggunakan Information Gain.
90.00 80.00 70.00 60.00 50.00 40.00 30.00 20.00 10.00 0.00
b. Analisis Waktu proses Clustering 300 dokumen review negatif dan positif Untuk melengkapi apakah berkinerja baik atau tidak sebuah algoritma maka dapat dilihat dari waktu proses yang ditempuh. Dari pengujian model yang diusulkan dengan dataset 300 dokumen review negatif dan 300 dokumen review positif pada masing-masing p%= 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 dan 1, waktu proses
p%= p%= p%= p%= p%= p%= p%= p%= p%= p%= 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Precision 84.96 75.62 62.80 61.82 60.52 59.40 58.88 58.29 62.10 60.35 Recall
66
69.67 61.00 43.33 45.33 47.00 46.33 42.00 41.00 39.33 45.67
Gambar 9. Precision dan Recall menggunakan seleksi fitur dataset 300 dokumen negatif dan positif .
Gambar 9 menjelaskan bahwa precision tertinggi pada p%=0.1 yaitu 84.96% kemudian recall tertinggi pada p%=0.1 yaitu 69.67%.
Tabel 2. Akurasi algoritma K-Means tanpa seleksi fitur dan menggunakan seleksi fitur
Dokumen
Tanpa Seleksi Fitur 700 (Neg 1000 (Neg dan Pos) dan Pos) 56.71% 50.40%
Menggunakan Seleksi Fitur (p%=0.1) 300 (Neg 700 (Neg 1000 (Neg dan Pos) dan Pos) dan Pos) 78.67% 72.79% 72.10%
Accuracy
300 (Neg dan Pos) 57.83%
Precision
60.35%
62.05%
50.30%
84.96%
80.27 %
73.76%
Recall
45.67%
34.57%
67.20%
69.67%
60.43%
68.60%
Dari precision dan recall yang ada digambar 9 dapat dilihat ada perbedaan yang mencolok yaitu pada p%=0.9, untuk precision mengalami kenaikan tetapi di recall mengalami penurunan.
semakin besar dataset yang digunakan semakin menurun akurasi K-Means.
e. Hasil Precision dokumen
d. Analisis akurasi K-Means dataset 700 dan 1000 dokumen
Precision dengan dataset 700 dan 1000 dokumen dapat dilihat pada Gambar 10. Ada persamaan precision antara dataset 700 dan 1000 dokumen yaitu precision tertinggi pada p%=0.1 dan mengalami kenaikan kembali tetapi tidak melebihi p%=0.1.
Untuk mengetahui lebih lanjut tentang akurasi k-means dengan seleksi fitur maka didalam penelitian ini dataset yang akan diuji ditambah menjadi masing-masing 700 dan 1000 dokumen review negatif dan positif. Hasil pengujian disajikan pada Gambar 10.
Prec.70 0 dok(%)
90
80.00
80
70.00
70
Prec.10 00 dok(%)
60
60.00
50
50.00
40
40.00
30
30.00
20
20.00
10
Dataset 700 72.7950.0751.4351.0750.2156.1456.0756.1457.0056.71
p%=1
p%=0.9
p%=0.8
p%=0.7
p%=0.6
p%=0.5
p%=0.4
p%=0.3
p%=0.1
p%= p%= p%= p%= p%= p%= p%= p%= p%= p%= 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
p%=0.2
0
10.00 0.00
700 dan 1000
Gambar 10. Grafik precision 700 dan 1000 dokumen negatif dan positif.
Dataset 1000 72.1061.7558.5059.0050.8551.3550.7057.9550.2550.40
Gambar 10. Grafik akurasi K-Means dengan seleksi fitur dataset masing-masing 700 dan 1000 dokumen.
f. Hasil Recall 700 dan 1000 dokumen Untuk recall hasil terbaik untuk kedua dataset pada p%=0.2, setelah itu mengalami penurunan. Ada persamaan hasil recall antara dataset 700 dan 1000 yaitu recall tertinggi pada pada p%=0.2 dan mengalami kenaikan kembali tetapi tidak melebihi p%=0.1.
Hasil akurasi secara keseluruhan pada p%=0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 dan 1 masingmasing dengan dataset 700 dan 1000 adalah dapat dilihat pada gambar 10. Akurasi tertinggi untuk dataset 700 dokumen berada pada p%=0.1 sedangkan untuk dataset 1000 dokumen berada pada p%=0.1. Untuk perbandingan akurasi tanpa seleksi fitur dan menggunakan seleksi fitur dengan dataset 300, 700 dan 1000 dokumen dapat dilihat pada tabel 2. Dari tabel 2 dapat disimpulkan bahwa
67
90.00 80.00 70.00 60.00 50.00 40.00 30.00 20.00 10.00 0.00
[3] G. a. a. Stylios, "Public Opinion Mining for Governmental Decisions," Electronic Journal of e-Government, vol. 8, no. 2, pp. 203-214, 2010. [4] A. Abbasi, H. Chen and A. Salem , "Sentiment analysis in multiple languages : Feature selection for opinion clasification in web forums," ACM Transactions on Information Systems, vol. 26, no. 3, pp. 1-34, 2008. [5] T. O’Keefe and I. Koprinska, "Feature Selection and Weighting Methods in Sentiment Analysis," in Proceedings of the 14th Australasian Document Computing, Sydney, Australia, 2009. [6] S. S. R. Reddy and A. Dani, "Classification of Movie Reviews Using Complemented Naive Bayesian Classifier," International Journal of Intelligent Computing Research (IJICR), vol. 1, pp. 162-167, 2010. [7] T. O. Keefe and I. Koprinska, "Feature Selection and Weighting Methods in Sentiment Analysis," Proceedings of the 14th Australasian Document Computing Symposium, pp. 1-8, 4 Desember 2009. [8] G. Li and F. Liu, "A Clustering-based Approach on Sentiment Analysis," in Intelligent Systems and Knowledge Engineering (ISKE), 2010 International Conference on, 2010. [9] P. Chaovalit and L. Zhou, "Movie Review Mining: a Comparison between Supervised and Unsupervised Classification Approaches," in Proceedings of the 38th Hawaii International Conference on System Sciences, 2005. [10] R. B. Yates and B. R. Neto, "Modern Information Retrieval," 1999. [11] K. Kira and L. A. Rendel, "The Feature Selection Problem : Traditional Methods and a New Algoritmh," 1992. [12] T. a. a. Liu, "An Evaluation on Feature Selection for Text Clustering," in Proceedings of the Twentieth International Conference on Machine Learning, Washington DC, 2003. [13] MacQueen, "Some Methods For Classification And Analysis Of Multivariate Observations," in Proceedings of 5th Berkeley Symposium
700 dok(%)
p%=0.1 p%=0.2 p%=0.3 p%=0.4 p%=0.5 p%=0.6 p%=0.7 p%=0.8 p%=0.9 p%=1
1000 dok(%)
Gambar 11. Grafik recall 700 dan 1000 dokumen IV. KESIMPULAN 5. Algoritma K-Means dengan menggunakan seleksi fitur Information Gain meningkatkan optimasi analisis sentimen movie review. 6. Algoritma K-Means tanpa menggunakan seleksi fitur dengan dataset 300 dokumen review negatif dan positif akurasi 57.83%, 700 dokumen (negatif & positif) akurasi 56.71%, dataset 1000 dokumen negatif dan positif akurasinya 50.40%. 7. Algoritma K-Means dengan menggunakan seleksi fitur Information Gain tingkat akurasi meningkat yaitu dengan dataset 300 dokumen negatif dan positif akurasinya 78.67%, dataset 700 dokumen negatif dan positif akurasinya 72.79%, dataset 1000 dokumen negatif positif akurasinya 72.10%. 8. Sesuai tabel 2 akurasi K-Means tanpa seleksi fitur dan menggunakan seleksi fitur akurasi mengalami penurunan apabila databaset bertambah besar. V. REKOMENDASI Untuk lebih mengetahui akurasi K-Means dengan seleksi fitur Information Gain dapat menggunakan dataset yang lebih besar lagi atau dataset lainnya seperti dataset dari opini-opini publik yang ada di web atau dataset dalam bentuk dokumen bahasa indonesia. DAFTAR PUSTAKA [1] G. Li and F. Liu, "A Clustering-based Approach on Sentiment Analysis," in Intelligent Systems and Knowledge Engineering (ISKE), 2010 International Conference on, Australia, 2010. [2] B. Pang, L. Lee and V. Shivakumar, "Thumbs up? Sentiment Classification using Machine Learning Techniques," 2002.
68
on Mathematical Statistics and Probability, 1967. [14] T. Velmurugan and T. Santhanam, "Computational Complexity between KMeans and K-Medoids Clustering Algorithms for Normal and Uniform Distributions of Data Points," Journal of Computer Science 6, pp. 363-368, 2010.
69
Lampiran 2 . Pendaftaran Makalah di Seminar Nasional Masif II Tahun 2016 3 September 2016
70
Lampiran 3 : Contoh dokumen Movie Review berkategori positif, nama file cv000_29590.txt films adapted from comic books have had plenty of success , whether they're about superheroes ( batman , superman , spawn ) , or geared toward kids ( casper ) or the arthouse crowd ( ghost world ) , but there's never really been a comic book like from hell before . for starters , it was created by alan moore ( and eddie campbell ) , who brought the medium to a whole new level in the mid '80s with a 12-part series called the watchmen . to say moore and campbell thoroughly researched the subject of jack the ripper would be like saying michael jackson is starting to look a little odd . the book ( or " graphic novel , " if you will ) is over 500 pages long and includes nearly 30 more that consist of nothing but footnotes . in other words , don't dismiss this film because of its source . if you can get past the whole comic book thing , you might find another stumbling block in from hell's directors , albert and allen hughes . getting the hughes brothers to direct this seems almost as ludicrous as casting carrot top in , well , anything , but riddle me this : who better to direct a film that's set in the ghetto and features really violent street crime than the mad geniuses behind menace ii society ? the ghetto in question is , of course , whitechapel in 1888 london's east end . it's a filthy , sooty place where the whores ( called " unfortunates " ) are starting to get a little nervous about this mysterious psychopath who has been carving through their profession with surgical precision . when the first stiff turns up , copper peter godley ( robbie coltrane , the world is not enough ) calls in inspector frederick abberline ( johnny depp , blow ) to crack the case . abberline , a widower , has prophetic dreams he unsuccessfully tries to quell with copious amounts of absinthe and opium . upon arriving in whitechapel , he befriends
an
unfortunate named
mary kelly ( heather
graham , say it isn't so ) and proceeds to investigate the horribly gruesome crimes that even the police surgeon can't stomach . i don't think anyone needs to be briefed on jack the ripper , so i won't go into the particulars here , other than to say moore and campbell have a unique and interesting theory about both the identity of the killer and the reasons he chooses to slay . in the comic , they don't bother cloaking the identity of the ripper , but screenwriters terry hayes ( vertical limit ) and rafael yglesias ( les mis ? rables ) do a good job of keeping him hidden from viewers until the very end . it's funny to watch the locals blindly point the finger
71
of blame at jews and indians because , after all , an englishman could never be capable of committing such ghastly acts . and from hell's ending had me whistling the stonecutters song from the simpsons for days ( " who holds back the electric car/who made steve guttenberg a star ? " ) . don't worry - it'll all make sense when you see it . now onto from hell's appearance : it's certainly dark and bleak enough , and it's surprising to see how much more it looks like a tim burton film than planet of the apes did ( at times , it seems like sleepy hollow 2 ) . the print i saw wasn't completely finished ( both color and music had not been finalized , so no comments about marilyn manson ) , but cinematographer peter deming ( don't say a word ) ably captures the dreariness of victorian-era london and helped make the flashy killing scenes remind me of the crazy flashbacks in twin peaks , even though the violence in the film pales in comparison to that in the black-and-white comic . oscar winner martin childs' ( shakespeare in love ) production design turns the original prague surroundings into one creepy place . even the acting in from hell is solid , with the dreamy depp turning in a typically strong performance and deftly handling a british accent . ians holm ( joe gould's secret ) and richardson ( 102 dalmatians ) log in great supporting roles , but the big surprise here is graham . i cringed the first time she opened her mouth , imagining her attempt at an irish accent , but it actually wasn't half bad . the film , however , is all good . : 00 - r for strong violence/gore , sexuality , language and drug content
72
Lampiran 4 : Contoh dokumen Movie Review berkategori positif, nama file nama file cv000_29416.txt b. Dokumen Movie Review berkategori negative plot : two teen couples go to a church party , drink and then drive . they get into an accident . one of the guys dies , but his girlfriend continues to see him in her life , and has nightmares . what's the deal ? watch the movie and " sorta " find out . . . critique : a mind-fuck movie for the teen generation that touches on a very cool idea , but presents it in a very bad package . which is what makes this review an even harder one to write , since i generally applaud films which attempt to break the mold , mess with your head and such ( lost highway & memento ) , but there are good and bad ways of making all types of films , and these folks just didn't snag this one correctly . they seem to have taken this pretty neat concept , but executed it terribly . so what are the problems with the movie ? well , its main problem is that it's simply too jumbled . it starts off " normal " but then downshifts into this " fantasy " world in which you , as an audience member , have no idea what's going on . there are dreams , there are characters coming back from the dead , there are others who look like the dead , there are strange apparitions , there are disappearances , there are a looooot of chase scenes , there are tons of weird things that happen , and most of it is simply not explained . now i personally don't mind trying to unravel a film every now and then , but when all it does is give me the same clue over and over again , i get kind of fed up after a while , which is this film's biggest problem . it's obviously got this big secret to hide , but it seems to want to hide it completely until its final five minutes . and do they make things entertaining , thrilling or even engaging , in the meantime ? not really . the sad part is that the arrow and i both dig on flicks like this , so we actually figured most of it out by the half-way point , so all of the strangeness after that did start to make a little bit of sense , but it still didn't the make the film all that more entertaining . i guess the bottom line with movies like this is that you should always make sure that the audience is " into it " even before they are given the secret password to enter your world of understanding .
73
i mean , showing melissa sagemiller running away from visions for about 20 minutes throughout the movie is just plain lazy ! ! okay , we get it . . . there are people chasing her and we don't know who they are . do we really need to see it over and over again ? how about giving us different scenes offering further insight into all of the strangeness going down in the movie ? apparently , the studio took this film away from its director and chopped it up themselves , and it shows . there might've been a pretty decent teen mind-fuck movie in here somewhere , but i guess " the suits " decided that turning it into a music video with little edge , would make more sense . the actors are pretty good for the most part , although wes bentley just seemed to be playing the exact same character that he did in american beauty , only in a new neighborhood . but my biggest kudos go out to sagemiller , who holds her own throughout the entire film , and actually has you feeling her character's unraveling . overall , the film doesn't stick because it doesn't entertain , it's confusing , it rarely excites and it feels pretty redundant for most of its runtime , despite a pretty cool ending and explanation to all of the craziness that came before it . oh , and by the way , this is not a horror or teen slasher flick . . . it's just packaged to look that way because someone is apparently assuming that the genre is still hot with the kids . it also wrapped production two years ago and has been sitting on the shelves ever since . whatever . . . skip it ! where's joblo coming from ? a nightmare of elm street 3 ( 7/10 ) - blair witch 2 ( 7/10 ) - the crow ( 9/10 ) - the crow : salvation ( 4/10 ) - lost highway ( 10/10 ) memento ( 10/10 ) - the others ( 9/10 ) - stir of echoes ( 8/10 )
74
Lampiran 5 : Anggaran Perubahan Anggaran yang dibutuhkan selama penelitian adalah : No
Jenis Pengeluaran
Biaya yang Diusulkan
1
Honorarium
Rp. 2.397.000
2
Bahan habis pakai dan peralatan
Rp. 6.403.000
3
Perjalanan
Rp. 1.000.000
3
Lain-lain
Rp. 1.800.000 Jumlah
Rp. 11.600.000
1. Hononarium Honor Ketua Anggota
Honor/Jam (Rp) 15.000 11.000
Waktu (Jam/minggu) 4 3
Minggu 25 23 Subtotal (Rp)
Tahun Ke 1 1.500.000 897.000 2.397.000
9. Pembelian Bahan Habis Pakai Material ATK fotocopy Penjilidan laporan Internet (pulsa) Cartridge 10.
Justifikasi Pembelian administrasi Penggandaan Laporan administrasi administrasi administrasi
Kuantitas
6
6
Tahun Ke 1 750.000
350.000
350.000
303.000 600.000 200.000 Subtotal (Rp)
303.000 600.000 1.400.000 3.403.000
Perjalanan Material
Justifikasi Perjalanan
Kuantitas
Perjalanan Dalam Kota 11.
Harga Satuan (Rp) 750.000
1 paket
Harga Satuan (Rp)
Tahun Ke 1
1.000.000
1.000.000
Subtotal (Rp)
1.000.000
Sewa Material
Peminjaman Kommputer
Justifikasi Sewa
Kuantitas (hari)
Eksperimen dan pengolahan data
5 bulan
75
Harga Satuan (Rp)
Tahun Ke 1
600.000
3.000.000
Subtotal (Rp)
3.000.000
12.
Lain-lain
1 1
Harga Satuan (Rp) 500.000 500.000
1
800.000
800.000
Subtotal (Rp)
1.800.000
TOTAL ANGGARAN YANG DIPERLUKAN SETIAP TAHUN (Rp) TOTAL ANGGARAN YANG DIPERLUKAN SELURUHNYA (Rp)
11.600.000 11.600.000
Material Publikasi ilmiah Penyajian Konferensi Monev
Justifikasi Sewa Biaya publikasi Biaya seminar Monitorin & Evaluasi
76
Kuantitas
Tahun Ke 1 500.000 500.000
