Prosiding Seminar Nasional Aplikasi Sains & Teknologi (SNAST) 2014 Yogyakarta, 15 November 2014
ISSN: 1979-911X
SENTIMENT ANALYSIS UNTUK MEMANFAATKAN SARAN KUESIONER DALAM EVALUASI PEMBELAJARAN DENGAN MENGGUNAKAN NAIVE BAYES CLASSIFIER (NBC) Amir Hamzah1 Jurusan Teknik Informatika, Fakultas Teknologi Industri, IST AKPRIND Yogyakarta e-mail :1
[email protected]
1
ABSTRACT Sentiment analysis technique currently has a very important role along with the abundance of text information on online media. By using sentiment analysis it is possible to determine the sentiment of opinion from a text. This encourages the application of this technique in many applications such as product review, analysis of market sentiment and opinion orientation of a message. In educational evaluation with questionnaires usually many suggestions from respondents can not be used because their numbers are abundant and are not effective enough to be read manually. This study applied sentiment analysis techniques to evaluate the tendency of suggestions related to various factors that contribute to the success of learning process such as teaching method, academic atmosphere, facilities and classrooms, laboratories, library and other campus facilities. Opinion classification technique used was Naive Bayes Classifier (NBC). Assuming suggestions and comments as opinions, the classification was done into three types, namely a negative opinion, neutral and positive opinion. The data used was the comments and suggestions from the questionnaire of AKPRIND students in semester of odd and even years 2012/2013 and 2013/2014 respectively of 3663, 2551, 3801 and 3265 comments and suggestions. Accuracy of classification was measured by comparing the classification opinion by NBC algorithm and manual classification by expert. Algorithm performance is also measured by comparing the results of the questionnaire scores and the results of sentiment analysis in the opinion. The experimental results showed that the NBC algorithm performed classification well with an average accuracy of 85,95%. Keywords : sentiment, opinion, classfification, NBC, accuracy PENDAHULUAN Opini dan orientasi opini adalah bagian terpenting dalam pengambilan keputusan untuk suatu kebijakan. Keputusan yang tepat sangat dipengaruhi oleh analisis opini dari berbagai sumber yang terkait dengan pengambilan keputusan. Sebagai contoh pada dunia bisnis, penambahan produk oleh manajer produksi sangat memerlukan analisis dari review produk barang yang ada di pasaran. Contoh lain misalnya pada dunia manajemen pelayanan pendidikan di perguruan tinggi, pengukuran tentang tingkat kepuasan layanan pembelajaran dapat diukur dari opini mahasiswa tentang proses pembelajaran. Opini muncul pada berbagai situasi, misalnya yang dengan sengaja diminta oleh suatu alat penjajagan opini melalui permintaan saran dalam aktivitas kuesener, atau muncul secara alami dari suatu forum on line yang disediakan oleh situs resmi perguruan tinggi. Volume opini on line yang berupa teks bebas ini semakin hari semakin banyak dan umumnya tidak dimanfaatkan karena bentuknya yang tidak terstruktur. Meskipun mengandung informasi berharga, opini ini juga sering menggunakan bahasa informal, misalnya : “Ir. Joko ngajarnya Jos gandoss...”, atau “AC ruang B115 parah.., tolong diperbaiki”. Di sini kata “Jos gandos...” memuat opini positif tentang dosen, sedangkan kata “parah” memuat opini negatif tentang AC. Tentu saja menangani opini yang diungkap dengan bahasa informal akan menjadi tantangan tersendiri. Saat ini sumber opini teks yang tersedia melimpah di intranet atau internet belum sepenuhnya dapat dimanfaatkan karena belum adanya tool yang memadai. Di sisi lain, keberadaan internet dan sumber informasi on-line lainnya yang berkembang sangat pesat. Saat ini diperkirakan ada sekitar 30 trilyun web-pages terindeks di google dan 100 milyar ases per bulan (Koetsier, 2013). Data dan informasi online dari perusahaan dan organisasi pada umumnya berbentuk tidak terstruktur (Bridge, 2011), terutama berbentuk teks yang mencapai 80% (Grimes,2013). Ditemukannya media sosial seperti Facebook (2004) dan Tweeter (2006) telah mendorong kegiatan seperti review, forum diskusi, blog, micro-blog, komentar, dan posting yang melipatgandakan keberadaan dokumen teks di internet. A-17
Prosiding Seminar Nasional Aplikasi Sains & Teknologi (SNAST) 2014 Yogyakarta, 15 November 2014
ISSN: 1979-911X
Hal ini karena media sosial tersebut telah digunakan baik oleh individu maupun organisasi untuk berbagai kepentingan sharing informasi. Kondisi ledakan informasi ini semakin menyulitkan proses data mining sebagaimana jauh hari telah diprediksi (Putten, et.al.,2002). Untuk itu pengembangan penelitian di bidang opinion mining menjadi topik sangat penting disamping topik-topik sebelumnya, yaitu data mining dan text mining. Salah satu cabang riset yang kemudian berkembang dari situasi ledakan informasi di internet adalah sentiment analysis. Cabang ini menjadi riset yang menantang karena didalamnya terdapat akumulasi dari berbagai tantangan riset, yaitu antara lain information extraction, information summarizatian, document classification (Pang and Lee, 2002). Sentiment Analysis atau opinion mining adalah studi komputasional dari opini-opini orang, appraisal dan emosi melalui entitas, event dan atribut yang dimiliki (Liu, 2010). Tugas dasar dalam analisis sentimen adalah mengelompokkan polaritas dari teks yang ada dalam dokumen, kalimat, atau fitur, yaitu apakah pendapat yang dikemukakan dalam dokumen, kalimat atau fitur tersebut bersifat positif , negatif atau netral (Dehaff, M., 2010). Riset bidang ini akan menjadi jawaban keterbatasan mesin pencari (seach engine) saat ini yang masih bersifat “fact-based” atau “information-based” untuk dikembanghkan lebih kaya menjadi mesin pencari yang bersifat “opinion-based” (Pang and Lee,2008) Aplikasi sentiment analysis untuk melakukan evaluasi kebijakan dan pengambilan keputusan menjanjikan cara yang lebih praktis dan ekonomis dibandingkan dengan metode klasik menggunakan pendekatan kuesioner. Kritik terhadap metode kuesioner sebagai metode yang lama dan mahal, disamping juga memberikan hasil yang kadang kurang dapat menangkap problem yang sebenarnya. Kuesioner dan interview dinilai lemah karena pada umumnya orang kurang suka menjawab pertanyaan survei yang kadang bertele-tele. Penggalian opini dengan cara mendengar (by listening) dinilai lebih baik dari pada dengan bertanya seperti kuesioner (by asking), karena lebih akurat mencerminkan realitas sebenarnya (Shelke, et.al.,2012). Bahkan lebih jauh sentiment analysis memungkinkan untuk menangkap emosi pemilik opini (Loia and Senatore, 2014). Contoh bagus dalam masalah ini adalah penelitian Greaves et.al. (2013) di English National Health Service website yang menangkap 6412 comment bebas dari pasien yang dirawat. Analisis tentang comment terkait dengan kebersihan, pelayanan rumah sakit dan berbagai aspek tanggung jawab rumah sakit memberikan hasil kesesuain antara 81% sampai 89% dibandingkan dengan metode rating kuantitative yang diberikan melalui kuesioner. Institut Sains dan Teknologi AKPRIND sebagai lembaga pendidikan tinggi senantiasa ingin meningkatkan layanan dalam manajemen pembelajaran. Untuk maksud tersebut pada setiap akhir semester bagian administrasi akademik mengadakan evaluasi layanan pembelajaran menggunakan instrumen kuesioner dengan butir-butir jawaban yang telah disediakan. Selama ini ada data kuesener yang tidak dapat dimanfaatkan dan dianalisis yaitu data saran mahasiswa. Data ini jumlahnya mencapai ribuan saran atau lebih tepatnya opini yang berasal dari seluruh seluruh peserta dari seluruh mata kuliah. Saran/opini dapat mengenai suasana akademik, dosen, ruang kuliah, AC, OHP, atau fasilitas kampus lainnya. Dalam beberapa tahun data ini semakin menumpuk. Data ini sangat mungkin dapat mengungkap hal-hal yang belum terungkap melalui butir kuesioner yang jumlah pertanyaannya terbatas, dan diberikan berulang setiap semester . Untuk itu penelitian ini bertujuan melakukan kajian penerapan teknik sentiment analysis untuk menganaliasa data-data saran/opini mahasiswa, sehingga saran-saran dan opini tersebut dapat dimanfaatkan untuk mendukung hasil evaluasi menggunakan skor kuesioner. Pang and Lee (2008), menyatakan bahwa salah satu core dalam sentiment analysis adalah problem klasifikasi opini. Untuk konteks klasifikasi dokumen teks secara umum (bukan teks opini), misalnya teks berita, metode NBC telah diterapkan oleh beberapa peneliti. Wibisono (2005) meneliti metode NBC untuk kategorisasi berita menghasilkan akurasi 86.9% sampai 90,23%. Penelitian Wulandini dan Nugroho (2009) membandingkan method klasifikasi teks NBC dengan method Support Vector machine (SVM), C4.5 dan K-Nearest Neighbour (K-NN). Hasil penelitian menunjukkan akurasi masing-masing methode urut dari yang terbaik adalah SVM akurasi 92%, NBC akurasi 90% C4.5 akurasi 77.5%% dan yang terendah K-NN akurasi 50%. SVM memiliki tingkat kompleksitas tinggi, sedangkan keungulan NBC adalah dalam kesederhanaan komputasinya (Hamzah, 2012a; Hamzah 2012b). Akan tetapi keberhasilan metode-metode ini dalam klasifikasi opini masih harus dikaji lebih jauh. Menurut Liu (2012) term sentiment analysis sering digunakan di dunia industri (misalnya review A-18
Prosiding Seminar Nasional Aplikasi Sains & Teknologi (SNAST) 2014 Yogyakarta, 15 November 2014
ISSN: 1979-911X
produk untuk mengetahui sentimen pasar). Selanjutnya ia mendefinisikan opini dalam suatu dokumen sebagai quantuple : (ej, ajk, sijkl,hi,tl) ................................................................................................ (1) dengan makna simbol ( dan contoh kasus evaluasi pelayanan pembelajaran) : - ej adalah entitas target opini ( misalnya dosen, ruang kuliah , sarana praktikum) ajk adalah aspek /feature dari entitas ej ( misalnya kedatangan mengajar, cara mengajar) - soijkl adalah nilai sentimen dari pemilik opini (hi) pada aspek ajk dari entitas ej pada waktu tl (opini positif misalnya “bagus”, “tepat waktu” ; opini negatif misalnya (“terlambat”, “parah”) - hi adalah pemilik opini (misalnya mahasiswa) - tl adalah waktu kapan opini dikeluarkan (misalnya semester ganil 2011/12) Jika opini, pesan atau komentar dianggap sebagai dokumen d, dan diasumsikan dimiliki koleksi dokumen D = {di|i=1,2,…|D|} = {d1,d2,…,d|D|} dan koleksi kategori V = {vj|j=1,2,…|V|} = {v1,v2,…,v|V|}. Klasifikasi NBC dilakukan dengan cara mencari probabilitas P(V=vj | D=di), yaitu probabilitas kategori vj jika diketahui dokumen di. Dokumen di dipandang sebagai tuple dari kata-kata dalam dokumen, yaitu
, yang frekuensi kemunculannya diasumsikan sebagai variable random dengan distribusi probabilitas Bernoulli (McCallum and Nigam, 1998). Selanjutnya klasifikasi dokumen adalah mencari nilai maksimum dari : .................................................... (2) VMAP = arg max P(v j | a1 , a 2 ,..., a n ) vj∈V
Dengan menerapkan teorema Bayes persamaan (2) dapat ditulis : P(a1 , a2 ,..., a n | v j ) P(v j ) .................................... ........... (3) VMAP = arg max P(a1 , a 2 ,..., a n ) vj∈V Karena nilai P(a1 , a2 ,..., an ) untuk semua vj besarnya sama maka nilainya dapat diabaikan, sehingga persamaan (3) menjadi : VMAP = arg max P(a1 , a 2 ,..., a n | v j ) P(v j ) .................................... (4) vj∈V
Dengan mengasumsikan bahwa setiap kata dalam adalah independent, maka P(a1 , a2 ,..., an | v j ) dalam persamaan (4) dapat ditulis sebagai : P(a1 , a2 ,..., an | v j ) =
∏ P(a
i
| v j ) ...........................................................
(5)
i
Sehingga persamaan (4) dapat ditulis : VMAP = arg max P(v j )∏ P(ai | v j ) ........................................................... vj∈V
(6)
i
Nilai P(vj) ditentukan pada saat pelatihan, yang nilainya didekati dengan : P(vj) =
doc J Contoh
..................................................................................
(7)
dimana doc J adalah banyaknya dokumen yang memiliki kategori j dalam pelatihan, sedangkan Contoh banyaknya dokumen dalam contoh yang digunakan untuk pelatihan. Untuk nilai P( wk | v j ) , yaitu probabilitas kata wk dalam kategori j ditentukan dengan :
P( wk | v j ) =
nk +1 n + vocabulary
..................................................................
(8)
Dimana nk adalah frekuensi munculnya kata wk dalam dokumen yang ber kategori vj , sedangkan nilai n adalah banyaknya seluruh kata dalam dokumen berkategori vj, dan |vocabulary| adalah banyaknya kata dalam contoh pelatihan. METODE PENELITIAN
Bahan Penelitian berupa koleksi data a test-collection dokumen teks yang terdiri dari koleksi saran dan komentar pada kuesener mahasiswa IST AKPRIND yang selama ini tidak dimanfaatkan, yaitu : semester 1 Tahun akademik 2012/2013 sebanyak 3.663 comment, semester 2 Tahun akademik 2011/2012 sebanyak 2551 comment, semester 1 Tahun akademik 2013/2014 sebanyak 3.801 A-19
Prosiding Seminar Nasional Aplikasi Sains & Teknologi (SNAST) 2014 Yogyakarta, 15 November 2014
ISSN: 1979-911X
comment, dan semester 2 Tahun akademik 2013/2014 sebanyak 3.265 comment. Alat Penelitian berupa seperangkat komputer dan perangkat lunak, yaitu perangkat keras : Processor Intel (R) Core (TM) i3-2370M @CPU 2,4GHz , RAM 2 GB, Hard Disk 500 GB, serta perangkat lunak : Microsoft Windows 7 Ultimate @2009; J2SDK v1.4.0.01 ; NetBeans versi IDE 7.1.2 ; PHP 5.3.28 ; MySQL
Gambar 1. Langkah Klasifikasi Opini menggunakan NBC
Adapun langkah-langkah penelitian dapat disajikan seperti dalam Gambar 1. Secara ringkas dapat diuraikan langkah-langkah seperti berikut ini : Langkah tokenisasi adalah langkah memecah string menjadi token-token dengan cara menguraikan string yang terdiri dari kalimat komentar atau saran. Pada langkah tokenisasi ini dilakukan upayaupaya pembersihan kata dari tanda-tanda baca yang tidak berguna sehingga kata menjadi unik, misalnya kata ”parah!”, atau “parah?” atau kata “parah....!?” menjadi “parah” saja. Langkah indexing adalah mencari kata unik yang dapat mewakili pengertian tertentu dari suatu opini. Langkah ini ditempuh dengan melakukan filter kata-kata yang merupakan STOP WORD seperti “dan”, “yang”,”atau”,”dari” dan lain-lain. Langkah weighting adalah langkah memberikan bobot pada masing-masing kata unik yang ada dalam koleksi. Pembobotan dilakukan dengan menghitung frekuensi kemunculan kata pada tiap kategori opini dan mencari probabilitas P(wk|Di), yaitu probabilitas kemunculan kata ke-k (wk) dalam dokumen ke-i (Di). Langkah klasifikasi adalah langkah mencari nilai maksimum probabilitas dari perkalian probabilitas kata-kata yang menyusun dokumen pada seluruh kategori yang ada. Algoritma dalam penelitian ini terdari diri dua tahap, yaitu algoritma pelatihan dan klasifikasi. Adapun uraian masing-masing algoritma adalah sebagai berikut : Algoritma Pelatihan (dokumen adalah komentar atau pesan yang akan diklasifikasi) 1. jumlah semua token ← jumlah semua kata yang unik dari dokumen 2. Untuk setiap kelas sentimen lakukan : a. Jumlah record pada kelasj ← jumlah record yang berada pada kelas j b. Hitung P (sentimentj) dengan persamaan (7) c. Untuk setiap kata wk pada daftar semua token lakukan : 3. Hitung P(katak | sentimentj) dengan persamaan (8) Algoritma Klasifikasi NBC 1. Input pesan (dokumen) yang akan diketahui sentimen (klasifikasi) nya 2. Hasilkan probabilitas untuk masing- masing kelas sesuai dengan persamaan (7) dengan menggunakan P(sentimentj) dan P(katak ||sentimentj) yang telah diperoleh dari pelatihan. 3. Probabilitas kelas maksimum adalah kelas sentiment terpilih hasil klasifikasi. A-20
Prosiding Seminar Nasional Aplikasi Sains & Teknologi (SNAST) 2014 Yogyakarta, 15 November 2014
ISSN: 1979-911X
Selanjutnya untuk mengukur kinerja algoritma digunakan rumus akurasi klasifikasi sebagai berikut : Akurasi =
Jumlah.klasifikasi.benar x100% Jumlah..dokumen .diklasifikasi
...................................
(9)
PEMBAHASAN
Antar muka dirancang untuk proses training (menu Training), analisis opini (menu Opinion) dan pencarian opini (menu Search). Langkah awal adalah melakukan training dengan memilih koleksi dokumen, sebagai contoh dipilih koleksi dokumen Opini132.dat (Semester genap 2013/2014) seperti pada Gambar 2. Hasil training seperti disajikan dalam Gambar 3.
Gambar 2. Memilih Koleksi Opini untuk Training
Gambar 3. Hasil Training Koleksi Opini
Untuk melakukan analisis sentimen pengguna memasukkan suatu komentar atau pesan yang selanjutnya akan dianalisis sentimen-nya apakah positif, netral atau negatif (Gambar 4). Contoh hasil analisis seperti pada Gambar 5. Gambar memberikan hasil analisis untuk komentar : “ac di ruang B122 tidak berfungsi, ruang panas sekali” Memberikan hasil “opini negatif” karena memberikan nilai probabilitas yang paling tinggi, yaitu 0,21845678E-6
A-21
Prosiding Seminar Nasional Aplikasi Sains & Teknologi (SNAST) 2014 Yogyakarta, 15 November 2014
ISSN: 1979-911X
Gambar 4. Entri Pesan (opini) yang Akan Dianalasis
Gambar 5. Hasil Analisis Opini
Aplikasi yang selanjutnya dapat dilakukan adalah mencari opini tentang suatu target opini yang mendukung proses pembelajaran seperti perpustakaan, sarana kuliah, suasana kelas atau fasilitas pendukung seperti LCD, AC dan lain-lain. Dengan memasukkan target opini program menelusur dan mencacah ada berapa opini yang NEGATIF, NETRAL dan POSITIF tentang target opini yang dimaksud. Hambar 6 menampilkan contoh untuk target opini “laboratorium” , ada 45 opini negatif, 0 opini netral dan 9 opini positif.
Gambar 6. Hasil Analisis Opini Akurasi analisis sentimen opini Tabel 1 berikut menyajikan tingkat akurasi dari analisis sentimen opini untuk berbagai dokumen uji yang dicobakan dengan menggunakan sebagian 80% dokumen sebagai dokumen latih
A-22
Prosiding Seminar Nasional Aplikasi Sains & Teknologi (SNAST) 2014 Yogyakarta, 15 November 2014
ISSN: 1979-911X
dan 20% dokumen sebagai dokumen uji (dokumen yang diklasifikasi). Pada seluruh dokumen koleksi yang diuji memberikan akurasi di atas 84% dan memberikan rata-rata akurasi sebesar 85,95%. Tabel 1. Akurasi Analisis Sentimen Opini No 1 2 3 4
Koleksi Dokumen Opini1112_1.dat Opini1112_2.dat Opini1213_1.dat Opini1213_2.dat
Cacah Dok Latih 2900 2000 3000 2600
Cacah Dok Uji 763 551 801 665 Rata-rata
Akurasi (%) 88,1 85,3 84,2 86,2 85,95
Tabel 2. Pengujian Akurasi Klasifikasi Pada Berbagai Macam Jumlah Dokumen Latih dan Uji Dokumen Latih 10.624 9.296 7.968 6.640 5.312
% Dok Latih 80% 70% 60% 50% 40%
Dokumen Uji 2.656 3.984 5.312 6.640 7.968
% Dok Latih 20% 30% 40% 50% 60%
Akurasi (%) 85,59% 84,23% 83,36% 81,34% 80,52%
Untuk mengetahui apakah ada pengaruh banyaknya dokumen latih terhadap hasil pengujian, seluruh koleksi dokumen opini digabungkan menjadi 13280 opini. Selanjutnya diujikan 5 macam variasi banyaknya dokumen latih yaitu 80%, 70%, 60%, 50% dan 40% dan 5 macam variasi banyaknya dokumen ujji yaitu 20%, 30%, 40%, 50% dan 60%. Hasil ditunjukkan dalam Tabel 2. Tampak dalam tabel tersebut bahwa dalam jumlah dokumen latih yang paling sedikit, yaitu 40% tingkat akurasi klasifikasi opini masih diatas 80%. KESIMPULAN
Dari proses perancangan antar muka dan analisis pada koleksi dokumen opini yang ada dapat diambil beberapa kesimpulan sebagai berikut: algoritma NBC dapat melakukan klasifikasi opini yang diberikan oleh user dengan benar. Akurasi klasifikasi opini rata-rata untuk seluruh dokumen yang diujikan adalah 85,95%. Penurunan penggunaan jumlah dokumen latih yang sedikit tidak terlalu menurunkan kinerja algoritma dalam klasifikasi, karena dengan dokumen latih hanya 40% masih memberikan akurasi dia atas 80%. Algoritma dapat digunakan untuk mencari opini berdasarkan target opini yang akan sangat berguna untuk analisis manajemen pelayanan bagi peningkatan proses pembelajaran agar menjadi lebih baik dengan memperbaiki target-target opini yang dikeluhkan mahasiswa UCAPAN TERIMA KASIH
Pada kesempatan ini penulis mengucapkan terima kasih kepada Lembaga Penelitian dan Pengabdian Masyarakat IST AKPRIND Yogyakarta yang telah membantu terlaksananaya penelitian ini. DAFTAR PUSTAKA
Bridge, C., 2011, Unstructured Data and the 80 Percent Rule. (Online di: http://clarabridge.com/default.aspx?tabid=137&ModuleID=635&ArticleID=551 ; di ases 29 September 2012) Dehaff, M. 2010. Sentiment Analysis, Hard But Worth It!. [Online]. Tersedia di: http://www.customerthink.com/blog/sentiment_analysis_hard_but_worth_it (diunduh 12 April 2013)
A-23
Prosiding Seminar Nasional Aplikasi Sains & Teknologi (SNAST) 2014 Yogyakarta, 15 November 2014
ISSN: 1979-911X
Greaves,F., Cano, D.R., Millet,C., Darzi,A., and Donaldson, L., 2013, Use of Sentiment Analysis for Capturing Patient Experience From Free-Text Comments, Journal of Medical Internet Research 15:11, e239. Online publication date: 1-Jan-2013 Grimes, S., 2013, Unstructured Data and the 80 Precent Rule, [online:http://breakthroughanalysis.com/2008/08/01/unstructured-data-and-the-80-percent-rule/] [diases 12 April 2014] Hamzah, A.,2012a, Klasifikasi Teks dengan Naive Bayes Classifier (NBC) untyuk Pengelompokan Teks Berita dan Abstract Akademis, Prosiding Seminar Nasional SNAST 2012, IST AKPRIND Yogyakarta, 3 November 2012. Hamzah, A., 2012b, Meningkatkan Kinerja Naïve Bayes Classifier (NBC) Untuk Klasifikasi Teks dengan Menggunakan Clustering untuk Pemilihan Feature Kata, Prosiding Seminar Nasional TEKNOIN 2012, Universitas Islam Indonesia, Yogyakarta, 10 November 2012. Koetsier, J., 2013, How Google searches 30 trillion web pages, 100 billion times a month, [online : http://venturebeat.com/2013/03/01/how-google-searches-30-trillion-web-pages-100-billiontimes-a-month/ [di ases 12 April 2014] Liu,B., 2010,Sentiment Analysis, Muti Facet Problem, to Appear in IEEE IntelligentSystem. [http://www.cs.uic.edu/~liub/FBS/IEEE-Intell-Sentiment-Analysis.pdf] Loia,L. and Senatore,S. , 2014, A fuzzy-oriented sentic analysis to capture the human emotion in Webbased content, Knowledge-Based Systems 58, 75-85 Online publication date: 1-Mar-2014. Pang,B. , Lee, L. and Vaithyanathan, S.,2002, Thumbs up? Sentiment Classification Using Machine Learning Techniques, in Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing (EMNLP’02), USA, 2002, pp. 79 – 86. Pang, B. and Lee, L.,2008, Opinion mining and sentiment analysis in Foundations and Trends in Information Retrieval 2(1-2), pp. 1–135, 2008 Putten,P.V.D., Kok, J. and Gupta,A., 2002, Why the Information Explosion can be Bad for Data Mining, and How Data Fusion Provides a Way Out, Proc. of the 2nd SIAM International Conference on Data Mining,pp:11-13 Shelke,N.M, Deshpande,S. and Thakre, 2012,Survey of Techniques for Opinion Mining, International Journal of Computer Applications (0975 – 8887) Volume 57– No.13, November 2012 Wibisono, Y. 2005. Klasifikasi Berita Berbahasa Indonesia menggunakan Naïve Bayes Classifier. (Online di: http:// fpmipa.upi.edu/staff/yudi/yudi_0805.pdf ; diases 29 September 2012) Wulandini, F. & Nugroho, A. N. 2009. Text Classification Using Support Vector Machine for Webmining Based Spation Temporal Analysis of the Spread of Tropical Diseases. International Conference on Rural Information and Communication Technology 2009. (Online di: http://asnugroho.net/papers/rict2009_textclassification.pdf ; diases 28 September 2012).
A-24