PENERAPAN ANALISIS SENTIMEN PADA TWITTER BERBAHASA INDONESIA SEBAGAI PEMBERI RATING

Artikel Reguler _____________________________________________________________________________

PENERAPAN ANALISIS SENTIMEN PADA TWITTER BERBAHASA INDONESIA SEBAGAI PEMBERI RATING Nuvirta Monarizqa1, Lukito Edi Nugroho2, Bimo Sunarfri Hantono3 Abstract— Twitter now is the one of the most influental social media in the world, especially in Indonesia. Unfortunately, research about sentiment analysis in Bahasa (Indonesian Language) are not that many. This research is aim to do sentiment analysis in Twitter with Bahasa so that the opinions can be converted to a rate. There are two steps in this research. The first one is building the core of the application using lucene library and support vector machine. The second one is to build the application using Java. The result is, the core of the application’s accuracy is 74.34%, while the application instead give rate 4.4 for keyword “Jokowi” with 68% of accuracy, rate 2.7 for keyword “Prabowo” with 56% of accuracy, rate 4.6 for keyword “kalimilk” with 70% of accuracy and it also gave rate 3.7 for keyword “sunmor” with 74% of accuracy. Intisari— Twitter kini menjadi salah satu social media yang paling sering digunakan dan memberi pengaruh, utamanya di Indonesia. Namun, analisis sentimen pada Twitter berbahasa Indonesia masih cukup jarang dilakukan padahal penerapannya sangat luas. Penelitian ini bertujuan untuk melakukan analisis sentimen pada Twitter berbahasa Indonesia sebagai pemberi rating. Terdapat dua tahap pada penelitian ini, pertama membentuk core aplikasi berupa konfigurasi metode analisis sentimen dan tahap kedua adalah membuat aplikasi analisis sentimen. Core aplikasi dikembangkan menggunakan pustaka Lucene sebagai alat stemming dan algoritme Support Vector Machine (SVM), sedangkan aplikasinya sendiri dikembangkan dengan menggunakan Java. Hasil yang didapat adalah core aplikasi mampu memberikan akurasi sejumlah 73,43% dengan 7-fold cross validation. Sedangkan untuk aplikasinya sendiri mampu memberikan rating 4,4 dan akurasi sejumlah 68% untuk kata kunci “Jokowi”, rating 2,7 dan akurasi sejumlah 56% untuk kata kunci “Prabowo”, rating 4,6 dan akurasi sejumlah 70% untuk kata kunci “kalimilk” serta rating 3,7 dan akurasi sejumlah 74% untuk kata kunci “sunmor”. Kata Kunci— Analisis Sentimen, Bahasa, Twitter

I. PENDAHULUAN Twitter menurut statistiknya adalah jejaring sosial dengan pertumbuhan tercepat sejak tahun 2006. 1Mahasiswa, Universitas Gadjah Mada, Jalan Grafika 2 Yogyakarta 55281 INDONESIA (tlp: 0274-552305; fax: 0274-552305; e-mail: [email protected]) 2, 3 Dosen,Jurusan Teknik Elektro dan Teknologi Informasi Fakultas Teknik Universitas Gadjah Mada INDONESIA (telp: 0274-552305; fax: 0274-552305; email: [email protected], [email protected])

Jejaring yang dibatasi 140 karakter ini mengirim 250 juta twit tiap harinya. Menurut MIT Technology Review (2013), Indonesia menempati Negara ketiga penyumbang twit terbanyak dengan jumlah 1 milyar twit, di bawah Amerika serikat (3,7 milyar) dan Jepang (1,8 milyar). Bahkan, Jakarta menjadi Twitter Capital City, yakni kota dengan jumlah twit terbanyak dan teraktif di dunia. Hal ini membuat produk-produk besar maupun kecil, luar negeri maupun dalam negeri kemudian berlomba-lomba melakukan pemasaran via Twitter ke pasar Indonesia. Mereka membuat akun twitter dan kemudian menunggu reply atau mention dari pengguna lain untuk mengetahui bagaimana respon atas produk mereka. Text mining sebenarnya merupakan bagian dari data mining dimana proses yang dilakukan utamanya adalah melakukan ekstraksi pengetahuan dan informasi dari pola-pola yang terdapat dalam sekumpulan dokumen teks menggunakan alat analisis tertentu [1]. Analisis sentimen sendiri atau juga biasa disebut dengan opinion mining adalah salah satu bagian dari text mining. Bidang ini melakukan studi mengenai opini orang-orang, sentimen, evaluasi, tingkah laku dan emosi terhadap suatu entitas seperti produk, layanan, organisasi, individu, permasalahan, topik, acara dan atribut-atributnya. [2] Analisis sentimen sangatlah berguna untuk menganalisis komentar-komentar di Twitter tadi untuk kemudian diterjemahkan menjadi sesuatu yang lebih bermakna, salah satunya dalam bentuk rating. Dalam dunia bisnis rating menjadi sangat penting karena merupakan salah satu indikator kesuksesan. Di sisi lain, rating masih mejadi komoditas monopoli beberapa perusahaan seperti Nielsen, sehingga objektivitasnya menjadi kurang. Celah ini lah yang kemudian dimanfaatkan penulis untuk mencoba mengaplikasikan analisis sentimen pada Twitter untuk membuat sistem rating berdasar komentar. II. TINJAUAN PUSTAKA DAN DASAR TEORI A. Twitter API Twitter diciptakan oleh Jack Dorsey di tahun 2006 dan pertama meluncur di dunia maya saat Juli 2006 dengan alamat http://www.twitter.com yang masih digunakan hingga saat ini. Twitter memiliki Application Programming Interface sedemikian hingga developer dapat mengembangkan aplikasi sesuai dengan kebutuhannya masing-masing. Dokumentasi

151 Volume 1 Nomor 3, Oktober 2014 _______________________________________________________________________________

Jurnal Penelitian Teknik Elektro dan Teknologi Informasi _______________________________________________________________________________ mengenai Twitter API dapat dilihat pada http://dev.twitter.com. Ada beberapa jenis Twitter API seperti pada Gbr. 1: 1) Twitter REST API: Terdiri dari Twitter REST dan Twiter Search. Twitter REST memberikan core data dan core twitter objects. Twitter search berfungsi untuk melakukan pencarian mengenai suatu instance objek Twitter maupun mencari trend 2) Twitter Streaming API: API ini biasa digunakan untuk penggalian data karena melalui API ini informasi bisa didapatkan secara realtime dengan volume yang sangat tinggi. Pada penelitian ini sendiri, Twiter Streaming API akan digunakan untuk mengumpulkan data penelitian. D. Algoritma Support Vector Machine Support Vector Machine atau SVM adalah salah satu teknik pada machine learning yang sering digunakan dan telah dikenal sebagai state of the art dalam pattern recognition [3]. Tujuan dari SVM adalah menghasilkan sebuah model (berdasar data pelatihan) yang memprediksi nilai target dari data pengujian hanya dari atribut-atribut data pengujian. F. Tinjauan Pustaka Di Indonesia, penelitian mengenai analisis sentimen pada Twitter masih jarang ditemukan. Beberapa diantaranya mencoba melakukan ekstraksi atribut pengguna seperti jenis kelamin [4] dan usia [5]. Satu diantaranya menganalisis pandangan pengguna terhadap operator telekomunikasi [6], dan beberapa diantaranya hanya membandingkan performa algoritme-algoritme tertentu seperti Support Vector Machine [7] maupun Maximum Entropy [8]. Sedangkan penerapannya sendiri ke dalam aplikasi baru ada satu yakni politicawave.com yakni aplikasi web yang mengambil net sentiment dari Twitter terhadap partai politik dan tokoh politik, kemudian menyajikannya dalam bentuk informasi grafik dan diagram. [9]. Twitter API

REST

rating > 50% dari rating maksimum. Apabila rating ≤ 50% dari rating maksimum, maka review tersebut bernilai negatif [10]. Sistem yang sama kemudian dibuat oleh Wicaksono et al pada tahun 2013 yang ditulis dalam paper "Unsupervised approach for sentiment analysis on Indonesian Movie Reviews". Wicaksono kemudian membuat sebuah corpus sendiri mengenai review film dalam Bahasa Indonesia dengan metode yang sama seperti digunakan Cornell Univesity [11]. Kedua paper di atas mengindikasikan adanya hubungan antara rating dengan sentiment dan keduanya membuktikan bahwa suatu rating (decimal) dapat memberikan sentiment (bool). Belum ada yang kemudian melakukan percobaan dari sentiment (bool) terkonversi balik menjadi rating (decimal). III. METODE PENELITIAN Secara garis besar penelitian ini akan terdiri dari dua bagian yakni proses konfigurasi metode analisis sentimen dengan tahapan seperti Gbr. 2 dan proses pembuatan aplikasi. A. Proses Konfigurasi Metode Analisis Sentimen

Gbr. 2 Bagan Proses Konfigurasi Metode Analisis Sentimen

1) Text Collection: dilakukan dengan menggunkan streaming API dengan penambahan filter geolocation 2) Preprocessing: Berbeda dengan penelitian berjudul “Twitter Sentiment Classification using Distant Supervision” [12] yang menempatkan emotikon sebagai noise, pada penelitian ini emotikon digunakan sebagai elemen pembobotan. Dilakukan penyaringan pada data yang diperoleh dengan menggunakan tabel konversi emotikon menurut penelitian "Analisis Sentimen dan Ekstraksi Topik Penentu Sentimen pada Opini Terhadap Tokoh Publik" [13] yang telah dimodifikasi seperti pada Tabel I:

Streaming

Twitter Search

Twiter REST

Gbr. 1

Twitter API

Mengenai hubungannya dengan rating maupun penilaian, Pada tahun 2004, Bo Pang dan Lilian Lee pertama kali menggunakan data corpus yang diambil dalam http://www.cs.cornell.edu/people/pabo/moviereview-data untuk membuat paper berjudul ”A Sentimental Education: Sentiment Analysis Using Subjectivity Summarization Based on Minimum Cuts''. Data yang digunakan adalah Movie Review milik Cornell University. Cornell University sendiri menggunakn metode sebagai berikut: sebuah review film dikatakan positif ketika pemilik review memberi

Setelah itu dilakukan cleansing untuk mengganti mention dengan “usernameaa”, hashtag dengan “hashtagaa”, menghapus tautan dan simbol. Case folding digunakan untuk menyeragamkan jenis karakter. Stemming adalah proses untuk melakukan ekstraksi kata dasar, menggunakan pustaka Lucene (Lucene 3.1.0 API) class IndonesianStemmer [14].

152 Volume 1 Nomor 3, Oktober 2014 _______________________________________________________________________________

Artikel Reguler _____________________________________________________________________________ 3) Analysis dan Validation: digunakan algoritme Support Vector Machine dengan 7-fold cross validation. B. Proses Pembuatan Aplikasi 1) Sumber Data: Aplikasi pada penelitian ini bersifat realtime sehingga sumber data yang digunakan adalah 50 buah twit terakhir. 2) Metode Penghitungan Rating: Hasil penghitungan pada SVM untuk setiap twitnya memiliki keluaran berupa bilangan desimal. Berdasarkan nilai tersebut, penulis membuat klasifikasi twit positif dan negatif sebagai berikut dalam sebuah tabel konversi nilai seperti pada Tabel II: TABEL II TABEL KONVERSI NILAI

Klasifikasi Twit positif Twit netral Twit negatif

Ambang Nilai x ≥ 0,5 -0,5 < x < 0,5 x ≤ -0,5

Apabila telah terklasifikasi suatu twit tersebut positif atau negatif, dibuatlah rating. Rating dibuat dalam skala 5, dengan rumus sebagai berikut: 𝑅𝑎𝑡𝑖𝑛𝑔 =

𝑗𝑢𝑚𝑙𝑎ℎ 𝑡𝑤𝑖𝑡 𝑝𝑜𝑠𝑖𝑡𝑖𝑓 + 𝑗𝑢𝑚𝑙𝑎ℎ 𝑡𝑤𝑖𝑡 𝑛𝑒𝑡𝑟𝑎𝑙 ×5 𝑘𝑒𝑠𝑒𝑙𝑢𝑟𝑢ℎ𝑎𝑛 𝑗𝑢𝑚𝑙𝑎ℎ 𝑡𝑤𝑖𝑡

IV. HASIL DAN PEMBAHASAN A. Hasil Konfigurasi Analisis Sentimen Pada proses ini didapatkan sejumlah 1.358.417 (14%) twit mengandung emotikon dengan 215.211 twit mengandung emosad (negatif) dan 1.143.206 twit mengandung emolaugh dan emohappy (positif). Sebagai model, hanya diambil 175.000 twit saja dengan 8.750 twit positif dan 8.750 twit negatif yang kemudian tiap twitnya diproses seperti pada Tabel III:

Keseluruhan twit kemudian dijadikan dalam satu file .dat dan dilakukan pengujian menggunakan SVM dengan bantuan SVMlight . Validasi yang digunakan adalah 7-fold cross validation. TABEL IV TABEL HASIL KONFIGURASI

Model 0 1 2 3 4 5 6 Average

Precision 71.60% 75.56% 74.50% 76.44% 75.91% 74.91% 74.73% 74.81%

Recall 72.52% 71.86% 70.94% 71.34% 68.34% 69.57% 67.86% 70.35%

Accuracy 72.81% 74.30% 73.33% 74.67% 73.32% 73.13% 72.46% 73.43%

Mengacu pada Tabel IV, ternyata konfigurasi tersebut yakni perpaduan antara beberapa proses preprocessing dan algoritme SVM menghasilkan akurasi 73,43%. Akurasi ini sudah dianggap baik sehingga konfigurasinya digunakan untuk core aplikasi. B. Hasil Pengujian pada Aplikasi Aplikasi yang dibuat berupa aplikasi web dengan dua buah halaman yakni halaman masukan dan halaman keluaran. Halaman masukan yang dibuat cukup sederhana, hanya terdiri dari logo judul aplikasi, sebuah textbox sebagai lokasi memasukkan keyword, tombol submit dan checkbox “Use live data”. Chekcbox berfungsi memberi pilihan pada pengguna apakah akan mengambil twit realtime yang ada sekarang dari server Twitter atau mengambil dari hasil crawling yang dilakukan peneliti.

TABEL III CONTOH HASIL PREPROCESSING

Jenis preprocessing Tidak ada

Cleansing

Case folding

Stemming

Konversi tiap kata ke indeks menjadi baris .dat

Hasil @Babang_iecal aku terima keputusan perusahaan tapi sangat terpukul juga dengan keputusan itu :( #akurapopo (at Yandhy Home) †https://t.co/KXeJ0r3Nnj usernameaa aku terima keputusan perusahaan tapi sangat terpukul juga dengan keputusan itu hashtagaa at Yandhy Home usernameaa aku terima keputusan perusahaan tapi sangat terpukul juga dengan keputusan itu hashtagaa at yandhy home usernameaa ima putus usaha pukul putus hashtagaa at yandhy home -1 14517:1.000000 58648:1.000000 61784:1.000000 112156:1.000000 113052:1.000000 144881:1.000000 151342:1.000000

Gbr. 3 Halaman Masukan

Gbr. 4 Halaman Keluaran

Halaman masukan seperti pada Gbr. 3 terdiri dari logo, textbox masukan dan tombol submit. Halaman keluaran seperti pada Gbr. 4 terdiri dari pranala untuk kembali ke halaman Home atau halaman masukan,

153 Volume 1 Nomor 3, Oktober 2014 _______________________________________________________________________________

Jurnal Penelitian Teknik Elektro dan Teknologi Informasi _______________________________________________________________________________ angka rating, detail jumlah twit positif, negatif dan netral, serta twit-twit yang menjadi acuan penilaian rating. Twit positif berwarna hijau, twit netral berwarna hitam dan twit negatif berwarna merah. Untuk menguji aplikasi digunakan empat buah kata kunci. Dua kata kunci yang sedang trending yakni “Jokowi” dan “Prabowo”, dan dua kata kunci berupa brand yang tidak begitu trending namun cukup terkenal yakni “sunmor” dan “kalimilk”. Hasil keluaran aplikasi berupa prediksi polaritas tiap twit kemudian dibandingkan dengan hasil penilaian tiap twit yang dilakukan secara manual (hand-labelled). TABELV HASIL PERCOBAAN KATA KUNCI “JOKOWI” Aplikasi Handlabelled

Positif

Netral

Negatif

Total

Akurasi

Positif Netral Negatif Total

14 5 2 21

4 18 1 23

3 1 2 6

21 24 5 50

66,66% 75% 40% 68%

TABELVI HASIL PERCOBAAN KATA KUNCI “PRABOWO”

dan kelas negatif berjumlah 8 dan 1. Total akurasinya adalah beruturut-turut 70% dan 74%. Kesalahan prediksi pada kata kunci trending biasanya terjadi karena sistem tidak dapat menentukan topik. Untuk memahami hal ini, pada Tabel IX adalah contoh beberapa twit yang salah diprediksi sistem: TABELIX BEBERAPA KESALAHAN PREDIKSI

Twit RT @detikcom: Dukung Jokowi, Luhut Sindir Koalisi Gemuk PrabowoHatta http://t.co/xquPdhOIAs daripada pak Jokowi, rasa-rasanya lebih bagus pakdhe Ganjar Pranowo yang dadi capres deh,, uye Kampanye Pilpres, Jokowi di Barat, JK di Timur http://t.co/JcpaAXrn8e

Prediksi negatif

Seharusnya positif

positif

negatif

positif

netral

Twit pertama pada Tabel IX terprediksi negatif oleh sistem karena keberadaan kata “sindir” yang dalam pelatihan sering terdapat pada kelas negatif. Positif 3 6 13 4 30,76% Namun sebenarnya twit ini positif untuk topik Jokowi Netral 7 4 22 11 50% karena yang disindir bukanlah Jokowi melainkan Negatif 1 1 15 13 86,66% “Koalisi Gemuk Prabowo-Hatta”. Begitu pula pada 12 15 23 Total 50 56% twit kedua, sebaliknya, twit ini terprediksi positif karena ada kata “bagus” yang merupakan indikator TABELVII HASIL PERCOBAAN KATA KUNCI “KALIMILK” positif, padahal secara konten yang dimaksud “bagus” adalah “pakdhe Ganjar Pranowo”. Sehingga dapat Aplikasi HandPositif Netral Negatif Total Akurasi disimpulkan kesalahan ini terjadi karena sistem belum labelled dapat menentukan polaritas dalam sebuah teks yang Positif 4 1 20 75% 15 berisi perbandingan. Netral 6 4 22 54,54% 12 Negatif 0 0 8 100% Kemudian untuk twit ketiga pada Tabel IX, twit 8 21 16 13 Total 50 70% tersebut terdeteksi positif padahal seharusnya netral karena merupakan kalimat fakta. Hal ini menunjukkan TABELVIII masih adanya kekurangan sistem dalam mengenal ciri HASIL PERCOBAAN KATA KUNCI “SUNMOR” netral. Aplikasi HandPositif Netral Negatif Total Akurasi Selain itu pada kata kunci trending terdapat banyak labelled twit berupa berita yang sering di-retweet sehingga Positif 4 1 28 82,14% 23 memunculkan banyak duplikasi twit. Hal tersebut Netral 5 2 20 65% 13 mengakibatkan apabila ada satu twit salah terprediksi, Negatif 0 1 2 50% 1 duplikasinya juga pasti ikut salah terprediksi dan 28 18 4 Total 50 74% mengakibatkan nilai akurasi berkurang apabila jumlah Jokowi mendapatkan rating 4,4 sedangkan twit duplikasi ada banyak. Kasus ini dijumpai pada Prabowo 2,7. Sementara untuk “kalimilk” dan “sunmor” kata kunci “prabowo”. Contoh kesalahan lain dapat mendapatkan rating berturut-turut 4,6 dan 3,7. Pada dijumpai pada Tabel X: Tabel V, jumlah kelas positif yang dikelompokkan TABELX dengan benar berjumlah 14, kelas netral berjumlah 18 FREKUENSI TWIT DUPLIKASI YANG SALAH TERPREDIKSI dan kelas negatif berjumlah 2. Total akurasinya adalah Frekuensi 68%. Pada Tabel VI, jumlah kelas positif yang Twit muncul dikelompokkan dengan benar berjumlah 4, kelas netral Cak Imin Kaget Mahfud MD Jadi Timses 7 kali berjumlah 11 dan kelas negatif berjumlah 13. Total Prabowo-Hatta: "Itu hak dia yang kita bela (14%) akurasinya adalah 56%. Untuk “kalimilk” dan “sunmor” perjuangan NU dan PKB bukan or... berturut-turut seperti pada Tabel VII dan Tabel VIII, http://t.co/XWaiaBBsPg 1.0366312 jumlah kelas positif yang dikelompokkan dengan benar #OmMenjawablah Ketum Gerindra: Hary 2 kali adalah 15 dan 23, kelas netral berjumlah 12 dan 13, Tanoe Sangat Penting Bagi Prabowo-Hatta (4%) Aplikasi Handlabelled

Positif

Netral

Negatif

Total

Akurasi

http://t.co/1K7GFjw3K9 -0.50332662

154 Volume 1 Nomor 3, Oktober 2014 _______________________________________________________________________________

Artikel Reguler _____________________________________________________________________________ Ketum Gerindra: Hary Tanoe Sangat Penting Bagi Prabowo-Hatta http://t.co/3ZDrQL3m52 -0.50332662

2 kali (4%)

Salah satu solusi untuk permasalahan ini adalah dengan menghapus duplikasi twit tersebut. Hasil akurasinya menjadi seperti pada Tabel XI: TABELXI HASIL AKURASI DENGAN MENGHILANGKAN DUPLIKASI TWIT PADA KATA KUNCI “PRABOWO” Aplikasi Handlabelled

Positif Netral Negatif Total

Positif

Netral

Negatif

Total

Akurasi

4 1 1 6

3 11 1 15

4 4 13 21

11 16 15 42

36,36% 68,75% 86,66% 66.67%

Tampak bahwa setelah menghilangkan duplikasi, nilai akurasi naik sejumlah 10,67% menjadi 66,67% sehingga cara menghilangkan duplikasi twit cukup efektif dalam menaikkan tingkat akurasi. Berbeda dengan hasil pada kata kunci “jokowi” dan “prabowo”, akurasi pada kata kunci “kalimilk” dan “sunmor” cenderung lebih baik yakni memberikan hasil berturut-turut 70% dan 74% dimana bilangan ini mendekati hasil akurasi pada proses konfigurasi analisis sentimen (73,43%). Hal ini terjadi karena pada kedua kata kunci terakhir jarang ditemui dua topik bersamaan dalam satu twit dan jarang pula ditemui twit news atau berita yang sering membuat salah prediksi pada kasus kata kunci “jokowi” dan “prabowo”. V. KESIMPULAN DAN SARAN A. Kesimpulan Nilai akurasi dari konfigurasi algoritme SVM dengan preprocessing yang diterapkan penelitian ini untuk analisis sentimen pada teks berupa twit berbahasa Indonesia adalah sebesar 73.43%. Konfigurasi ini kemudian menjadi core aplikasi analisis sentimen. Aplikasi analisis sentimen dibangun dengan menggunakan Twitter API utnuk mengambil data realtime, pustaka Lucene sebagai alat stemming pada core aplikasi, SVMlight, dan Java. Ketika konfigurasi diterapkan dalam aplikasi analisis sentimen yang dibuat, nilai akurasi ketika menggunakan kata kunci “Jokowi” sebesar 68%, “Prabowo” sebesar 56%, “kalimilk” sebesar 70% dan “sunmor” sebesar 74%. B.. Saran Beberapa hal yang dapat dilakukan dalam preprocessing agar hasil prediksi dapat lebih baik antara lain mendeteksi dan menghilangkan twit duplikasi (spam), mereduksi huruf beruntun dan menghilangkan angka. Ektraksi topik perlu dilakukan pada bagian analisis agar prediksi dapat lebih tepat.

UCAPAN TERIMA KASIH Terima kasih disampaikan kepada kedua Dosen Pembimbing yang telah memberi insight luar biasa dan membimbing penulis dalam penelitian ini yakni Bapak Ir. Lukito Edi Nugroho, M.Sc., Ph.D. dan Bapak Bimo Sunarfri Hantono, S.T., M.Eng.. Tak lupa terima kasih penulis sampaikan kepada kedua orang tua yang senantiasa memberikan dorongan moral dan Nofandy Nur Ibrahim yang telah mengajarkan penulis banyak hal mengenai Natural Language Processing hingga akhirnya penulis menjadi tertarik dan memutuskan untuk mengambil topik tugas akhir mengenai sentiment analysis. REFERENSI [1] R. Feldman dan J. Sanger, The Text Mining Handbook, Cambridge: Cambridge University Press, 2006. [2] B. Liu, Sentiment Analysis and Opinion Mining, Morgan & Claypool Publishers, 2012. [3] B. Pang dan L. Lee, Opinion Mining and Sentiment Analysis, 2008. [4] Y. Wibisono dan N. Faruqi, “Penentuan Gender Otomatis Berdasarkan Isi Microblog Memanfaatkan Fitur Sosiolinguistik,” 2013. [5] E. Siswanto dan M. Khodra, “Predicting Latent Attributes of Twitter User by Employing Lexical Features,” dalam International Conference on Information Technology and Electrical Engineering, Yogyakarta, 2013. [6] H. Wijaya, A. Erwin, A. Soetomo dan M. Galinium, “Twitter Sentiment Analysis and Insight for Indonesian Mobile Operators,” dalam Information Systems International Conference, 2013. [7] M. Nur dan D. Santika, “Analisis Sentimen pada Dokumen Berbahasa Indonesia dengan Pendekatan Support Vector Machine,” dalam Konferensi Nasional Sistem dan Informatika, 2011. [8] N. Putranti dan E. Winarko, “Analisis Sentimen Twitter untuk Teks Berbahasa Indonesia dengan Maximum Entropy dan Support Vector Machine,” dalam IJCCS, 2014. [9] Mediawave, “About Us,” Tridaya, 2014. [Online]. Available: http://politicawave.com. [Diakses 9 Mei 2014]. [10] B. Pang dan L. Lee, “A Sentimental Education: Sentiment Analysis Using Subjectivity Summarization Based on Minimum Cuts,” dalam ACL, 2014. [11] Wicaksono dan E. N, “Unsupervised Approach for Sentiment Analysis on Indonesian Movie Reviews,” dalam 6th Conference of Indonesian Student Association in Korea (CISAK), 2013. [12] A. Go, R. Bhayani dan L. Huang, “Twitter Sentiment Classification using Distant Supervision,” California, 2009. [13] I. Sunni dan D. H. Widyantoro, “Analisis Sentimen dan Ekstraksi Topik Penentu Sentimen pada Opini terhadap Tokoh Publik,” vol. 1, no. 2, 2012. [14] F. Tala, “A Study of Stemming Effects on Information Retrieval in Bahasa Indonesia,” Institute for Logic, Language and Computation, Universiteit van Amsterdam, 2003.

155 Volume 1 Nomor 3, Oktober 2014 _______________________________________________________________________________