perpustakaan.uns.ac.id
digilib.uns.ac.id
SISTEM KLASIFIKASI FEEDBACK PELANGGAN DAN REKOMENDASI SOLUSI ATAS KELUHAN DI UPT PUSKOM UNS DENGAN ALGORITMA NAÏVE BAYES CLASSIFIER DAN COSINE SIMILARITY
SKRIPSI Diajukan untuk Memenuhi Salah Satu Syarat Mencapai Gelar Strata Satu Jurusan Informatika
Disusun Oleh:
AISHA ALFIANI MAHARDHIKA NIM. M0510004
JURUSAN INFORMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET
SURAKARTA commit to user 2014
i
perpustakaan.uns.ac.id
digilib.uns.ac.id
SKRIPSI
SISTEM KLASIFIKASI FEEDBACK PELANGGAN DAN REKOMENDASI SOLUSI ATAS KELUHAN DI UPT PUSKOM UNS DENGAN ALGORITMA NAÏVE BAYES CLASSIFIER DAN COSINE SIMILARITY
Disusun Oleh : AISHA ALFIANI MAHARDHIKA M0510004
Skripsi ini telah disetujui untuk dipertahankan di hadapan dewan penguji, pada tanggal 2 Desember 2014.
Pembimbing I
Pembimbing II
Ristu Saptono, S.Si., M.T.
Rini Anggrainingsih, S.T., M.T.
NIP. 19790210 200212 1 001
NIP. 19780909 200812 2 002 commit to user
ii
perpustakaan.uns.ac.id
digilib.uns.ac.id
SKRIPSI SISTEM KLASIFIKASI FEEDBACK PELANGGAN DAN REKOMENDASI SOLUSI ATAS KELUHAN DI UPT PUSKOM UNS DENGAN ALGORITMA NAÏVE BAYES CLASSIFIER DAN COSINE SIMILARITY Disusun Oleh : AISHA ALFIANI MAHARDHIKA M0510004 Telah dipertahankan di hadapan Dewan Penguji pada tanggal 2 Desember 2014 Susunan Dewan Penguji 1. Ristu Saptono, S.Si., M.T.
(Ketua)
(
)
(Sekretaris)
(
)
(Anggota)
(
)
(Anggota)
(
)
NIP. 19790210 200212 1 001 2. Rini Anggrainingsih, S.T., M.T. NIP. 19780909 200812 2 002 3. Drs. Wiranto, M.Kom., M.Cs. NIP. 19661230 199302 1 001 4. Abdul Aziz, S.Kom., M.Cs. NIP. 19810413 200501 1 001 Disahkan Oleh Dekan Fakultas MIPA UNS
Ketua Jurusan Informatika
Prof. Ir. Ari Handono Ramelan, M.Sc. (Hons), Ph.D
Drs. Bambang Harjito, M.App.Sc., Ph.D
NIP. 19610223 198601 1 001
NIP. 19621130 199103 1 002 commit to user
iii
perpustakaan.uns.ac.id
digilib.uns.ac.id
MOTTO
“Learn from yesterday, live from today, and hope for tomorrow”—Albert Einstein “Build your dreams, or someone else will hire you to build theirs”—Farrah Gray
commit to user
iv
perpustakaan.uns.ac.id
digilib.uns.ac.id
PERSEMBAHAN
Tulisan ini penulis persembahkan kepada : Ibu Eny Dwi Suryani dan Bapak Muhammad Indrayanto atas segala doa, semangat dan motivasi tiada henti Adik Annisa Shafarina Ayuningtyas atas dukungan dan suntikan semangatnya
commit to user
v
perpustakaan.uns.ac.id
digilib.uns.ac.id
KATA PENGANTAR Puji syukur penulis panjatkan kehadirat Allah SWT karena dengan ridho dan rahmatnya, penulis dapat menyelesaikan skripsi dengan judul ―Sistem Klasifikasi Feedback Pelanggan dan Rekomendasi Solusi Atas Keluhan Di UPT Puskom UNS Dengan Algoritma Naïve Bayes Classifier dan Cosine Similarity‖. Penulis menyadari banyak hambatan dan keterbatasan yang ditemui dalam penyusunan laporan ini. Oleh karena itu, penulis mengucapkan terima kasih kepada berbagai pihak yang telah memberi bimbingan, dukungan, saran dan doa serta semangat tanpa batas selama penyusunan laporan. Penulis ucapkan terima kasih kepada : 1. kedua orang tua tercinta serta adik tersayang yang selalu memberikan kasih sayang, doa, dukungan dan semangat kepada penulis, 2. bapak Ristu Saptono, S.Si., M.T. selaku dosen pembimbing I yang telah memberikan waktu, ilmu, bimbingan, serta masukan yang berharga kepada penulis, 3. ibu Rini Anggrainingsih, S.T., M.T. selaku dosen pembimbing II yang telah memberikan waktu, masukan serta saran kepada penulis, 4. ibu Sari Widya Sihwi, S.Kom., MTI selaku pembimbing akademik yang telah memberikan bimbingan dan motivasi kepada penulis selama menempuh pendidikan di Jurusan Informatika, 5. geng berandalan manis, terima kasih atas seluruh semangat, motivasi dan doa, serta keikhlasannya menjadi tempat penulis berbagi, 6. teman-teman Informatika atas bantuan dan semangatnya, 7. pihak-pihak lain yang telah membantu penyusunan skripsi ini. Semoga skripsi ini dapat bermanfaat bagi seluruh pihak. Surakarta, Desember 2014 Penulis commit to user
vi
perpustakaan.uns.ac.id
digilib.uns.ac.id
SISTEM KLASIFIKASI FEEDBACK PELANGGAN DAN REKOMENDASI SOLUSI ATAS KELUHAN DI UPT PUSKOM UNS DENGAN ALGORITMA NAÏVE BAYES CLASSIFIER DAN COSINE SIMILARITY AISHA ALFIANI MAHARDHIKA Jurusan Informatika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Sebelas Maret ABSTRAK Saat ini, konsumen dapat menyampaikan keluhan terhadap UPT Puskom UNS melalui mentions terhadap akun Twitter. Mentions yang diberikan oleh konsumen kemudian diklasifikasikan apakah mentions tersebut termasuk keluhan, berita atau spam. Klasifikasi mentions dilakukan menggunakan algoritma Naïve Bayes Classifier berdasarkan supervised learning. Peningkatan akurasi untuk algoritma Naïve Bayes Classifier dilakukan dengan menggunakan teknik Laplacian Smoothing. Algoritma Cosine Similarity digunakan untuk mengelompokkan mentions keluhan yang memiliki term yang sama. Dari kelompok mentions tersebut, administrator akan memberikan solusi yang relevan terhadap keluhan. Hasil penelitian menunjukkan bahwa proses klasifikasi dengan algoritma Naïve Bayes Classifier untuk proses pelatihan memiliki tingkat akurasi terendah 86.67% dengan data pelatihan sebanyak 30 mentions dan tingkat akurasi tertinggi 100% dengan data pelatihan sebanyak 20 mentions. Proses pengujian dilakukan secara bertahap dengan tingkat akurasi terendah adalah 60% yang dicapai pada pengujian pertama dan kedua, sedangkan tingkat akurasi tertinggi dicapai pada pengujian kelima dan keenam yakni 90%. Mentions keluhan tidak dapat terkelompokkan dengan algoritma Cosine Similarity karena jumlah data yang sangat terbatas yakni 29 data dan tidak ada mentions yang memiliki term sama. Namun setelah dilakukan self-test, mentions keluhan yang memiliki term sama dapat terkelompokkan dengan baik. Kata kunci: klasifikasi, Naïve Bayes Classifier, Cosine Similarity, rekomendasi commit to user solusi. vii
perpustakaan.uns.ac.id
digilib.uns.ac.id
CUSTOMER FEEDBACK CLASSIFICATION AND SOLUTION RECOMMENDATIONS OF COMPLAINTS AT UPT PUSKOM UNS USING NAIVE BAYES CLASSIFIER AND COSINE SIMILARITY AISHA ALFIANI MAHARDHIKA Department of Informatic, Mathematic and Science Faculty, Sebelas Maret University ABSTRACT Nowadays, consumers can submit a complaint to UPT Puskom UNS through mentions to Twitter account. Mentions given by consumers will be classified whether its complaints, news or spam. Mentions classification are performed by using Naive Bayes classifier based on supervised learning. Improved accuracy for Naive Bayes classifier algorithm is done by using Laplacian Smoothing technique. Cosine Similarity is used to classify complaints mentions that have similar term. Administrator will provide solutions that are relevant to the complaint based on the group mentions. Result showed that classification with Naive Bayes classifier algorithm has 86.67% as lowest accuracy rate with 30 mentions as the training data, while the highest level of accuracy achieved is 100% with 20 mentions as the training data. Highest level of accuracy on testing process was achieved on the fifth and sixth testing process is 90%, while the lowest accuracy rate is 60% reached in the first and second testing process. Complaint mentions can't be grouped by Cosine Similarity algorithm due to the very limited amount of data, 29 data, and there's no mentions that has similar term. However, after the self-test, complaints mentions that has similar term can be grouped well. Keywords:
classification,
Naïve
Bayes
recommendation solution. commit to user
viii
Classifier,
Cosine
Similarity,
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR ISI Halaman HALAMAN JUDUL................................................................................................ i HALAMAN PERSETUJUAN ................................................................................ ii HALAMAN PENGESAHAN ................................................................................ iii HALAMAN MOTTO ............................................................................................ iv PERSEMBAHAN ................................................................................................... v KATA PENGANTAR ............................................................................................. vi ABSTRAK ............................................................................................................ vii ABSTRACT ......................................................................................................... viii DAFTAR ISI .......................................................................................................... ix DAFTAR TABEL................................................................................................... xi DAFTAR GAMBAR ............................................................................................ xii DAFTAR LAMPIRAN ........................................................................................ xiii BAB I
PENDAHULUAN ................................................................................... 1 1.1. Latar Belakang Masalah ................................................................... 1 1.2. Rumusan Masalah............................................................................. 3 1.3. Batasan Masalah ............................................................................... 3 1.4. Tujuan Penelitian .............................................................................. 4 1.5. Manfaat Penelitian ............................................................................ 4 1.6. Sistematika Penulisan ....................................................................... 4
BAB II TINJAUAN PUSTAKA ........................................................................... 5 2.1. Landasan Teori.................................................................................. 5 2.1.1. Twitter API ............................................................................. 5 2.1.2. Text Mining ............................................................................. 5 2.1.3. Jaro-Winkler Distance............................................................ 5 2.1.4. Naïve Bayes Classifier ........................................................... 6 2.1.5. Laplacian Smoothing ............................................................. 9 2.1.6. Vector Space Model ................................................................ 9 2.1.7. Pembobotan TF x IDF .......................................................... 10 2.1.8. Cosine Similarity ...................................................................11 2.1.9. Confusion Matrix .................................................................. 11 commit to user
ix
perpustakaan.uns.ac.id
digilib.uns.ac.id
2.2. Penelitian Terkait ............................................................................ 12 2.3. Kerangka Pemikiran ....................................................................... 14 BAB III METODOLOGI ..................................................................................... 16 3.1. Studi Literatur ................................................................................. 17 3.2. Pengumpulan Data .......................................................................... 17 3.3. Text Mining .................................................................................... 17 3.4. Klasifikasi dengan Naïve Bayes Classifier .................................... 18 3.5. Pembaharuan Library ..................................................................... 18 3.6. Pengelompokan Mentions Keluhan dengan Cosine Similarity....... 19 3.7. Penentuan Solusi Terhadap Kelompok Mentions Keluhan ............ 19 3.8. Analisis Hasil .................................................................................. 19 BAB IV PEMBAHASAN .................................................................................... 21 4.1. Proses Text Mining ......................................................................... 21 4.2. Klasifikasi Dengan Naïve Bayes Classifier.................................... 22 4.3. Pembaharuan Library ..................................................................... 26 4.4. Proses Pengelompokan Mentions Keluhan..................................... 29 4.5. Pemberian Rekomendasi Solusi ..................................................... 31 4.6. Analisis Hasil .................................................................................. 31 BAB V PENUTUP .............................................................................................. 33 5.1. Kesimpulan ..................................................................................... 33 5.2. Saran ............................................................................................... 33 DAFTAR PUSTAKA ............................................................................................ 34
commit to user
x
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR TABEL Halaman Tabel 2.1 Confusion Matrix untuk L = 2 ............................................................... 11 Tabel 2.2 Matriks penelitian .................................................................................. 15 Tabel 4.1 Sampel mentions ................................................................................... 21 Tabel 4.2 Sampel mentions yang diolah dengan text preprocessing ..................... 22 Tabel 4.3 Nilai prior untuk setiap klasifikasi ........................................................ 22 Tabel 4.4 Nilai likelihood untuk setiap term dalam data sampel mentions ........... 24 Tabel 4.5 Nilai posterior untuk data sampel mentions .......................................... 25 Tabel 4.6 Klasifikasi untuk data sampel mentions ................................................ 26 Tabel 4.7 Perubahan klasifikasi untuk data sampel mentions ............................... 26 Tabel 4.8 Contoh perbandingan term dari mentions dan term dari stop word ...... 27 Tabel 4.9 Transposisi term YANG dan YANG...................................................... 27 Tabel 4.10 Transposisi term BERAPA dan BERAPA ........................................... 28 Tabel 4.11 Hasil proses self-test dengan algoritma Cosine Similarity .................. 30 Tabel 4.12 Tingkat Akurasi Proses Pelatihan dan Pengujian ................................ 32
commit to user
xi
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR GAMBAR Halaman Gambar 2.1 Vector Space Model ........................................................................... 10 Gambar 2.2 Extended confusion matrix 3x3 ......................................................... 12 Gambar 3.1 Metodologi penelitian ....................................................................... 16 Gambar 3.2 Aplikasi extended confusion matrix dalam penelitian ....................... 20 Gambar 4.1 Halaman untuk mengubah klasifikasi mentions ................................ 29 Gambar 4.2 Halaman pemberian rekomendasi solusi ........................................... 31
commit to user
xii
perpustakaan.uns.ac.id
digilib.uns.ac.id
DAFTAR LAMPIRAN Halaman Lampiran A : Klasifikasi Mentions Secara Manual............................................... 37 Lampiran B : Klasifikasi Mentions Dengan Naïve Bayes Classifier .................... 44 Lampiran C : Proses Pengujian Hasil Klasifikasi ................................................. 73 Lampiran D : Data Self-Test Untuk Pengelompokan Mentions Dengan Cosine Similarity ............................................................................................................... 79
commit to user
xiii
