DETEKSI TOPIC SHIFTING PADA REPLY POST DI GROUP FACEBOOK MENGGUNAKAN SINGULAR VALUE DECOMPOSITION-LATENT SEMANTIC INDEXING TUGAS AKHIR Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang
Oleh :
RONI HIDAYATULAH 09560467
JURUSAN TEKNIK INFORMATIKA FAKULTAS TEKNIK UNIVERSITAS MUHAMMADIYAH MALANG 2014
i
LEMBAR PERSETUJUAN
DETEKSI TOPIC SHIFTING PADA REPLY POST DI GROUP FACEBOOK MENGGUNAKAN SINGULAR VALUE DECOMPOSITIONLATENT SEMANTIC INDEXING
TUGAS AKHIR Oleh : Roni Hidayatulah 09560467
Telah Direkomendasikan Untuk Diajukan Sebagai Judul Tugas Akhir Di Teknik Informatika Universitas Muhammadiyah Malang
Menyetujui, Pembimbing I
Pembimbing II
Yuda Munarko,S.kom.,M.Sc NIP : 108.0611.0443
Galih Wasis Wicaksono,S.kom,M.Cs NIP : 0723028801
ii
LEMBAR PENGESAHAN DETEKSI TOPIC SHIFTING PADA REPLY POST DI GROUP FACEBOOK MENGGUNAKAN SINGULAR VALUE DECOMPOSITIONLATENT SEMANTIC INDEXING
TUGAS AKHIR
Diajukan Untuk Memenuhi Persyaratan Guna Meraih Gelar Sarjana Strata Satu Teknik Informatika Universitas Muhammadiyah Malang
Disusun Oleh : Roni Hidayatulah 09560467
Tugas Akhir ini telah diuji dan dinyatakan lulus oleh tim penguji pada tanggal 22 Juli 2014 Mengetahui/Menyetujui Penguji I
Penguji II
Eko Budi C,S.kom,M.T NIP : 108.9504.0330
Gita Indah M,S.T,M.Kom NIP : 108.0611.0442
Mengetahui Ketua Jurusan Teknik Informatika
Yuda Munarko,S.kom.,M.Sc NIP : 108.0611.0443
iii
LEMBAR PERNYATAAN Yang bertanda tangan di bawah ini: Nama Tempat / Tgl Lahir NIM Fakulats / Jurusan
: Roni Hidayatulah : Bangkalan, 21 April 1991 :09560467 : Teknik / Teknik Informatika
Dengan ini saya menyatakan bahwa Tugas Akhir dengan judul “DETEKSI TOPIC SHIFTING PADA REPLY POST DI GROUP FACEBOOK MENGGUNAKAN
SINGULAR
VALUE
DECOMPOSITION-LATENT
SEMANTIC INDEXING” beserta seluruh isinya adalah karya saya sendiri dan bukan merupakan karya tulis orang lain, baik sebagian maupun keseluruhan, kecuali dalam bentuk kutipan yang telah disebutkan sumbernya. Demikian surat pernyataan ini saya buat dengan sebenar-benarnya. Apabila kemudian ditemukan adanya pelanggaran terhadap etika keilmuan dalam karya saya ini, atau ada klaim dari pihak lain terhadap keaslian karya saya ini maka saya siap menanggung segala bentuk resiko/sanksi yang berlaku.
Malang, Juli 2014 Yang Membuat Pernyataan
Roni Hidayatulah
Mengetahui, Dosen Pembimbing I
Dosen Pembimbing II
Yuda Munarko,S.kom.,M.Sc NIP : 108.0611.0443
Galih Wasis Wicaksono,S.kom.,M.Cs NIP : 0723028801
iv
KATA PENGANTAR
Puji syukur kehadirat Allah SWT, yang telah memberi kekuatan dan petunjuk serta melimpahkan
rahmat,
dan
hidayah-Nya,
sehingga
penulis
dapat
menyelesaikan Tugas Akhir yang berjudul “DETEKSI TOPIC SHIFTING PADA REPLY POST DI GROUP FACEBOOK MENGGUNAKAN SINGULAR VALUE DECOMPOSITION-LATENT SEMANTIC INDEXING”. Dengan menyadari adanya keterbatasan kemampuan, pengetahuan, referensi dan pengalaman, Tugas Akhir ini masih jauh dari sempurna. Untuk itu saran dan masukkan untuk kesempurnaan sangat penulis harapkan. Akhir kata penulis berharap semoga Tugas Akhir ini dapat bermanfaat dan menjadi tambahan ilmu pengetahuan.
Malang, Juli 2014
Penulis
v
DAFTAR ISI Lembar Persetujuan ............................................................................................. i Lembar Pengesahan ............................................................................................ ii Lembar Pernyataan ............................................................................................ iii Abstraksi ............................................................................................................ iv Abstract ............................................................................................................... v Kata Pengantar ................................................................................................... vi Daftar Isi ........................................................................................................... vii Daftar Gambar..................................................................................................viii Daftar Tabel ....................................................................................................... xi
BAB I PENDAHULUAN ................................................................................... 1 1.1
LATAR BELAKANG ............................................................................ 1
1.2
RUMUSAN MASALAH ........................................................................ 2
1.3
TUJUAN ................................................................................................. 2
1.4
BATASAN MASALAH ......................................................................... 2
1.5
METODOLOGI ...................................................................................... 2
1.6
1.5.1
Studi Pustaka dan Pengumpulan Data ........................................... 2
1.5.2
Analisa Sistem ............................................................................... 2
1.5.3
Implementasi Sistem ...................................................................... 4
1.5.4
Evaluasi dan Ujicoba ..................................................................... 4
SISTEMATIKA PENULISAN ............................................................... 4
BAB II LANDASAN TEORI ............................................................................. 6 2.1
TOPIC SHIFTING .................................................................................. 6
2.2
SINGULAR VALUE DECOMPOSITION ............................................... 7
2.3
LATENT SEMANTIC INDEXING........................................................... 8
2.4
CLUSTERING ....................................................................................... 10
2.5
K-MEANS ALGORITHM ...................................................................... 11
2.6
PREPROCESSING ............................................................................... 12
BAB III ANALISA DAN PERANCANGAN SISTEM ................................... 15 3.1
ANALISA SISTEM .............................................................................. 15 3.1.1 Kebutuhan Fungsional ................................................................. 15 vi
3.1.2 Kebutuhan Non Fungsional ......................................................... 15 3.2
PERANCANGAN ................................................................................ 16 3.2.1 Alur Sistem .................................................................................. 16 3.2.2 Flowchart Preprocessing ............................................................. 16 3.2.2.1 Case Folding .......................................................................... 17 3.2.2.2 Tokenizing .............................................................................. 18 3.2.2.3 Filtering ................................................................................. 18 3.2.3 Flowchart SVD-LSI..................................................................... 19 3.2.4 Flowchart K-means ...................................................................... 21
3.3
PERANCANGAN ANTARMUKA / INTERFACE ............................. 23 3.3.1
Design Interface ........................................................................... 23
BAB IV IMPLEMENTASI DAN PENGUJIAN SISTEM .............................. 23 4.1
SPESIFIKASI KEBUTUHAN HARDWARE DAN SOFWARE ....... 23
4.2
IMPLEMENTASI SISTEM.................................................................. 23
4.3
4.4
4.2.1
Pembuatan Basis Data .................................................................. 24
4.2.2
Pembuatan Fungsi Koneksi ke Database ..................................... 24
4.2.3
Pembuatan Class-class yang Dibutuhkan .................................... 25
IMPLEMENTASI KODE PROGRAM ................................................ 26 4.3.1
Kode Program Pilih Document dari Database ............................. 26
4.3.2
Kode Program Preprocessing ....................................................... 27
4.3.3
Kode Program Proses SVD-LSI .................................................. 29
4.3.4
Kode Program Proses Clustering dengan k-means ...................... 33
4.3.4.1
Kode Program Mengambil DocVector .................................. 34
4.3.4.2
Kode Program SetCluster ...................................................... 35
4.3.4.3
Kode Program SetCentroid .................................................... 35
4.3.4.4
Kode Program StartClustering ............................................... 35
4.3.4.5
Kode Program InitialCentrid.................................................. 36
4.3.4.6
Kode Program CalcCentroid .................................................. 37
4.3.4.7
Kode Program getMinValue .................................................. 37
4.3.4.8
Kode Program EucDistance ................................................... 38
4.3.4.9
Kode Program Chart .............................................................. 38
PENGUJIAN ......................................................................................... 41
vii
4.4.1
Pengujian Akurasi Sistem ........................................................ 41
4.4.2
Pengujian Vektor,Kedekatan, dan Pergeseran Topik .............. 44
4.4.3
Pengujian Penentuan Nilai k .................................................... 50
BAB V KESIMPULAN DAN SARAN ........................................................... 52 5.1
Kesimpulan ........................................................................................... 52
5.2
Saran ..................................................................................................... 53
DAFTAR PUSTAKA ....................................................................................... 54
viii
DAFTAR GAMBAR Gambar 1.1
Rancangan Sistem ....................................................................... 3
Gambar 1.2
Tahapan Preprocessing ............................................................... 3
Gambar 2.1
Dekomposisi Matrik A dengan SVD menjadi Matrik TSDT ...... 7
Gambar 2.2
Representasi Geometri 2 Dimensi dari Term dan Dokumen Pada Analisis SVD .............................................................................. 9
Gambar 2.3
Contoh Case Folding ................................................................ 13
Gambar 2.4
Contoh Tokenizing .................................................................... 14
Gambar 2.5
Contoh Filtering........................................................................ 14
Gambar 3.1
Alur Sistem ............................................................................... 16
Gambar 3.2
Flowchart Preprocessing .......................................................... 17
Gambar 3.3
Flowchart Case Folding ........................................................... 17
Gambar 3.4
Flowchart Tokenizing ............................................................... 18
Gambar 3.5
Flowchart Filtering ................................................................... 18
Gambar 3.6
Flowchart SVD-LSI.................................................................. 19
Gambar 3.7
Flowchart K-means ................................................................... 21
Gambar 3.8
Design Interface ........................................................................ 23
Gambar 4.1
Data Tabel MySQL ................................................................... 25
Gambar 4.2
Class-class yang dibutuhkan..................................................... 27
Gambar 4.3
Screenshot Pilih Document ....................................................... 28
Gambar 4.4
Screenshot List of Term ............................................................ 30
Gambar 4.5
Screenshot Term Document Matrix .......................................... 32
Gambar 4.6
Screenshot Hasil Perhitungan SVD-LSI ................................... 34
Gambar 4.7
Class-class pada Package Clustering ....................................... 34
Gambar 4.8
Screenshot Chart hasil Clustering ............................................ 40
Gambar 4.9
Screenshot pengujian vektor posting ke 502 ............................ 44
Gambar 4.10 Screenshot pengujian vektor posting ke 505 ............................ 46 Gambar 4.11 Screenshot pengujian vektor posting ke 509 ............................ 48
ix
DAFTAR TABEL Tabel 2.1 Perbandingan Sitasi ........................................................................... 7 Table 4.1 Pengujian Akurasi Sistem ............................................................... 41 Table 4.2 Pengujian Akurasi Sistem Tahap Kedua ......................................... 42 Table 4.3 Presentase Hasil Clustering............................................................. 43 Tabel 4.4 Presentase Hasil Clustering Tahap Kedua ...................................... 43 Tabel 4.5 Document Vektor Posting ke 502 ................................................... 44 Tabel 4.6 Tabel uji pergeseran topik post 502 ................................................ 45 Tabel 4.7 Document Vektor Posting ke 505 ................................................... 46 Tabel 4.8 Tabel uji pergeseran topik post 505 ................................................ 47 Tabel 4.9 Document Vektor Posting ke 509 ................................................... 48 Tabel 4.10 Tabel uji pergeseran topik post 509 ................................................ 49 Tabel 4.11 Hasil pengujian penentuan k pada post 502 .................................... 50 Tabel 4.12 Hasil pengujian penentuan k pada post 505 .................................... 51 Tabel 4.13 Hasil pengujian penentuan k pada post 509 .................................... 51
x
DAFTAR PUSTAKA [1]
“Topic Shifting” http://issuepedia.org/Topic_shifting (15-Desember2013)
[2]
Umran ,Munzir & Fuadi Abidin, Taufik, 2009. “Pengelompokan Dokumen Menggunakan K-Means dan Singular Value Decomposition : Studi Kasus Menggunakan Data Blog” . Jurusan Sistem Informasi. ITS.
[3]
“SVD Tutorial” http://alias-i.com/lingpipe/demos/tutorial/svd/readme.html (20-April-2014)
[4]
Garcia, Edel, 2006. “Latent Semantic Indexing (LSI) A Fast Track Tutorial”.
[5]
Garcia, Edel, 2006. “Singular Value Decomposition (SVD) A Fast Track Tutorial”.
[6]
Deerwester, Scott, 1990. “Indexing by Latent Semantic Analysis”. Center for Information and Language Studies . University of Chigago.
[7]
Geib, Johanna, 2006. “Latent Semantic Indexing and Information Retrieval a Quest with BosSE”. Universitas Heiderberg.
[8]
Landauer, T. K., Foltz, P. W., & Laham, D. (1998). “Introduction to Latent Semantic Analysis”. University of Colorado at Boulder.
xi
