1
Pengklasifikasian Pengaduan Masyarakat pada Laman Kantor Pertanahan Kota Surabaya I dengan Metode Pohon Keputusan Yulia Sulistyaningsih, Arif Djunaidy, Renny Pradina Kusumawardani Jurusan Sistem Informasi, Fakultas Teknologi Informasi Institut Teknologi Sepuluh Nopember Jl. Arief Rahman Hakim, Surabaya 60111 E-mail:
[email protected]
Abstrak— Kantor Pertanahan Surabaya I mengembangkan sebuah laman yang memungkinkan masyarakat untuk menuliskan aduan pertanahan mereka secara bebas pada laman tersebut. Kendala utama yang dihadapai Kantor Pertanahan Kota Surabaya I adalah pengkategorian pengaduan yang tidak efisien karena dilakukan secara manual. Berdasarkan kendala yang dihadapi Kantor Pertanahan Kota Surabaya I tersebut, muncul kebutuhan akan sistem yang dapat mengklasifikasikan pengaduan secara otomatis. Dalam Tugas Akhir ini dibuat sebuah aplikasi tambahan pada laman Kantor Pertanahan Kota Surabaya I yang memanfaatkan teknologi klasifikasi teks untuk mengolah pengaduan masyarakat secara otomatis dengan menggunakan algoritma klasifiaksi berbasis pohon keputusan. Pohon keputusan dibangun dengan menggunakan kata kunci dan enam kelas yang merepresentasikan enam seksi di mana pengaduan harus ditindaklnjuti. Aplikasi yang telah berhasil dibuat dalam Tugas Akhir ini telah diuji coba dengan menggunakan data pengaduan yang sudah ada sebelumnya. Dari keseluruhan data yang ada, 70% di antaranya digunakan sebagai data pelatihan untuk membangun pohon keputusan, sedang 30% sisanya digunakan sebagai data uji coba. Hasil uji coba menunjukkan bahwa akurasi, precision, recall dan f-measure untuk data pengujian dengan persebaran data kelas yang tidak merata berturut-turut 68,06%, 72,4%, 69,8% dan 68%. Sedangkan nilai akurasi, precision, recall dan f-measure untuk data pengujian dengan persebaran data kelas yang merata berturut-turut 76,39%, 76,9%, 76,4% dan 75,4%. Hasil uji coba fungsionalitas dari aplikasi menunjukkan bahwa aplikasi mampu memberikan kemudahan dalam menindaklanjuti keluhan masyarakat mengenai permasalahan pertanahan di Kantor Pertanahan Kota Surabaya I. Kata Kunci— C4.5, klasifikasi teks, kantor pertanahan, pengaduan masyarakat, pohon keputusan.
konsolidasi tanah, dan penataan pertanahan wilayah pesisir, pulau-pulau kecil, perbatasan, dan wilayah tertentu. Guna mendukung fungsinya Kantor Pertanahan Surabaya I membangun suatu laman yang memungkinkan masyarakat untuk mengadukan suatu perkara pertanahan. Masyarakat dapat menuliskan aduan mereka secara bebas tanpa format penulisan tertentu pada laman tersebut. Namun, karena aduan masyarakat dituliskan dengan tanpa format, diperlukan adanya tim yang bertugas memilah-milah pengaduan dan kemudian pengaduan tersebut diserahkan kepada seksi atau bagian yang ada pada Kantor Pertanahan Surabaya I untuk diselesaikan. Proses pengelompokkan pengaduan yang dilakukan secara manual membutuhkan waktu yang lebih lama dan biaya yang lebih banyak. Oleh karena itu, dibutuhkan suatu sistem terkomputerisasi yang dapat membantu mengelompokkan pengaduan secara otomatis atau memberi pertimbangan mengenai jenis pengaduan. Teknologi yang mungkin dapat diterapkan guna mengakomodasi kebutuhan akan adanya sistem pengklasifikasi pengaduan secara otomatis, adalah teknologi pengklasifikasian teks atau yang dikenal dengan text classification. Teknologi pengklasifikasian teks merupakan salah satu cabang dari teknologi yang bernama text mining. Algoritma pohon keputusan merupakan salah satu algoritma yang memiliki kinerja cukup baik dalam mengklasifikasikan teks. Oleh karena itu pada tugas akhir ini, metode tersebut digunakan untuk mengklasifikasikan pengaduan masyarakat pada kotak pengaduan laman Kantor Pertanahan Kota Surabaya I.Karya ini melaporkan bagaimana proses praproses hingga kategorisasi pengaduan dengan menggunakan metode pohon keputusan dan perangkat lunak WEKA.
I. PENDAHULUAN
II. LANDASAN TEORI
adan Pertanahan Nasional mempunyai tugas untuk melaksanakan tugas pemerintahan di bidang pertanahan secara nasional, regional dan sektoral. Kantor Pertanahan Kota Surabaya I adalah bagian instansi Badan Pertanahan Nasional yang memiliki tugas untuk melaksanakan tugas dan fungsi Badan Pertanahan Nasional untuk sebagian wilayah kota Surabaya bagian Barat dan Selatan. Dalam melaksanakan tugasnya, Kantor Pertanahan Surabaya I mempunyai beberapa fungsi di antaranya penanganan konflik, sengketa, dan perkara pertanahan; pelayanan, perijinan, dan rekomendasi di bidang pertanahan; dan pelaksanaan penatagunaan tanah, landreform,
Pada bab ini akan ditelaah dasar teori yang digunakan pada pembuatan sistem pengklasifikasian.
B
A. Penggalian Teks Penggalian Teks (text mining) adalah suatu proses penemuan relasi dan fakta yang tersembunyi dalam kumpulan teks. Menurut Adiwijaya (2006) dalam Ernawati, Ardiyanti, & Setiawan [1], penggalian teks tidak jauh berbeda dengan penggalian data (data mining), dimana keduanya merupakan proses untuk mencari informasi yang sebelumnya tidak terungkap, dengan memproses dan menganalisa data yang ada.
2 Menurut para ahli, penggalian data merupakan sebuah analisis data dalam jumlah besar yang bertujuan untuk menemukan hubungan yang tidak diketahui sebelumnya serta merupakan metode baru yang dapat digunakan untuk meringkas data sehingga data dapat dipahami. Sebelum suatu data masuk ke dalam proses penggalian, data tersebut harus dipersiapkan terlebih dahulu agar hasil pemrosesan lebih optimal dan biaya serta waktu komputasi lebih minimal. Penggalian teks memiliki ketergantungan yang erat dengan pemrosesan bahasa alami atau dikenal dengan Natural Language Processing (NLP). Ketergantungan tersebut disebabkan karena masukan dari text mining berupa bahasa alami yang biasanya tidak atau kurang terstruktur. Bahasa alami adalah bahasa yang digunakan oleh manusia dalam kesehariannya [2]. B. Klasifikasi Teks Klasifikasi teks adalah proses pengelompokkan atau klasifikasi yang diterapkan dalam dokumen atau teks. Setiap dokumen menunjuk pada suatu kelas tertentu, oleh karena itu dibutuhkan proses yang dapat menggali informasi dari dokumen tersebut [3]. Pada proses klasifikasi data, diperlukan atribut yang digunakan untuk mengarahkan data pada kelas dari suatu objek data. Sedangkan dalam klasifikasi teks, atribut yang digunakan untuk mengarahkan berupa kata-kata kunci yang ada pada dokumen tersebut. Dalam proses klasifikasi teks, terdapat lima algoritma yang sering digunakan, yaitu Naïve Bayes, Metode Rocchio, k Nearest Neighbor, Decision Tree (Pohon Keputusan), dan Support Vector Machine. Dalam sebuah tulisannya yang berjudul “Text Categorization”, Megan Chenoweth dan Min Song [4] memaparkan perbandingan kinerja dari kelima algoritma tersebut. Dari hasil perbandingan tersebut dapat disimpulkan bahwa pohon keputusan merupakan algoritma yang paling baik untuk saat ini tetapi membutuhkan optimasi untuk mencegah terjadinya underfitting ataupun overfitting. C. Praproses Teks Praproses teks adalah serangkaian proses yang dilakukan untuk mempersiapkan data sebelum diproses lebih lanjut. Tahapan ini bertujuan untuk menghilangkan segala kata ataupun tanda baca yang dianggap tidak memberikan dampak apapun pada proses klasifikasi dokumen. Berdasarkan proses dalam praproses teks dalam klasifikasi dokumen yang telah dilakukan oleh beberapa peneliti, disimpulkan bahwa beberapa tahap persiapan dokumen atau teks adalah sebagai berikut. 1) Case Folding, adalah proses pengubahan semua huruf yang ada pada suatu dokumen menjadi huruf kecil. Hanya huruf “a” sampai dengan “z” yang diterima. Karakter selain huruf akan dihilangkan dan dianggap delimiter [5]. 2) Tokenizing, merupakan proses yang dilakukan untuk membuat kata-kata pada dokumen menjadi berdiri sendiri-sendiri [6]. 3) Remove Stopwords, adalah proses penghapusan stopwords. Stopwords adalah daftar kata-kata yang seringmuncul pada dokumen namun tidak dapat
dijadikan kata kunci suatu dokumen. Beberapa contoh stopwords adalah “yang”, “saya”, “di”, “aku”, “ke” dan sebagianya [5]. 4) Stemming, merupakan proses yang digunakan untuk mengubah semua variasi kata yang ada menjadi bentuk dasarnya. Algoritma yang dapat digunakan untuk melakukan stemming bahasa Indonesia antara lain adalah algoritma stemming Porter, algoritma Nazief & Adriani, algoritma Arifin & Setiono, algoritma Vega serta Algoritma Ahmad, Yusoff, dan Sembok [7]. D. Pohon Keputusan Pohon keputusan (decision tree) merupakan suatu metode pembelajaran yang cukup populer dan telah diaplikasikan ke dalam berbagai tugas mulai dari analisis kasus medis hingga memperkirakana resiko dalam pengambilan kredit Sebuah pohon keputusan memiliki satu buah akar (root), cabang (branch), simpul (node) dan daun (leaf). Sebuah simpulmerupakan titik dimana cabang akan terpisah. Simpul merepresentasikan sebuah pilihan yang berisi beberapa alternatif. Sedangkan daun merepresentasikan sebuah hasil klasifikasi atau keputusan [8]. Salah satu model pohon yang banyak digunakan dalam klasifikasi adalah C4.5. C4.5 merupakan salah satu algoritma pembelajaran terpadu (supervised learning) yang diterapkan dalam permasalahan klasifikasi. Secara ringkas, cara kerja dari pohon keputusan adalah sebagai berikut: 1) Ambil atribut yang ada, kemudian hitung Entropy dan Information gain dengan rumusan (1) dan (2). Entropy (t)= - p(i|t)log p(i|t) (1)
Gain (t,A)=Entropy(t)
vnilai(t )
tv t
Entropytv
(2)
Pada persamaan tersebut t merupakan ruang (data) sampel yang digunakan untuk pelatihan dan p adalah jumlah data pada data sample untuk kriteria tertentu. v merupakan nilai dari atribut A. 2) Selanjutnya hitung splitInfo dan gain ratio dengan rumusan seperti pada persamaan (3) dan (4). c
SplitInfo(t , A)= -
t log 2 i t
GainRatio(t , A)=
ti
ti t
Ga int(t , A) SplitInfo(t , A)
(3) (4)
Variabel t merupakan ruang (data) sample yang digunakan sementara c menunjukkan jumlah nilai dari atribut A. 3) Pilih atribut yang memiliki nilai gain ratio yang paling besar. Dengan gain adalah information gain. Pendekatan ini menerapkan normalisasi pada information gain dengan menggunakan apa yang disebut sebagai split information. 4) Buat simpul yang berisi atribut tersebut. 5) Ulangi langkah-langkah tersebut hingga pohon tidak dapat dijabarkan lagi. E. Pengukuran Kinerja Klasifikasi Untuk kinerja klasifikasi yang digunakan adalah precision, recall, f-measure, dan akurasi. Akurasi adalah persentase dari
3 total dokumen yang benar diidentifikasi. Rumus akurasi, precision,recall, dan F-measure dapat dilihat pada persamaan (5),(6),(7) dan (8). JumlahKlasifikasiBenar (5) Akurasi 100% JumlahDoku menUjiCoba
Recall adalah perbandingan jumlah materi relevan yang ditemukembalikan terhadap jumlah materi yang relevan. Precision adalah perbandingan jumlah materi relevan yang ditemukembalikan terhadap jumlah materi yang ditemukembalikan. F-measure adalah parameter yang digunakan untuk mengukur keberhasilan information retrieval. recall
jumlahprediksiBenar 100% jumlahDokumenyangSeh arusnyaDikenali
precision
jumlahprediksiBenar 100% jumlahSeluruhprediks i
F measure
(6)
(7)
2 * precision * recall precision recall
(8)
III. METODE PENGERJAAN Metodologi proses pelaksanaan Tugas Akhir terdiri dari identifikasi permasalahan, pengumpulan data, studi literatur, pemrosesan data, implementasi sistem pengklasifikasi, uji coba dan analisis hasil. A. Identifikasi Permasalahan Tahap identifikasi permasalahan adalah tahapan awal dari pembuatan tugas akhir ini. Permasalahan yang coba diselesaikan adalah bagaimana membuat sistem tambahan yang dapat digunakan untuk mengklasifikasikan pengaduan masyarakat pada Laman Kantor Pertanahan Kota Surabaya I secara otomatis.
1) Praproses Data Pada tahap ini, data pengaduan diproses menggunakan tahap-tahap praproses, yaitu: case folding, tokenizing, stemming, dan pengumpulan serta penghapusan stopwords. Keluaran dari tahap praproses data adalah tabel frekuensi kemunculan kata-kata. Algoritma stemming yang digunakan adalah algoritma Nazief-Adriani. Kata-kata yang dijadikan stopwords pada sistem pengklasifikasi ini adalah katakata yang termasuk ke dalam jenis kata kata preposisi, kata interjeksi, kata konjungsi, kata pronomina, dan kata numeralia. 2) Pemilihan Model Pohon Keputusan Pada tahap ini dilakukan perbandingan beberapa pohon keputusan. Hal ini dilakukan untuk mengetahui kinerja dari berbagai jenis pohon keputusan dan memilih satu jenis pohon yang memiliki kinerja terbaik. Pohon keputusan yang dibandingkan adlaah C4.5, RandomForest, dan Random Tree. 3) Pembuatan Pengklasifikasi Pada tahapan ini dilakukan pembangunan pengklasifikasi pohon keputusan dengan memanfaatkan fungsi penggalian data yang dimiliki oleh perangkat lunak WEKA. Pengklasifikasi dibangun dengan menggunakan bahasa pemrograman Java dan nantinya akan dipanggil oleh sistem pada laman. D. Implementasi pada Laman Pada tahap ini sistem pengklasifikasi akan ditempelkan ke dalam laman atau website Kantor Pertanahan Kota Surabaya I. Selanjutnya, sistem pengklasifikasi akan diuji dalam tahap uji coba dan evaluasi. Secara garis besar sistem pengklasifikasi laman tampak seperti pada gambar 1. dfdpada Use Case Package 1 menampilkan menerima aduan
B. Pengumpulan Data Pada tahap ini dilakukan pengumpulan data yang diperlukan, yaitu data pengaduan masyarakat yang dikirimkan melalui laman Kantor Pertanahan Kota Surabaya I. Jumlah data yang digunakan dari masing-masing kategori adalah sebanyak 40 buah. Detil dari data disajikan pada tabel 1. C. Pemrosesan Data Pada tahap pemrosesan data ini akan dilakukan praproses, Tabel 1. Komposisi Data Pengaduan Kategori Hak Tanah dan Pendaftaran Tanah Tata Usaha Pengaturan dan Penataan Pertanahan Pengendalian dan Pemberdayaan Sengketa Konflik Perkara Survei, Pengukuran, dan Pemetaan
Jumlah 70 40 40 40 40 40
pembangunan sistem pengklasifikasi menggunakan fungsi pohon keputusan C4.5 / J48 pada WEKA. Berikut ini merupakan detil tahap-tahap dalam tahapan pemrosesan data.
aduan 1 Menuliskan pengaduan
2 Sistem Kotak Pengaduan Laman
Basisdata Aduan
klasifikasi menyimpan
Masyarakat informasi aduan
Aduan
3 Klasifikasi pohon keputusan
4 Melihat Aduan
proses
hasil
Staf Bidang Data Latih menyelesaikan pengaduan
5 Ubah Kategori
update
Gambar. 1. Aliran Data Sistem Pengklasifikasian Pengaduan
E. Uji Coba dan Analisis Hasil Pada tahap uji coba dan evaluasi ini, sistem pengklasifikasi akan diuji. Pengujian akan dilakukan dalam beberapa aspek, yaitu pengujian dari aspek model pohon keputusan, pengujian kebenaran klasifikasi, dan pengujian kineja. Pengujian model pohon keputusan dilakukan untuk menguji seberapa optimal hasil klasifikasi dari pohon untuk menghindari model yang terlalu sederhana atau model yang terlalu sesuai dengan data pelatihan. Pengujian kebenaran klasifikasi dilakukan dengan
4 membandingkan hasil klasifikasi dari sistem dengan klasifikasi manual dengan menggunakan rumus. precision, recall dan Fmeasure. Aspek selanjutnya yang diuji adalah kinerja aplikasi dengan melihat apakah dengan adanya sistem pengklasifikasi, pengkategorian pengaduan menjadi lebih mudah atau tidak. Setelah hasil uji coba didapatkan, hasil tersebut akan dianalisis agar kesimpulan dapat ditarik. IV. IMPLEMENTASI A. Pemilihan Jenis Pohon Proses membandingkan pohon dilakukan dengan berbagai kondisi yang termasuk di dalamnya adalah penggunaan tahap stemming dan variasi jumlah data yang digunakan. Proses membandingkan pohon dilakukan dalam enam percobaan dengan menggunakan partisi data latih dibanding data uji 70:30. Penerapan variasi kondisi pada tahap ini bertujuan untuk melihat apakah tahapan stemming dan variasi jumlah data mempengaruhi kinerja pengklasifikasi. Detil dari variasi kondisi dapat dilihat pada tabel 3. Hasil dari masing-masing percobaan dapat dilihat pada tabel 4. Tabel 2. Variasi Kondisi Percobaan Pengujian Jenis Pohon Keputusan dengan WEKA Percobaan
Jumlah Data Stemming a* b* c* d* e* f*
1
Ya
70 30 30 30 30 30
2
Tidak
70 30 30 30 30 30
3
Ya
30 30 30 30 30 30
4
Tidak
30 30 30 30 30 30
5
Ya
40 40 40 40 40 40
6
Tidak
40 40 40 40 40 40
a–Hak Tanah dan Pendaftaran Tanah. b– Tata Usaha. c c–Pengaturan dan Penataan Pertanahan d d–Pengendalian dan Pemberdayaan e e–Sengketa Konflik Perkara f f–Survei Pengukuran dan Pemetaan a
b
Tabel 3. Perbandingan Kinerja Pohon Keputusan Akurasi Percobaan C4.5
RandomForest RandomTree
1
59,51%
56,59%
42,44%
2
57,56%
59,51%
41,46%
3
55,76%
55,15%
48,48%
4
58,79%
55,15%
41%
5
62,50%
61,11%
38,9%
6
65,28%
55,56%
51,39%
Dari percobaan yang dilakukan, dapat ditarik kesimpulan bahwa pohon keputusan yang memiliki kinerja paling baik adalah pohon keputusan C4.5. Selain itu didapati bahwa proses stemming dapat membantu meningkatkan akurasi pohon
keputusan. Sehingga pada tugas akhir ini pohon yang digunakan adalah pohon C4.5 dengan menggunakan tahap stemming dalam tahap praproses dan data yang digunakan sebanyak 40 buah untuk setiap kategori. B. Implementasi Berdasarkan hasil pemilihan pengklasifikasi yang dilakukan, jenis pohon keputusan yang akan digunakan adalah pohon keputusan C4.5. Pohon keputusan C4.5 tersebut akan digunakan untuk mengklasifikasikan data pengaduan berjumlah 240 buah atau 40 buah untuk masing-masing kategori yang telah melalui tahap praproses dan tahap stemming. Selain itu, pada tahap ini, dilakukan seleksi terhadap kata fitur yang ada. Kata fitur diseleksi kembali dan dipilih kata-kata yang memberikan pengaruh terhadap kinerja pengklasifikasi. Secara garis besar, proses klasifikasi pada sistem pengklasifikasian laman Kantor Pertanahan Kota Surabaya terjadi ketika ada masyarakat yang mengirimkan pengaduan pada halaman Kotak Pengaduan. Selain itu, sistem juga akan membangun ulang pohon keputusan ketika ternyata ada pengaduan yang salah kategori. Ketika staf bidang mengganti kategori pengaduan tersebut, sistem akan membangun pohon baru dan menyimpannya untuk digunakan dalam mengklasifikasikan pengaduan baru. V. SKENARIO UJI COBA Proses uji coba dilakukan sebanyak dua kali, yaitu uji verifikasi dan uji validasi pada dua kondisi data. Kedua kondisi data tersebut adalah dataset dengan persebaran data yang tidak merata dan dataset dengan persebaran data yang merata. Uji verifikasi dilakukan pada sisi pohon keputusan dan aplikasi yang dibuat. Pengujian verifikasi dilakukan untuk mengecek apakah keluaran dari aplikasi telah sesuai dengan proses yang dilakukan secara manual. Tahap ini menjelaskan proses uji coba validasi terhadap klasifikasi menggunakan pohon keputusan. Uji validasi dilakukan dengan melakukan penerapan algoritma pohon keputusan dengan menggunakan data uji. 1) Data Uji Coba Data yang digunakan dalam tahap uji coba merupakan adalah data pengaduan sebanyak 72 buah data yang tidak termasuk dalam data latih dan telah melalui tahap praproses. 2) Uji Verifikasi Uji verifikasi dilakukan sebanyak dua kali, yaitu uji kebenaran klasifikasi dan uji fungsional aplikasi. Pada pengujian kebenaran klasifikasi, diambil beberapa sampel data uji untuk diklasifikasikan secara manual dan dengan menggunakan pohon keputusan yang telah dibentuk. Dari beberapa jumlah sampel yang digunakan, pohon keputusan dapat mengklasifikasikannya dengan benar. Uji fungsional aplikasi dilakukan dengan melihat apakah semua fungsi pada laman dapat berjalan yang meliputi fungsi umum laman dan fungsi sistem klasifikasi. Fungsi umum dari laman meliputi fungi login, dan logout. Fungsi dari sistem klasifikasi pada
5 tugas akhir ini meliputi fungsi mengklasifikasikan pengaduan baru yang dikirimkan masyarakat pada laman Kantor Pertanahan Kota Surabaya I, fungsi membangun ulang pohon keputusan ketika terjadi pengubahan kategori pengaduan. Selain itu, pada uji fungsional aplikasi juga membandingkan kemudahan mengklasifikasikan pengaduan yang masuk melalui laman dengan menggunakan sistem yang ada pada laman atau menggunakan GUI perangkat lunak WEKA. Hasil dari pengujian dapat dilihat pada tabel 3 dan 4. Tabel 3. Hasil Uji Coba Fungsi Umum Laman
Nama Fungsi
Skenario
Hasil
menampilkan halaman utama pengguna username atau menampilkan password kosong halaman login username dan menampilkan password tidak halaman akses cocok ditolak menampilkan tekan Logout halaman logout tekan Login pada menampilkan halaman Logout halaman Login username dan password cocok
Login
Logout
tekan Home pada menampilkan halaman Logout halaman awal a
Berhasil
Klasifikasi Pengaduan Baru
Klasifikasi Pengaduan Baru
Ubah Kategori
Ubah Kategori
a
masyarakat mengirim pengaduan baru pengguna staf bidang memasukkan pengaduan baru melalui menu Entri Pengaduan Staf bidang menekan tombol Ubah kategori pada halaman Pengaduan
pengguna mengganti kategori aduan
Hasil
Berhasil
Berhasil Berhasil
Ket*
pengaduan masuk ke tabel aduan dan kategori berubah menjadi kategori Berhasil bidang, menampilkan halaman Entri Pengaduan
kategori pengaduan berubah dan pohon keputusan dibangun ulang
Klasifikasi 1 (K1)
68,06 %
Klasifikasi 2 (K2)
76,39 %
Tabel 6. Hasil Perhitungan Precision dan Recall Kategori
Precision
Berhasil
Berhasil
Recall
K1
K2
K1
K2
Hak Tanah dan Pendaftaran Tanah
35,30 %
62,50 %
60,00 %
41,70 %
Tata Usaha
54,50 %
71,40 %
85,70 %
83,30 %
Pengaturan dan Penataan Pertanahan
66,70 %
73,30 %
83,30 %
91,70 %
Pengendalian dan Pemberdayaan
100%
75,00 %
70,60 %
100%
Sengketa Konflik Perkara
77,80 %
88,90 %
46,70 %
66,70 %
100%
90,00 %
72,70 %
75,00 %
72,40 %
76,90 %
69,80 %
76,40 %
Survei, Pengukuran, dan Pemetaan Rata-rata
Tabel7. Hasil Perhitungan F-measure
Kategori
F-measure K1
K2
Hak Tanah dan Pendaftaran Tanah
0.44
0.50
Tata Usaha
0.67
0.77
Pengaturan dan Penataan Pertanahan
0.74
0.82
Pengendalian dan Pemberdayaan
0.83
0.86
Sengketa Konflik Perkara
0.58
0.76
0.84
0.82
0.68
0.75
Survei, Pengukuran, dan Pemetaan Rata-rata
Ket-Keterangan (Berhasil atau tidak)
Akurasi
Berhasil
pengaduan masuk ke tabel aduan dan kategori berubah menjadi kategori Berhasil bidang, menampilkan halaman konfirmasi aduan
tampil halaman Edit Pengaduan
Klasifikasi
Berhasil
Tabel 4. Hasil Uji Coba Fungsi Sistem Klasifikasi
Skenario
Tabel 5. Hasil Akurasi Pohon Keputusan
Ket*
Ket-Keterangan (Berhasil atau tidak)
Nama Fungsi
3) Uji Validasi Uji validasi dilakukan dengan melakukan penerapan algoritma pohon keputusan dengan menggunakan data uji. Pada proses uji validasi ini dilakukan proses perhitungan akurasi pengklasifikasi pohon keputusan serta perthitungan precision, recall dan f-measure. Hasil dari perhitungan nilai akurasi, precision, recall, dan f-measure dapat dilihat pada tabel 5 hingga tabel 7. Klasifikasi 1 (K1) merupakan klasifikasi yang menggunakan data dengan persebaran tidak merata. Sedangkan Klasifikasi 2 (K2) merupakan klasifikasi dengan menggunakan persebaran data merata.
6 4) Analisis Hasil Berdasarkan hasil uji kebenaran klasifikasi pada tahap uji verifikasi, dapat dibuktikan bahwa data keluaran dari sistem pengklasifikasian pengaduan masyarakat telah sesuai dengan klasifikasi secara manual. Meskipun masih terdapat beberapa data pengaduan yang masih belum dapat diklasifikasikan dengan benar. Hal ini terjadi karena, kata-kata yang ada pada pengaduan tersebut menjadi kata fitur dari kategori lain. Bedasarkan hasil uji fungsional aplikasi yang dilakukan pada tahap uji verifikasi didapatkan hasil bahwa fungsi dasar dan fungsi klasifikasi dari sistem pengklasifikasi telah dapat berjalan sesuai dengan harapan. Dimana fungsi umum seperti Login dan Logout telah dapat berjalan lancar dan dapat menangani beberapa skenario alternatif. Berdasarkan perhitungan akurasi pohon keputusan, dapat dibuktikan bahwa pohon keputusan yang dilatih dan diuji dengan menggunakan data yang tersebar merata memiliki akurasi yang lebih baik, yaitu sebesar 8,33%. Berdasarkan pada perhitungan precision, recall dan f-measure pada bagian 6.3.2.2, K2 memiliki nilai rata-rata precision, recall dan f-measure yang lebih baik dibandingkan dengan K1, yaitu 76,9%, 76,4%, dan 0,754%. Sehingga dapat disimpulkan bahwa pohon keputusan hasil dari klasifikasi 2 (K2) memiliki tingkat ketepatan dan sensitivitas pengklasifikasi yang lebih baik. Selain itu, dapat ditarik kesimpulan bahwa proses partisi data dengan memperhatikan persebaran data dapat meningkatkan performa dari pohon keputusan. VI. KESIMPULAN Setelah melakukan perancangan dan pembuatan aplikasi klasifikasi pengaduan berbasis laman dengan menggunakan metode pohon keputusan, maka dapat diambil kesimpulan sebagai berikut : 1) Berdasarkan hasil uji coba perbandingan beberapa metode pohon keputusan (C4.5, RandomForest, dan RandomTree) dengan menggunakan WEKA, dapat disimpulkan bahwa jenis pohon yang paling baik untuk penggalian teks adalah pohon C4.5. Selain itu, dapat juga disimpulkan bahwa penggunan proses stemming mampu meningkatkan akurasi klasifikasi, mengurangi jumlah sumber daya komputasi, dan waktu pembangunan pohon. Hal ini dikarenakan proses stemming merupakan proses yang dapat mengurangi jumlah kata-kata fitur. Semakin sedikit jumlah kata fitur yang digunakan, semakin sedikit jumlah simpul dari pohon yang dihasilkan, sehigga waktu dan sumber daya komputasi yang digunakan juga semakin sedikit. 2) Berdasarkan hasil perhitungan akurasi pada tahap uji validasi, dapat ditarik kesimpulan bahwa pohon keputusan yang menggunakan data dengan persebaran tidak merata memiliki nilai akurasi, precision, recall dan f-measure berturut-turut sebesar 68,06%, 72,4%, 69,8% dan 68,4%. Sedangkan pengklasifikasi yang
menggunakan persebaran data merata memiliki nilai akurasi, precision, recall, dan F-measure berturut-turut sebesar 76,39%, 76,9%, 76,4% dan 75,4%. Sehingga dapat ditarik kesimpulan bahwa pohon keputusan yang menggunakan persebaran data merata memberikan hasil akurasi yang lebih baik, memiliki tingkat ketepatan, sensitivitas pengklasifikasi yang lebih baik, dan memiliki peningkatan nilai f-measure yang lebih baik berturut-turut sebesar 8,33%, 4,5%, 6,6% dan 7%. VII. SARAN Saran yang dapat dipertimbangkan untuk pengembangan sistem pengklasifian pengaduan yang dibuat atau penerapan pohon keputusan dalam pengklasifikasian teks adalah adalah: 1) Perlunya perbaikan lebih lanjut seperti penambahan data pelatihan yang memiliki kata-kata fitur baru dan lebih beragam sehingga akurasi pohon keputusan dapat ditingkatkan melalui kata fitur yang lebih beragam. 2) Penambahan kategori “bukan pengaduan” untuk mempermudah pengklasifikasian pengaduan yang tidak terkait dengan masalah pertanahan. 3) Adanya fitur tambahan pada aplikasi yang memungkinkan staf bidang masing-masing yang menangani pengaduan masyarakat untuk memberikan tanggapan pengaduan secara langsung melalui laman, tanpa perlu menunggu kiriman email mengenai tanggapan yang harus dilakukan. UCAPAN TERIMA KASIH Penulis Y.S mengucapkan terima kasih kepada Kantor Pertanahan Kota Surabaya I yang telah nenberikan bantuan baik secara langsung maupun tidak langsung terhadap pengerjaan tugas akhi ini. Tidak lupa pula ucapan terima kasih penulis ucapkan kepada dosen Jurusan Sistem Informasi ITS yang telah memberikan ilmu, bandtuan, serta dukungan dalam proses pengerjaan. DAFTAR PUSTAKA [1]
[2] [3]
[4] [5]
[6] [7]
[8]
Ernawati, S., Ardiyanti, A. dan Setiawan, E. B. (2009). “Klusterisasi Dokumen Berita Berbahasa Indonesia Menggunakan Document Index Graph”. Disampaikan pada Seminar Nasional Aplikasi Teknologi Informasi 2009; Yogyakarta: 2009. Berry, M. W. dan Kogan, Jacob. "Text Mining: Application and Theory". John Wiley & Son, Ltd; 2010. Destuardi, I dan Sumpeno, Surya. "Klasifikasi Emosi untuk Teks Bahasa Indonesia Menggunakan Metode Naive Bayes". Disampaikan pada Seminar Nsional Pascasarjana IX - ITS; Surabaya: 2009. Chenoweth, Megan dan Song, Min. "Text Categorization". Encyclopedia of Data Warehousing and Mining 2009: 1936-1941. Wibisono, Y. dan Khodra, M. L. (2005). Clustering Berita Berbahasa Indonesia, http://fpmipa.upi.edu/staff/yudi/KNSI_Clustering_yudi_masayu.pdf, diunduh pada 8 Oktober 2011. Sulistyo, W. "Klasifikasi Dokumen Berbahasa Inggris Berdasarkan Weighted-Term". Jurnal Teknologi Informasi-Aiti 2008: 105-205. Asian, J., Williams, H. E. dan Tahaghoghi, S.M.M. (2005). Stemming Indonesian, http://crpit.com/confpapers/CRPITV38Asian.pdf, diunduh pada 23 Nopember 2011. Zhao, Y. dan Zhang, Y. (2007). Comparison of Decision Tree Methods for Finding Active Objects, http://arxiv.org/pdf/0708.4274.pdf, diunduh pada 4 Pebruari 2012.
