Pengklasifikasian Pengaduan Masyarakat pada Laman Kantor Pertanahan Kota Surabaya I dengan Metode Pohon Keputusan

Pengklasifikasian Pengaduan Masyarakat pada Laman Kantor Pertanahan Kota Surabaya I dengan Metode Pohon Keputusan Penyusun Tugas Akhir : Yulia Sulistyaningsih

5208 100 113

Dosen Pembimbing : Prof. Ir. Arif Djunaidy M.Sc Ph.D Renny Pradina Kusumawardhani , S.T., M.T.

Latar Belakang (1) Kantor Pertanahan Surabaya I memiliki tugas untuk melaksanakan tugas dan fungsi Badan Pertanahan Nasional untuk sebagian wilayah kota Surabaya. Guna mendukung fungsinya dalam penanganan konflik, sengketa, dan masalah pertanahan, Kantor Pertanahan Surabaya I membangun laman yang memungkinkan masyarakat untuk mengadukan perkara pertanahan. Tugas Akhir – KS091336

Latar Belakang (2) Proses pengelompokkan pengaduan dilakukan secara manual sehingga membutuhkan waktu yang lebih lama dan biaya yang lebih banyak sebab pengaduan masyarakat diunduh dan diperbanyak sebanyak seksi yang ada. Sehingga, dibutuhkan suatu sistem yang dapat membantu Kantor Pertanahan Kota Surabaya I mengelompokkan pengaduan secara otomatis atau memberi pertimbangan mengenai jenis pengaduan.

Tugas Akhir – KS091336

Mengapa Pohon Keputusan ? Dalam sebuah tulisannya yang berjudul “Text Categorization”, Megan Chenoweth dan Min Song memaparkan perbandingan kinerja dari kelima algoritma tersebut. Beberapa kelebihan Pohon Keputusan : • Tidak memerlukan sumber daya komputasi yang banyak untuk membangunnya • Cepat dalam mengklasifikasikan data yang belum diketahui • Mudah untuk diinterpretasikan (untuk pohon ukuran kecil) • Memiliki akurasi yang cukup bagus.


Rumusan Masalah 1. Bagaimana membuat pengklasifikasi yang mampu mengklasifikasikan pengaduan masyarakat yang masuk dalam kotak pengaduan laman Kantor Pertanahan Surabaya I dengan menggunakan metode Pohon Keputusan. 2. Bagaimana membangun sistem tambahan yang dapat mengklasifikasikan pengaduan masyarakat yang masuk dalam kotak pengaduan laman Kantor Pertanahan Surabaya I.


Batasan Masalah • Pengerjaan tugas akhir ini hanya sebatas pembuatan sistem tambahan pada laman yang dapat mengklasifikasikan pengaduan secara otomatis tetapi tidak sampai menyediakan sistem yang membantu penanganan pengaduan. • Data yang digunakan dalam tugas akhir ini adalah data pengaduan masyarakat pada kotak pengaduan laman Kantor Pertanahan Kota Surabaya I dalam periode tahun 2009 – tahun 2012.


Tujuan Membuat suatu sistem tambahan berbasis web pada laman Kantor Pertanahan Surabaya I yang dapat memberikan pertimbangan dalam pengelompokkan pengaduan masyarakat.


Manfaat Manfaat bagi Kantor Pertanahan Kota Surabaya I adalah tersedianya aplikasi yang dapat mengklasifikasikan pengaduan masyarakat secara otomatis sehingga waktu dan biaya yang dibutuhkan untuk pengelompokkan dan penanganan pengaduan menjadi lebih sedikit. Manfaat bagi masyarakat yang merupakan pengadu adalah meningkatnya kepuasan masyarakat sebagai akibat dari lebih singkatnya waktu yang dibutuhkan Kantor Pertanahan Kota Surabaya I untuk menanggapi dan menangani aduan dari masyarakat. Tugas Akhir – KS091336

Metode Pengerjaan


Pembangunan Sistem


Desain Arsitektur


Diagram Aliran Data dfd Use Case Package 1 menampilkan menerima aduan aduan 1 Menuliskan pengaduan

2 Sistem Kotak Pengaduan Laman

Basisdata Aduan

klasifikasi menyimpan

Masyarakat informasi aduan

Aduan

3 Klasifikasi pohon keputusan

4 Melihat Aduan

proses

Staf Bidang Data Latih menyelesaikan pengaduan

5 Ubah Kategori

update


hasil

Pengumpulan Data Data pengaduan yang digunakan adalah data pengaduan yang berjumlah 240 buah pengaduan. No 1 2 3 4 5 6

Kategori Hak Tanah dan Pendaftaran Tanah Tata Usaha Pengaturan dan Penataan Pertanahan Pengendalian dan Pemberdayaan Sengketa Konflik Perkara Survei, Pengukuran, dan Pemetaan


Jumlah 40 40 40 40 40 40

Praproses Data (1) Case Folding

Pengubahan kapitalisasi huruf pada dokumen pengaduan.

Penghilangan Karakter Selain Huruf

Karakter selain huruf (angka dan tanda baca) dihilangkan dari dokumen pengaduan.

Tokenizing

Memecah dokumen menjadi kumpulan kata yang berdiri sendiri.

Stemming

Pengubahan kata-kata yang ada menjadi bentuk dasarnya. Algoritma yang digunakan adalah algoritma Nazief-Adriani. Tugas Akhir – KS091336

Praproses Data (2) Pengumpulan dan Penghilangan Stopwords

JENIS KATA

Contoh Kata

Kata preposisi

adapun, bagi, di, ke kepada, untuk

Kata interjeksi

alhamdulillah, astaga, hore, wah

Kata konjungsi

agar, atau, bahwa, namun, sehingga

Kata pronomina

aku, anda, ia, saya

Kata numeralia

dua, miliar, nol, pertama, seluruh


Praproses Data (3) Pembuatan Wordlist Kata-kata yang tersisa pada aduan adalah kata yang dapat dijadikan kata kunci dalam proses klasifikasi aduan.

Keluaran dari tahap Praproses Data Sebuah tabel frekuensi yang berisi jumlah kemunculan tiap katakata kunci untuk seluruh pengaduan yang ada.


Pemilihan Model Pohon Keputusan (1) Tahapan ini dilakukan untuk mengetahui kinerja dari berbagai jenis pohon keputusan dalam berbagai variasi kondisi data. Hasil Pemrosesan dengan Menggunakan Cross Validation dengan data yang tidak seimbang No

Jenis Pohon

Hasil Klasifikasi Dengan Tanpa Stemming Stemming

1

C4.5

59.51%

57.56%

2

RandomForest

56.59%

59.51%

3

RandomTree

42.44%

41.46%

Hasil Pemrosesan dengan Menggunakan Cross Validation dengan data yang seimbang (masing-masing 30) Hasil Klasifikasi No

Jenis Pohon

Dengan Stemming

Tanpa Stemming

1

C4.5

55.76%

58.79%

2

RandomForest RandomTree

55.15% 48.48%

55.15% 41.00%

3

Pemilihan Model Pohon Keputusan (2) Hasil Pemrosesan dengan Menggunakan Cross Validation No Jenis Pohon

Hasil Klasifikasi Dengan Stemming

Tanpa Stemming

1 C4.5

65.42%

65%

2 RandomForest

62.08%

60.83%

3 RandomTree

48.33%

45.83%

Hasil Pemrosesan dengan Menggunakan Split 70:30 No Jenis Pohon

Hasil Klasifikasi Dengan Stemming

Tanpa Stemming

62.5%

65.28%

2 RandomForest

61.1111%

55.56%

3 RandomTree

38.8889%

51.39%

1 C4.5

Pembuatan Sistem Pengklasifikasi Sistem Pengklasifikasi dibangun dengan menggunakan dua bahasa, yaitu PHP dan Java. Sisi PHP Digunakan untuk laman, praproses data dan pemanggilan fungsi klasifikasi. Sisi Java Digunakan untuk mengklasifikasikan data menggunakan fungsi pohon J48 pada WEKA.


Uji Coba Proses uji coba dilakukan sebanyak tiga kali, yaitu pengujian model pohon keputusan, pengujian kebenaran klasifikasi, dan pengujian kinerja. Data Uji Coba Data yang digunakan dalam tahap uji coba merupakan adalah data pengaduan sebanyak 72 buah data yang tidak termasuk dalam data latih dan telah melalui tahap praproses.


Uji Model (1) Hasil Uji Model Pohon Keputusan pada Data Latih

No Percobaan

1 2 3 4

U1 U2 U3 U4

Hak Tanah dan Pendaftaran Tanah

Survei, Pengukuran, dan Pemetaan

Akurasi

Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah 33 6 23 2 28 0 21 1 24 2 25 3 27 28 0 0 27 34 5 2 22 22 5 1 25 2 23 5 25 3 3 26 23 5 26 2 26 2 25 3 28 0 25 3 26 2 26 2

91.67% 92.86% 88.10% 92.86%

Tata Usaha

Pengaturan Pengendalian dan Penataan dan Pertanahan Pemberdayaan

Sengketa Konflik Perkara

Keterangan : U1 : Percobaan dengan menggunakan perbandingan data latih 70:30 dan melalui tahap stemming. U2 : Percobaan dengan menggunakan perbandingan data latih 70:30 tanpa melalui tahap stemming U3 : Percobaan dengan menggunakan perbandingan data latih 70:30 yang dirandom dan melalui tahap stemming. U4 : Percobaan dengan menggunakan perbandingan data latih 70:30 yang dirandom tanpa melalui tahap stemming


Uji Model (2) Hasil Uji Model Pohon Keputusan pada Data Uji

No Percobaan

1 2 3 4

U1 U2 U3 U4



Akurasi

Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah 1 0 8 7 9 3 16 2 9 5 5 7 1 0 4 11 11 1 16 2 7 7 6 6 4 8 11 1 9 3 10 2 11 1 4 8 5 7 9 3 11 1 9 3 3 9 10 2

66.67% 62.50% 68.06% 65.28%

Tata Usaha

Pengaturan Pengendalian dan Penataan dan Pertanahan Pemberdayaan




Uji Model (3) Hasil Uji Model Pohon Keputusan dengan Cross Validation

No

Percobaan

Hak Tanah Pengaturan Pengendalian dan Tata Usaha dan Penataan dan Pendaftaran Pertanahan Pemberdayaan Tanah



Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah 1 Dengan Stemming 13 27 29 11 29 11 31 9 24 16 31 9 2 Tanpa Stemming 11 29 27 13 34 6 30 10 23 17 31 9


Akurasi

65.42% 65%

Uji Kebenaran Klasifikasi (1) Hasil Perhitungan Precision dan Recall

No Percobaan


Tata Usaha

Pengaturan dan Penataan Pertanahan

Survei, Pengendalian dan Sengketa Konflik Pengukuran, dan Pemberdayaan Perkara Pemetaan

Precision

Recall

Precision

Recall

Precision

Recall

Precision

Recall

Precision

Recall

Precision

Recall

1

U1

0.167

1

0.615

0.533

0.692

0.75

0.889

0.889

0.75

0.643

0.5

0.417

2

U2

0.05

1

0.8

0.267

0.786

0.917

0.889

0.889

1

0.5

0.75

0.5

3

U3

0.8

0.333

0.55

0.917

1

0.75

0.769

0.833

0.733

0.917

0.4

0.333

4

U4

0.417

0.417

0.6

0.75

0.733

0.917

0.818

0.75

0.769

0.833

0.5

0.25

Keterangan : U1 : Percobaan dengan menggunakan perbandingan data latih 70:30 dan melalui tahap stemming. U2 : Percobaan dengan menggunakan perbandingan data latih 70:30 tanpa melalui tahap stemming U3 : Percobaan dengan menggunakan perbandingan data latih 70:30 yang dirandom dan melalui tahap stemming. U4 : Percobaan dengan menggunakan perbandingan data latih 70:30 yang dirandom tanpa melalui tahap stemming Tugas Akhir – KS091336

Uji Kebenaran Klasifikasi(2) Hasil Perhitungan Precision dan Recall dengan Cross Validation

No

Percobaan


Tata Usaha

Precision Recall Precision

Pengaturan dan Penataan Pertanahan

Pengendalian dan Pemberdayaan



Recall

Precision

Recall

Precision

Recall

Precision

Recall

Precision

Recall

1

Dengan Stemming

0.406

0.325

0.644

0.725

0.763

0.725

0.756

0.775

0.649

0.6

0.66

0.775

2

Tanpa Stemming

0.324

0.275

0.529

0.675

0.791

0.85

0.857

0.75

0.639

0.575

0.756

0.775


Uji Kebenaran Klasifikasi (3) Hasil Perhitungan F-measure

No

Hak Tanah dan Percobaan Pendaftaran Tanah

Tata Usaha

Pengaturan dan Pengendalian Penataan dan Pertanahan Pemberdayaan

Survei, Sengketa Pengukuran, dan Konflik Perkara Pemetaan

1

U1

0.286

0.571

0.72

0.889

0.692

0.455

2

U2

0.095

0.4

0.846

0.889

0.667

0.6

3

U3

0.471

0.687

0.857

0.8

0.815

0.364

4

U4

0.417

0.667

0.783

0.815

0.333

0.8



Uji Kebenaran Klasifikasi(4) Hasil Perhitungan F-measure No

Percobaan

1

Dengan Stemming

2

Tanpa Stemming

Hak Tanah dan Pendaftaran Tata Usaha Tanah

0.361 0.297

0.682 0.593

Pengaturan dan Survei, Pengendalian dan Sengketa Konflik Penataan Pengukuran, dan Pemberdayaan Perkara Pertanahan Pemetaan

0.744 0.819


0.765 0.8

0.623 0.605

0.713 0.765

Uji Kinerja (1) Uji coba kinerja dilakukan dengan melihat apakah semua fungsi pada laman dapat berjalan yang meliputi fungsi umum laman dan fungsi sistem klasifikasi. Fungsi umum dari laman meliputi fungi login, dan logout. Fungsi dari sistem klasifikasi pada tugas akhir ini meliputi fungsi mengklasifikasikan pengaduan baru dan fungsi membangun ulang pohon keputusan ketika terjadi pengubahan kategori pengaduan.


Uji Kinerja (2) Hasil Uji Coba Fungsi Umum Laman Nama Fungsi

Login

Skenario username dan password cocok username atau password kosong username dan password tidak cocok tekan Logout

Logout

tekan Login pada halaman Logout tekan Home pada halaman Logout

Hasil

Status

menampilkan halaman utama pengguna menampilkan halaman login menampilkan halaman akses ditolak menampilkan halaman logout

Berhasil

menampilkan halaman Login menampilkan halaman awal

Berhasil


Berhasil Berhasil Berhasil

Berhasil

Uji Kinerja (3) Hasil Uji Coba Fungsi Klasifikasi Nama Fungsi

Klasifikasi Pengaduan Baru

Skenario

Hasil

Status

pengaduan masuk ke tabel aduan dan kategori berubah menjadi kategori masyarakat mengirim pengaduan baru bidang, menampilkan halaman konfirmasi aduan

Berhasil

pengguna staf bidang memasukkan pengaduan baru melalui menu Entri Pengaduan

pengaduan masuk ke tabel aduan dan kategori berubah menjadi kategori bidang, menampilkan halaman Entri Pengaduan

Berhasil

Staf bidang menekan tombol Ubah kategori pada halaman Pengaduan

tampil halaman Edit Pengaduan

pengguna mengganti kategori aduan

kategori pengaduan berubah dan pohon Berhasil keputusan dibangun ulang

Berhasil

Ubah Kategori


Uji Kinerja (4) Perbandingan Langkah Klasifikasi Pengaduan Manual

GUI Weka

Sistem Klasifikasi pada Laman

1. Masyarakat memasukkan pengaduan 1. Masyarakat memasukkan pengaduan

1. Masyarakat memasukkan pengaduan

2. Administrator buka basis data laman 2. Buka WEKA

2. Buka Laman

3. Unduh berkas data pengaduan

3. Ambil data dari basis data melalui GUI WEKA

3. Masukkan aduan baru atau apabila sudah ada maka dapat langsung melihat hasilnya pada bidang tertentu atau menggunakan login admin

4. Melakukan praproses, menjalankan 4. Cetak dan Perbanyak data pengaduan fungsi StringtoVector untuk memetakan 4. Mengirim respon melalui email kata 5. Menghapus kata dan karakter yang tidak 5. Bagikan ke tiap seksi/bidang dibutuhkan 6. Pengaduan dijawab staf bidang 6. Memilih pohon keputusan. 7. Mengirim respon melalui email

7. Membuat aturan berdasarkan pohon 8. Mengklasifikasikan pengaduan berdasarkan aturan secara manual 9. Mengirim respon melalui email Tugas Akhir – KS091336

Kesimpulan • Berdasarkan hasil uji coba perbandingan pohon dengan WEKA, dapat disimpulkan bahwa jenis pohon yang paling cocok untuk penggalian teks adalah pohon C4.5. Selain itu, proses stemming membantu meningkatkan kinerja pengklasfikasi. • Berdasarkan hasil uji model, dapat disimpulkan bahwa data yang tidak tersebar rata jumlahnya dapat menyebabkan overfitting. Selain itu didapati bahwa tahapan stemming dapat meningkatkan akurasi pohon keputusan dan mengurangi overfitting.


Kesimpulan (2) • Berdasarkan hasil uji kebenaran klasifikasi, dapat disimpulkan bahwa model pohon yang dapat mengklasifikasikan dengan baik adalah model yang tidak terlalu sesuai dengan data latih tetapi tidak terlalu sederhana.

• Berdasarkan hasil uji kinerja dapat disimpulkan bahwa adanya sistem pengklasifikasian pada Laman Kantor Pertanahan Kota Surabaya I dapat mempermudah proses pengkategorian aduan yang masuk ke dalam laman.


Saran • Adanya perbaikan lebih lanjut mengenai tahapan praproses data pengaduan serta penambahan jumlah data pelatihan sehingga kinerja dari pohon keputusan dapat meningkat. • Penambahan kategori “bukan pengaduan”, untuk mempermudah memisahkan antara pengaduan mengenai masalah pertanahan atau hanya sekedar pertanyaan mengenai prosedur. • Adanya sistem tambahan yang memungkinkan staf bidang untuk langsung memberikan tanggapan terhadap pengaduan melalui laman saja tanpa perlu mengirim email melalui laman lain.


TERIMA KASIH


Pengklasifikasian Pengaduan Masyarakat pada Laman Kantor Pertanahan Kota Surabaya I dengan Metode Pohon Keputusan

Recommend Documents