BAB II LANDASAN TEORI

BAB II LANDASAN TEORI

2.1. Pendahuluan Didalam bab ini menceritakan semua teori-teori yang digunakan didalam proses algoritma decision tree, algoritma Random tree dan Random Florest serta teoriteori dan metode yang berhubungan dalam pembahasan tesis ini.

2.2. Data Mining Data mining adalah suatu istilah yang digunakan untuk menemukan pengetahuan yang tersembunyi di dalam database. Data mining merupakan proses semi otomatik yang menggunakan teknik statistik, matematika, kecerdasan buatan, dan machine

learning

untuk

mengekstraksi

dan

mengidentifikasi

informasi

pengetahuan potensial dan berguna yang bermanfaat yang tersimpan di dalam database besar. (Turban et al, 2005). Menurut Gartner Group data mining adalah suatu proses menemukan hubungan yang berarti, pola, dan kecenderungan dengan memeriksa dalam sekumpulan besar data yang tersimpan dalam penyimpanan dengan menggunakan teknik pengenalan pola seperti teknik statistik dan matematika (Larose, 2006). Selain definisi di atas beberapa definisi juga diberikan seperti, “data mining adalah serangkaian proses untuk menggali nilai tambah dari suatu kumpulan data berupa pengetahuan yang selama ini tidak diketahui secara manual.” (Pramudiono, 2006). “Data mining adalah analisis otomatis dari data yang berjumlah besar atau kompleks dengan tujuan untuk menemukan pola atau kecenderungan yang penting yang biasanya tidak disadari keberadaannya.” (Pramudiono, 2006). Sehingga data mining dapat didefenisikan sebagai analisis dari peninjauan kumpulan data untuk menemukan hubungan yang tidak diduga dan meringkas data dengan cara yang berbeda dengan sebelumnya, yang dapat dipahami dan bermanfaat bagi pemilik data. (Larose, 2006). “Data mining merupakan bidang dari beberapa keilmuan yang menyatukan teknik dari pembelajaran mesin,

Universitas Sumatera Utara

pengenalan pola, statistik, database, dan visualisasi untuk penanganan permasalahan pengambilan informasi dari database yang besar.” (Larose, 2006). Tiga tahun kemudian, dalam buku Mastering Data Mining

mereka

memberikan definisi ulang terhadap pengertian data mining dan memberikan pernyataan bahwa “jika ada yang kami sesalkan adalah frasa secara otomatis maupun semi otomatis, karena kami merasa hal tersebut memberikan fokus berlebih pada teknik otomatis dan kurang pada eksplorasi dan analisis”. Hal tersebut memberikan pemahaman yang salah bahwa data mining merupakan produk yang dapat dibeli dibandingkan keilmuan yang harus dikuasai (Larose, 2006). Pernyataan tersebut menegaskan bahwa dalam data mining otomatisasi tidak menggantikan campur tangan manusia. Manusia harus ikut aktif dalam setiap fase dalam proses data mining. Kehebatan kemampuan algoritma data mining yang terdapat dalam perangkat lunak analisis yang terdapat saat ini memungkinkan terjadinya kesalahan penggunaan yang berakibat fatal. Pengguna mungkin menerapkan analisis yang tidak tepat terhadap kumpulan data dengan menggunakan pendekatan yang berbeda. Oleh karenanya, dibutuhkan pemahaman tentang statistik dan struktur model matematika yang mendasari kerja perangkat lunak (Larose, 2006). Pencarian I f

Ekstraksi data (bahasa alami, web)

i Pembelajaran (Neural Network pohon

Statistik

Artificial

Data Mining

Intelligent

Dasar Data yang besar

(Seleksi presentase

(Normalisasi data

Database

Gambar 2.1 Bidang Ilmu Data Mining


Data mining bukanlah suatu bidang yang sama sekali baru. Salah satu kesulitan untuk mendefinisikan data mining adalah kenyataan bahwa data mining mewarisi banyak aspek dan teknik dari bidang-bidang ilmu yang sudah mapan terlebih dahulu. Gambar 2.1 menunjukkan bahwa data mining memiliki akar yang panjang dari bidang ilmu seperti kecerdasan buatan (artificial intelligent), machine

learning,

statistik,

database,

dan

juga

information

retrieval

(Pramudiono, 2006). Istilah data mining dan Knowledge Discovery in Database (KDD) sering kali digunakan secara bergantian untuk menjelaskan proses penggalian informasi tersembunyi dalam suatu basis data yang besar. Sebenarnya kedua istilah tersebut memiliki konsep yang berbeda, tetapi berkaitan satu sama lain. Dan salah satu tahapan dalam keseluruhan proses KDD adalah data mining. Proses KDD secara garis besar dapat dijelaskan sebagai berikut (Fayyad, 1996). 1. Data Selection Pemilihan (seleksi) data dari sekumpulan data operasional perlu dilakukan sebelum tahap penggalian informasi dalam KDD dimulai. Data hasil seleksi yang akan digunakan untuk proses data mining, disimpan dalam suatu berkas, terpisah dari basis data operasional. 2. Pre-processing/Cleaning Sebelum proses data mining dapat dilaksanakan, perlu dilakukan proses cleaning

pada data yang menjadi fokus KDD. Proses cleaning

mencakup antara lain membuang duplikasi data, memeriksa data yang inkonsisten, dan memperbaiki kesalahan pada data, seperti kesalahan cetak (tipografi). Juga dilakukan proses enrichment, yaitu proses “memperkaya” data yang sudah ada dengan data atau informasi lain yang relevan dan diperlukan untuk KDD, seperti data atau informasi eksternal. 3. Transformation Coding adalah

proses transformasi pada data yang telah dipilih,

sehingga data tersebut sesuai untuk proses data mining. Proses coding


dalam KDD merupakan proses kreatif dan sangat tergantung pada jenis atau pola informasi yang akan dicari dalam basis data. 4. Data mining Data mining adalah proses mencari pola atau informasi menarik dalam data terpilih dengan menggunakan teknik atau metode tertentu. Teknik, metode, atau algoritma dalam data mining sangat bervariasi. Pemilihan metode dan algoritma yang tepat sangat bergantung pada tujuan dan proses KDD secara keseluruhan. 5. Interpretation/Evalution

Pola informasi yang dihasilkan dari proses data mining perlu ditampilkan dalam bentuk yang mudah dimengerti oleh pihak yang berkepentingan. Tahap ini merupakan bagian dari proses KDD yang disebut interpretation. Tahap ini mencakup pemeriksaan apakah pola atau informasi yang ditemukan bertentangan dengan fakta atau hipotesis yang ada sebelumnya. Penjelasan di atas dapat direfresentasikan pada Gambar 2.2

Gambar 2.2 Proses dari Data Mining Sumber: SPSS, 2004


Enam fase CRISP-DM ( Cross Industry Standard Process for Data Mining) (Larose, 2006). 1. Fase Pemahaman Bisnis ( Business Understanding Phase ) a. Penentuan tujuan proyek dan kebutuhan secara detail dalam lingkup bisnis atau unit penelitian secara keseluruhan. b. Menerjemahkan tujuan dan batasan menjadi formula dari permasalahan data mining. c. Menyiapkan strategi awal untuk mencapai tujuan. 2. Fase Pemahaman Data ( Data Understanding Phase ) a. Mengumpulkan data. b. Menggunakan analisis penyelidikan data untuk mengenali lebih lanjut data dan pencarian pengetahuan awal. c. Mengevaluasi kualitas data. d. Jika diinginkan, pilih sebagian kecil kelompok data yang mungkin mengandung pola dari permasalahan 3. Fase Pengolahan Data ( Data Preparation Phase ) a. Siapkan dari data awal, kumpulan data yang akan digunakan untuk keseluruhan fase berikutnya. Fase ini merupakan pekerjaan berat yang perlu dilaksanakan secara intensif. b. Pilih kasus dan variabel yang ingin dianalisis dan yang sesuai analisis yang akan dilakukan. c. Lakukan perubahan pada beberapa variabel jika dibutuhkan. d. Siapkan data awal sehingga siap untuk perangkat pemodelan. 4. Fase Pemodelan ( Modeling Phase ) a. Pilih dan aplikasikan teknik pemodelan yang sesuai. b. Kalibrasi aturan model untuk mengoptimalkan hasil. c. Perlu diperhatikan bahwa beberapa teknik mungkin untuk digunakan pada permasalahan data mining yang sama. d. Jika diperlukan, proses dapat kembali ke fase pengolahan data untuk menjadikan data ke dalam bentuk yang sesuai dengan spesifikasi kebutuhan teknik data mining tertentu.


5. Fase Evaluasi ( Evaluation Phase ) a. Mengevaluasi satu atau lebih model yang digunakan dalam fase pemodelan untuk mendapatkan kualitas dan efektivitas sebelum

disebarkan untuk

digunakan. b. Menetapkan apakah terdapat model yang memenuhi tujuan pada fase awal. c. Menentukan apakah terdapat permasalahan penting dari bisnis atau penelitian yang tidak tertangani dengan baik. d. Mengambil keputusan berkaitan dengan penggunaan hasil dari data mining. 6. Fase Penyebaran (Deployment Phase) a. Menggunakan model yang dihasilkan. Terbentuknya model tidak menandakan telah terselesaikannya proyek. b. Contoh sederhana penyebaran: Pembuatan laporan. c. Contoh kompleks Penyebaran:

Penerapan proses data mining secara

paralel pada departemen lain. Informasi lebih lanjut mengenai CRISP-DM dapat dilihat di www.crisp-dm.org

2.3. Decision Tree Decision tree merupakan salah satu metode klasifikasi yang menggunakan representasi struktur pohon (tree) di mana setiap node merepresentasikan atribut, dimana

cabangnya

merepresentasikan

nilai

dari

atribut,

dan

daun

merepresentasikan kelas. Node yang paling atas dari decision tree disebut sebagai root. Decision tree merupakan metode klasifikasi yang paling populer digunakan. Selain karena pembangunannya relatif cepat, hasil dari model yang dibangun mudah untuk dipahami. Pada decision tree terdapat 3 jenis node, yaitu: a. Root Node, merupakan node paling atas, pada node ini tidak ada input dan bisa tidak mempunyai output atau mempunyai output lebih dari satu. b. Internal Node, merupakan node percabangan, pada node ini hanya terdapat satu input dan mempunyai output minimal dua.


c. Leaf node atau terminal node, merupakan node akhir, pada node ini hanya terdapat satu input dan tidak mempunyai output.

Menghasilkan Pohon Keputusan untuk klasifikasi dari kedua data nominal dan numerik. Sebuah pohon keputusan adalah seperti grafik atau model. Hal ini lebih seperti pohon terbalik karena memiliki akarnya di atas dan tumbuh ke bawah. Ini representasi dari data memiliki keuntungan dibandingkan dengan pendekatan lain menjadi bermakna dan mudah untuk menafsirkan. Tujuannya adalah untuk menciptakan sebuah model klasifikasi yang memprediksi nilai dari atribut target (sering disebut kelas atau label) berdasarkan beberapa atribut masukan dari ExampleSet. Dalam RapidMiner atribut dengan peran label diprediksi oleh operator Pohon Keputusan. Setiap node interior pohon sesuai dengan salah satu atribut masukan. Jumlah tepi interior simpul nominal sama dengan jumlah nilai yang mungkin dari atribut input yang sesuai. Tepi luar dari atribut numerik diberi label dengan rentang disjoint. Setiap node daun mewakili nilai atribut label yang diberikan nilai-nilai input atribut diwakili oleh jalan dari akar ke daun. Deskripsi ini dapat dengan mudah dipahami dengan mempelajari terpasang Contoh Proses. Pohon Keputusan yang dihasilkan oleh partisi rekursif. Partisi Rekursif berarti berulang kali membelah pada nilai-nilai atribut. Dalam setiap rekursi algoritma mengikuti langkah-langkah berikut: −

Sebuah atribut A dipilih untuk membagi. Membuat pilihan yang baik atribut untuk membagi pada setiap tahap sangat penting untuk generasi pohon yang berguna. Atribut dipilih tergantung pada kriteria seleksi yang dapat dipilih oleh parameter kriteria.

−

Contoh di ExampleSet diurutkan ke dalam subset, satu untuk setiap nilai atribut A dalam kasus atribut nominal. Dalam kasus atribut numerik, subset dibentuk untuk rentang menguraikan nilai atribut.

−

Sebuah pohon dikembalikan dengan satu tepi atau cabang untuk masingmasing bagian. Setiap cabang memiliki keturunan subtree atau nilai label yang diproduksi dengan menerapkan algoritma yang sama secara rekursif.


Secara umum, rekursi berhenti ketika semua contoh atau contoh memiliki nilai label yang sama. Contohnya: subset murni. Atau rekursi mungkin berhenti jika sebagian besar contoh adalah nilai label yang sama. Ini adalah generalisasi dari pendekatan pertama; dengan beberapa ambang kesalahan. Namun ada kondisi halting lain seperti : −

Kurang dari jumlah tertentu dari kasus atau contoh dalam subtree saat ini.

−

Tidak ada atribut mencapai batas tertentu. Hal ini dapat disesuaikan menggunakan parameter perolehan minimum.

−

Kedalaman maksimal tercapai. Hal ini dapat disesuaikan menggunakan parameter kedalaman maksimal. Pemangkasan adalah teknik di mana node daun yang tidak menambah

kekuatan diskriminatif dari pohon keputusan dikeluarkan. Hal ini dilakukan untuk mengubah sebuah pohon lebih spesifik atau lebih pas untuk bentuk yang lebih umum dalam rangka meningkatkan daya prediksi pada dataset yang tak terlihat. Pra-Pemangkasan adalah jenis pemangkasan paralel dilakukan untuk proses pembuatan pohon. Pasca-pemangkasan, di sisi lain, dilakukan setelah proses pembuatan pohon selesai. Sebuah pohon keputusan adalah keputusan dukungan alat yang menggunakan grafik seperti pohon atau model keputusan dan konsekuensi yang mungkin mereka, termasuk hasil kebetulan acara, biaya sumber daya, dan utilitas. Ini adalah salah satu cara untuk menampilkan sebuah algoritma. Pohon keputusan biasanya digunakan dalam riset operasi, khususnya dalam analisis keputusan, untuk membantu mengidentifikasi strategi yang paling mungkin untuk mencapai tujuan. Sebuah pohon keputusan adalah struktur flowchart seperti di mana simpul internal merupakan tes pada atribut, setiap cabang merupakan hasil pengujian dan setiap simpul daun mewakili label kelas (keputusan yang diambil setelah komputasi semua atribut). Sebuah jalan dari akar ke daun merupakan aturan klasifikasi. Dalam analisis keputusan pohon keputusan dan diagram pengaruh terkait erat digunakan sebagai alat pendukung keputusan visual dan analitis, di mana nilai-nilai yang diharapkan (atau utilitas yang diharapkan) alternatif bersaing


dihitung. Pohon keputusan biasanya digunakan dalam riset operasi, khususnya dalam analisis keputusan, untuk membantu mengidentifikasi strategi yang paling mungkin untuk mencapai tujuan. Jika dalam prakteknya keputusan harus diambil secara online tanpa ingat dalam pengetahuan yang tidak lengkap, pohon keputusan harus disejajarkan dengan model probabilitas sebagai model pilihan terbaik atau algoritma pemilihan model online. Penggunaan lain dari pohon keputusan adalah sebagai sarana deskriptif untuk menghitung probabilitas bersyarat. Pohon keputusan, diagram pengaruh, fungsi utilitas, dan alat-alat analisis keputusan lainnya dan metode yang diajarkan kepada mahasiswa di sekolahsekolah bisnis, ekonomi kesehatan, dan kesehatan masyarakat, dan merupakan contoh operasi metode penelitian atau ilmu manajemen.

2.4. Random Tree Operator ini mempelajari tentang sebuah pohon keputusan. Operator ini hanya menggunakan subset acak atribut untuk setiap perpecahan. Random Operator Pohon bekerja sama persis seperti operator Pohon Keputusan dengan satu pengecualian: untuk setiap perpecahan hanya subset acak atribut tersedia. Dianjurkan agar Anda mempelajari dokumentasi dari operator Pohon Keputusan untuk pemahaman dasar tentang pohon keputusan. Operator ini mempelajari tentng pohon keputusan yakni data nominal dan numerik. Pohon keputusan adalah metode klasifikasi yang kuat yang dapat dengan mudah dipahami. Operator pohon Random bekerja sama dengan Quinlan C4.5 atau CART memilih subset acak atribut sebelum diterapkan. Ukuran subset ditentukan oleh parameter rasio bagian. Representasi data sebagai Pohon memiliki keunggulan dibandingkan dengan pendekatan lain menjadi bermakna dan mudah untuk menafsirkan. Tujuannya adalah untuk menciptakan sebuah model klasifikasi yang memprediksi nilai label berdasarkan beberapa masukan atribut ExampleSet tersebut. Setiap node interior pohon sesuai dengan salah satu atribut masukan. Jumlah tepi node interior adalah sama dengan jumlah nilai yang mungkin dari atribut input yang


sesuai. Setiap node daun mewakili nilai dari label yang diberikan nilai-nilai atribut masukan diwakili oleh jalan dari akar ke daun. Deskripsi ini dapat dengan mudah dipahami dengan mempelajari Contoh Proses operator Pohon Keputusan. Pemangkasan adalah teknik di mana node daun yang tidak menambah kekuatan diskriminatif dari pohon keputusan dikeluarkan. Hal ini dilakukan untuk mengubah sebuah pohon lebih spesifik atau lebih pas untuk bentuk yang lebih umum dalam rangka meningkatkan daya prediksi pada dataset yang tak terlihat. Pra pemangkasan adalah jenis pemangkasan paralel dilakukan untuk proses pembuatan pohon. Pasca-pemangkasan, di sisi lain, dilakukan setelah proses pembuatan pohon selesai. 2.5. Random Forest Operator ini menghasilkan satu set sejumlah tertentu pohon random yaitu menghasilkan forest (hutan;kumpulan pohon) acak. Model yang dihasilkan adalah model suara pilihan dari semua pohon. Operator Random Forest menghasilkan satu set pohon acak. Pohon-pohon acak yang dihasilkan dengan cara yang persis sama seperti operator Acak Pohon menghasilkan pohon. Model hutan yang dihasilkan mengandung sejumlah tertentu dari model pohon acak. Jumlah pohon parameter menentukan jumlah yang diperlukan pohon. Model yang dihasilkan adalah model suara pilihan dari semua pohon acak. Untuk informasi lebih lanjut tentang pohon acak silakan mempelajari operator random Tree. Representasi data dalam bentuk pohon memiliki keunggulan dibandingkan dengan pendekatan lain menjadi bermakna dan mudah untuk ditafsirkan. Tujuannya adalah untuk menciptakan sebuah model klasifikasi yang memprediksi nilai dari atribut target (sering disebut kelas atau label) berdasarkan beberapa atribut masukan dari ExampleSet. Setiap node interior pohon sesuai dengan salah satu atribut input. Jumlah tepi interior simpul nominal sama dengan jumlah nilai yang mungkin dari atribut input yang sesuai. Tepi luar dari atribut numerik diberi label dengan rentang disjoint. Setiap node daun mewakili nilai atribut label yang diberikan nilai-nilai input atribut diwakili oleh jalan dari akar ke daun. Untuk


pemahaman yang lebih baik dari struktur pohon silahkan mempelajari Proses Contoh operator Decision Tree Pemangkasan adalah teknik di mana node daun yang tidak menambah kekuatan diskriminatif pohon akan dihapus. Hal ini dilakukan untuk mengubah sebuah pohon lebih spesifik atau lebih pas untuk bentuk yang lebih umum dalam rangka meningkatkan daya prediksi pada dataset yang tak terlihat. Hal ini dilakukan untuk mengubah sebuah pohon lebih spesifik atau lebih pas untuk bentuk yang lebih umum dalam rangka meningkatkan daya prediksi pada dataset yang tak terlihat. Pasca-pemangkasan, di sisi lain, dilakukan setelah proses pembuatan pohon selesai.

2.6. Preprocessing data Pre-processing data adalah proses mengubah data ke dalam format yang sederhana, lebih efektif, dan sesuai dengan kebutuhan pengguna. Indikator yang dapat digunakan sebagai referensi adalah hasil lebih akurat, waktu komputasi yang lebih pendek, juga data menjadi lebih kecil tanpa mengubah informasi di dalamnya. Beberapa metode pre-processing adalah memilih sample subset dari populasi data yang besar, juga denoising iaitu menghapus noisy dari data. Selain itu dapat juga transformasi, normalisasi, dan ekstraksi fitur. Dalam paper ini akan dilakukan pembersihan data, transformasi, denoising, kemudian diikuti ekstraksi fitur.(Sembiring, R. dan Zain, J, 2010)

2.6.1. Jenis-Jenis metode Preprecessing data Ekstraksi fitur adalah perubahan dari data dimensi tinggi ke dimensi rendah. Transformasi data dapat linier dan nonlinier dimensi data, tujuannya adalah pemetaan data ke dimensi yang lebih rendah. Beberapa algoritma telah lakukan, untuk supervised learning: LDA, CCA, PLS, LSI, SVD, dan unsupervised learning: PCA, ICA, FastICA. .(Sembiring, R. dan Zain, J, 2010)


2.6.1.1. Handle Missing Value as Category Operator ini memetakan nilai-nilai tertentu dari atribut yang dipilih ke nilai baru. Operator ini dapat diterapkan pada kedua atribut numerik dan nominal. Operator ini dapat digunakan untuk menggantikan nilai nominal (misalnya mengganti nilai 'hijau' dengan nilai ‘warna_hijau’) serta nilai-nilai numeric. Tapi, salah satu penggunaan operator ini dapat melakukan pemetaan untuk atribut hanya satu jenis. Sebuah pemetaan tunggal dapat ditentukan dengan menggunakan parameter menggantikan what dan replace by seperti dalam operator replace. Selain itu, operator memungkinkan mendefinisikan pemetaan default. Operator ini memungkinkan Anda untuk memilih atribut untuk membuat pemetaan. Operator ini memungkinkan Anda untuk menentukan ekspresi reguler. Nilai atribut dari atribut yang dipilih yang mencocokkan ekspresi reguler ini dipetakan oleh pemetaan nilai tertentu.

2.6.1.2. Missing Value Replenishment Operator ini menggantikan nilai-nilai yang hilang dalam contoh atribut yang dipilih oleh pengganti yang ditentukan. Operator ini menggantikan nilai-nilai yang hilang dalam contoh atribut yang dipilih oleh pengganti yang ditentukan. Nilai-nilai yang hilang dapat diganti dengan nilai minimum, maksimum atau rata-rata atribut tersebut. Nol juga dapat ditempatkan di tempat nilai-nilai yang hilang. Setiap nilai pengisian juga dapat ditentukan sebagai pengganti nilai-nilai yang hilang.


BAB II LANDASAN TEORI

Recommend Documents