Nama
: Mochamad Iqbal Saepudin
NPM
: 50407526
Pembimbing : Dr.Lintang Yuniar Banowosari, SKom, MSc. Implementasi Mapreduce pada Very Large Database System
ABSTRAKSI Melihat tingginya angka jumlah penduduk Indonesia yang memasuki usia dewasa untuk membuat KTP (kartu tanda penduduk) maka akan dibutuhkan Database dalam skala VLDB (Very Large Database), data penduduk perlu dilakukan pemeriksaan kembali agar tidak terjadi duplikasi data di mana setiap penduduk hanya boleh memiliki satu Kartu Tanda Penduduk. Proses menganalisa KTP ini dapat dengan mudah dilakukan dengan konsekuensi mampu membayar harga hardware dan lisensi Software. Tujuan penelitian ini adalah bagaimana memanfaatkan aplikasi-aplikasi opensource untuk mengolah sebuah Database sendiri yang dibangun diatas framework Mapreduce yang dapat bekerja dan memproses secara terparalel. Dengan mengandalkan dan mengembangkan aplikasi Opensource alias gratis untuk diunduh yaitu Hadoop, Sqoop, dan Hive dapat dibentuk menjadi sebuah Framework Mapreduce yang mampu bekerja memproses dan menganalisis dengan baik karena bekerja memproses input data secara terparalel oleh lebih dari satu mesin.
ABSTRACT See the high rate of indonesia population who enter adulthood to make KTP (identity cards) it will be required a database on scale VLDb (Very Large Database), population data need to be re-examination in order to avoid duplication data in which each people may only have one Identity Cards. The process of analyzing the card can be easily done with the consequence able to pay the cost hardware and software licenses. The purpose of this research is how to take advantage an opensource applications to process own database that built on top MapReduce framework and the process could be work in parallel.
By relying and developing software Opensource or free applications for download like a Hadoop, Sqoop, and the Hive can be formed into a Mapreduce framework that able to process and analyze can be easily done because the input data was processed in parallel way by more than one machine to work.
PENDAHULUAN Jumlah penduduk Indonesia tahun 2011 diperkirakan mencapai 240 juta jiwa atau atau sekitar 60 juta keluarga [4]. Dengan melihat tingginya angka jumlah penduduk Indonesia yang memasuki usia dewasa untuk membuat KTP (kartu tanda penduduk) maka akan dibutuhkan Database dalam skala VLDB (Very Large Database) karena dimana akan terdapat jutaan baris dan ratusan tabel untuk dapat menampung semua data penduduk Indonesia, data penduduk perlu dilakukan pemeriksaan kembali agar tidak terjadi duplikasi data di mana setiap penduduk hanya boleh memiliki satu Kartu Tanda Penduduk karena dilihat dari fungsi utamanya yaitu untuk menghindari kecurangan pajak, menyembunyikan identitas (misalnya teroris), memudahkan membuat paspor yang tidak dapat dibuat di seluruh kota dan menjaga terjadi kecurangan pada saat pemilihan umum atau pemilihan kepala daerah karena setiap penduduk hanya boleh memiliki satu suara yang ditandai dengan penggunaan KTP Facebook.com merupakan situs jejaring sosial terkenal di dunia, situs ini mampu menghasilkan satu petabyte data setiap harinya untuk disimpan dan dianalisis. kekuatan terbesar situs tersebut adalah dengan mengandalkan dan mengembangkan aplikasi Opensource alias gratis untuk diunduh seperti Hadoop, Hbase, Hive, Thrift, Cassandra, HipHop, dan lain-lain [6]. Usahanya memanfaatkan sebagian besar aplikasi bersifat opensource tersebut menjadikan Facebook.com dikatakannya mampu dengan mudah mengolah data besar setiap harinya karena data diolah secara terparalel.
Melihat usahanya yang dapat dilakukan oleh para developer facebook.com maka aplikasi opensource tersebut juga dapat dibentuk menjadi sebuah Framework yang mampu bekerja untuk mengolah database meskipun memiliki kapasitas VLDB. Dengan memanfaatkan kemampuan Hadoop Mapreduce dan Hive dalam data warehousing dapat memproses dan menganalisis data berukuran VLDB sehingga mampu bersaing dengan perangkat lunak enterprise lain yang harus membayar harga untuk membeli lisensi agar dapat menggunakan semua fitur handalannya.
TINJAU PUSTAKA Data Warehouse Data warehouse adalah sebuah sistem yang mengambil dan menggabungkan data secara periodik dari sistem sumber data ke penyimpanan data bentuk dimensional atau normal. Data warehouse merupakan penyimpanan data yang berorientasi objek, terintegrasi, mempunyai variant waktu, dan menyimpan data dalam bentuk nonvolatile sebagai pendukung manejemen dalam proses pengambilan keputusan [8]. Data warehouse menyatukan dan menggabungkan data dalam bentuk multidimensi. Pembangunan data warehouse meliputi pembersihan data, penyatuan data dan transformasi data dan dapat dilihat sebagai praproses yang penting untuk digunakan dalam data mining. Selain itu data warehouse mendukung On-line Analitycal Processing (OLAP), sebuah perkakas yang digunakan untuk menganalisis secara interaktif dari bentuk multidimensi yang mempunyai data yang rinci. Sehingga dapat memfasilitasi secara efektif data generalization dan data mining. Hadoop Hadoop adalah Framework software berbasis Java dan Opensource yang berfungsi untuk mengolah data yang sangat besar secara terdistribusi dan berjalan di atas cluster yang terdiri dari beberapa komputer yang saling terhubung [3]. Hadoop dapat mengolah data dalam jumlah yang sangat besar hingga petabyte dan dijalankan di atas ribuan komputer. Terinspirasi dari whitepaper Google yang membahas tentang Mapreduce dan Google File
System dibuat oleh Doug Cutting dan nama Hadoop ini berasal dari boneka gajah milik anaknya. Hadoop bersifat opensource dan berada dibawah bendera Apache Software Foundation. Mapreduce Mapreduce pertama kali dikenalkan oleh Jeffrey Dean dan Sanjay Ghemawat dari Google, Inc. Saat ini model pemrograman Mapreduce digunakan pada sistem pengolahan data di Google dan juga di Yahoo. Mapreduce merupakan sebuah Framework untuk pengolahan Dataset besar pada beberapa jenis masalah yang didistribusikan menggunakan sejumlah besar komputer (node) yang disebut sebagai cluster jika semua node menggunakan hardware yang sama atau sebagai grid jika node menggunakan hardware berbeda. Komputasi pengolahan dapat terjadi pada data yang disimpan secara tidak terstruktur dalam Filesystem atau secara terstruktur dalam Database. Pemetaan (Map) Simpul yang mengambil Input Master dan memecah input menjadi bagian-bagian kecil dan mendistribusikannya ke para pekerja (nodes worker). Sebuah node worker dapat melakukannya pekerjaannya berulang kali dalam setiap giliran yang mengarah pada multi-level tree structure. Node worker memproses sub-input yang ditanganinya dan mengirim hasil proses tersebut kembali kembali pada input master. Pengurangan (Reduce) dimulai dari sebuah node master yang akan bertugas mengambil hasil dari Node worker untuk semua sub-input dan menggabungkan mereka dalam beberapa cara untuk mendapatkan output. Output itulah yang merupakan jawaban dari permasalahan awal yang akan dipecahkan.
Gambar-1 Mapreduce
Keuntungan dari Mapreduce ini adalah proses map and reduce dijalankan secara terdistribusi. Dalam setiap proses mapping bersifat independen sehingga proses dapat dijalankan secara simultan dan paralel. Demikian pula dengan proses reducer dapat dilakukan secara paralel diwaktu yang sama, selama output dari operasi mapping mengirimkan key value yang sesuai dengan proses reducernya. Proses Mapreduce ini dapat diaplikasikan di cluster server yang jumlahnya sangat banyak sehingga dapat mengolah data dalam jumlah petabyte hanya dalam waktu beberapa jam. Didalam Hadoop, Mapreduce engine ini terdiri dari satu Jobtracker dan satu/banyak Tasktracker. Jobtracker adalah server penerima job dari client, sekaligus akan mendistribusikan jobs tersebut ke Tasktracker yang akan mengerjakan sub job sesuai yang diperintahkan Jobtracker. Strategi ini akan mendekatkan pengolahan data dengan datanya sendiri, sehingga ini akan sangat signifikan mempercepat proses pengolahan data.
HIVE Dalam “Information Platforms and the Rise of the Data Scientist”, Jeff Hammerbacher menjelaskan informasi “Platforms sebagai locus upaya organisasi mereka untuk mencerna, mengolah, dan menghasilkan informasi” adalah bagaimana mereka melayani untuk memberikan akselarasi proses belajar dari data empiris Satu dari resep terbesar dalam informasi platform dibangun oleh team jeff dalam facebook adalah Hive, sebuah Framework untuk data warehouse yang berjalan diatas Hadoop. Hive berkembang dari kebutuhan untuk mengelola dan belajar dari Volume data besar yang diproduksi oleh Facebook setiap harinya dari situs jaringan sosial yang berkembang. Setelah mencoba beberapa system yang berbeda, team jeff akhirnya memutuskan untuk memilih Hadoop sebagai penyimpanan serta pemrosesan karena dapat menekan biaya dan cocok dengan skalabilitas yang dibutuhkan. Hive diciptakan untuk memungkinkan dilakukan analisis dengan kemampuan SQL yang kuat tetapi sedikit menggunakan keterampilan java programming untuk melakukan Query pada Volume data besar yang Facebook simpan dalam HDFS. Hari ini Hive adalah proyek Apache yang sukses digunakan dalam berbagai organisasi. Sebagai keperluan umumnya dalam pengolahan data terstruktur. Tentu saja SQL tidak ideal untuk setiap masalah data besar karena tidak cocok dalam membangun algoritma pembelajaran mesin yang kompleks, tapi bagus untuk melakukan banyak analisis dan memiliki banyak keuntungan besar untuk dapat dikenal dengan baik dalam industri. SQL adalah alat bisnis intelejen sehingga Hive sangat baik untuk dapat diintegrasikan dengan produk SQL ini.
SQOOP Kekuatan besar dari platform Hadoop adalah kemampuannya untuk dapat bekerja dengan beberapa bentuk data yang berbeda. HDFS dipercaya dapat menyimpan log dan data lain dari sejumlah sumber dan Mapreduce program dapat menguraikan beragam ad hoc data format, melakukan Extracting dengan sempurna dan menggambungkan multiple Dataset untuk menghasilkan hasil yang kuat.
Tetapi untuk berinteraksi dengan data dalam repository penyimpanan diluar HDFS, Mapreduce program perlu menggunakan external API untuk mendapatkan data diluar dari HDFS. Sqoop adalah alat Opensource yang memungkinkan user untuk extractting data dari relational Database kedalam Hadoop untuk kemudian dapat diproses lebih lanjut. Pengolahan ini dapat diselesaikan dengan program Mapreduce atau dengan alat tingkatan lebih tinggi lagi seperti Hive. Ketika hasil akhir dari analytic pipeline telah tersedia, Sqoop dapat mengekspor hasil tersebut kembali kedalam Database untuk dapat dikonsumsi oleh client yang lain.
MySQL SQL merupakan bahasa query yang paling banyak dipilih oleh DBMS dan Development Tolls (seperti Visual Basic, Delphi, PHP, Java, dll) dalam menyediakan median bagi penggunanya untuk berinteraksi dengan basis data [2]. MySQL merupakan salah satu contoh produk DBMS yang sangat popular di lingkungan linux, tetapi juga tersedia pada windows. Banyak situs web yang menggunakan MySQL sebagai Database server (server yang melayani permintaan akses Database) [1]. Pernyataan-pernyataan SQL digunakan untuk melakukan beberapa tugas seperti update data pada Database, atau menampilkan data dari Database. Beberapa software RDBMS dan dapat menggunakan SQL, seperti Oracle, Sybase, Microsoft SQL Server, Microsoft Access dan Ingres. Setiap software Database mempunyai bahasa perintah atau sintaks yang berbeda, namun pada prinsipnya mempunyai arti dan fungsi yang sama.
ANALISIS DAN PERANCANGAN Framework ini akan menganalisis database yang tersimpan pada MySQL dan untuk memperoleh datanya tool Sqoop dibutuhkan untuk melakukan import data menjadi text File dan me-Load data ke Hive agar user dapat menganalisis data yang diperlukan dengan memanfaatkan query Mapreduce yang telah didefinisikan pada HiveQL. Mapreduce itu sendiri terdapat pada Hadoop Distributed Filesystem yang mengatur mesin master dan slave
untuk mengerjakan fungsi Mapreduce serta menyimpan hasil eksekusinya pada Hive Metastore dengan mengandalkan tool MySQL JDBC connector.
Gambar-2 Alur Kerja Framework Analisis Masalah Permasalahan pada penelitian ini adalah bagaimana menganalisis suatu Id unik yang dimiliki satu oleh setiap penduduk pada KTP agar tidak terjadi duplikasi KTP pada saat pembuatan, database yang disimpan berukuran Very Large Database sehingga membutuhkan sebuah Framework Mapreduce dan suatu data warehouse agar dapat menganalisis Id penduduk yang disimpan pada database.
Gambar-3 Analisis Masalah
Arsitektur Sistem Sistem dibangun menjadi tiga sistem, yaitu sistem MySQL, sistem Apache Hive dan sistem Apache Hadoop. Sistem MySQL digunakan untuk keperluan memproduksi data dan tabel, sistem pada Hive digunakan untuk keperluan mengolah data yang telah diproduksi oleh MySQL, dan sistem Apache Hadoop merupakan mesin yang bekerja pada Hive dengan menggunakan kekuatan Mapreduce multi node. Sqoop merupakan pintu yang akan dilewati oleh MySQL untuk melakukan import data dengan menggunakan Mapreduce juga. Gambaran arsitektur dapat dilihat pada gambar 3.3.
Gambar-4 Arsitektur Framework Hive Mapreduce Data Warehouse
Perancangan Perancangan sistem untuk membangun Framework ini menggunakan UML yang digunakan untuk merancang model sebuah sistem. Dalam memodelkan proses yang terjadi pada rancangan sistem Mapreduce akan dibuat ke dalam tiga model UML, yaitu Use case dan Activity Diagram. Diagram Use Case Terdapat empat peran aktor yang bekerja dalam sistem ini, MySQL mempunyai peran untuk menyimpan data dan memproduksi data, aktor Sqoop hanya melakukan proses Import tabel dalam MySQL, sedangkan Hadoop Multinode mempunyai peran banyak dalam sistem ini yaitu membantu Sqoop dalam proses import data dan melakukan analisis tabel yang
dilakukan aktor Hive. Aktor Hive mempunyai peran dalam memerintahkan fungsi Mapreduce dan menyimpan tabel dalam Metastore Hive.
Gambar-5 Use Case Diagram Sistem Data Warehouse Hive
Diagram Activity Produksi Data
Gambar-6 Diagram Activity Produksi Data Diagram Activity Produksi Data dilakukan oleh MySQL di mana hanya melakukan pembuatan tabel, field dan mengisi tabel tersebut. Semakin banyak data yang terisi maka semakin terasa keoptimalan kerja Mapreduce.
Diagram Activity Membuat Tabel dalam Hive
Gambar-7 Diagram Activity Memuat Tabel dalam Hive Proses ini dilakukan dalam Hive, ketika data yang telah di-import harus dimasukan dalam tabel Hive maka sebelumnya tabel harus telah disiapkan untuk dapat dimasukan dalam tabel Hive. Dalam proses ini, Hive hanya perlu membuat tabel dan kolom dan type data saja.
Diagram Activity Import Data
Gambar-8 Diagram Activity Import Data
Proses ini dilakukan oleh tool SQOOP agar dapat mengkonversi dari tabel yang berada pada MySQL ke File berbentuk text File, proses konversi dilakukan dengan menggunakan Hadoop Mapreduce. Berikut tahapan proses konversi: 1. Sqoop akan mencoba melakukan koneksi pada Driver tergantung dari koneksi Driver yang digunakan oleh Hive pada databasenya.
2. Setelah koneksi berhasil, tabel yang di-import akan dibaca kolom, record dan tipe datanya. 3. Tipe data MySQL dengan Java berbeda, tetapi memiliki kesamaan. Disini merupakan proses konversi setiap kolom dijadikan kedalam class java berikut dengan tipe datanya. 4. Setiap class java akan diproses dengan Mapreduce dan hasilnya akan berbentuk .txt yang telah dikonversi dari class-class java. Diagram Activity Proses Analisis Data
Gambar-9 Diagram Activity Proses Analisis Data Proses ini dilakukan oleh Hive dimulai dari memasukan tabel, menyatukan, menggunakan script map dan reduce lalu disimpan pada Metastore. Berikut tahapan prosesnya: 1. Tabel yang telah dilakukan Import oleh Sqoop dimasukan pada tabel yang sebelumnya telah dibuat oleh Hive yaitu tabel ktp_a dan tabel ktp_b 2. Data yang telah dimasukan pada kedua tabel, tabel tersebut disatukan dengan mengambil kolom id dan kab dan keduanya disimpan menjadi satu pada tabel ktp_ab.
3. Dengan menggunakan Map dan Reduce script, tabel ktp_ab dilakukan perhitungan id. 4. Hasil analisis disimpan pada tabel analisa dengan kolom id dan value, kolom value menunjukan nilai yang dimiliki ktp pada penduduk.
IMPLEMENTASI DAN PENGUJIAN Implementasi Perangkat Keras Perangkat keras yang digunakan untuk sistem ini menggunakan spesifikasi yang sama terkecuali pada komputer master harusnya mempunyai spesifikasi yang lebih bagus dari komputer slave karena komputer master melakukan pekerjaan lebih berat tetapi pada sistem ini spesifikasi yang digunakan sama semua dan terhubung pada satu jaringan. 1. Processor dual core 2.5Ghz 2. RAM 1Gb 3. Hardisk 80Gb 4. Keyboard dan mouse 5. Switch Implementasi Perangkat Lunak Perangkat Lunak yang digunakan untuk membangun dan menjalankan sistem ini menggunakan Sistem Operasi Linux Ubuntu 10.10 (maverick meerkat), Apache Hadoop dan java jdk pada semua komputer, tetapi hanya pada komputer master akan dipasang server Database mysql dan apache Hive, sedangkan pada komputer slave hanya apache Hadoop saja. 1. Java Development Kit 1.6 2. Hadoop-0.20.2
3. Hive-0.7.1 4. Mysql-server dan Mysql-client 5. Sqoop
Implementasi framework Mapreduce Untuk pembuatan sistem ini perlu dijalankan dalam Sistem Operasi Linux Ubuntu, dalam pembuatan sistem ini versi Ubuntu yang digunakan adalah ubuntu 10.10
Maverick
Meerkat, lalu install semua aplikasi pendukung seperti: 1. Install sun java JDK 2. Install Hadoop secara Multinode cluster 3. Install MySQL Server dan MySQL Client 4. Install Hive secara pseudo distributed 5. Install Sqoop framework yang telah dibuat diuji pada tabel yang telah disimpan pada Hive dan dilakukan analisis dengan script Map dan Reduce. Pengujian dilakukan pada tabel ktp_ab yang telah terisi sebanyak 20 baris. Hasil pengujian bisa dilihat pada nilai value yang keluar dan waktu yang dihasilkan oleh pekerjaan Mapreduce. Pengujian Mapreduce Proses kerja Mapreduce pada tabel ktp_ab dapt dilihat dalam capture screen pada gambar-10. gambar tersebut menunjukan mapreduce sedang berjalan dan berhasil memproses, 20 baris telah terisi pada tabel analisa.
Gambar-10 Mapreduce Berjalan Tabel analisa yang telah terisi pada kolom id dan value menunjukan pengujian telah berhasil dilakukan dan sesuai dengan tujuan, hasil dapat dilihat pada gambar-11.
Gambar-11 Hasil Mapreduce pada Tabel Analisa
PENUTUP Penulis merasa bahwa aplikasi dan tulisan ini masih jauh dari sempurna, karena itu saran yang dapat diberikan penulis untuk pengembangan selanjutnya adalah, karena Framework ini masih merupakan prototype maka masih bisa dikembangkan lebih lanjut dalam algoritma analisanya. Selain itu masih banyak implementasi aplikasi yang berjalan diatas model pemrograman pemetaan dan reduksi ini antara lain untuk aplikasi data mining, statistika, machine learning, dan search engine.
DAFTAR PUSTAKA [1] Abdul Kadir, Yogyakarta 2003. [2] Fatansyah, Jakarta 2004. [3] Tom White. Hadoop The Definitive Guide Second Edition, O’Reilly Media, inc., United States of America 2011. [4] URL : http://bps.go.id 8 juli 2011. [5] URL : http://developers.facebook.com 10 juli 2011. [6] URL : http://intelligenenterprise.com 10 juli 2011. [7] URL : http://mahrus.wordpress.com 12 juli 2011. [8] URL : http://sbasisdata.blogsopt.com 12 juli 2011.
