1
PENDAHULUAN Latar Belakang Kemajuan teknologi komputer semakin memudahkan proses penyimpanan dan pengolahan data berukuran besar. Namun demikian, seringkali data yang sudah tersimpan belum dimanfaatkan secara maksimal menjadi suatu informasi dan pengetahuan yang penting di kemudian hari. Pemakaian sumber informasi yang terkandung dalam basis data sangat berperan dalam proses permintaan dan pelayanan query. Terkadang proses query tersebut melibatkan sumber informasi yang besar sehingga diperlukan peningkatan kinerja query untuk mempercepat akses informasi. Data warehouse dan On-Line Analytical Processing (OLAP) merupakan elemen penting dalam mendukung proses pengambilan keputusan. Badan Pusat Statistik (BPS) secara teratur melakukan pengumpulan data untuk memantau kondisi penduduk dan sosial ekonomi Indonesia, misalnya melalui Survei Potensi Desa (Podes). Podes merupakan data yang berhubungan dengan wilayah (tata ruang) dengan basis desa/kelurahan. Podes pertama kali dilakukan pada tahun 1980 bersamaan dengan Sensus Penduduk 1980. Data Podes terdiri dari 257 item untuk seluruh desa di Indonesia. Data podes memiliki volume yang besar sehingga perlu disimpan dalam sebuah repositori yang solid, yaitu data warehouse. Data warehouse dapat digunakan untuk menyimpan dan mengolah data multidimensi agar dapat mendukung keputusan yang lebih cepat dan lebih tepat. Tujuan
jumlah keluarga, dan jumlah rumah. Data diambil dari hasil sensus potensi desa yang dilakukan BPS tahun 1996, 1999, 2003, dan 2006. Manfaat Manfaat penelitian ini adalah tersedianya data dan informasi mengenai potensi desa yang dapat diakses secara cepat dan akurat. Dengan demikian, diharapkan data dan informasi tersebut dapat digunakan oleh pihak-pihak terkait (BPS dan Pemerintah) dalam mendukung proses pengambilan keputusan.
TINJAUAN PUSTAKA Potensi Desa (Podes) Potensi desa (podes) adalah kemampuan atau daya/kekuatan yang memiliki kemungkinan untuk dikembangkan dalam wilayah otonomi desa. Data potensi desa merupakan data yang berurusan dengan wilayah/tata ruang dengan basis desa/ kelurahan. Sensus podes dilakukan setiap tiga tahun. Tujuan diadakannya PODES antara lain (www.bps.go.id/podes2006): • Tersedianya data yang potensi/keadaan pembangunan di desa/ dan perkembangannya meliputi keadaan sosial, ekonomi, sarana dan prasarana, serta potensi yang ada di desa/kelurahan. • Menyediakan data untuk berbagai keperluan khususnya yang berkaitan dengan kebutuhan perencanaan regional (spasial) di setiap daerah. penyusunan kerangka • Melengkapi sampling (sampling frame) untuk kegiatan statistik lebih lanjut.
Penelitian ini bertujuan untuk merancang dan membangun suatu model basis data multidimensi untuk data potensi desa wilayah Bogor. Model data tersebut akan diimplementasikan dalam pembuatan kubus data dan OLAP (On Line Analitical Processing) pada data warehouse potensi desa.
• Menyediakan informasi bagi keperluan penentuan klasifikasi/updating desa urban dan rural, desa tertinggal dan tidak tertinggal.
Ruang Lingkup
Data Warehouse Secara umum, data warehouse merujuk pada tempat penyimpanan data yang dikelola secara terpisah dari basis data-basis data operasional yang dimiliki sebuah
Penelitian ini akan dibatasi pada pembuatan data warehouse potensi desa wilayah Bogor dengan subjek utama luas lahan, jumlah penduduk, jumlah sekolah,
• Menyediakan data pokok bagi penyusunan statistik wilayah kecil (small area statistics).
2
instansi. Data warehouse seringkali dibangun dari berbagai basis data yang diintegrasikan dengan berbagai sistem aplikasi untuk mendukung proses pengambilan keputusan dan analisis data dengan menyediakan platform yang solid untuk data historikal dan gabungan (consolidated). Definisi dari data warehouse telah dinyatakan oleh Bill Inmon pada tahun 1980an, yaitu koleksi data yang bersifat subject-oriented, integrated, time variant, dan non-volatile, yang digunakan dalam pembuatan keputusan strategis (Imhoff et. al. 2003). Istilah data warehousing merujuk ke proses konstruksi dan pengunaan data warehouse (Tam 1998). Konstruksi data warehouse memerlukan tahapan data integration, data cleaning, dan data consolidation. Hal ini dikarenakan basis data diintegrasikan dari sumber data yang heterogen. Sumber-sumber data tersebut mungkin mengandung data dengan kualitas yang beragam atau memiliki representasi format data yang tidak konsisten. Model Data Multidimensi Model data multidimensi adalah model data yang digunakan pada data warehouse. Model data multidimensi terdiri dari dua data, yaitu (Mallach 2000): • Data dimensi (dimension data) Data dimensi adalah entitas yang ingin disimpan oleh perusahaan (organisasi). Data dimensi akan berubah jika analisis kebutuhan pengguna berubah. Data dimensi mendefinisikan label yang membentuk isi laporan. Setiap dimensi diulang untuk setiap kelompok. Atribut data dimensi diletakkan pada tabel dimensi. Tabel dimensi berukuran lebih kecil daripada tabel fakta, berisi data bukan numerik yang berasosiasi dengan atribut dimensi. • Data fakta (fact data) Data fakta adalah data utama dari data multidimensi yang merupakan kuantitas yang ingin diketahui dengan menganalisis hubungan antardimensi. Data fakta diekstrak dari berbagai sumber. Data fakta cenderung stabil dan tidak berubah seiring waktu. Atribut data fakta diletakkan pada tabel fakta. Tabel fakta berukuran besar, memiliki jumlah baris sesuai dengan jumlah kombinasi
nilai dimensi yang mungkin dan jumlah kolom sesuai dengan jumlah dimensi yang direpresentasikan. Tabel fakta berisi nama-nama fakta, ukuran, dan foreign key dari tabel dimensi yang berhubungan. Model data multidimensi menampilkan data dalam bentuk kubus data. Kubus data memungkinkan data dimodelkan dan ditampilkan dalam banyak dimensi. Kubus data disebut juga cuboid. Pola-pola cuboid dapat dibuat apabila diberikan satu kumpulan dimensi. Masing-masing pola menampilkan data pada tingkat kesimpulan yang berbeda-beda (Han & Kamber 2006). Untuk menggambarkan hubungan antardata pada data multidimensi digunakan skema multidimensi. Skema adalah sekumpulan objek dalam basis data. Pada data warehouse, skema merupakan sekumpulan tabel yang berhubungan. Skema digunakan untuk menunjukkan hubungan antara tabel dimensi dengan tabel fakta. Skema ditentukan berdasarkan kebutuhan data warehouse dan keinginan pembuat data warehouse. Data warehouse membutuhkan skema yang ringkas dan berorientasi subjek. Tipe-tipe skema multidimensi antara lain (Han & Kamber 2006): • Skema bintang (star schema) Skema bintang adalah skema data warehouse yang paling sederhana. Skema ini disebut skema bintang karena hubungan antara tabel dimensi dan tabel fakta menyerupai bintang dimana satu tabel fakta dihubungkan dengan beberapa tabel dimensi. Titik tengah skema bintang adalah satu tabel fakta besar dan sudut-sudutnya adalah tabeltabel dimensi. Bentuk skema bintang dapat dilihat pada Gambar 1. Keuntungan yang didapat jika menggunakan skema ini adalah peningkatan kinerja data warehouse, pemrosesan query yang lebih efisien, dan waktu respon yang cepat.
Gambar 1 Skema bintang (Elmasri & Navathe 2000)
3
Skema snowflake adalah variasi dari skema bintang dimana beberapa tabel dimensi dinormalisasi, jadi dihasilkan beberapa tabel tambahan. Bentuk skema snowflake dapat dilihat pada Gambar 2. Keuntungan yang didapat dengan menggunakan skema ini adalah penghematan memori, tapi waktu yang dibutuhkan untuk pemrosesan query menjadi lebih lama.
Gambar 2 Skema snowflake (Elmasri & Navathe 2000) • Skema galaksi (fact constellation) Pada skema galaksi, beberapa tabel fakta berbagi tabel dimensi. Bentuk skema galaksi dapat dilihat pada Gambar 3. Keuntungan menggunakan skema ini adalah menghemat memori dan mengurangi kesalahan yang mungkin terjadi.
untuk setiap tabel-tabel dimensi berelasi berada dalam tabel fakta.
yang
Motivasi utama untuk menentukan data multidimensi adalah pentingnya membuat agregasi data dalam berbagai cara. Measure pada kubus data adalah fungsi numerik yang dievaluasi pada tiap titik di dalam ruang kubus data (Han & Kamber 2006). Dalam contoh penjualan, kita dapat menemukan pendapatan penjualan total untuk tahun tertentu dan untuk produk tertentu, atau mungkin ingin dilihat pendapatan penjualan tahunan untuk setiap lokasi untuk semua produk. Perhitungan agregasi total melibatkan penetapan nilai tertentu untuk beberapa atribut yang digunakan sebagai dimensi dan menjumlahkan semua nilai yang mungkin untuk atribut-atribut yang membentuk dimensi-dimensi sisanya. Tabel 1 menunjukkan total yang dihasilkan dari semua lokasi untuk waktu tertentu dan Tabel 2 menunjukkan marginal total dari Tabel 1. Tabel 1 Total hasil penjumlahan semua lokasi untuk waktu dan produk tertentu Tahun Jan 1, Jan 2, .. Dec 2004 2004 31, 2004 1 1,001 987 .. 891 .. … … … … Product ID
• Skema snowflake (snowflake schema)
27 …
10,265 …
10,225 …
..
9,325 …
Tabel 2 Marginal total dari Tabel 1.
Kubus Data: Komputasi Kuantitas Agregat Kubus data didefinisikan oleh dimensi dan fakta. Dimensi berisi perspektif atau entitas-entitas dimana organisasi menyimpan record data, sedangkan fakta mengandung ukuran-ukuran data dan relasi antardimensi akan dianalisis. Setiap dimensi dapat memiliki sebuah tabel dimensi yang menjelaskan lebih jauh dimensi-dimensi, sedangkan informasi tentang fakta seperti nama-nama fakta, ukuran-ukuran serta kunci
Product ID
1
Gambar 3 Skema galaksi (Elmasri & Navathe 2000)
… 27 … Total
Jan 1, 2004 1, 001 …
Jan 2, 2004 987
..
..
Dec 31, 2004 891
…
..
…
10, 265 … 527, 362
10, 225 … 532,. 953
.. ..
9, 325 … 631, 221
Total
370, 000 … 3,800, 020 … 227, 352, 127
Jika terdapat 365 hari dalam satu tahun dan 1000 produk, maka Tabel 1 memiliki entri sebanyak 365,000 (nilai total), untuk setiap pasangan data produk. Dapat juga ditentukan lokasi toko dan tanggal serta menjumlahkan nilai pada semua produk atau
4
menentukan lokasi dan produk serta menjumlahkan nilai pada seluruh tanggal. Tabel 2 menunjukkan marginal total dari Tabel 1. Nilai-nilai total ini dihasilkan dari penjumlahan pada tanggal dan produk. Dalam Tabel 3, pendapatan penjualan total untuk produk 1, yang diperoleh dengan menjumlahkan seluruh nilai pada baris 1 (seluruh tanggal), adalah 370,000. Pendapatan penjualan total pada 1 Januari 2004, yang diperoleh dengan menjumlahkan seluruh nilai pada kolom 1 (seluruh produk), adalah 527,362. Pendapatan penjualan total, yang diperoleh dengan menjumlahkan semua baris dan semua kolom (semua tanggal dan produk) adalah 227, 352, 127. Hal yang penting dalam contoh ini adalah bahwa terdapat sejumlah total (agregat) yang berbeda yang dapat dihitung untuk sebuah array multidimensi, tergantung kepada berapa banyak atribut yang kita jumlahkan. Diasumsikan bahwa terdapat n dimensi dan bahwa dimensi (atribut) ke-i memiliki si nilai yang mungkin. Terdapat n cara yang berbeda untuk menjumlahkan hanya pada sebuah atribut. Jika kita menjumlahkan pada dimensi j, maka diperoleh s1*...* sj-1*sj+1*...* sn total, masing-masing untuk setiap kombinasi nilai atribut yang mungkin dari n−1 atribut (dimensi) lainnya. Total yang dihasilkan dari penjumlahan satu atribut dari array multidimensi dengan n−1 dimensi dan terdapat n array dari total. Dalam contoh penjualan, terdapat tiga himpunan total yang dihasilkan dari pejumlahan hanya pada satu atribut dan masing-masing total dapat ditampilkan sebagai tabel dua dimensi. Jika kita menjumlahkan nilai atribut pada dua dimensi (mungkin dimulai dengan salah satu dari array total yang diperoleh dengan penjumlahan pada satu dimensi), maka kita akan memperoleh sebuah array multidimensi total dengan n−2 dimensi. Terdapat ⎛⎜ n ⎞⎟ array yang berbeda untuk ⎜2⎟ ⎝ ⎠
total. Untuk contoh penjualan, terdapat ⎛3⎞ array total yang dihasilkan dari ⎜ ⎟=3 ⎜2⎟ ⎝ ⎠
penjumlahan pada lokasi dan produk, lokasi dan waktu, atau produk dan waktu. Secara umum, penjumlahan pada k dimensi menghasilkan ⎛⎜ n ⎞⎟ array total, masing⎜k⎟ ⎝ ⎠
masing dengan n−k dimensi.
Representasi data multidimensi, bersama dengan semua total (agregat) yang mungkin, dikenal sebagai kubus data. Selain nama, ukuran dari setiap dimensi, yaitu banyaknya nilai atribut, tidak harus sama. Di samping itu, sebuah kubus data dapat memiliki dimensi kurang atau lebih dari tiga. Online Analytical Processing ( OLAP) Sistem data warehouse digunakan untuk analisis data dan pembuatan keputusan. Sistem ini dikenal sebagai on-line analytical processing (OLAP) system. Sistem OLAP dapat mengorganisasikan dan mempresentasikan data dalam beragam format agar dapat mengakomodasi kebutuhan pengguna yang beragam. Online Analytical Processing (OLAP) adalah proses komputer yang memungkinkan pengguna dapat dengan mudah dan selektif memilih dan melihat data dari sudut pandang yang berbeda (Han & Kamber 2006). Data pada OLAP disimpan dalam basis data multidimensi. Jika basis data relasional terdiri atas dua dimensi, maka basis data multidimensi terdiri atas banyak dimensi yang dapat dipisahkan oleh OLAP menjadi beberapa sub atribut. OLAP dapat digunakan untuk menemukan hubungan antara suatu item yang belum ditemukan. Berdasarkan struktur basis datanya, OLAP dibedakan menjadi tiga kategori utama (Han & Kamber 2006): 1 Multidimensional Online Analytical Processing (MOLAP) adalah OLAP yang secara langsung mengarah pada basis data multidimensi. MOLAP memproses data yang telah disimpan dalam array multidimensional dimana semua kombinasi data yang mungkin dicerminkan, masing-masing di dalam suatu sel yang dapat diakses secara langsung. 2 Relational Online Analytical Processing (ROLAP) adalah OLAP yang melakukan analisis data secara dinamis yang disimpan dalam basis data relasional bukan pada basis data multidimensi. ROLAP merupakan bentuk teknologi dari OLAP yang paling berkembang. 3 Hybrid Online Analytical Processing (HOLAP) merupakan kombinasi antara ROLAP dengan MOLAP. HOLAP dikembangkan untuk mengkombinasikan
5
antara kapasitas data pada ROLAP yang besar dengan kemampuan proses pada MOLAP. Data Praproses Data praproses adalah proses yang harus dilakukan sebelum membuat data warehouse. Proses-proses tersebut adalah (Han & Kamber 2006): 1 Ekstraksi (extraction) Ekstraksi adalah pengambilan data yang relevan dari basis data operasional sebelum masuk ke data warehouse. Pada ekstraksi, atribut-atribut dan recordrecord yang diinginkan dipilih dan diambil dari basis data operasional. Hal ini perlu dilakukan karena tidak semua elemen data berguna dalam pembuatan keputusan. 2 Pembersihan (cleaning)
Arsitektur Data Warehouse Salah satu arsitektur data warehouse adalah arsitektur tiga tingkat seperti pada Gambar 4 (Han & Kamber 2006), yaitu: 1 Tingkat paling bawah merupakan server basis data warehouse yang seringkali berupa sistem basis data relasional. Pada awal proses data diekstrak dan ditransformasi agar siap dimasukkan ke data warehouse. Setelah data siap, maka dilakukan perancangan data warehousenya. 2 Tingkat tengah adalah server OLAP yang diimplementasikan menggunakan sebuah OLAP multidimensi (MOLAP) atau OLAP relasional (ROLAP). 3 Tingkat paling atas adalah tingkat pengguna. Pada tingkat ini dibuat suatu analysis tools, reporting tools, atau data mining tools.
Pada pembersihan semua kesalahan dihilangkan dan diperbaiki. Pembersihan dilakukan untuk menghilangkan kesalahan (error). Kesalahan yang umum terjadi adalah nilai yang hilang (missing values), noise, dan data yang tidak konsisten. Pembersihan dilakukan dengan mengisi nilai yang kosong dan menghilangkan noise. 3 Transformasi (transformation) Pada transformasi, data dari semua sumber diberikan format dan nama yang umum. Proses transformasi dilakukan agar data tetap konsisten. Transformasi yang paling penting adalah transformasi nama agar tidak ada nama atribut yang sama atau atribut yang sama memiliki nama yang berbeda pada basis data yang berbeda. Setelah transformasi nama, semua elemen data harus dikonversikan ke format yang umum. 4 Pemuatan (loading) Setelah tahap ekstraksi dan transformasi dilakukan, maka data sudah siap untuk dimasukkan ke data warehouse. Pada tahap ini juga dilakukan pengurutan dan pengecekan integritas. 5 Refresh Tahapan ini dilakukan jika ada data baru yang masuk.
Gambar 4 Arsitektur tiga tingkat data warehouse (Han & Kamber 2006). Operasi-Operasi Pada Data Multidimensi Operasi-operasi pada data multidimensi meliputi (Han & Kamber 2006): •
Slicing dan Dicing
Slicing adalah pemilihan sekelompok sel dari seluruh array multidimensi dengan menentukan nilai tertentu untuk satu atau lebih dimensi. Dicing merupakan pemilihan sebuah subset dari sel dengan menentukan range nilai atribut. Hal ini ekuivalen dengan mendefinisikan sebuah subarray dari array yang lengkap. Dalam praktis, kedua operasi
6
ini dapat disertai oleh agregasi pada beberapa dimensi. • Roll up dan Drill down Nilai atribut seperti tanggal memiliki nilai yang menyatakan tahun, bulan dan minggu. Sebuah lokasi juga dapat memiliki beberapa ciri seperti country (negara), state (propinsi) dan kabupaten. Product dapat dibagi ke dalam berbagai kategori seperti elektronik dan furniture. Seringkali kategori ini dapat diorganisasikan sebagai pohon hirarki atau lattice. Sebagai contoh, tahun berisi bulan dan minggu, keduanya berisi hari. Lokasi dapat dibagi ke dalam negara, yang terdiri dari propinsi, dan propinsi terdiri dari kabupaten. Contoh lain adalah kategori produk, furniture, dapat dibagi ke dalam sub kategori kursi, meja, sofa dan lain-lain. Struktur hirarki memunculkan operasi roll-up dan drill-down. Sebagai ilustrasi, pada data penjualan, yang merupakan data multidimensi dengan entri-entri untuk setiap tanggal, kita dapat menentukan agregat (roll-up) penjualan untuk semua tanggal dalam satu bulan. Sebaliknya, diberikan representasi data dimana dimensi waktu dipecah ke dalam bulan, kita ingin memisahkan total penjualan bulanan (drill down) ke dalam total penjualan harian. Dengan demikian operasi roll-up dan drill-down berkaitan dengan agregasi. Akan tetapi kedua ini berbeda dengan operasi agregasi yang telah dibahas, bahwa operasi roll-up dan drill-down mengagregasi sel dalam sebuah dimensi, bukan pada seluruh dimensi. • Pivot Agregasi yang dijelaskan sebelumnya dapat dipandang sebagai bentuk reduksi dimensionalitas. Secara khusus, dimensi ke-j dieliminasi dengan penjumlahan pada dimensi tersebut. Secara konseptual, hal ini meringkas setiap kolom dari sel dalam dimensi ke-j ke dalam sebuah sel. Jika sj adalah banyaknya nilai yang mungkin dari dimensi ke-j, banyaknya sel direduksi oleh faktor dari sj. Pivoting merujuk kepada agregasi pada semua dimensi. Hasilnya adalah tabulasi silang dua dimensi dengan dua dimensi yang ditentukan sebagai dimensi-dimensi sisanya. Gambar 5 menunjukkan ilustrasi untuk operasi-operasi pada data multidimensi.
Gambar 5 Ilustrasi untuk operasi-operasi pada data multidimensi. Oracle Data Warehouse Oracle data warehouse adalah proses pembangunan data warehouse menggunakan tools yang terdapat dalam oracle sehingga data dapat dengan mudah dikelola, diakses, dan dianalisis. Dengan manajemen antarmuka tunggal, Oracle Database 10g melakukan pemeliharaan sederhana terhadap pengembangan data warehouse (Oracle 2006).
METODE PENELITIAN Penelitian ini akan dilakukan dalam beberapa tahap yaitu tahap analisis aliran data, perancangan, dan pembuatan data warehouse, dan pengembangan OLAP. Tahap-tahap tersebut dijelaskan sebagai berikut : Analisis Data Sensus potensi desa (podes) dilakukan setiap tiga tahun. Data yang akan digunakan dalam pembuatan data warehouse potensi desa di wilayah Bogor adalah data potensi desa hasil sensus BPS pada tahun 1996, 1999, 2003, 2006. Untuk data Potensi Desa akan dilakukan praproses data meliputi
