SISTEM PENGELOLAAN DATABASE METEOROLOGI KLIMATOLOGI DAN GEOFISIKA MegaSoft
Pusat Database
Pengarah : Drs. Untung Merdijanto, MSi. Penanggungjawab : Drs. Yunus S. Swarinoto, MSi. Penyusun Tim Urip Haryoko, MSi. Dra. Sri Puji Rahayu, MSi. Iqbal, MTI Husin Sanusi, ST Hanapi, ST Dwi Yuwono, ST Tri Nurmayati, SSi Layout supported by :
Cetakan kedua, Juli 2013 i
Daftar isi KATA PENGANTAR LATAR BELAKANG STATUS PENGELOLAAN DATABASE MKG ............................................................... 1 RANCANGAN SISTEM PENGELOLAAN DATABASE MKG ................................... 3 KONSEP INTEGRASI DATABASE ............................................................................................. 3 RANCANGAN INFRASTRUKTUR .............................................................................................. 5 RANCANGAN SISTEM APLIKASI .............................................................................................. 6 SISTEM PENGELOLAAN DATABASE MKG ................................................................ 7 MEGASOFT ................................................................................................................................ 7 MEGAENTRY ............................................................................................................................. 7 MEGAVIEW ............................................................................................................................. 10
ii
Kata Pengantar
Undang Undang No 31 tahun 2009 dan Peraturan Pemerintah No. 46 tahun 2012 mengamanatkan agar Badan Meteorologi Klimatologi dan Geofisika (BMKG) melakukan pengelolaan data Meteorologi Klimatologi dan Geofisika (MKG). Seiring dengan bertambahnya data yang dihasilkan dari pengamatan dan perkembangan teknologi informasi serta mengacu pada program Organisasi Meteorologi Dunia (WMO), maka perlu dilakukan pengelolaan data secara modern yaitu “Modern Database Management System (MDBMS)”. Database MKG dihasilkan dari pengamatan manual dan otomatis, serta mempunyai format yang beragam. Kondisi ini mengharuskan BMKG mempunyai sistem pengelolaan database yang terintegrasi agar dapat menyediakan data yang valid, cepat dan mudah diakses. Pusat Database saat ini sedang membangun sistem pengelolaan database MKG dengan konsep single data entry yang diberi nama “MegaSoft”. MegaSoft terdiri dari dua modul yaitu MegaEntry dan MegaView. MegaEntry digunakan untuk entry data di Stasiun, sedangkan MegaView untuk pengumpulan data, kendali mutu, export-‐import, displai data, monitoring data dan beberapa fungsi lainnya. Selama tahun 2013 MegaSoft diuji coba guna mendapatkan feedback dan perbaikan sistem, dan pada Januari 2014 MegaSoft akan dioperasionalkan secara nasional. Diharapkan semua UPT dan stakeholder database dapat segera melaksanakan uji coba dan operasionalisasi. Selama uji coba tentu saja akan ditemui kendala atau kekurangan sistem. Untuk itu kepada semua pihak diharapkan dapat memberikan kritik dan saran yang membangun. Buku ini dibuat dengan tujuan agar semua pihak dapat memperoleh informasi yang komprehensif tentang sistem pengelolaan database MKG MegaSoft. Akhir kata kami ucapkan terimakasih kepada semua pihak yang telah berkontribusi dalam pembuatan buku ini. Semoga buku ini dapat memberikan manfaat kepada kita semua. DEPUTI BIDANG INSTRUMENTASI KALIBRASI REKAYASA DAN JARINGAN KOMUNIKASI Drs. UNTUNG MERDIJANTO, MSi. NIP. 19590519 198203 1 002
iii
Latar Belakang
P
usat Database merupakan unit kerja baru dalam struktur organisasi Badan Meteorologi Klimatologi dan Geofisika (BMKG). Salah satu tugas Pusat Database adalah melakukan pembinaan operasional sistem basis data meteorologi, klimatologi, kualitas udara dan geofisika. Tahun 2010 telah melakukan kegiatan desain database sebagai dasar pembangunan database meteorologi, klimatologi, kualitas udara dan geofisika (MKKuG). Sebagai tindaklanjut dari kegiatan tersebut adalah implementasi pembangunan sistem pengelolaan database MKG. Pengelolaan database MKKuG selama ini masih dilakukan secara parsial atau tidak terintegrasi, baik dari sistem database yang digunakan maupun media penyimpanannya, sehingga untuk mendapatkan database yang lengkap dari berbagai sumber sulit dilakukan. Hasil evaluasi beberapa data menunjukkan adanya data yang belum dicek kualitasnya (belum melalui quality control) dan belum tersedia metadatanya. Dengan kondisi data seperti yang disebutkan di atas, maka pelayanan data dan informasi baik untuk keperluan internal maupun eksternal tidak optimal dan memerlukan waktu untuk mempersiapkan data dimaksud. Beragam format data digital dan software database yang ada di masing-‐masing UPT dan BMKG Pusat sangat menyulitkan dalam mengintegrasikan data. Disamping itu database tersimpan secara parsial, tidak tersimpan dalam satu storage server. Untuk itu diperlukan sistem pengelolaan database yang terintegrasi dari setiap UPT ke satu pusat database. Sistem pengelolaan database yang dimaksud adalah MegaSoft.
iv
Sasaran Pusat Database “Melayani kebutuhan data bagi seluruh stakeholder internal dan eksternal BMKG”
v
STATUS PENGELOLAAN DATABASE MKG
S
ampai dengan akhir tahun 2010, pengelolaan database masih mengikuti paradigma lama yaitu database dilaporkan dalam bentuk laporan atau form, seperti form Me-‐48, Me-‐45, Fklim, Form-‐a, Form-‐b, pias gempa, dan lain-‐lain. Hanya beberapa jenis database MKG yang telah terkirim dan tersimpan dalam bentuk digital, seperti data gempa, petir, AWS, ARG, SMS Hujan, Satelit, Radar dan data yang terkirim melalui CMSS. Penyimpanan data masih terpisah-‐pisah dalam beberapa data server, dengan format dan sistem database yang berbeda-‐beda, sehingga data tersebut sulit untuk diintegrasikan ke dalam sebuah sistem yang paripurna. Data AWS dan ARG disimpan dalam beberapa server dengan format yang berbeda misalnya per 1 menit, 2 menit, 5 menit dan 10 menit. Pusat Database merekomendasikan agar data AWS dan ARG disimpan dalam format yang sama yaitu per 10-‐menit dengan kolom data yang sama, satuan yang sama dan algoritma yang sama. Contoh lain adalah dalam digitalisasi data synop, iklim harian (Fklim), hujan harian Pos Kerjasama dan sebagainya, umumnya Stasiun masih membuat dalam bentuk laporan. Pengelolaan database modern mengharuskan agar data mudah diintegrasikan dan dapat diolah dengan mudah. Pada awal tahun 2011, melalui kegiatan Rekonsiliasi Data MKG, telah berhasil dikumpulkan katalog data baik dokumen maupun digital. Dari katalog ini dapat dipetakan ketersediaan data dan format yang digunakan. Sejak saat ini telah dikenalkan format baku dalam melakukan digitalisasi data yaitu menggunakan software MicroSoft Excel. Pada tahun 2012 sampai 2013 telah banyak terkumpul data digital dengan format yang standar. Proses selanjutnya adalah validasi data. Data dengan format baku ini nantinya akan di-‐ingest ke dalam sistem pengelolaan database MegaSoft sebagai “Historical Data” dan disambungkan dengan data yang baru.
1
Diagram di bawah menggambarkan alur pengiriman, pengumpulan dan penyimpanan data saat ini.
Kelemahan sistem pengelolaan data seperti di atas adalah : • Data tidak terintegrasi • Format tidak standar • Data tidak tervalidasi • Akses data lambat
PP No. 46 Tahun 2012 Pasal 25 Ayat 2 : Pengelolaan Data meliputi: Pengumpulan Pengolahan Analisis Penyimpanan dan Pengaksesan
2
RANCANGAN SISTEM PENGELOLAAN DATABASE MKG
Ada tiga komponen penting yang harus menjadi perhatian BMKG khususnya Pusat Database dalam mencermati pembangunan database BMKG. Pertama, penetapan tugas pokok dan fungsi, tujuan, strategi dan sasaran yang akan menjadi arah kebijakan (direction) bagi Pusat Database dalam memposisikan diri di masa yang akan datang. Penentuan direction ini menjadi dasar bagi tim di lingkungan Pusat Database dalam memikirkan program-‐ program yang akan mendukung terwujudnya cita-‐cita Pusat Database. Kedua, setelah ditetapkan adanya arah kebijakan yang jelas, komponen penting yang harus dipersiapkan adalah tersedianya sistem yang menunjang, struktur organisasi yang mendukung terlaksananya program yang telah didefinisikan, dan infrastruktrur Teknologi Informasi dan Komunikasi (TIK) sebagai pemampu (enabler) untuk menunjang proses bisnis yang lebih efektif dan efisien. Sistem berkenaan dengan proses bisnis dari setiap transaksi yang terjadi sejak dilakukan pengamatan data di stasiun sampai manajemen penyimpanan dan pengambilan kembali data di Pusat Database. Struktur organisasi terlihat dari pembagian peran manajemen (management), pengembangan (development), dan pemeliharaan (maintenance). Sedangkan infrastruktur TIK terdiri dari perangkat keras (hardware), perangkat lunak (software), dan perangkat intelektual (brainware). Ketiga, semua yang tercantum dalam komponen kedua harus dijalankan oleh sumber daya manusia yang kompeten dan memiliki dedikasi yang tinggi terhadap kemajuan dan perkembangan organisasi.
Konsep Integrasi Database
Menyadari pentingnya integrasi database MKG, maka dirancang sebuah Desain Sistem Database BMKG yang akan mengintegrasikan semua data MKG dari berbagai sumber. Diagram di bawah menggambarkan alur pengiriman, pengumpulan dan penyimpanan data yang dibangun, agar semua data dapat terintegrasi secara menyeluruh.
3
Keuntungan sistem pengelolaan data seperti di atas adalah : • Data terintegrasi • Format standar • Data tervalaidasi • Akses data cepat
PP No. 46 Tahun 2012 Pasal 32 Ayat 1 : Hasil Pengolahan Data yang dilakukan oleh stasiun pengamatan milik instansi pemerintah, pemerintah daerah, badan hukum, dan/atau masyarakat yang masuk dalam sistem jaringan, wajib disampaikan kepada Pusat Data M eteorologi, Klimatologi dan Geofisika melalui sarana komunikasi yang dimiliki.
4
Rancangan Infrastruktur Infrastruktur utama sistem pengelolaan database MKG adalah perangkat keras Data Center (server cluster, storage, workstation), PC client di seluruh UPT, sistem monitoring di Balai Besar Wilayah dan jaringan komunikasi.
Keterangan : 1. PC client diinstalasi di seluruh UPT dan digunakan untuk entry data setiap jam. 2. PC client di 5 (lima) Balai Besar Wilayah digunakan untuk monitoring data dan pengecekan kualitas data. 3. Perangkat keras di Pusat Data Nasional (Data Center) yang diinstalasi di Kantor BMKG Pusat, terdiri dari server cluster, storage (sampai dengan tahun 2013 ditargetkan berkapasitas 150 TB) dan workstation di Ruang Operasional Database Pusat. 4. Perangkat Indonesia Climate Assessment and Dataset (ICAD), sebuah web portal untuk aplikasi informasi iklim terdiri dari nilai indeks iklim ekstrim dan trend wilayah Indonesia. 5. Perangkat keras sistem informasi iklim (CLISYS), yang merupakan bagian dari perangkat proyek Strengthening. 6. Bagian dari sistem akses data berfungsi sebagai penyedia data untuk aplikasi ICAD dan CLISYS.
5
Rancangan Sistem Aplikasi
Diagram desain sistem pengelolaan database MKG Desain sistem pengelolaan database MKG mengacu pada diagram di atas. Sistem aplikasi terdiri dari beberapa modul utama yaitu : 1. Modul pengumpulan data (manual entry dan automatic download dari AWS, ARG, AAWS, Radar, Satelit, CMSS; serta ingest data historis) 2. Modul quality control (interval consistency, validity, temporal consistency dan spatial consistency) 3. Modul Pengelolaan metadata stasiun 4. Modul laporan dan ekspor data 5. Modul otorisasi user Pengelolaan data dilakukan mulai di UPT dengan meng-‐entry data sesaat melakukan pengamatan. Data akan tersimpan di harddisk lokal (UPT) dan di kirim ke Pusat Database. Disamping itu data historis dari berbagai sumber dengan berbagai format dapat dimasukkan ke dalam sistem pengelolaan database; sehingga akan diperoleh data yang panjang dan kontinyu.
6
SISTEM PENGELOLAAN DATABASE MKG “MegaSoft” MegaSoft MegaSoft adalah suatu aplikasi berbasis web untuk mengelola database MKG secara online dan terpusat. MegaSoft memiliki 2 application interface, yaitu MegaEntry dan MegaView. Pembangunan dan operasionalisasi MegaSoft ditargetkan tercapai dalam jangka waktu 5 tahun. Tahapan penyelesaiannya adalah sebagai berikut : 1. Tahun 2010 : perancangan sistem 2. Tahun 2011 : pembangunan sistem tahap 1 3. Tahun 2012 : pembangunan sistem tahap 2 4. Tahun 2013 : instalasi PC Client dan uji coba sistem 5. Tahun 2014 : operasionalisasi sistem
MegaEntry
MegaEntry adalah suatu aplikasi entri data berbasis web yang terhubung dengan MegaView. Aplikasi ini diinstal di setiap UPT pada PC Client Database. Komunikasi yang menghubungkan antara MegaEntry dan MegaView di Pusat adalah komunikasi intranet BMKG (VSAT) dan internet.
7
Aplikasi MegaEntry menyediakan 4 modul yaitu : • Modul entry data current (saat ini sampai ke depan) • Modul entry data historis • Modul manajemen user dan • Modul monitoring Modul entry data saat ini (entry-‐current) menyediakan form Agm-‐1a, Agm-‐1b, Form-‐a (intensitas hujan), hujan harian pos kerjasama, Me-‐48 dan penguapan. Pada setiap form dilengkapi dengan quality control yaitu dengan memberikan batas minimum dan maksimum pada setiap parameter isian. Jika terdapat data yang melampui batas tersebut, maka data ditolak. Data yang telah melewati range yang telah ditentukan akan memberikan pesan kesalahan. Operator harus membetulkan data tersebut sebelum data disimpan. Konfigurasi range tiap elemen dapat disesuikan dengan kondisi lokal di masing-‐masing stasiun. Contoh pesan kesalahan seperti gambar dibawah ini.
8
Setiap user yang login akan diberikan role. Role menentukan fitur apa saja yang bisa dilakukan oleh user. Role dikelompokkan menjadi tiga, yaitu Administrator, Operator dan Guests.
Administrator adalah user yang memiliki fasilitas paling lengkap, misalnya membuat user, membuat role dan meng-‐entry data. Operator adalah user yang memiliki fasilitas meng-‐entry data. Guest adalah default user sistem MegaEntry. User ini pasti ada ketika sistem MegaEntry di deploy. Sesaat setelah data di-‐commit, data akan terkirim ke server di Pusat Database (BMKG Pusat). Antrian data yang belum terkirim dapat dimonitor lewat comm status.
9
MegaView MegaView adalah aplikasi berbasis web untuk mengelola data yang telah masuk ke dalam sistem database. MegaView tidak hanya mengelola data yang dientry dari UPT, namun juga data yang terkirim secara otomatis dari berbagai sumber data seperti gempa, AWS, ARG, Satelit, Radar, data dari CMSS dan data yang di-‐ ingest ke dalam sistem. Secara garis besar MegaView menyediakan modul Station Profile, Metadata, Pengaturan quality control, Data Gempa, Import Data, Export Data, Monitoring, Report dan Administasi user. Monitoring pengiriman data dari stasiun dapat dilihat seperti gambar di bawah ini. Stasiun yang telah mengirim data dan telah diterima server di Pusat Database ditandai (√), stasiun yang belum mengirim data ditandai (x).
10
Quality control data sangat diperlukan untuk menjaga validitas dan konsistensi data. MegaSoft melakukan quality control di sistem MegaEnty dan MegaView. MegaEntry di stasiun melakukan range cek yang disesuaikan dengan kondisi lokal di stasiun. MegaView melakukan 4 jenis quality control, yaitu range check, step check, spatial check dan consistency check. Range checks adalah modul untuk memvalidasi apakah data yang dikirim tidak melebihi atau kurang dari range yang telah ditentukan. Setiap stasiun dapat memiliki nilai batas yang berbeda. Step check adalah modul untuk membandingkan data saat ini dengan data sebelumnya. Spatial check adalah modul untuk membandingkan data dengan stasiun yang terdekat. Consistency check adalah prosedur quality control untuk menguji apakah dua parameter mempunyai konsistensi. Hasil dari keempat metode validasi di atas akan ditampilkan dengan data flag yang diberikan ke masing-‐masing data yang telah melalui uji dari keempat test tersebut di atas.
User management diaplikasikan dalam pengelolaan data. Setiap user dari stasiun hanya memiliki akses untuk mengelola data dari stasiun mereka sendiri, akan tetapi tidak menutup kemungkinan untuk mendapatkan akses untuk men-‐ download data dari stasiun lain asalkan ada otoritas yang harus diatur oleh administrator sistem dari Pusat Database.
11
Metadata stasiun adalah hal yang sangat krusial dalam pengelolaan data. Membuat sistem metadata yang komprehensif membutuhkan waktu dan biaya yang besar. Institusi yang mirip dengan BMKG dari negara-‐negara maju mempunyai masalah yang sama ketika mengelola metadata. MIRACLE, sistem metadata yang dibangun oleh DWD Jerman memiliki lebih dari 200 tabel khusus untuk mengelola metadata. MegaView dilengkapi juga dengan sistem metadata. Untuk saat ini beberapa item yang dikelola adalah stasiun profile, histori stasiun, observer, instrument dan kondisi tanah. Untuk melengkapi metadata, partisipasi dan peran stasiun sangat diharapkan. Operator di stasiun yang paling mengetahui kondisi di stasiun. Selain itu kedisiplinan juga sangat dibutuhkan, Setiap ada perubahan kondisi di stasiun maka seharusnya operator meng-‐ update melalui aplikasi MegaView.
12
Membangun sistem metadata dimulai dari sistem yang kecil, yang sesuai dengan kebutuhan saat ini. Seiring dengan kebutuhan dan bisnis proses yang berubah, maka sistem metadata dapat dikembangkan agar sesuai dengan kebutuhan user.
Dalam rangka membantu pelayanan data baik internal maupun eksternal BMKG, Megaview dilengkapi fasilitas untuk ekspor dan ekstrak data. Untuk informasi selengkapnya, silahkan hubungi kami
[email protected] [email protected]
13
