IMPLEMENTASI BUSINESS INTELIGENCE (BI) UNTUK ANALISA DAN PRAKIRAAN CUACA MARITIM
Subekti Mujiasih, S.Si, M.TI Sub bidang Bina Operasi Meteorologi Maritim
[email protected]
Seminar Jurnal Club 24 Mei 2011 1
` ` ` ` ` ` ` ` ` `
Pendahuluan Latar Belakang Kajian Pustaka Sumber Data Rancangan Business Intelligence Rancangan Arsitektur Fisik Penerapan Business Intelligence Penerapan Data Mining Kesimpulan Saran
2
3
Reporting data Cuaca dari AWS
4
5
Definisi BI (Bapepam,2007) : BI merupakan sistem pendukung pengambilan keputusan yang berbasiskan data-data. “Business Intelligence menjelaskan tentang suatu konsep dan metode bagaimana untuk meningkatkan kualitas pengambilan keputusan bisnis berdasarkan sistem yang berbasiskan data. BI seringkali dipersamakan sebagaimana briefing books, report and query tools, dan sistem informasi eksekutif.”
6
Manfaat BI : • Meningkatkan nilai data dan informasi organisasi • Memudahkan pemantauan kinerja organisasi • Meningkatkan nilai investasi TI yang sudah ada • Menciptakan pegawai yang memiliki akses informasi yang baik (well-informed workers) • meningkatkan layanan kepada pengguna jasa dengan melakukan pemrosesan permintaan dan penyelesaian masalah yang tepat waktu • membantu mengidentifikasi waktu yang diperlukan untuk sebuah bagian proses tertentu
7
`
Keakuratan, ketepatan dan kecepatan akses informasi BMKG masih menjadi kendala.
`
Data belum seluruhnya terintegrasi dengan baik dimana masih terkumpul dalam aplikasi-aplikasi yang berbeda.
`
Seringnya keterlambatan pembuatan dan pelaporan prakiraan cuaca karena ketika akan mengakses, prakirawan harus berpindahpindah sumber data
`
Prediksi Cuaca sangat sulit karena melibatkan banyak sumber data :data pengamatan, data model aplikasi cuaca, data gambar kondisi awan dari satelit, data kondisi awan dari radar
`
Prakiraan cuaca maritim umumnya mengandalkan kemampuan dari Prakirawan (Human Expert) 8
Peneliti
Judul
Data
Tool
Nan Ma,et.al.2010.
Perancangan Data Warehouse untuk data pengamatan cuaca stasiun
Data Curah hujan, Temperature dan Kelembaban Relative
SQL Server Analysis 2005 dan SQL Server Reporting 2005
Wijaya, Ferry 2010.
Business Intelligence:Desain dashboard dan Scorecard untuk meningkatkan Kinerj EPC-Studi Kasus PT.TriPatra
Material Proyek, Jumlah Pegawai, waktu kerja dan jadwal
SQL Server 2008, SSAS,SSIS
Gultom,Arthur.SH.2009
Implementasi Business Intelligence untuk Pengenalan Pola Bisnis di daerah Jakarta Selatan (berbasis GIS(lokasi)
Data bisnis di Jakarta Selatan
Birt
Albaar Rubhasy.2008
Implementasi Business Intelligence Dalam Pengambilan Keputusan di Bappenas
Data Perencanaan dari BPS
Pentaho
Iqbal. 2008
PenerapanData mining di Badan Meteorologi dan Geofisika untuk memprediksi cuaca di Jakarta
Data Curah hujan di Stasiun-stasiun Jakarta
Weka
Badan Pengawas Pasar Modal dan Lembaga Keuangan. 2007
Laporan Tim Studi tentang Implementasi Business Intelligence
UCAR, 2007
Prediksi Hurricane Dean
Data Konveksi TRMM
Data Mining
9
`
Data sinoptik dari 9 stasiun meteorologi maritim selama tahun 2009 dari aplikasi CMSS (19761 raw data)
`
Data gelombang harian dari pengamatan satelit selama tahun 2009 pada domain wilayah 23 N – 23 S dan 80 – 160 E.(1385748 raw data)
`
Data gelombang hasil running windwave harian selama tahun 2009 dengan domain 15 N – 15 S, 90 – 150 E. Format data berupa txt. Tidak semua parameter digunakan, jadi hanya arah dan kecepatan angin, arah dan tinggi gelombang h10, h100, htot, tinggi swell dan periode swell. (127643 raw data)
`
Data pasang surut di 13 stasiun Maritim selama tahun 2009 dari aplikasi AWS (55769 raw data)
1 0
Unit Organisasi
Data Source
Data Warehouse
Business Intelligence Tools
User
OLAP/ OLAP/
Bidang Meteorologi Maritim
Database
Dimensional Cube Dimensional Cube
AWS Maritim
(SQL Server Analysis Services (SQL Server Analysis Services 2008) 2008)
(MySQL) Data Data Windwaves‐05 Windwaves‐05
Data Mart Data Mart Maritim Maritim
(text) (text)
Bidang Sistem Operasi Jaringan Komunikasi
Database Database
(SQL Server (SQL Server Database 2008 Database 2008
Sinoptik Sinoptik
(SQL Server Reporting Reporting Reporting Services Dashboard Dashboard 2008)
End User End User Bidang Bidang Metmar Metmar
Client Server
Data Mining Data Mining (Orange Lab) (Orange Lab)
(Oracle) (Oracle)
External Data
Database Database
AVISO
Wave Satelit Wave Satelit (Netcdf) (Netcdf)
ETL ETL C#,.Net Framework 3.5 C#,.Net Framework 3.5
1 1
12
13
14
15
16
Tabel data Cuaca Sinoptik Tahun 2009
17
Grafik Perbandingan Kecepatan angin, Suhu Udara, suhu Titik embun dan tutupan Awan
Hal 67
18
Grafik Kecepatan angin
19
Grafik Perbandingan Tinggi gelombang satelit dan model Windwaves-05
20
Grafik Pola Tinggi gelombang selama Tahun 2009 di Wilayah Enggano
21
Report Tinggi gelombang selama Tahun 2009 di semua lokasi
22
Analisis Data Cuaca dari AWS
23
Reporting data Cuaca dari AWS
24
Analisis data Pasang Surut dan kinerja AWS
25
Unit Organisasi
Data Source
Data Warehouse
Business Intelligence Tools
User
OLAP/ OLAP/
Bidang Meteorologi Maritim
Database
Dimensional Cube Dimensional Cube
AWS Maritim
(SQL Server Analysis Services (SQL Server Analysis Services 2008) 2008)
(MySQL) Data Data Windwaves‐05 Windwaves‐05
Data Mart Data Mart Maritim Maritim
(text) (text)
Bidang Sistem Operasi Jaringan Komunikasi
Database Database
(SQL Server (SQL Server Database 2008 Database 2008
Sinoptik Sinoptik
(SQL Server Reporting Reporting Reporting Services Dashboard Dashboard 2008)
End User End User Bidang Bidang Metmar Metmar
Client Server
Data Mining Data Mining (Orange Lab) (Orange Lab)
(Oracle) (Oracle)
External Data
Database Database
AVISO
Wave Satelit Wave Satelit (Netcdf) (Netcdf)
ETL ETL C#,.Net Framework 3.5 C#,.Net Framework 3.5
26
27
Association Rule : Metode untuk memeriksa semua kemungkinan hubungan if-then antar item dan memilih hanya yang paling mungkin sebagai indikator dari hubungan ketergantungan antar item
Classification (Iqbal,2007) adalah proses untuk menemukan model atau fungsi yang menjelaskan atau membedakan kelas data, dengan tujuan untuk dapat memperkirakan kelas dari suatu objek yang labelnya tidak diketahui.(studi kasus menggunakan Classification Tree dan Random Forest)
Hal 69
28
Association Rule : Kebergantungan antar data Minimum Support : 53%, minimum Confidence : 89% Kelompok
Jumlah Rule
Min Support
Confidence
Lift Ratio
Rule
No.
Model Prediksi
1
2059
97‐97%
97‐97%
100%
1
f_aw f_te stationID dateID f_ws ‐> f_ch
2
2059
97‐97%
100%
100%
2
f_ws f_aw stationID dateID f_te f_tp ‐> f_ch
3
f_ws f_te stationID dateID ‐> f_aw
4
f_tp f_te stationID f_ws dateID ‐> f_aw
3
Hal 69
1932
100‐100%
100%
100%
Lift
Support
Confidence
1
1
1
0.999
1
1
1
1
1
0.999
1
1
Ratio
29
Metode Classification Tree dan Random Forest untuk Prediksi cuaca awan dari masukan tutupan awan, kecepatan angin, Suhu udara dan suhu titik embun
30
Metode Classification Tree dan Random Forest untuk Prediksi cuaca awan dari masukan tutupan awan, kecepatan angin, Suhu udara dan suhu titik embun
Hal 72 revisi
31
Metode Classification Tree dan Random Forest untuk Prediksi cuaca awan dari masukan tutupan awan, kecepatan angin, Suhu udara dan suhu titik embun
Hal 72 revisi
32
Metode Classification Tree dan Random Forest untuk Prediksi cuaca awan dari masukan nilai Suhu udara dan suhu titik embun
33
Menampilkan nilai statistik dari ribuan data Gelombang
Hal 72 revisi
34
1. Ketersediaan data mart yang berisi gabungan data maritim sangat membantu analisa parameter cuaca harian selama satu tahun, dalam waktu yang sangat cepat karena adanya fasilitas drill down, roll up, slice dan dice pada reporting dan dashboard. 2. Presentasi dashboard memudahkan analisa yang bersifat spasial seperti koordinat lintang dan bujur, posisi stasiun atau posisi AWS. 3. Kemampuan data mining yang menggabungkan kemampuan database dan statistika membantu analisa 4 atribut data gelombang selama tahun 2009 yang bervolume besar.
4. Model prediksi cuaca yang dihasilkan oleh metode data mining, hanya memerlukan sebagian komponen data cuaca sebagai masukan yakni suhu udara, suhu titik embun, kecepatan angin dan tutupan awan.
35
5. Penggunaan dashboard sangat memudahkan analisa kesamaan pola antara komponen data cuaca pada wilayah dan waktu tertentu seperti analisa pola cuaca dari data sinoptik dan AWS. 6. Pola komponen data cuaca suatu wilayah yang diperoleh dari dashboard dapat dijadikan dasar untuk membuat model prediksi pada proses data mining.
7. Model prediksi cuaca hasil metode Classification Tree dan Random Forest memberikan batas nilai yang lebih spesifik daripada hasil metode Association Rule. 8. Data yang kurang valid bisa tidak dihapuskan untuk keperluan monitoring kondisi alat pengamatan yang rusak atau sarana komunikasi yang kurang mendukung. 9. Rancangan arsitektur Business Intelligence yang dikembangkan dilakukan dengan pendekatan bottom up agar rancangan dapat segera diterapkan dalam kegiatan operasional sehari-hari.
36
1. Kajian Business Intelligence yang menampilkan informasi analysis secara spasial sangat diperlukan 2. Data sebaiknya dibersihkan dulu atau dilakukan pengecekan di lapangan karena kemungkinan alat pengamatan rusak. 3. Perlunya kajian lanjutan pada parameter cuaca lain dari setiap level ketinggian atmosfer. 4. Perlunya kajian Image mining seperti identifikasi jumlah tutupan awan dan jenis awan agar tidak bergantung pada pengamatan manual
37
38
Diadopsi dari : Bayu I Dwisetyo, 2010
Hal 36
39
`
http://www.element61.be/e/compete.asp?ServiceId=126 Microsoft Business Intelligence & SQL Server Architecture Microsoft has a strong suite for as well the back-end as the front-end functionality of a Business Intelligence & Performance Management architecture. Element61 expertise covers the complete end-to-end technology stack.
`
BACK-END ARCHITECTURE
SQL Server database: To provide an optimal storage for all data warehousing needs.
Integration Services: Integration Services is the ETL tool from Microsoft. It's an enterprise grade tool for extracting, transforming and loading your data warehouse Analysis Services: composed the OLAP/cubes solution of Microsoft. `
FRONT-END ARCHITECTURE
Reporting Services: the Microsoft solutions for all your reporting needs.
Report Builder: delivers intuitive report authoring capabilities to end users. In addition to offering an enhanced authoring experience for business users, Report Builder 2.0 benefits power users that are looking for a more sophisticated authoring environment.
Microsoft Excel: is the most commonly used "Business Intelligence" solution today. It is a powerful application that provides all the functionality you need in order to create spreadsheets, analyze data, and share information in a manageable environment. On top of Analysis Services one can easily create and use reports that include formatted tables, graphs and rich data visualization. MS Excel nowadays also has - quite unknown- easy-to-use data mining capabilities, which enable predictive analysis at every desktop. By harnessing the data mining algorithms of Microsoft SQL Server 2005 Analysis Services, business users can quickly gain valuable insight into complex sets of data with just a few mouse clicks. All this information can then be shared and viewed in your corporate SharePoint environment.
SharePoint: From all knowledge management functionalities Microsoft SharePoint offers, for Business Intelligence probably the most important feature is to facilitate the collaboration between individuals and teams in your organization.
40
`
`
`
`
`
Mendukung berbagai teknologi basis data seperti oracle, sql server , IBM db2 dll Memiliki data integration tool yang mendukung proses ETL Memiliki analysis (OLAP) tools untuk melakukan analisa berdasarkan query Memiliki reporting tools yang terintegrasi dengan OLAP tools dan mampu menghasilkan laporan dalam berbagai format Memiliki dashboard yang terintegrasi dengan OLAP dan analystics tools untuk monitoring kinerja operasional organisasi.
Hal 27
41
42
43
Hal 44
44
Gambar 2.6 Kedudukan OLAP dalam BI Sumber : Rubhasy, 2008
Hal 20
45
46
47
`
Data suhu dari pengamatan permukaan di 9 stasiun meteorologi maritim dari aplikasi CMSS (19641 raw data)
Kelompok data synop Bentuk sandi data synop adalah sebagai berikut : MiMiMjMj YYGGiw Iiiii iRixhVV Nddff 1SnTTT 2 SnTdTdTd 3PoPoPo 4PPPP 5appp 6RRRtr 7wwW1W2 8NhCLCH 9GGgg
Hal 47
Sample data Synop
48
Hal 86
49
Hal 87
50
`
Metode Association Rule (rule antar komponen data cuaca) Metode untuk memeriksa semua kemungkinan hubungan if-then antar item dan memilih hanya yang paling mungkin sebagai indikator dari hubungan ketergantungan antar item
◦ Support (%) : jumlah transaksi yang mengandung item baik dalam entecedent (X:sebab) maupun consequent (Y:akibat) ◦ Confidence (%) x Conf( X Æ Y) = supp (X U Y)/supp(X) x Confidence = jumlah transaksi dengan item dalam antecedent dan consequent jumlah transaksi dengan item dalam antecedent
x Confidence benchmark
◦ Lift Ratio (%) =
= jumlah transaksi dengan item dalam consequent jumlah transaksi dalam database
confidence Confidence benchmark
Lift ratio > 1 Æ kekuatan asosiasinya lebih besar
Hal 22-24
51
Hal 69-70
52
`
`
`
Classification (Iqbal,2007) adalah proses untuk menemukan model atau fungsi yang menjelaskan atau membedakan konsep atau kelas data, dengan tujuan untuk dapat memperkirakan kelas dari suatu objek yang labelnya tidak diketahui.Salah satunya C4.5 Decison tree adalah salah satu metode classification yang paling mudah untuk diintrepretasikan manusia. Decision tree sesuai digunakan untuk kasus-kasus dimana outputnya bernilai diskrit. Prediksi tutupan awan dari infomasi suhu udara (bola kering) dan suhu titik embun (bola basah)
Cuaca
Cerah
Mendung
Temperatur
Hujan
Ya
Ya
Ya
Ya
Ya
Ya
Tidak
Ya
Ya
Tidak
Tidak
Tidak
Tidak
Panas
Sedang
Dingin
Ya
Ya
Ya
Ya
Ya
Ya
Tidak
Ya
Ya
Tidak
Ya
Tidak
Tidak Tidak
Gambar 1.2. Semua kemungkinan pemilihan atribut Sumber : Budi Santoso,2007
Hal 24-25
53
`
Orange adalah perangkat lunak opensource yang dapat digunakan untuk visualisasi dan analisis data. Data mining dapat dilakukan dengan menggunakan pemrograman visual maupun script python.
`
Orange memungkinkan pengguna yang tidak memahami sedikitpun tentang pemrograman melakukan visualisasi dan analisis data.
`
Orange mendukung visualisasi data seperti scatterplots, bar charts, trees, dendrograms, networks dan heatmaps. Hingga saat ini tersedia lebih dari 100 widget untuk melakukan visualisasi dan analisis data, yang dibagi menjadi beberapa kelompok yakni: Data, Visualize, Classify, Regression, Evaluate, Unsupervised, Associate, Prototypes, Bioinformatics dan TextMining.
`
Orange dapat diperoleh secara gratis di http://www.ailab.si/orange/nightly_builds.html, dengan dukungan penuh terhadap sistem operasi Windows, Linux maupun MacOSX (Materi Kuliah DMBI,2010).
Hal 27
54
