Latar Belakang Perancangan dan Pembuatan Data Warehouse untuk Kebutuhan Sistem Pendukung Keputusan Bidang Akademik di Jurusan Sistem Informasi, ITS, Surabaya
Oleh : Restia Rezalini Prahara Sukma 5206 100 083
Pendahuluan
Dosen Pembimbing : Wiwik Anggraeni, S. Si, M. Kom Radityo Prasetianto Wibowo, S. Kom
Laboratorium Sistem Pendukung Keputusan Jurusan Sistem Informasi Fakultas Teknologi Informasi Institut Teknologi Sepuluh Nopember Surabaya
Latar Belakang
Perumusan Masalah
Batasan Masalah
• Bagaimana cara mengambil data dari ITS (FRS Online) untuk data warehouse yang akan dibangun? • Desain dan rancangan data warehouse yang eperti apa yang sesuai untuk studi kasus? • Bagaimana measure dalam dalam data warehouse untuk input data bagi dashboard dibangun oleh Nur Aini Ulfah dalam TA berjudul “Pembuatan Prototype Dashboard Untuk Membantu Koordinator Bagian Pengajaran Mengevaluasi Program Perkuliahan di Jurusan Sistem Informasi, ITS, Surabaya
• Pembuatan data warehouse ini bertujuan untuk membantu kinerja akademik dosen dalam memonitoring Program Perkuliahan di Jurusan Sistem Informasi • Pembuatan data warehouse ini akan dipakai sebagai input data dashboard yang akan dibangun oleh Nur Aini Ulfah dalam Tugas Akhir berjudul “Pembuatan Prototype Dashboard Untuk Membantu Koordinator Bagian Pengajaran Mengevaluasi Program Perkuliahan di Jurusan Sistem Informasi, ITS, Surabaya“
• Solusi
Tujuan Membangun sebuah data warehouse yang akan digunakan sebagai masukan bagi aplikasi dashboard yang bertujuan untuk membantu kinerja koordinator pengajaran dalam memonitor Peningkatan Proses Pembelajaran,di Jurusan Sistem Informasi, ITS.
Manfaat Tugas Akhir • Data warehouse yang akan dibangun akan berguna untuk pembangunan aplikasi dashboard untuk mempermudah kinerja koordinator bagian pengajaran untuk memonitor kondisi akademik.
Tinjauan Pustaka
Tinjauan Pustaka
Tinjauan Pustaka
Tinjauan Pustaka
• ETL
• Data warehouse “A data warehouse is a system that retrieves and consolidates data periodically from the source systems into a dimensional or normalized data store. It usually keeps years of history and is queried for business intelligence or other analytical activities. It is typically updated in batches, not every time a transaction happens in the source system.” “Data warehouse merupakan suatu sistem yang mengkonsolidasikan data secara periodik dari sistem-sistem yang ada (OLTP) ke dalam suatu penyimpanan dimensional. Pada umumnya, data warehouse menyimpan data histori beberapa tahun dan di-quey untuk keperluan business intelligence atau aktifitas analisis lainnya. Data warehouse diremajakan secara batch, tidak serta-merta setiap terjadinya transaksi pada sistem-sistem sumber tersebut.”
* Extract yaitu proses pengambilan data dari suatu source data. Data yang diambil dapat berupa bagian tertentu saja, yaitu data-data yang dibutuhkan. * Transform yaitu proses merubah data yang telah di extract menjadi bentuk data baru yang sudah ditentukan pada saat desain.
• Star Schema dan Fact table Star schema disebut juga sebagai Star Join Schema merupakan schema data warehouse yang paling sederhana, yang terdiri dari sebuah fact table yang berisi beberapa primary key, dengan 1 segment yang berasal dari masing-masing dimensi dan dilengkapi dengan penambahan kolom, dan numerik. [3]
* Load ialah proses mengirim data yang sudah di transform ke database atau data warehouse tujuan.
sumber (Rainardi, Vincent. Building a Data Warehouse With Examples in SQL Server)
Gambar 4 Ilustrasi Star Schema
Tinjauan Pustaka
Tinjauan Pustaka
• Fact Constellation Schema
• Pentaho
Fact constellation schema adalah dimensional model yang didalamnya terdapat lebih dari satu fact table yang membagi satu atau lebih dimension table. Skema ini lebih kompleks daripada star skema karena berisi berbagai fact table. Dalam fact constellation schema, satu dimensi table bisa digunakan di beberapa fact table sehingga desainnya lebih kompleks.
Pentaho adalah sebuah package Business Intelligent yang menyediakan berbagai macam fitur seperti reporting, OLAP, dashboard, dan lain-lain [4].
Metodologi
Gambar 4 Ilustrasi Fact Constellation Schema
Metodologi
Metodologi
Metodologi
– Studi Literatur • Studi literatur dilakukan untuk mendapatkan pemahaman mengenai konsep, teori dan tahap yang akan digunakan. Pencarian referensi melalui buku, paper, e-book, dan berbagai referensi yang lain yang dapat membantu pengerjaan Tugas Akhir ini. – Pengumpulan Data • Mengumpulkan data akademik mahasiswa yang akan diproses dalam mesin warehouse dan mengumpulkan materi-materi penunjang pembuatan sistem dan aplikasi data warehouse.
– Mendapatkan KPI dan verifikasi • Pada tahap ini akan dilakukan pengumpulan KPI-KPI yang telah ada (dari hasil tahap 1) dan penambahan KPI lain bila dibutuhkan. Selain itu, akan dilakukan pula klasifikasi KPI menjadi KPI yang dapat dihitung dan tak dapat dihitung. - Map KPI Details • Pada tahapan ini, setiap KPI yang sudah disepakati di tahap sebelumnya, akan dijabarkan setiap elemennya, yaitu : Data source (database identification, OLAP source, datafiles, existing reports, supporting sources).
– Perancangan dan Pembuatan Data Warehouse • Pada tahapan ini akan dilakukan perancangan arsitektur data warehouse yang meliputi arsitektur logical maupun arsitektur fisik data warehouse. Kemudian dilakukan pemodelan data-data dimensional yang dibutuhkan. – Menentukan Hardware dan Software • Menentukan teknologi dan arsitektur yang akan digunakan dalam pembangunan datawarehouse. Untuk software yang digunakan dipilih My SQL dan Pentaho , Kettle.
Metodologi
Metodologi
– Proses ETL • Membangun extract, transform dan load dari data source ke dalam data warehouse yang telah disediakan pada tahap sebelumnya. Proses ETL dilakukan dengan mengacu pada acuan yang telah dipilih. – Uji Coba • Pengujian akan dilakukan menggunakan tools Pentaho
Perancangan
– Verifikasi system • Verifikasi sistem dilakukan bersama stakeholder untuk mendapatkan solusi datawarehouse yang benar-benar sesuai dengan kebutuhan stakeholder. Apabila terdapat evaluasi dan revisi, tahapan pembangunan datawarehouse akan berulang dari tahap ke-8. – Penyusunan buku Tugas Akhir • Tahapan pembuatan buku tugas akhir merupakan tahapan terakhir dari proses pengerjaan penelitian ini. Dokumen ini diharapkan dapat berguna sebagai referensi untuk kajian dan pengembangan lebih lanjut terhadap topik yang serupa. Pembuatan buku mulai dilakukan pada saat studi literatur hingga seluruh proses pengerjaan Tugas Akhir selesai dilakukan.
Bab 4 : Perancangan
Perancangan
Perancangan
Sumber Data 1. Database Aplikasi Monikul Aplikasi Monikul adalah aplikasi Monitoring Perkuliahan yang telah dibangun untuk memudahkan user dari Jurusan Sistem Informasi untuk memonitoring perkuliahan yang sedang berjalan maupun untuk mengevaluasi perkuliahan yang telah terlaksana. Dalam aplikasi Monikul ini terdapat sebuah sumber data (database) yang memiliki banyak tabel untuk kebutuhan data Aplikasi Monikul.
Sumber Data Dari banyak tabel tersebut terdapat beberapa tabel yang memuat datadata akademik perkuliahan di Jurusan Sistem Informasi yang nantinya dapat digunakan untuk kebutuhan data warehouse akademik yang akan dibangun. Tabel-tabel tersebut antara lain :
Sumber Data 2. Data akademik dari FRS Online FRS Online adalah aplikasi akademik yang berisi seluruh data mahasiswa, dosen, karyawan, data transaksi, data perkuliahan, dan semua data yang berhubungan dengan akademik ITS.
Tabel Monikul
Deskripsi
Dosen
menyimpan data dosen, seperti nip, nama,
Matakuliah
menyimpan data matakuliah seperti kode mk, matakuliah, sks
Kelas matakuliah
menyimpan data kelas matakuliah
Mahasiswa
menyimpan data mahasiswa seperti nip, nama
Kompetensi
menyimpan data master kompetensi
Kelas_kompetensi
menyimpan data kompetensi kelas matakuliah
Aktivitas
menyimpan data master aktivitas perkuliahan
Realisasi_aktivitas
menyimpan data realisasi aktivitas perkuliahan
Realisasi_kompetensi
menyimpan data realisasi kompetensi matakuliah
Semester
menyimpan data semester, seperti id_semester, tahun ajar, dll
Perancangan
Desain Data Warehouse
Sumber Data 3. Sumber Data Mentah Pendukung dari Jurusan Data mentah pendukung yang diambil dari Jurusan adalah data Rencana Belajar dan Data Rekaman Pembelajaran Matakuliah. Data Rencana Belajar dan Rekaman Pembelajaran tersebut hanya diberikan sebanyak 5 matakuliah di 2 periode semester tahun 2009, antara lain :
• Arsitektur Logical Data Warehouse
Kode Matakuliah
KS1206
KS1320
KS1304
KS1312
KS1321
Matakuliah Kalkulus dan Aljabar Linier Perencanaan Strategis SI/TI Sistem Fungsional Bisnis II Manajemen Proyek TI Proteksi Aset Informasi
Kelas
Periode
A
Semester Gasal 2009
Dosen Pengampu Wiwik Anggraeni Ir. Ahmad Holil Noor Ali, M.Kom
A
Semester Gasal 2009
D
Semester Genap 2009
B
Semester Genap 2009
Sholiq, ST. M.Kom Ir. Ahmad Holil Noor Ali, M.Kom
B
Semester Genap 2009
Rully Agus Hendrawan
Data-data yang diambil dari FRS Online antara lain sebagai berikut : 1. Data rekapitulasi IPD, 2. Data detail jawaban kuisioner matakuliah dan kuisioner dosen, 3. Data nilai mahasiswa per kelas matakuliah. Dll.
• Arsitektur Fisik
Perancangan Analisa Data
Perancangan Analisa Data
No 1. 2.
• Tahap perancangan analisa ini merupakan tahap pemetaan analisa yang akan dilakukan pada data warehouse akademik. Seperti dijelaskan pada bagian Tujuan di subbab 1.2 disebutkan bahwa hasil keluaran (output) data warehouse ini nantinya akan menjadi masukan (input) bagi aplikasi dashboard yang juga sedang dibangun, sehingga analisa data yang ada pada data warehouse nantinya harus sesuai dengan kebutuhan aplikasi dashboard. Berdasarkan penyusunan kebutuhan yang telah dilakukan bersama dengan Nur Aini Ulfah, maka analisa data yang menjadi requirement (kebutuhan) sistem dashboard adalah sebagai berikut :
3.
4. 5.
Tujuan Menampilkan rerata indeks hasil kuesioner dosen Menampilkan rerata indeks hasil kuesioner matakuliah Menampilkan rerata indeks hasil kuesioner dosen
Dimensi Periode, Pertanyaan
Analisa Pertanyaan kuisioner matakuliah Analisa IP_d, IP_m, IP_S
Menampilkan rerata indeks hasil kuesioner matakuliah Menampilkan target, rerata_actual, variance, dan growth
Rerata indeks hasil kuisioner matakuliah
No
Analisa Data
Tabel Fakta
Tabel Dimensi
Rerata indeks hasil kuisioner dosen
1.
Analisa Nilai Peserta per Kelas Matakuliah
hasil
Periode Matakuliah Kelas_matakuliah Nilai Aktivitas
Menampilkan nilai peserta matakuliah
2.
Analisa Aktivitas Matakuliah
realisasi_aktivitas
Periode Matakuliah Aktivitas
Menampilkan jumlah pertemuan aktivitas matakuliah
3.
Analisa Hasil Kuisioner
kuisioner
Menampilkan rerata indeks hasil kuisioner
4.
Analisa Kompetensi Kelas
kelas_kompetensi
Periode, Dosen, Jenis, Pertanyaan Periode Matakuliah Kelas_matakuliah Kompetensi
5.
Analisa IPD
IPD_dosen
Periode Dosen Matakuliah
Menampilkan rerata IPD
Menampilkan target, rerata, variance, dan growth
Periode, RMK
7.
Analisa IP_d, IP_m, IP_S berdasarkan dosen
Menampilkan target, rerata, variance, dan growth
Periode, Dosen
8.
Analisa Hasil nilai abjad peserta Menampilkan jumlah peserta, % peserta matakuliah Analisa IP Sar Menampilkan target, actual, variance,% variance Analisa aktivitas penilaian Menampilkan jumlah peserta, %peserta
10.
12.
13. 14.
Tujuan
Periode, Pertanyaan
Analisa IP_d, IP_m, IP_S berdasarkan RMK
9.
Perancangan Analisa Data
Measure Rerata indeks hasil kuisioner dosen
Periode, Dosen, Pertanyaan Periode, Dosen, Pertanyaan Periode,
6.
11.
Fact Constellation Schema
Analisa Analisa Pertanyaan kuisioner dosen Analisa Pertanyaan kuisioner matakuliah Analisa Pertanyaan kuisioner dosen
Rerata indeks hasil kuisioner dosen Target IP_d, IP_m, IPS, rerata_actual_IP_d, IP_m, IP_S, var_IP_d, IP_m, IP_s, dan %growth_IP_d, IP_m, IP_s Target IP_d, IP_m, IPS, rerata_actual_IP_d, IP_m, IP_S, var_IP_d, IP_m, IP_s, dan %growth_IP_d, IP_m, IP_s Target IP_d, IP_m, IP_S, rerata_actual_IP_d, IP_m, IP_S, var_IP_d, IP_m, IP_S, dan %growth_IP_d, IP_m, IP_S Jumlah peserta , % peserta
Periode, kelasmatkul, Nilai abjad Periode, kelas matkul Target IPS, actual_IP_S, var_IP_s, dan %growth_IP_s
Periode, kelasmatkul, aktivitas penilaian, nilai abjad Analisa target subkompetensi Menampilkan target sub kompetensi , actual, % Periode, kelasmatkul rencana belajar actual Analisa sub kompetensi rekaman Menampilkan jumlah pertemuan Periode, pembelajaran Kelasmatkul, subkompetensi Analisa Aktivitas kuliah Periode, kelasmatkul Menampilkan jumlah actual pertemuan, % pertemuan Analisa target pertemuan Menampilkan target rerata durasi / pertemuan, Periode, kelasmatkul variance
Menampilkan jumlah pertemuan rencana kompetensi tiap kelas matakuliah
Jumlah peserta, %peserta
Target_subkompetensi, actual, %actual Jumlah pertemuan
Jumlah pertemuan, % pertemuan target rerata durasi / pertemuan, variance
Tabel-Tabel dalam Data Warehouse
nilai id_nilai int
nilai_abjad varchar(2)
Tabel semester matakuliah kelas_matakuliah nilai HASIL
mahasiswa aktivitas
nrp varchar(10) nama varchar(30)
FK_MH FK_NH
id_aktivitas int aktivitas varchar(20)
FK_AH
hasil kelas FK_KH
id_kelas int nama_kelas varchar(10)
id_kelas nrp id_aktivitas id_nilai id semester kode MK
int varchar(10) int int int varchar(10)
FK_MR
Realisasi_aktivitas id semester int id_aktivitas int kode MK varchar(10) pertemuan int
pertanyaan FK_PH
id_pertanyaan int pertanyaan varchar(100)
Semester FK_KMK
kuisioner
id_jenis int jenis varchar(20)
FK_SR
FK_PRK
jenis pertanyaan FK_JK
nip id_pertanyaan id_jenis id semester nilai
varchar(20) int int int int
FK_PK
id semester int tahun ajaran varchar(20) semester varchar(10) start date
FK_SI IPD
dosen FK_DI
Daftar table analisa hasil studi mahasiswa
FK_MTH FK_SK
FK_KK
Tabel semester matakuliah kelas_matkul kompetensi KOMPETENSI_KELAS
FK_MKR
kompetensi_kelas
FK_DK
nip varchar(20) nama_dosen varchar(50)
kompetensi kode kompetensi varchar(10) nama varchar(30) keterangan text
Keterangan Tabel dimensi waktu Tabel dimensi matakuliah Tabel dimensi kelas matakuliah Tabel dimensi nilai Tabel fakta hasil nilai peserta
id semester kode MK nip IP_d IP_m IPD Jumlah
int varchar(10) varchar(20) int int int int
FK_MI
Matakuliah kode MK varchar(10) FK_MK nama varchar(30) int jumlah_sks sks_pertemuan int id_rmk int
id semester int kode MK varchar(10) id_kelas int kode kompetensi varchar(10)
Tabel semester dosen jenis pertanyaan KUISIONER
Keterangan Tabel dimensi waktu Tabel dimensi dosen Tabel dimensi jenis Tabel dimensi pertanyaan Tabel fakta hasil kuisioner
Daftar table analisa hasil studi mahasiswa
Tabel semester aktivitas matakuliah REALISASI_AKTIVITAS
Keterangan Tabel dimensi waktu Tabel dimensi matakuliah Tabel dimensi kelas matakuliah Tabel dimensi kompetensi Tabel fakta kompetensi kelas
Keterangan Tabel dimensi waktu Tabel dimensi aktivitas Tabel dimensi matakuliah Tabel fakta aktivitas matakuliah
Daftar table pelaksanaan aktivitas perkuliahan
Implementasi
Daftar table analisa hasil studi mahasiswa Tabel semester dosen Matakuliah IPD_DOSEN
Keterangan Tabel dimensi waktu Tabel dimensi dosen Tabel dimensi matakuliah Tabel fakta IPD Dosen
Daftar table analisa summary IPD
Proses ETL ke dalam Data warehouse
Proses ETL ke dalam Data warehouse
• Sebelum kita meload data dari tabel sumber ke tabel target tentu kita akan memilih (mengekstrak) data yang dibutuhkan oleh sistem, melalui proses transformasi memungkinkan data akan di ubah bentuknya misal mengubah nilai angka menjadi nilai huruf, setelah proses ektraksi dan transformasi selesai di lakukan, selanjutnya adalah meload data dari tabel sumber ke tabel tujuan. • Proses Ekstraksi data telah dilakukan, hasil dari proses ekstraksi adalah tabel-tabel yang berbentuk file .csv dan excel, selanjutnya file .csv dan excel tersebut yang akan di transform dan di load ke tabel di data warehouse menggunakan Kettle.
• Tabel-tabel dimensi dalam data warehouse telah terisi oleh data, antara lain : Tabel mahasiswa, dosen, semester, matakuliah, aktivitas, dll. • Hasil input data tabel dimensional dapat dilihat pada gambar di bawah ini, diantaranya adalah :
Proses ETL ke dalam Data warehouse
ETL Ke tabel fact IPD Dosen
Pembuatan Schema dan Cube
Pembuatan Schema dan Cube
Uji Coba Tools Schema Workbench
Tools Schema Workbench
Tabel Analisa Hasil Uji Coba
Uji Coba dengan Tools Pentaho
No 1. 2. 3.
4. 5. 6. 7. 8.
Analisa aktivitas penilaian
Menampilkan jumlah peserta, %peserta
10.
Analisa IP Sar
Menampilkan target, actual, variance,% variance
11.
Analisa target subkompetensi rencana belajar Analisa sub kompetensi rekaman pembelajaran
Menampilkan target sub kompetensi , actual, % actual
13.
14.
Berdasarkan hasil penelitian tugas akhir yang dilakukan, maka dapat disimpulkan beberapa hal sebagai berikut : • Data warehouse dapat digunakan untuk menganalisa proses perkuliahan (akademik). • Ketersediaan dan validitas data amat penting bagi data warehouse yang akan dibangun, sehingga jika data yang dibutuhkan tidak tersedia maka data warehouse tidak dapat menampilkan hasil sesuai yang dibutuhkan oleh pengguna.
Output
Analisa indeks jawaban kuisioner dosen
9.
12.
Kesimpulan
Dimensi yang dibutuhkan Menampilkan rerata indeks hasil Periode, Pertanyaan kuesioner dosen Analisa indeks jawaban Menampilkan rerata indeks hasil Periode, Pertanyaan kuisioner matakuliah kuesioner matakuliah Analisa indeks jawaban Menampilkan rerata indeks hasil Periode, Dosen, kuisioner dosen kuesioner dosen Pertanyaan Analisa indeks jawaban Menampilkan rerata indeks hasil Periode, Dosen, Pertanyaan kuisioner matakuliah kuesioner matakuliah Analisa IP_d, IP_m, Periode, Menampilkan target, rerata, IP_S variance, dan growth Analisa IP_d, IP_m, Periode, RMK Menampilkan target, rerata, IP_S berdasarkan RMK variance, dan growth Analisa IP_d, IP_m, Periode, Dosen Menampilkan target, rerata, IP_S berdasarkan dosen variance, dan growth Analisa Hasil nilai abjad Menampilkan jumlah peserta, % Periode, kelasmatkul, nilai abjad peserta matakuliah peserta Kebutuhan
Fact tabel hasil
Tabel Dimensi
Keterangan
Kuisioner
Semester, Jenis, Pertanyaan, Dosen,
Sudah dapat ditampilkan
IPD_dosen
Semester, RMK, Matakuliah
Sudah dapat ditampilkan
Analisa Hasil Kuisioner
Analisa IPD by RMK IPD_dosen
Semester, Dosen, Matakuliah, kelas
Sudah dapat ditampilkan
Analisa Nilai Peserta per Periode, kelasmatkul, Kelas Matakuliah aktivitas penilaian, nilai abjad Periode, kelas matkul
Hasil
Semester, Matakuliah, kelas, aktivitas , nilai abjad
Sudah dapat ditampilkan
Periode, kelasmatkul
Kompetensi_kela Semester, s matakuliah kelas, kompetensi Realisasi_kompe Semester, Kelasmatkul, tensi kompetensi Realisasi_aktivit Semester, as matakuliah, aktivitas
Menampilkan jumlah pertemuan Periode, Kelasmatkul, kompetensi Analisa Aktivitas kuliah Menampilkan jumlah actual Periode, kelasmatkul pertemuan, % pertemuan Analisa target pertemuan Menampilkan target rerata durasi / pertemuan, variance
Kategori Analisa
Analisa Rekap IPD
Analisa Kompetensi kelas Analisa Realisasi kompetensi Analisa Aktivitas Matakuliah
Kesimpulan
Belum dapat ditampilkan
Periode, kelasmatkul
Sudah dapat ditampilkan Sudah dapat ditampilkan Sudah dapat ditampilkan Belum dapat ditampilkan
Daftar Pustaka [1] Website ITS. 2010. Profil. (diakses 2 Maret 2010) [2] Paulraj, Ponniah 2001, Data Warehousing Fundamental. Wiley-Interscience Publication. [3] Wahib, Aminul. 2009. Analisa Data Akademik Berbasis Data Warehouse dengan DSS Yang Merekomendasikan Beasiswa Bagi Mahasiswa. Jurusan Teknik Informatika Politeknik Elektronika Negeri Surabaya [4] Bouman, Roland dan Dongen, Jos van. 2010. Pentaho Solutions Business Intelligence and Data Warehousing with Pentaho and MySQL. [5] Jeffrey A. Hoffer, Mary B Prescott, dan Fred R. McFadden. 2005. Modern Database Management. Seventh Edition. Prentice Hall. [6] Amborowati, Armadyah. (diakses 20 Mei 2010) http://elearning.amikom.ac.id/index.php/karya/620/Armadyah%20Amborowati,%20S.Kom.,%20M.E ng./PERANCANGAN%20DAN%20PEMBUATAN%20DATA%20WAREHOUSE%20PADA%20 PERPUSTAKAAN%20STMIK%20AMIKOM%20YOGYAKARTA [7] Rainardi, Vincent. 2008. Building a Data Warehouse with Examples in SQL Server. Apress.
Terima Kasih
