IN086 - Temu Pengetahuan 1. Pengenalan Temu Pengetahuan 1
Materi Perkuliahan •
Review Basis Data
•
Data Warehouse
•
Data Mining
2
1
Apa itu Data Warehouse? •
•
Didefinisikan dalam berbagai bentuk, namun belum ada definisi yang pasti •
Sebuah basis data pendukung keputusan yang dipelihara terpisah dari basis data operasional dari sebuah organisasi
•
Mendukung pengolahan informasi dengan menyediakan platform yang solid untuk analisis dari data historis yang terkonsolidasi.
Sebuah Data Warehouse adalah sebuah koleksi data yang berorientasi subyek, terintegrasi, bervariasi waktu, dan tidak berubah untuk mendukung proses pengambilan keputusan dari manajemen – W.H.Inmon
3
Contoh •
Toko JC Penney :
Seorang manajer senior (Tuan X) ingin mengetahui tipe apa saja (gaya, bahan baju, warna, dan ukuran) dari baju wanita yang terjual cepat selama bulan Oktober sampai Desember di wilayah Utara? Type Casual Formal Party Total
Oktober 1.500.000 2.300.000 1.500.000 5.300.000
November Desember
Total
1.700.000 3.500.000 6.700.000 2.500.000 2.200.000 7.000.000 2.000.000 5.000.000 8.500.000 6.200.000 10.700.000 22.200.000
4
2
Tiada akhir…. – Setelah dua hari – Tuan X meminta data didetilkan untuk setiap minggu selama Oktober – Desember – Hari berikutnya Tuan X ingin didetilkan lagi berdasarkan kota di wilayah Utara •
Tuan X kembali lagi – Apa mungkin untuk didetilkan di setiap toko di setiap kota? • • •
•
Berdasarkan kelompok umur, apabila mungkin Berdasarkan kelompok pendapatan, jika data tersedia Berdasarkan metode pembayaran (cek, tunai, kartu kredit, dll)
Manager IS jadi capek ....
5
Arsitektur Data Warehouse
DM-MA/S1IF/FTI/UKM/2012
6
3
Mengapa Data Mining? •
Pertumbuhan data yang ekslosif: dari terabita ke petabita •
•
Koleksi data dan ketersediaan data: perangkat pengumpul data otomatis, sistem basis data, Web, masyarakat yang terkomputerisasi
Banyak sumber – sumber data yang berlimpah •
Bisnis: Web, E-Commerce, transaksi, bursa, ....
•
Ilmu Pengetahuan: penginderaan jarak jauh, bio informatika, simulasi ilmiah ...
•
Komunitas dan semua orang: berita, kamera digital ....
•
Kita kebanjiran data, tapi kelaparan pengetahuan!
•
“Kebutuhan adalah ibu dari penemuan” – Data mining – analisa otomatis dari data set yang masif
7
Sumber Data yang Masif •
Data Astronomi tentang obyek luar angkasa: 106 – 1012
•
Data dengan atribut yang sangat banyak (fitur, pengukuran, kolom) •
Ratusan variabel untuk rekam medis pasien yang berhubungan dengan hasil eksaminasi medis
DM-MA/S1IF/FTI/UKM/2012
8
4
Evolution dari Teknologi Basisdata •
1960-an: Koleksi data, kreasi data, IMS dan jaringan DBMS
•
1970-an: Model data relasional, implementasi DBMS relasional
•
1980-an: • •
RDBMS, model data yang lebih majur (extended-relational, OO, deductive, dll) DBMS berorientasi aplikasi (spasial, ilmu pengetahuan, teknik, dll)
•
1990-an: Dataminng, Data Warehousing, Basis data multimedia, dan basis data web
•
2000-an Manajemen aliran data (stream data) dan mining Data mining dan aplikasinya • Teknologi Web (XML, data integrasi) dan sistem informasi global • •
•
2010-an: No SQL, komputasi awan
DM-MA/S1IF/FTI/UKM/2012
9
Evolusi Ilmu Pengetahuan •
Sebelum 1600, ilmu empiris
•
1600 – 1950-an, ilmu teoritis: setiap disiplin ilmu mengembangkan komponen teori. Model teori sering memotivasi eksperimen dan menggeneralisasi pemahaman kita
•
1950-an – 1960-an, ilmu komputasi: simulasi komputasi, terjadi karena ketidakmampuan menemukan solusi tertutup dari model matematika yang kompleks
•
1990-an – sekarang, ilmu data
•
•
Banjir data dari perangkat dan simulasi ilmu pengetahuan yang baru
•
Kemampuan untuk menyimpan dan mengelola data online dalam petabita dengan harga terjangkau
•
Internet dan komputasi grid membuat semua arsip ini dapat diakses secara universal
•
Tugas – tugas manajemen informasi ilmiah, akuisisi, organisasi, kueri, dan visualisasi memilik skala liner terhadap volume data. Datamining menjadi tantangan terbesar!
Jim Gray and Alex Szalay, The World Wide Telescope: An Archetype for Online Science, Comm. ACM, 45(11): 50-54, Nov. 2002
10
5
Proses Temu Pengetahuan (KDD) •
Datamining – inti dari proses temu pengetahuan
Pattern Evaluation
Data Mining Task-relevant Data Data Warehouse
Selection
Data Cleaning Data Integration Databases
11
Apa itu Data Mining? •
•
Data mining (temu pengetahuan dari data) •
Ekstraksi dari pola – pola atau pengetahuan yang menarik (nontrivial, implisit, tidak diketahui sebelumnya, dan secara potensial berguna).
•
Data Mining : sebuah kesalahan istilah?
Nama – nama alternatif •
•
Temu pengetahuan (mining) di basis data (KDD), ekstraksi pengetahuan, analisi data / pola, arkeologi data, data dredging, pemanenan data, business intelligence, dll
Hati – hati: apakah semuanya “Data Mining”? •
Pencarian sederhana atau proses kueri
•
Sistem pakar (deduktif)
12
6
Data Mining DATA
DATA MINING
DM-MA/S1IF/FTI/UKM/2012
POLA - POLA
13
Data Mining dan Business Intelligence Potensi yang meningkat Dari dukungan keputusan bisnis
Pengguna Akhir Pengambilan Keputusan
Analis Bisnis
Presentasi Data Teknik – teknik visualisasi Data Mining Penemuan Informasi
Analis Data
Eksplorasi Data Ringkasan Statistik, Proses kueri, dan Pelaporan Preprocessing Data/Integrasi, Data Warehouses DBA
Sumber – sumber Data Paper, Berkas, Dokumen Web, Eksperimen Ilmu Pengetahuan, Sistem Basisdata
14
7
Proses KDD Process: Pandangan Umum dari Machine Learning dan Statistika
Data integration Normalization Feature selection Dimension reduction
•
Data Mining
Data PreProcessing
Input Data
PostProcessing
Pattern discovery Association & correlation Classification Clustering Outlier analysis …………
Pattern evaluation Pattern selection Pattern interpretation Pattern visualization
Ini adalah pandangan umum dari komunitas machine learning dan statistika 15
Aplikasi Data mining •
Ilmu Pengetahuan:
•
Bisnis
•
•
•
Mesin pencari, bot, dll
Negara •
•
Periklanan, CRM (Customer Relationship Management), investasi, manufakturing, olah raga / entertainment, telekomunikasi, e-commerce, target marketing, jaminan kesehatan, dll
Web •
•
astronomi, bioinformatika, penemuan obat, dll
Penegakan hukum, profil pengemplang pajak, anti teror, dll
Contoh: Amazon.com menggunakan data mining untuk menyediakan saran pembelian kepada konsumen Customers who bought this book also bought: •
• • • •
Seven Methods for Transforming Corporate Data Into Business Intelligence by Vasant Dhar, Roger Stein Building Data Mining Applications for CRM by Alex Berson, et al Data Preparation for Data Mining by Dorian Pyle Kellogg on Integrated Marketing by Dawn Iacobucci (Editor), et al Multivariate Data Analysis (5th Edition) by Joseph F. Hair (Editor), et al
Explore similar items
16
8
Aplikasi DM: Ritel •
Melakukan analis keranjang (basket analysis) • •
•
Sales forecasting • •
•
Barang – barang apa yang akan dibeli bersamaan oleh konsumen Pengetahuan ini dapat meningkatkan penyetokan, strategi layout toko, dan promosi Meneliti pola – pola pembelian berdasarkan waktu dapat membantu riteler untuk membuat keputusan stok yang tepat Jika seorang konsumen membeli sebuah item hari ini, kapan kira – kira dia akan membeli item komplementer?
Database marketing •
•
Riteler dapat membangun profil konsumen dengan perilaku tertentu, contohnya, siapa saja yang membeli produk bermerek dan siapa saja yang datang saat promosi diskon Informasi ini dapat digunakan untuk promosi yang terfokus sehingga efektif secara biaya
DM-MA/S1IF/FTI/UKM/2012
17
DM dalam CRM: Siklus Hidup Komsumen •
Siklus Hidup Konsumen: tahapan hubungan antara seorang konsumen dengan sebuah bisnis
•
Tahapan penting dari Siklus Hidup Konsumen •
Prospects: •
•
Responders: •
•
Prospektus yang menunjukkan ketertarikan pada sebuah produk atau layanan
Active Customers: •
•
Orang yang belum menjadi konsumen tapi menjadi target pasar
Orang yang sekarang ini menggunakan produk atau layanan
Former Customers: •
Mungkin konsumen yang “tidak baik” yang tidak membayar tagihan atau menyebabkan biaya tinggi
18
9
DM-MA/S1IF/FTI/UKM/2012
19
10
