Multimedia Database Management System (MMDBMS)
Mengapa Multimedia DBMS? Multimedia database management system (MM-DBMS) Merupakan sebuah database yang mengelola berbagai jenis data yang yang terdiri dari beragam format pada beragam unsur/elemen media
Permintaan Multimedia DBMS? (1) Seperti DBMS tradisional, MM-DBMS harus memenuhi permintaan: 1.
Integration • Data item tidak perlu digandakan untuk program aplikasi yang berbeda
2.
Data independence • Memisahkan database dan manajemennya dari program aplikasi
3.
Concurrency control • Memungkinkan transaksi konkuren
Permintaan Multimedia DBMS? (2) 4.
Persistence • obyek data dapat disimpan dan digunakan kembali oleh transaksi dan pemanggilan program yang berbeda
5.
Privacy • Otorisasi akses dan kontrol
6.
Integrity control • Menjamin konsistensi antara transaksi database
7.
Recovery • Kegagalan transaksi tidak boleh mempengaruhi persistensi penyimpanan data
8.
Query support • Memungkinkan query yang mudah dari data multimedia
Contoh MMDBMS Digital Library Picture Searching News-On-Demand Video-On-Demand Video Filter Music Database Telemedicine Geographic Information System Social Networking
Arsitektur MMDBMS Timothy– three layers Interface Object composition Storage
Interface: object browsing, query, compose dan decompose Object Composition: mengelola objek multimedia dan indexing Storage: clustering
Arsitektur MMDBMS Interface
Object Composition
Storage
Source Data
Multimedia Application
Preprocessing
Index
Multimedia DB
Model MM Database (1) Berdasarkan pada Principle of Autonomy Setiap jenis media diatur dengan cara khusus yang sesuai untuk jenis media Diperlukan perhitungan gabungan antar struktur data yang berbeda Pemrosesan permintaan (query) relatif cepat karena struktur data yang khusus
Model MM Database (2) Berdasarkan pada Principle of Uniformity Struktur abstrak tunggal untuk mengindeks semua jenis media Susah untuk mendefinisikan media dengan format diluar yang telah ditentukan Satu struktur implementasi yang mudah Penanda untuk berbagai jenis media
Model MM Database (3) Berdasarkan pada Principle of Hybrid Organization Sebuah gabungan dari dua yang pertama. Jenis media tertentu menggunakan indeks sendiri, sementara yang lain menggunakan "satu" indeks Upaya untuk menggabungkan keuntungan dari dua yang pertama Penggabungan di beberapa jenis media menggunakan indeks asli
Jenis MM Database 1. No Integration Berupa link/ patch file.
id
size
fps
title
filename
000001 530M
30
soam
l6.mpg
000002 450M
30
tibor
l7.mpg
000003 600M
30
parag
l5.mpg
000004 510M
30
wei
l4.mpg
Jenis MM Database 2. Semi-intergrated
BLOB 000001b70ae9902...
Jenis MM Database 3. Fully Intergrated
index
buffers
storage
Komponen Database MM
Query Interface
storage manager
buffer manager
Query Processing
index
Permasalahan Query Memerlukan dukungan untuk: • hubungan temporal dan spatial • ―natural‖ interface • fuzzy query SQL tidak sesuai.
Contoh Skenario Multimedia Consider a police investigation of a large-scale drug operation. This investigation may generate the following types of data. •
Video data captured by surveillance cameras that record the activities taking place at various locations.
•
Audio data captured by legally authorized telephone wiretaps.
•
Image data consisting of still photographs taken by investigators.
•
Document data seized by the police when raiding one or more places.
•
Structured relational data containing background information of the suspects involved.
•
Geographic information system data remaining geographic data relevant to the drug investigation being conducted.
Contoh query MMDB-SQL Find all image/video objects containing Big Spender wearing a purple suit. This can be expressed as the MMDB-SQL query: SELECT FROM WHERE
M mmdb sourcel M (FindType(M)=Video OR FindType(M)=Image) AND M IN FindObjWithFeatureandAttr(Big Spender, suit, purple)
Topologi Operator Relasi dlm MMDB
disjoint
inside
meet
equal
overlap
covers
covered by
contains
13 Hubungan Temporal Allen (83) before
starts
meets
equals
overlaps
during
finished by
finishes
contains started by
overlapped by
met by after
Contoh Query yang lain Image Audio • Music • Sound • Speech Video
Querying Image Pendekatan umum • memungkinkan query oleh sketsa (warna, bentuk, tekstur) atau contoh. • melakukan pencocokan oleh Vektor F= (, v1 v2, ... vn) misalnya Histogram Warna Contoh Sistem yang telah ada: • QBIC • VisualSEEK • PhotoBook • FourEyes
Pencarian Gambar Google
Google Goggles
Querying Music Chou, Chen, & Liu (96) • Query by chord • Represents musics by chord • C Am Em F C Am Em F ... • Perform fuzzy match Chen & Chen (98) • Query by ―rhythm‖ and tempo • Represents musics by rhythm • | ¶¶— | ¶·¶·| ¶¶¶¶ | ... • Perform fuzzy match
Querying Sound Wold, Blum, Keisar & Wheaton (96) • Analyze audio to extract features • loudness, pitch, brightness, bandwidth and harmonicity • Segment the audio to pieces • Feature Vector Matchings
Querying Speech Hauptmann & Witbrock (97) • Informedia • Use speech recorgnition to convert audio to text • Query by speaking keywords
Sony Track Id
Video Query Chang et. al (97) • User can sketch objects • Specifies • color • texture • shape • motion • duration • camera zoom and pan.
Visual Query Example
Titanic Sinking
Someone Skiing
Content-Based Visual Information Retrieval (CBVIR)
Image Retrieval Methodologies Free browsing Text-based keyword searching Content–based searches
Multimedia retrieval systems often use Combinations of methodologies
Free browsing Menyajikan pengguna dengan set link ke gambar Termasuk ringkasan (misalnya: thumbnail atau keyframe video) Link terstruktur (kategori, hirarki) Mudah untuk diimplementasikan: Gambar (dan link) di dalam database
Text-based Searching Kompatibel dengan model query konvensional Memerlukan keahlian yang cukup untuk mengimplementasikan Proses penandaan sangat subjektif (berupa nama file) Tidak scalable untuk koleksi yang besar atau berkembang pesat
Content-based Searching Indeks konten biner - ekstraksi ciri Indeks dihasilkan berdasarkan fitur diekstraksi Menghilangkan keperluan untuk penandaan manusia Skalabilitas yang lebih baik daripada metode sebelumnya Memerlukan model berbasis kesamaan query Pemetaan semantic adalah kesulitan utama
Feature Extraction Fitur dapat mencakup warna, bentuk, tekstur, dan gerak Dilakukan pengurangan dimensi (kompresi) Dilakukan kesamaan dan perhitungan jarak antara asal fitur Nilai indeks dihitung kemudian disimpan
Information Abstraction Levels
Semantic Queries
Concepts
Objects
Syntactic Queries
Features
Data
Abstraction Level Querying Concept: find images of distressed students studying for final exams Object: find images containing red cars Feature: find images with X% of colors a, b, c Data: find copies, header file, date, capture data
Arah perkembangan CBVIR Improve relevance feedback mechanisms Increased web orientation Standards for evaluating CBVIR systems High dimensional indexing techniques Understand human perception Better user interfaces Cross discipline cooperation between DB and imaging communities
Semantic modeling of multimedia Why hard? Konteks-ketergantungan Semantik bukan properti statistik Semantik dari suatu objek sering tergantung pada: • aplikasi / pengguna yang memanipulasi objek • aturan sebagai properti dari objek Example:
Van Gogh’s paintings
flower
Why hard? Modalitas-independensi Media objek dengan format yang berbeda dapat menyarankan makna semantik terkait / serupa. Contoh: Query:
Results :
image
Harry Potter has never been the star of a Quidditch team, scoring points while riding a broom far above the ground. He knows no spells, has never helped to hatch a dragon, and has never worn a cloak of invisibility.
video
text
