Meaning Based Computing IMDB @ Adatb haladóknak
Wagner Kornél
[email protected] Adatbázisok haladóknak 2012. 2012. október 2.
Miről lesz szó?
Meaning Based Computing Autonomy Alkalmazási lehetőségek
2012. október 2.
Wagner Kornél
Kérdések, válaszok
IMDB @ Adatb haladóknak
Információ kezelés
2.
IMDB @ Adatb haladóknak
A világ nem sorokból és oszlopokból áll
IMDB @ Adatb haladóknak
Információ IMDB @ Adatb haladóknak
Strukturált 15% 22%
Mennyiség Növekedés z
z
Nem strukturált 85% 62%
A nem strukturált információt a számítógépek nem tudják értelmezni Például: Közösségi média
2012. október 2.
Video
Hang
Email
Wagner Kornél
Szöveg
Dokumentum
Kép
5.
Információs trendek IMDB @ Adatb haladóknak
z
Közösségi média z
z
Big data z
z
A méret nem akadály. Az igazi probléma az analízis hiánya.
Cloud z
z
A cégek 58%-a használja a közösségi médiát, 21% pedig tervezi a használatát. Viszont nincsenek felkészülve a hatékony kezelésére, csak 12% elégedett a tevékenységével
A cégek 77%-a tervezi a cloud infrastruktúra használatát. 9 éven belül a tranzakciók fele már Cloud infrastruktúrán fog történni.
Mobil z
A Fortune 500 cégek 88%-a használ mobil alkalmazásokat.
2012. október 2.
Wagner Kornél
6.
A digitális információ mennyisége IMDB @ Adatb haladóknak
z
z
z
z
z
z
Az információ 70%-át emberek állítják elő Minden percben 35 órányi videót töltenek fel a YouTube-ra. Naponta kb. 2 milliárd videót néznek meg. 2010-ben 5 milliárd mobiltelefont használtak
Digitális univerzum 2009 - 2020
2020 35 ZB*
2009 0.8 ZB* Minden hónapban kb. 30 milliárd bejegyzést hoznak létre a Facebook-on
2011 áprilisában az USA Kongresszusi Könyvtára 235 TB adatot tartalmazott A digitális adatmennyiség becsült éves növekedése kb. 40%, ezzel szemben a globális IT költés évente kb. 5%-al növekszik.
2012. október 2.
Wagner Kornél
11 év alatt 44-szeres adatmennyiség *Zettabyte = 1 millárd TB
7.
Hagyományos megközelítés IMDB @ Adatb haladóknak
z
Strukturáljuk az adatokat z
Relációs adatbázisok: z z
z
z
Bizonyos információkat nagyon nehéz ábrázolni Minden fekete-fehér, a szürke árnyalatai elvesznek
Objektum orientált adatbázisok: z z
z
Az adatok relációs struktúrákba rendezése
Objektum orientált struktúrák kialakítása Az adatokat képes tárolni, de az értelmezés nehézkes
Az információk nagy része nem áll rendelkezésre strukturált formában
2012. október 2.
Wagner Kornél
8.
IMDB @ Adatb haladóknak
Meaning Based Computing IMDB @ Adatb haladóknak
z
z
z
z
z
A strukturált és nem strukturált információ együttes kezelése Elosztott, különböző helyeken elérhető információ kezelése Az összes információ jelentésének és összefüggéseinek értelmezése Valós idejű analízis Az információ publikálása az alkalmazások számára
2012. október 2.
Wagner Kornél
10.
Autonomy IMDB @ Adatb haladóknak
Real-Time Analytics Agile -Environment In-Memory
Retrieval Concept Keyword Parametric Federation
Summarization
Unlimited Scale
Agents
Community Interest Profiling Expertise Profiling
Hyperlinking
Channels Clustering Categorization Classification
Matematikai alapok IMDB @ Adatb haladóknak
z
Bayes-tétel z
z
z
“A” valamiféle hipotézis, “B” egy megfigyelhető esemény. A tétel azt adja meg, hogyan erősíti vagy gyengíti az esemény megfigyelése a hipotézis helyességébe vetett hitünket. Pl.: 100 fej, Monty Hall-paradoxon
Shannon-tétel: H= -∑pi ㏒₂ (pi) z
A jel információmennyisége függ a jel előfordulási gyakoriságától.
2012. október 2.
Wagner Kornél
12.
Strukturált adatok kezelése IMDB @ Adatb haladóknak
z
Hagyományos kezelés z
z
z
Adattárház, BI
SQL helyett keresés z
Mezők kialakítása
z
SQL szerű keresési feltételek
z
SQL-en felüli eszközök: pl. súlyozás
Valós idejű analízis z
Egyedi lekérdezésekre jó
z
OLAP kockát nehezen helyettesíti
2012. október 2.
Wagner Kornél
13.
Nem strukturált adatok értelmezése IMDB @ Adatb haladóknak
z
Keresés
z
Kivonat készítés z
z
A kulcsfogalmak és szövegkörnyezetük kiemelése a szövegből.
Hiperlinkelés z
Indexelési időben dokumentumok összekapcsolása
2012. október 2.
Wagner Kornél
14.
Információk csoportosítása IMDB @ Adatb haladóknak
z
Csoportosítás (klaszterezés) z
z
z
z
Fogalmak kialakítása X% a valószínűsége, hogy az adott fogalommal foglalkozik a dokumentum
Kategorizálás z
z
Minta felismerés: A dokumentumban előforduló szavak és gyakoriságuk elemzése
Kategóriák létrehozása és a dokumentumok kategóriákhoz rendelése
Csatornák z
Témakör dokumentumainak összegyűjtése
2012. október 2.
Wagner Kornél
15.
Felhasználók kiszolgálása IMDB @ Adatb haladóknak
z
Agent-ek definiálása z
z
Alert-ek z
z
Érdeklődési körnek megfelelő dokumentumok összegyűjtése Új, változott dokumentumokról értesítés
Profile-ok kialakítása z
A felhasználó érdeklődési körének meghatározása
2012. október 2.
Wagner Kornél
16.
Autonomy architektúra Autonomy Enterprise Service Bus
ACI API
Query Pipeline
IDOL
Language pipeline
Index Processing
Connectors
IMDB @ Adatb haladóknak
ODBC Databases eRoom ATG Dynamo • Stemming OpenText LiveLink FileNet BEA PCDocs FTP Documentum • Transliteration •Domino Provides meaning-based as aEngine service • Highcomputing Efficiency Workflow Informix IMAP 4 (MBC) • • thatFlexible Query Manipulation Synonyms Microsoft SharePoint Interwoven •DB2 Uniform interface uses HTTP and XML to enable SOA • Applying criteria to indexing Moreover Oracle Database Exchange Server Statistical Analysis • • Extendable Parameters •EdgarApply to meet specific XML formatting NNTP requirements OCR Fetch OnlineXSLTs on• the server Extendable • Linguistic Analysis NewsEdge POP3 Epicentric • Uses standard• HTTP/XML technologies can be used in any SOA architecture Extensive Queryso Language • Proven UNIX FileSystem LDAP Internet (HTTP) • Word Decomposition Netware File Systems Linux FileSystem Microsoft SQL • Flexible SiteMinder Netegrity Microsoft SQL iManage Server • N-gram indexing Lexus Nexus MySQL Lotus Quickplace • …. Vignette WebSphere………… Sybase
500+ Functions
IDOL elemi funkciók (500+) IMDB @ Adatb haladóknak
• • • • • • • • • • • • • • • • • •
2D/ 3D Clustering Auto Query Guidance Acoustic Signature Active Matching Agents Alerting Auto Language Detection Boolean & Legacy Operations Breaking News Clustering Categorization Collaboration Community Concept Highlighting Concept-Query Summarization Conceptual Retrieval Context Summarization Cross-Modal Suggest Dynamic n-dimensional Taxonomy Generation • Dynamic XML Consumption • Eduction 2012. október 2.
• • • • • • • • • • • • • • • • • • • • •
Exact Phrase Matching Expertise Location Explicit Profiling Face Recognition Field Modulation Frame Analysis Fuzzy Matching Hot Clustering Hyperlinking Image Analysis Image Association Implicit Profiling Keyword Search Mail Object Identification Melody Classification Melody Identification Metadata Recognition Natural Language Retrieval Object Identification Object Recognition Ontology Generation Wagner Kornél
• • • • • • • • • • • • • • • • • • • • •
Parametric Refinement Phrase Spotting Proper Name Identification Query by Example Real-time Aggregation Routing Scene Detection Script Alignment Soundex Matching Speaker Identification Speaker Recognition Spectrographic Analysis Speech Recognition Spell Checking Tag Reconciliation Transcription Video Analysis Voice Printing Word Spotting Work Groups XML Tagging... 18.
Autonomy termékcsalád IMDB @ Adatb haladóknak
Terület
Megoldások
Platform
POWER
PROTECT
PROMOTE
Meaning Based Computing
Meaning Based Governance
Meaning Based Marketing
Search BPM OEMs
eDiscovery Archiving & Records Content Mgmt Compliance
Web Content eBusiness Marketing Optimization Rich Media Mgmt Contact Center
Autonomy Intelligent Data Operating Layer (IDOL)
Potenciális lehetőségek… IMDB @ Adatb haladóknak
z
Az információ 100%-ának felhasználása
z
Felismerni a vásárlási szándékot és reagálni rá
z
Termékeladások valós idejű követése
z
Hitelminősítés
2012. október 2.
Wagner Kornél
20.
Konkrét alkalmazások IMDB @ Adatb haladóknak
z
z
Keresés z
Állambiztonság
z
Amerikai jogi cégek
z
Hírportálok
z
Marketing tevékenység támogatása
Dokumentum menedzsment z
z
Bankok, gyógyszeripari cégek: jogszabályi megfelelés
Video analízis z
Biztonsági megoldások: helyzet felismerés, arcfelismerés
z
Nyomkövetés (tárgyak, személyek)
2012. október 2.
Wagner Kornél
21.
Kérdések… IMDB @ Adatb haladóknak
z
…válaszok (?)
2012. október 2.
Wagner Kornél
22.
Ez itt a reklám helye… IMDB @ Adatb haladóknak
z
Önálló labor
z
Diplomatervezés
2012. október 2.
Wagner Kornél
23.
Köszönöm a figyelmet! IMDB @ Adatb haladóknak
Wagner Kornél
[email protected] Adatbázisok haladóknak 2012. 2012. október 2.
