Vajon mit ajánlunk IM témakörben?

Kattintson ide szöveg hozzáadásához

Vajon mit ajánlunk IM témakörben? DBs , Archiving, Security, DWH, Appliances, Social Network, Visualization

Information Management

© 2012 IBM Corporation

Információ kezelés ~ Information Management

Transactional & Collaborative Applications

Business Analytic Applications

Analyze Integration Big Data

Manage

Master Data

Cubes Analytics Streams

Data DW Data

External Information Sources

Warehouse

Document

Streaming media

Quality

Lifecycle

Security & Standards Privacy

Govern

2

2


IBM DB2: a megtakarítások forrása

Alacsony működési költségek automatizált DBA feladatok, optimális tárolók, egyedi teljesítmény

Megbízhatóság

Egyszerű használat

bizonyított megbízhatóság, rendelkezésre állás, és a biztonság

egyedi fejlesztői támogatás, XML alapú adatkezelés, virtuálizációs eszközök

 Alacsony adminisztrációs költségek – egyedi automatizálás

 Alacsony szerverparkhoz kapcsolódó költségek – piacvezető teljesítmény

 Alacsony háttértárhoz kapcsolódó költségek – egyedi, kiemelkedő tömörítési eljárások

 Alacsony IT jellegű költségek – gyors és egyszerű virtuálizációs eszközök

 számszerűsített teljesítmény növekedés SAP környezetben – ERP 20%+, BW 40%+; mért 9-szeres BW válaszidő gyorsulás

 számszerűsített háttértár igény csökkenés (teljes rendszerre vetítve: 55-68%)  teljeskörű integráltság 3


IBM DB2: a megtakarítások továbbvitele (DB2 10.1 – 2012. július 17.)

Alacsony működési költségek automatizált DBA feladatok, optimális tárolók, egyedi teljesítmény

Megbízhatóság

Egyszerű használat

bizonyított megbízhatóság, rendelkezésre állás, és a biztonság

egyedi fejlesztői támogatás, XML alapú adatkezelés, virtuálizációs eszközök

• A DB2 9.7-hez képest további 20-30%-os tömörítési ráta

• komplex lekérdezések esetén 3-szor nagyobb teljesítmény2

• Mindez Coca Cola esetén: 77%1

• Coca Cola: 90%1 gyorsabb futási idő a batch alapú feldolgozásoknál

• Egyszerű szabad hely felszabadítás

• Általánosságban 30 - 60%3 teljesítmény javulás

• Továbbfejlesztett logikai hibakezelés a HADR segítségével •

10-gigabit Ethernet támogatás AIX szervereken

• Támogatott pureScale platform

DB2 10.1 megjelenést követő három hónapon belül támogatott SAP környezetben 1 2 3

4

Coca Cola Bottling DB2 10.1 for LUW video: http://www.youtube.com/watch?v=qma5TMpxtCY Belső mérés alapján: IBM DB2 9.7 FP3 vs. DB2 10.1 felhasználva az új tömörítési módszert; hardver: P6-550; dátum: 2012. március 29. Belső mérés és ügyfél kikérdezés alapján, amely 2011. szeptember 28. és 2012. március 7. között történt. © 2012 IBM Corporation

Kimagasló megtakarítás az adaptív tömörítés segítségével DB2 10.1 for Linux, Unix and Windows (LUW)  DB2 9 LUW:

jelentős háttértár megtakarítás és memória felhasználás a táblák esetén

 DB2 9.7 LUW:

kiterjesztett tömörítés (Index, Temp és LOB)

 DB2 10.1 LUW:

adaptív tömörítés tábla-oldal szinten, és archív logokra is

Comp. Rate 40-50 %1 Comp. Rate Up to 65 %2

Comp. Rate bis 77 %3

“Our migration from Oracle Database to DB2 resulted in a 40% storage savings. Upgrading to DB2 9.7 and index compression brought our average savings to 57%. Now adaptive compression brings our average savings to 77%, dramatic savings!” —Andrew Juarez, Lead SAP Basis / DBA, Coca Cola Bottling Company. Esettanulmány: Schaeffler http://www-01.ibm.com/software/success/cssdb.nsf/cs/STRD-7JEJG9?OpenDocument&Site=gicss67sap&cty=en_us Esettanulmány: olasz közlekedési cég http://public.dhe.ibm.com/common/ssi/ecm/en/spc03369iten/SPC03369ITEN.PDF 3 Coca Cola Bottling DB2 10.1 LUW video: http://www.youtube.com/watch?v=qma5TMpxtCY 1 2

5


Teljesítmény növekedés (példa): MPC

 MCP = Multi Core Parallelism, része a D2 10.1 LUW csomagnak  Biztosítja a nagy lekérdezések párhozamos futtatását (OLTP, OLAP)  Támogatja a párhuzamos feldolgozást SAP NetWeaver BW környezetben – nem szükséges a DB2 Database Partitioning Feature alkalmazása

 Egyszerűen kezelhető, beállítható Teszt eset • Nagy, nem partíciónált infókocka

• 20 tipikus lekérdezés • 4 CPU mag (!) • Átlagos teljesítménynövekedés: DB2 10.1 44%-kal volt gyorsabb, mint DB2 9.7 (felhasználva Intra Parallel processing módot).

6


What makes BLU Acceleration different? Unmatched innovations from IBM Research & Development labs Next Generation In-Memory

Analyze Compressed Data

In-memory columnar processing with dynamic movement of data from storage

Patented compression technique that preserves order so data can be used without decompressing

C1 C2 C3 C4 C5 C6 C7 C8

Encoded

CPU Acceleration

Data Skipping

Multi-core and SIMD parallelism (Single Instruction Multiple Data)

Skips unnecessary processing of irrelevant data

Instructions

Data

Results


What is BLU for Cloud?

DB2 BLU for Cloud Self-service Data Warehousing & BI in the Cloud The same benefits of DB2 with BLU Acceleration, plus  On-demand analytics, deploy analytics in under an hour  Powerful database & analytic capabilities at a fraction of the cost  No infrastructure investment  Cognos Business Intelligence included  Expert-built schemas for business insight Available on:

For use by: Business

Data Scientists Business Analysts Line of Business Users

IT

DBAs Developers © 2012 IBM Corporation

DB2-re történő áttérés egyszerűsége

 DB2 natív módon támogatja más gyártók által fejlesztett egyedi adatbázis jellemzőket: belső leírási tulajdonságok, csomagok, adat típusok, egyidejűségi modellek, leíró nyelvek, stb.  A fejlesztések folyamatosan követik és biztosítják az új tulajdonságok áttérését

 Áttérés Oracle adatbázisról – az Oracle PL/SQL kódok 90-99%-a azonnal átfordítható DB2-be – IBM Data Movement Tool • képessé teszi az alkalmazások futását Oracle környezetből DB2 környezetbe • alkalmas adatok DB2-be történő átmozgatására különböző adatbázis-kezelőkből – IBM DB2 Workshop for Oracle Professionals • testreszabott oktatás Oracle adatbázis üzemeltetőknek, fejlesztőknek • egyszerűen kiterjeszti a PL/SQL ismereteket • 2 nap, amely lefedi a két adatbázis-kezelő teljes összeegyeztethetőségét • élő ‘mintaáttérés’ demonstrációs környezetben

9


SAP IT - Germany

 DB2 a stratégiai adatbázis-kezelő az SAP IT-nál  Az SAP több mint 1200 rendszerén fut DB2 – ~ 522 DB2 9.1-es és ~ 183 a DB2 9.5-ös  SAP HR rendszerét migrálta Oracle-ről DB2-re – párhuzamos Unicode és a DB2 migráció – egy hétvége alatt – 40%-kal csökkent a válaszadási idő  Az SAP az ERP rendszerét is migrálta... – legnagyobb rendszer 2,4 TB-os volt – R/3-ról ERP 2005-re történt a váltás, párhuzamosan Unicode és DB2 átállással  DB2 a jelentős K+F platform az SAP-nál

„A rendszer válaszidejének javulása 20 százalék körülire volt tervezve, azonban a valóságban már megfigyelhető a 40 százalékos válaszidő csökkenés DB2-vel.” Peter Boegler, Solution Architect, SAP IT 10


AUDI csoport, benne AUDI Hungaria Motor Kft.

 Előzetesen várt eredmények: – Adatbázisméret és a havi növekedés mértékének csökkenése – on-line DB Backup idejének csökkenése – Performancia (sebesség) javulása – Üzemeltetési feladatok csökkenése • a SAP release stratégiájához igazított DB2 release menetrend • kiszámítható/tervezhető patch-menetrend (negyedévente) – Jelentős költségmegtakarítás a high-end storage területen az adatbázisok méretének csökkenése miatt.  Proof of Concept – Kiválasztott rendszerek: eRecruiting, ERP (FI/CO), BW – Cél: minimum 40%-os adatbázis méretcsökkenés, performancia nem lehet rosszabb a jelenleginél  PoC eredmények – eRecruiting • a DB2 adatbázis titkosítása nem igényelt jelentős erőforrás-többletet. • a 78,6 GB-os DB2 adatbázis titkosítása sikeresen, 30 perc alatt lezajlott. – ERP (FI/CO) • Erőforrásszükséglet: a CPU és a RAM igény egyértelműen kisebb volt. • Tárolókapacitás: a DB2 73%-kal kevesebb diszket igényelt. • Performancia: a DB2 adatbázis átlagosan (az összes mérést figyelembe véve) 64%-kal gyorsabb volt, bizonyos esetekben akár 9 szeres gyorsulást is sikerült elérni. – BW • Erőforrásszükséglet: a CPU-igény hasonló, RAM egyértelműen kevesebb kellett • Tárolókapacitás: a DB2 53%-kal kevesebb diszket igényelt • Performancia: a DB2 átlagosan (az összes mérést figyelembe véve) 23%-kal gyorsabb volt. • Bizonyos mérések a DB2-nél 101-szeres gyorsulást mutattak az Oracle DB2-höz képest (az SAP BW kihasználja a DB2 adatbázis speciális funkcióit).  Migráció befejeződött: AHM 2010. szeptember 11-i hétvégén, többi rendszer 2010. év végéig 11


Adatbázisok kezelése

 Archiválás és visszaállítás, felderítés – javuló adatkezelési teljesítményét – ellenőrzött adatmennyiség növekedés, költségmegtakarítással – adatmegőrzési megfelelőség támogatása  Tesztadatok kezelése – megfelelő méretű és minőségű tesztkörnyezet – javuló alkalmazás-minőség – ismétlődő teszteljárások felgyorsítása  Bizalmas adatok védelme – kényes adatok maszkolása – megfelelőség biztosítása  Alkalmazások frissítése, összevonása, „nyugdíjazása” – régi adatok elérése (az eredeti éles környezet visszaállítás nem szükséges) – univerzális adatelérés: SQL, ODBC/JDBC, XML, portál felület, jelentéskészítő eszközök (Cognos), egyéb használt állomány formátumok (txt, csv, xls, stb.)

 Információk életciklusának kezelése

12


Optim – nagyvállalati architektúra Egyszerű, skálázható architektúra, amely központi eszközként biztosítja a kivonat készítést, tárolást és visszaállítást, adatvédelmet (anonimizálás), alkalmazások adatainak megőrzését

13


Archiválás és visszaállítás, felderítés

archiválás

Éles adatbázis

visszaállítás

Archívum

Univerzális adatelérés  Biztonságosan mozgatja a nem használt, vagy történelmi adatokat az archívumba  Az archívum jelentős számú különböző módokon elérhető felderítés, riportkezelők, alkalmazási elérések, stb. 14


Tesztadatok kezelése

átmozgatás

Egyedi állományok

Éles adatbázis

betöltés beillesztés frissítés összehasonlítás  Könnyen kezelhető teszt környezet  Megfelelő méretű és minőségű részadatbázis létrehozása hatékonyabb módon, mint a klónozás

fejlesztői rendszer

minőségbiztosítási rendszer

teszt rendszer 15


Bizalmas adatok védelme

Éles adatbázis

Átalakítás és maszkolás

Maszkolt teszt adatok

 Átfogó adatmaszkolási technikák alkalmazásával az eredeti adatok azonosítása nem lehetséges  A bizalmas információt helyettesítő (maszkolt) adat kontextuálisan pontos, de mesterségesen létrehozott adat

16


Alkalmazások frissítése, összevonása, „nyugdíjazása” Elavult alkalmazás

archívum

archiválás

Alkalmazás adatbázis

Referencia adat

történeti adat Riportolási adat

Univerzális adatelérés  Az alkalmazás adatainak archiválása a kikapcsolás előtt  Az adatok elérése az elavult alkalmazás nélkül, vagy teljes körű visszaállítás ODBC / JDBC 17

XML

Riport készítő © 2012 IBM Corporation

Optim által nyújtott életciklus kezelés

Aktuális adatok

Aktív történeti adatok

Online archívum

Offline archívum

1-2 év

3-4 év

5-6 év

7+ év

Éles adatbázis

archiválás

Archív riport adatbázis

CD szalag optika

visszaállítás

Archívum (tömörített)

18

Offline Nem DBMS alapú megőrzési platform megőrzési platform




Universal Access

 Natív alkalmazás elérés – Normál képernyők, folyamatok

Optim

 Alkalmazás független elérés – iparági standardok: SQL, ODBC/JDBC, XML – IBM Mashups – portálok – jelentéskészítő eszközök Crystal Reports, Cognos, Business Objects, Discoverer – végfelhasználói alkalmazások: Excel, CSV, Access – adatbázis formátumok

Access Any Record, Anytime, Anywhere! 19


Kritikus adatok védelme a teljes életciklusuk alatt Valósidejű adatbázis biztonság és monitorozás

● Automatikus, központosított irányítás

● ‘Cyber’ támadás elleni védelem ● Kiváltságos felhasználók figyelése és ellenőrzése (100% átláthatóság) ● Valós idejű megelőzés és riasztás

● Hangolható hozzáférés és alkalmazás szintű ellenőrzés

Monitor & Enforce

● Szabály-alapú akciók

Kritikus adatinfrastruktúra

● SIEM integráció ● Különböző adatbázisok, alkalmazások és kliensek felfedezése ● Az érzékeny, kritikus adatok felderítése és osztályozása ● A biztonsági szabályrendszerek folyamatos frissítése

Find & Classify

● Rosszindulatú számítógépes programok (malware) és beépülő logikai bombák azonosítása 20

Audit & Report

● Előre meghatározott szabályok, megfelelőségi jelentések ● Automatizált eszkalálás ● Különböző adatbázisokon, változtatás nélküli, minimális teljesítményigényű működés ● Hosszú távú megőrzés

Assess & Harden

● Sebezhetőség, konfiguráció és viselkedés felmérés ● Konfiguráció lezárás és változás követés ● Titkosítás ● Előre meghatározott tesztek a leghasznosabb tapasztalatokat alapján (STIG, CIS, CVE) © 2012 IBM Corporation

Fő üzleti mozgatórugók – adatbázis biztonság és megfelelőség

1. Adatszivárgás megakadályozása – külső, illetve belső fenyegetések elkerülése 2. Adatkezelés megfelelő biztosítása – bizalmas adatok illetéktelen módosításának megakadályozása (beleértve kiváltságos jogosultsággal rendelkező felhasználókat is) 3. Megfelelőséghez kapcsolódó költségek csökkentése – automatikus, folyamatos kontrol – egyszerű auditálási folyamatok – minimális teljesítmény igény – adatbázisok, alkalmazások változatlan fenntartása

21


Guardium - Valósidejű adatbázis monitorozás és biztonság

Privileged Users

 Teljekörű hozzáférés-monitorozás

 Ki, mit, mikor és hogyan - monitorozás

 Használatához nem szükséges adatbázis vagy alkalmazás módosítás

 Valós idejű, szabályrendszeren alapuló monitorozás

 Minimális adatbázis-teljesítmény terhelés

 A céleszköz 3-6 hónapnyi adatot tud tárolni a saját tárhelyén

 Egyértelműen elkülöníthető szerepkörök (biztonságos audit állományok) 22

 Automatizált megfelelőség jelentések, aláírások (SOX, PCI, NIST, stb.) © 2012 IBM Corporation

Guardium monitorozási képességek

 SQL hibák, Login események  DDL parancsok (Create/Drop/Alter Tables)  SELECT futtatás  DML parancsok (Insert, Update, Delete)  DCL parancsok (Grant, Revoke)  Procedúra alapú leíró nyelvek  Adatbázisból hívott XML

23

23


Guardium felhasználása alkalmazások felhasználóinak azonosítására

 Felhasználók azonosítása – Felfedi a lehetséges csalásokat – Pontosan ellenőrzi a felhasználói hozzáféréseket az érzékeny táblákhoz  Támogatott nagyvállalati alkalmazások – SAP, Siebel, Oracle E-Business Suite, PeopleSoft, Business Objects Web Intelligence, JD Edwards, (és belső fejlesztésű egyedi alkalmazások integrációja is lehetséges)  Felhasználói azonosítók (ID) rögzítése – Egyedi azonosítót összegyűjtése az adott adatbázisokból (táblák, trigger, stb. által) – Egyedi hívásokat ellenőrzése és a paraméter-információk összegyűjtése – S-TAP szonda által az alkalmazás, vagy proxy szerver által a felhasználói azonosító megszerzése

24


Sebezhetőség vizsgálat – valós példa •

Teszteredmény 100% a legjobb elérhető érték

•

25

Összesítés a vizsgált 267 teszt eset alapján Az egyes tesztek külön csoportba vannak osztva, külön láthatók az eredmények


Skálázható, heterogén architektúra

Integráció: LDAP, Kerberos, SNMP/SMTP, QRadar, ArcSight, RSA SecurID & enVision, McAfee ePO, IBM TSM, Tivoli, Remedy, stb.

26


GGr: InfoSphere Guardium Grid (GGr) • • Instance 1

•

virtuális IP kiosztás az S-TAP-oknak teljesítmény-elosztás a gyűjtőeszközök (Collector) között automatikus Újrarendezés gyűjtőeszköz (Collector) meghibásodása esetén

Instance 2

Előnyök:  virtuális IP kiosztás egyszerűsíti az S-TAP konfigurálást

IP Load balancer(s) (Cisco, F5)

Collector 1

…

...

Instance 3

 a rendszer a megfelelő eszközhöz rendeli a szondát figyelembe véve az a elérhetőséget és kapacitást (egyszerűbb tervezés)

Instance 100

 egyedi gyűjtőeszközök egyszerűen hozzáadhatók, vagy elvehetők a rendszerből

Instance 101

...

…

Collector N

Instance 102

 megőrzi a rendszer teljes redundanciáját és folyamatosan biztosítja a terheléselosztást

Instance 901

Collector Z Instance 902

Instance 903 27

GGr támogatja a központi változtatásokat IP függőség nélkül © 2012 IBM Corporation

Capture/Replay

 Új funkció az idei évtől – támogatja a heterogén, több adatbázisos környezete – a visszajátszás egy külön tesztrendszeren  Működés – az adatrögzítés a monitorozott rendszeren történik – a rögzített adatok és terhelés visszajátszása alrendszeren valósul meg – lehetőséget nyújt az alrendszeren végzett visszajátszás összehasonlítására is

 Milyen esetekben hasznos? – migráció tesztelés (operációs rendszer, adatbázis) – funkcionális és teljesítmény tesztelés – hiba felderítése a visszajátszás során – változtatások hatásának elemzése a valós és a tesztrendszeren egy időben – működés összehasonlítása hibakeresés és diagnosztikai céllal

28

28


Integráció a meglévő infrastruktúrával a költséghatékonyság érdekében SNMP Dashboards Directory Services SIEM (Q1 Labs, (Active Directory, LDAP, etc.) ArcSight, EnVision, Tivoli, etc.) (HP OpenView, Tivoli, etc.) Change Ticketing Systems - Remedy, Peregrine, etc

Authentication (RSA SecurID, RADIUS, Kerberos)

Send Alerts (CEF, CSV, syslog)

Vulnerability Standards (CVE , STIG, CIS Benchmark) Sensitive Data - ---- - - - xxx-xx-xxxx -------

Data Leak & Data Classification

Software Deployment (Tivoli, RPM, Native Distributions) Long Term Storage (EMC Centera, IBM TSM FTP, SCP, etc.)

29

McAfee (EPO)

Application Servers (Oracle EBS, SAP, Siebel, Cognos, PeopleSoft, WebSphere, etc.)


IBM PureSystems Family How much flexibility, integration and workload optimization does the client want out of the box?

Infrastructure

Application Platform

Integrated and optimized infrastructure with flexibility

Integrated and optimized application platform

Runs your choice of applications and middleware

Built on IBM middleware to accelerate deployment of your choice of applications

Enhanced

• Updated with enhanced Flex System elements*

• Delivering application platform services

Data Platform Integrated and optimized data platform Delivers high performance data services to transactional and analytics applications

New

• New system optimized exclusively for data workloads

* November 13 announce 30


What makes IBM PureData System unique? Different models pre-optimized exclusively for different data workloads Saving clients time, effort and cost to tune on their own

PureData System for Transactions

PureData System for Analytics

Very fast response times for high transaction volumes with high reliability, scalability and efficiency

Data services for applications like medical diagnosis

Next generation Netezza appliance

Ability to analyze millions of medical records quickly, easily and cost effectively

PureData

Data services for applications like real-time fraud detection

System for Operational Analytics

31

Data services for applications like payment processing

Supports both complex analytical queries as well as thousands of interactive operational queries per second


Törzsadatkezelés Konszolidált, egységes hozzáférés, ellenőrzött kezelés

? ?

?

?

életbiztosítás

Ügyfélszolgálat

?

?

?

?

?

Befektetés

Master Data

gépjármű

? ?

?

lakás… Kárrendezés, Kockázat elemzés

32 32


Közös törzsadatkezelés előnyei Csökkenő működési költségek, Megalapozottabb stratégiai döntések, elemzések pontosabb információk alapján

Hatékony központosított törzsadat karbantartás

Ügyfélkapcsolat és kiszolgálás javítása ,kevesebb adatlap Egyablakos ügyintézés. Hibás adatokból származó veszteség, csökkenése

Master Data Management

NEM CRM ! Törvényi szabályoknak való megfelelés

Új alkalmazások bevezetése lerövidül. Új feladatok, ügyfelek felvétele egyszerűsödik

33

Szervezeti, intézményi átalakulások átszervezések költsége csökken

Speciális szabályzás, összeférhetetlenség jelzése Fraud detektálás segítése © 2012 IBM Corporation

Széleskörű képességek az igényekhez igazodó törzsadatkezelésért. Integrate Master Data

 Előredefiniált, jól bevált törzsadat domain – akár új domainnel is bővíthető

Data Warehouse

 Központi törzsadat mint szolgáltatás (SOA) több mint 800 kiajánlott service  Erős adat-felügyeleti képességek, DataStewardship, Authority  Adatkezelési, adattisztítási folyamatok

 Törzsadat kezelő megjelenítő felület  Testreszabható, és kibővíthető alaprendszer (új szolgáltatások)  InfoSphere termékcsalád elemeivel integrált, DataStage Quality Stage

34


The IBM Big Data Platform

InfoSphere BigInsights Hadoop-based low latency analytics for variety and volume

Hadoop

Information Integration

Stream Computing

InfoSphere Information Server

InfoSphere Streams Low Latency Analytics for streaming data

High volume data integration and transformation

MPP Data Warehouse

IBM InfoSphere Warehouse

IBM Netezza High Capacity Appliance

Large volume structured data analytics

Queryable Archive Structured Data

IBM Netezza 1000 BI+Ad Hoc Analytics on Structured Data

IBM Smart Analytics System

IBM Informix Timeseries Time-structured analytics

Operational Analytics on Structured Data © 2012 IBM Corporation

6

Warehouse Modernization Has to Themes

Traditional Analytics

Big Data Analytics

Structured & Repeatable Structure built to store data

Iterative & Exploratory Data is the structure

Hypothesis

Question

Data

?

All Information

Exploration

Analyzed Information

Answer

Data

Start with hypothesis Test against selected data

Analyze after landing…

Actionable Insight

Correlation

Data leads the way Explore all data, identify correlations

Analyze in motion…


Data Warehouse Augmentation: Value & Diagram 1 Pre-Processing Hub

2 Query-able Archive

3 Exploratory Analysis

Data Explorer Streams Real-time processing

BigInsights Landing zone for all data

BigInsights Information Integration

Can combine with unstructured information

Data Explorer Find and view the data

BigInsights Streams Offload analytics for microsecond latency

Data Warehouse 37

Data Warehouse

Data Warehouse © 2012 IBM Corporation © 2013 IBM Corporation

Enhanced 360º View of the Customer: Value & Diagram SOURCE SYSTEMS CRM Name:

J Robertson

Address:

35 West 15th

Address: Pittsburgh, PA 15213

ERP Name:

Janet Robertson

Address:

35 West 15th St.


Legacy Name:

Jan Robertson

Address:

36 West 15th St.


Master Data Management 360 View of Party Identity First:

Janet

Last:

Robertson

Address:

35 West 15th St

City:

Pittsburgh

State/Zip:

PA / 15213

Gender:

F

Age:

48

DOB:

1/4/64

Unified View of Party’s Information BigInsights

Unified View of Party’s Information 38

Streams

Warehouse

© 2012 IBM Corporation © 2013 IBM Corporation

Access across many sources

Dynamic categorization

Expertise location

Leveraging Structured and unstructured content

Highly relevant, personalized results

Enhanced by social collaboration

Refinements based on structured information 39 39

Organize content into virtual folders

© 2012 IBM Corporation 39

How Streams Works  Continuous ingestion  Continuous analysis Filter / Sample

Infrastructure provides services for Scheduling analytics across hardware hosts, Establishing streaming connectivity

Annotate

Transform

Correlate Classify

Achieve scale: By partitioning applications into software components By distributing across stream-connected hardware hosts

Where appropriate: Elements can be fused together for lower communication latency © 2012 IBM Corporation

The Big Data Platform InfoSphere Data Explorer

Solutions

Find, navigate, visualize all data Analytics and Decision Management

Accelerators Speed time to value with analytic and application accelerators

IBM Big Data Platform Visualization & Discovery

Application Development

Systems Management

InfoSphere BigInsights Bringing Hadoop to the enterprise Accelerators

InfoSphere Streams Analytics for data in-motion exploration

PureData for Analytics & InfoSphere Warehouse

Hadoop System

Stream Computing

Data Warehouse

Delivers deep insight with advanced database analytics & operational analytics Information Integration & Governance

Information Integration and Governance Govern data quality and manage the information lifecycle

41

Big Data Infrastructure © 2012 IBM Corporation © 2013 IBM Corporation

Emerging Big Data Implementation Pattern Ingestion and Real-time Analytic Zone Ingest Filter, Transform

Analytics and Reporting Zone

Correlate, Classify Warehousing Zone

Query Engines Cubes

Data Sinks

Connectors

Enterprise Warehouse

Extract, Annotate

Descriptive, Predictive Models

Landing and Analytics Sandbox Zone Hive/HBase Col Stores

Analytics MapReduce

Ingest

Documents In Variety of Formats

Data Marts

Widgets Discovery, Visualizer Search

Indexes, facets Models

Metadata and Governance Zone Repository, Workbench


Big SQL: Native SQL Query Access for Hadoop  Native SQL access to data stored in BigInsights – ANSI SQL 92+ – Standard syntax support (joins, data types, …)

Application SQL

 Real JDBC/ODBC drivers – – – –

JDBC / ODBC Driver

Prepared statements Cancel support Database metadata API support Secure socket connections (SSL)

JDBC / ODBC Server

 Optimization

Big SQL Engine

– Leveraging MapReduce parallelism or… – Direct access for low-latency queries

Data Sources

 Varied data sources – – – –

43

HBase (including secondary indexes) CSV, Delimited files, Sequence files JSON Hive tables

Hive Tables

HBase tables

CSV Files

BigInsights


Cognos Business Intelligence Optimized for Big SQL  Cognos BI server can push down many computations to BigInsights – Big SQL directs this processing to happen on BigInsights instead of the Cognos BI Server

 Faster response times – Increased opportunity for query processing to occur closer to the data

Cognos BI Server Explore & Analyze

Report & Act

SQL Interface via JDBC

Application

 Free from the limitations of Hive (latency, SQL language support)

(Map-Reduce)

Storage (HBase, HDFS)

InfoSphere BigInsights

44


Caixabank Big Data Reference Architecture

Predictive Model

Offers Creation and Management System

Integration

Deep Analytics

Text Analytics

External Social Media (unstructured)

Pattern Detection

Integration

Big Data (Data At Rest)

unstructured unstructured data data

Matching System

Integration

structured data

45

Real Time Event Detection

Integration

Text Analytics

CaixaBank ‘at rest’ / ‘in motion’ (unstructured)

CaixaBank operational system (structured)

Marketing

Streams (Data in Motion)

Datawarehouse

Multichannel Notification System

Integration

CaixaBank Electronic Journal (structured)

Customers Profiles


IBM Counter-Fraud Management employs multi-layered analytical techniques Entity Analytics

Predictive Analytics

Behavioral Analytics

Context Analytics

Big Data

Decision Management

Veracity Velocity Variety Volume

GeoSpatial Analytics

Content Analytics

Forensic Analysis

Social Network Analysis


Insurance claim fraud scenario walkthrough FNOL, Bill, etc.

Discovery

Detection

Entity Analytics Business Rules

Claimant

Predictive Model Optimize Fraud Decisions

Entity Analytics

Provider

9,500 model library Anomaly Detection

Selection Evaluation Identification

Real Time Alert

New Investigation

Observation Space

Case Management 47

Intelligent Investigation

Intelligent Fraud Dashboards © 2012 IBM Corporation

Szociális háló elemzés – Identity Insight fő funkciói

KI-KIcsoda? Személy, cég azonosítás

KI-KIT ismer?

KI-MIT tesz?

Nem triviális kapcsolat

Személyhez kötött akciók

 Háttérben folyamatosan gyűjti az adatokat  Adatforrás visszakereshető

Valós Idejű működés!

 Adatbázis folyamatosan alakul aktualizálódik, időben változik  Gyűjtött kapcsolati adat vizualizálható 48


i2: Vizualizáció és analízis Mrs. Kate Greene 1 Bourne St Clinton MA 01510 Tel#978-365-5312 EIN#097376156 DOB 07/08/64 PPN# 068588345 LIC#1702188364

49

Mrs. Kathy Green 10 Bouren St Clifton MA 01510 Tel#978-365-5312 LIC#1702188364 PPN# 086588345

Ms. Katherine Green 1 Bourne St Clinton MA 01510 TEL#978-365-6631 LIC#1702188364 DOB 07/09/66 EIN#097376156

Mrs. Kate Jones APT 4909 Bethesda, MD 20814 Tel#301-654-5404 LIC#1702188364 DOB 07/08/64


Azonosság felderítése ID 1987839

ID 8987009 Kate Mills-Green 1 Bourne St. Bolton, MA 01512 Phone: (501)661-8044 Silverback DOB: 12/12/71

Kate Mills 4737 Cimarron Dr. Bolton, MA 01512 Phone: (978)365-6631 DOB: 12/13/71

Azonosítás • Kumulatív adatgyűjtés  Automatikus korrekció  Forrásmegőrzés  Tetszőleges forrásból származó adatokkal  Nagy hibatűrés Entity #14465 ID 1786616

• Egyezőség jelzés • Gyanús attribútum jelzés NAMES

Katie Green ADDRESSES P.O. Box 12743 4737 Cimarron Dr. Clinton, MA Easton, MA 02334 01510 1 Bourne St. Phone: (978)365-6631 Bolton, MA 01512 Kinear P.O. Box 12743

ID 3335673 Katherine D. Green 4737 Cimarron Dr. Easton, MA DOB: 12/13/71 02334 Phone:(508)278-6019 Phone:(508)278(978)365-6631 6019 (501)661-8044 Work: Zycast Int. Zycast Int. Silverback DOB: 11/13/71 ADDITIONAL

Katherine D. Green • Hasonló adatok keresése Kate Mills-Green(fuzzy matching)

Clinton, MA 01510

Katie Green Kate Mills Kate Green Kate M. Green

Kinear


Kapcsolatok keresése facebook

Debbie Creston STR/SAR List

Charlie Green Family Relationship ACCT#564-088-300

VIN#222-222-356

Közös cím

Kapcsolatkeresés

katonaság

• Nemtriviális, kapcsolatok •VIN#222-222-356 Soklépcsős kapcsolatok • Gyanús, kapcsolat jelzése IP sharing

• Feketelista

fektelistás

• Kizáró szerepkörök • Kapcsolati háló megjelenítés EIN#667-009-008

• Háló érték meghatározás

P.O. Box 567

John Gairhan Watch List EIN#667-009-008

facebook

Whitley St. John Employee P.O. Box 567


Aktivitás figyelés előfordulás

Több entitás

Számla aktivitás

Távolság - idő

Közeli hely

Határidő túllépés

Aktivitás minták •Complex Event Processing •Events & Transactions •Szabály alapú jelzés •Térbeli és időbeli lefutás •Esemény mintázat

Szolgáltatás

Határ

Pénzforgalom

Találkozó


Global Name Recognition Cait

Katchen

Kat

Aikaterina Katya

Catriona

Legpontosabb névanalízis Cathy

Catriona

Ekaterina • Nyelvi elemzés • Kultúrális adatbázis, névvariánsok

Katrina

• Személy és cégnév különválasztás • Transzliteráció

Kiska

Katelyn Kathy

Catherina Casey


Analyst notebook: Vizualizáció és analízis  Fejlett megjelenítő és analizáló eszköz – ISII -vel integrált – Kapcsolati háló , szociális háló analízis – Sok adatforrás adatainak közös felületen megjelenítése – Tranzakció analízis – Célirányos adatgyűjtés – GEO analízis – Kapcsolatok, tranzakciós utak, viselkedésminták hatékony feltárása


Pénzügyi tranzakciók hálózati vizsgálata

Csaló hálózat vizualizációja

Hálózat tagjainak súlya hozzájuk köthető érték megjelenítése

Pénz mozgása hálózatban, időbeli lefolyásban

Lefúrás a tranzakciók felé, pénz, információ áramlásmegjelenítése a hálózatban


56


Vajon mit ajánlunk IM témakörben?

Recommend Documents