Valós idejű adatszinkronizáció heterogén környezetben GoldenGate tapasztalatok

Valós idejű adatszinkronizáció heterogén környezetben GoldenGate tapasztalatok Nagy Péter – Oracle Műszaki tanácsadó

Oracle GoldenGate Valós idejű adatszinkronizációs megoldás

Adatbázisok, alkalmazások. Heterogén, elosztott rendszerek

Valós idejű adatok

Üzletileg kritikus alkalmazások, adatok. Információs rendszerek.

Valós idejű elérés Az Oracle GoldenGate valós idejű hozzáférést biztosít valós idejű adatokhoz. Lehetővé téve ezáltal a kritikus adatok folyamatos rendelkezésre állását az üzlet bármely területén.

2

Oracle GoldenGate Valós idejű, heterogén replikáció

Leállásmentes frissítés & migráció Alkalmazás/adatbázis/ hardver frissítés Tartalék környezet, Tehermentesítés

Alkalmazások

GoldenGate

Tartalék/Replika Adatszinkronizáció

Adatbázis

Elosztott rendszerek Valós idejű BI, információs rendszerek Legacy Adattárház

Hogyan működik: moduláris felépítés Capture: Commit-ált változások olvasása (szűrhető) a tranzakciós log-okból. Trail file: Univerzális adatformátum a heterogenitás miatt.

Capture

Forrás adatbázis

Source Trail

LAN / WAN / Internet Cél adatbázis

Hogyan működik: moduláris felépítés Capture: Commit-ált változások olvasása (szűrhető) a tranzakciós log-okból. Trail file: Univerzális adatformátum a heterogenitás miatt. Route: Tömörítés, titkosítás. TCP/IP-n keresztül. Delivery: Tranzakciók végrehajtása az integritás biztosításával.

Capture

Forrás adatbázis

Source Trail

LAN / WAN / Internet

Target Trail

Deliver

Cél adatbázis

Hogyan működik: moduláris felépítés Capture: Commit-ált változások olvasása (szűrhető) a tranzakciós log-okból. Trail file: Univerzális adatformátum a heterogenitás miatt. Route: Tömörítés, titkosítás. TCP/IP-n keresztül. Delivery: Tranzakciók végrehajtása az integritás biztosításával.

Capture

Source Trail

LAN / WAN / Internet

Target Trail

Deliver

Source Trail

Deliver

Forrás adatbázis

Target Trail

Capture

Bi-directional

Cél adatbázis

GoldenGate topológiák Unidirectional Query Offloading

Broadcast Data Distribution

Bi-Directional Live Standby or Active-Active for HA

Peer-to-Peer Load Balancing, Multi-Master

Integration/Consolidation Data Warehouse

Cascading Data Marts

GoldenGate heterogén környezetben Databases

O/S and Platforms

Capture:  Oracle

Windows



DB2

Linux



Microsoft SQL Server

Sun Solaris



Sybase ASE

HP NonStop



Teradata

HP-UX



Enscribe

HP TRU64



SQL/MP

HP OpenVMS



SQL/MX



MySQL

IBM AIX

Delivery: 

A fentiek plusz:



HP Neoview, Netezza, Greenplum, és bármilyen ODBC kompatibilis adatbázis



ETL termékek



JMS message queues



TimesTen

IBM z/OS

Oracle termékek adat „mozgatásra” Összehasonlítás

Disaster Recovery & Data Protection

HETEROGENEOUS

Redo in Memory Buffer

Direct Memory Access

Active Data Guard

Direct Write to Logs

Real Time Data Integration & High Availability

Read On-Disk Logs

GoldenGate

Fast SQL

Data Integration for Data Warehouse & SOA

SQL Query

Data Integrator

Set-based, Complex SQL

9

Adattárház építési megoldások Valós idejű információs rendszerek Oracle Data Integrator EE • Nagy teljesítményű ‘E-LT’ a cél/adattárház oldalon

Oracle GoldenGate • Valós idejű adatgyűjtés • Alacsony terhelés

Forrás 1 EMP

DEPT

• Periodikus mini-batch (15 perc) • Transzformáció az adatbázisban

• Folyamatos betöltés az ODS sémába • Néhány másodperces késés

Oracle Data Integrator On-Disk Logs

Oracle GoldenGate

DIM

Forrás 2 EMP

DEPT

FACT

Oracle GoldenGate On-Disk Logs

DIM

EMP

DEPT

ODS Schema

DIM

DIM

DW Schema

10

Tapasztalatok

Gyakorlatban ● ● ● ● ●

● ● ● ● ● ● ● ● ● ● ●

● ● ● ●

Letöltés, kicsomagolás Create subdirs SOURCE DB: alter system set recyclebin=off scope=spfile; SOURCE DB: create user ... identified by ... , grant .. - DDL replikációhoz marker_setup.sql, ddl_setup.sql, role_setup.sql, grant GGS_GGSUSER_ROLE to xxx, ddl_enable.sql SOURCE: ./ggsci SOURCE: edit params mgr SOURCE: start manager SOURCE: add extract ext1, tranlog, begin now SOURCE: add exttrail /u01/app/oracle/product/gg/dirdat/lt, extract ext1 SOURCE: edit params ext1 TARGET: ./ggsci TARGET: edit params ./GLOBAL TARGET: dblogin userid ggate TARGET: add checkpointtable ggate.checkpoint TARGET: add replicat rep1, exttrail /u01/app/oracle/product/gg/dirdat/lt, checkpointtable ggate.checkpoint TARGET: edit params rep1 SOURCE: start extract ext1 TARGET: start replicat rep1 SOURCE/TARGET: info all

Gyakorlatban Kezdeti adatbázis létrehozása (GG initial load, EXP/IMP, Transportable tablespace)

●

● ● ● ● ● ●

V$DATABASE – current SCN=xxx 1. EXTRACT start 2. EXPORT FLASHBACK SCN=xxx 3. IMPORT 4. REPLICAT START AFTERSCN=xxx Nem praktikus az EXTRACT elejéről indítani az in-fly tranzakciók miatt

Az EXTRACT „belép” az adatbázisba, tehát annak futnia kell

●

●

V$LOG, V$LOGHISTORY

Olvashat archive log-ot is

●

TRAIL fájl helyigény = 0,5 x Redo.log

●

Csak Commit esetében kerül a TRAIL file-ba

●

●

Csak ezután olvas a PUMP

CHECKPOINT tábla a céloldalon

●

Általában replikációhoz: DISABLE triggers, FK constraints, cascade delete

●

Veridata (összehasonlítás, állapot)

●

–

LAG – csúszás/ feldolgozási lemaradás

GoldenGate EXTRACT konfiguráció EXTRACT eoraks1 USERID ollie, PASSWORD xxxxxxx RMTHOST 192.168.192.129, MGRPORT 7899 RMTTRAIL ./dirdat/ks TABLE ollie.tcustmer; TABLE ollie.a*;

GoldenGate REPLICAT konfiguráció REPLICAT roraks1 USERID ggs2 PASSWORD xxxxxxx ASSUMETARGETDEFS DISCARDFILE ./dirrpt/roraks1.dsc, PURGE MAP ollie.tcustmer, TARGET ggs2.client; MAP ollie.tcustord, TARGET ggs2.order; MAP ollie.*, TARGET ggs2.*;

Megfeleltetés – Historikus tábla This example uses special values to build history of operations data INSERTALLRECORDS MAP SALES.ACCOUNT, TARGET REPORT.ACCTHISTORY, COLMAP (USEDEFAULTS, TRAN_TIME = @GETENV(“GGHEADER”,”COMMITTIMESTAMP”), OP_TYPE = @GETENV(“GGHEADER”, “OPTYPE”), BEFORE_AFTER_IND = @GETENV(“GGHEADER”, “BEFOREAFTERINDICATOR”), );

Függvények MAP SALES.ACCOUNT, TARGET REPORT.ACCOUNT, COLMAP ( USEDEFAULTS, TRANSACTION_DATE = @DATE (“YYYY-MM-DD”, “YY”, YEAR, “MM”, MONTH, “DD”, DAY), AREA_CODE = @STREXT (PHONE-NO, 1, 3), PHONE_PREFIX = @STREXT (PHONE-NO, 4, 6), PHONE_NUMBER = @STREXT (PHONE-NO, 7, 10) ); PHONE_NO = @STRCAT ("(", AREA_CODE,")", PHONE_PREFIX,"-", PHONE_NUMBER) PRODUCT_CODE = @CASE (PRODUCT_CODE, “CAR”, “A car”, ANNUAL_SALARY = @COMPUTE ( MONTHLY_SALARY * 12) AMOUNT_COL = @IF (AMT > 0, AMT, 0)

“TRUCK”, “A truck”)

Kérdések

Valós idejű adatszinkronizáció heterogén környezetben GoldenGate tapasztalatok

Recommend Documents