Case Study Joint Cargo Applicatie Air France Cargo & KLM Cargo
Tools en proces voor een succesvolle (data) migratie
Marco Hilarius Servicelijnmanager Migraties 19 September Schiphol-rijk
Agenda
• • • • • •
Air France Cargo - KLM Cargo overzicht Data Migratie Project Gebruikte Tools Gebruikte Migratie Methode Resultaten Samenvatting en Conclusies
Air France Cargo / KLM-Cargo
Air France Cargo / KLM-Cargo
Grootste vrachtvervoerder ter wereld Boekjaar 2005/ 2006
AF/KLM
AF
KLM
Omzet in $ (miljard)
3.8
2.2
1.6
1.28
0.7
0.58
5.600
3.200
2.400
15
12
3 (17 Combi’s)
Omzet in tonnage (miljard) FTE’s Vrachttoestellen
Overzicht totaal project Prijzen Klanten
Technische / Functionele & Integratie Test van JCT gebieden
Gebruikers Acceptatie Test van JCT gebieden
Producten Andere gebieden Orders Projecten regelden eigen subsets data – Niet vanuit het DM project Gedeeltelijke sets van DM data
Complete set DM data
Testen data met functionaliteit
1/7 Start
1/8 Start test Inclusief functionaliteiten
28/8 Eerste complete set voor testen TACTIC+ Structuure ok Volume 70%
Uiteindelijke volledige DM data
25/9 Laatste volledige set UAT
20/10 Volledige set
24/10 JCT Implementatie
Overzicht Datamigratie Project KLM
Air France
Plaatstarieven
Klanten
PELICAN (Move Freight )
Klant contracten
Markttarieven
Datamigratie Team Business Analisten (2) > Relatie met de Business > Kwaliteit Originele & Bron Data > Analyze & Functioneel Ontwerp
Amsterdam
Informatie Analist (1) > Dag-tot-Dag relatie Valbonne > Coördinatie Ontwikkeling > Vertalen van de Ontwerpen Powercenter experts (2) > Ontwikkelen van de Mappings Database Administrator (1) > Kwaliteit van de Doel Data
Valbonne (bij Nice)
Uitdagingen
• • • • • • • •
Verschillende type databases naar Oracle Binnen volledig operationeel systeem Maximaal 4 iteraties Dislocatie van het team Krap tijdschema Operationele verschillen Culturele verschillen Taalbarrière
Structuren Bronnen & Systemen IST
Data structuur
Bron
Systeem
• • • • • • • •
Excel spreadsheet MS-Access 2003 DB2 Mainframe MS-Access 2003 DB2 AS400 DB2 Mainframe Oracle/Unix Oracle/Unix
Tableau Genial OTC Tool CORE OTC Tool CLAS Web Pearl/CORE TACTIC TACTIC
Product Product Netwerk AF +KLM Klanten Markttarieven AF + KLM Klantcontracten KLM Plaatstarieven KLM Klantcontracten AF Plaatstarieven AF
Structuren Bronnen & Systemen SOLL
Data structuur
Bron
Systeem
• • • • • •
Oracle/Unix Oracle/Unix Oracle/Unix Oracle/Unix Oracle/Unix Oracle/Unix
TACTIC+ TACTIC+ TACTIC+ TACTIC+ TACTIC+ TACTIC+
Product JCT Product Netwerk JCT Klanten JCT Markttarieven JCT Klantcontracten JCT Plaatstarieven JCT
PowerCenter Ongestructureerde Data Real-time Data Bronnen
Edi, swift, word, pdf, excel etc.
GRID
SAP R/3 WebMethods JMS TIBCO IBM MQseries MSMQ PowerCenter
PowerConnect
PowerCenter
Ontwikkelpakketten PeopleSoft Siebel SAP/R3 SAP/R3 BW SAS HTTP WebServices
Open en Relationele Data bronnen Oracle DB2 SQLserver Sybase Informix Teradata Flat Files XML Web Logs
Informatica® PowerCenter (32bit/64bit)
PowerCenter
ComplexAccess PowerExchange
Federated Data (EII)
Mainframe AS/400 CDC voor Oracle IMS/IDMS/VSAM/...
Gebruikte Informatica Tools Audit, Monitor, Rapporteer Borg data consistentie, voer impactanalyses uit en monitor de kwaliteit continue
Toegang Enig systeem in batch of real-time
Data Explorer
Data Kwaliteit
Ontdek
Schoon
Zoek en profileer elk type data uit elk type bron
Valideer, corrigeer en standaardiseer alle data typen
Integreer Transformeer en breng alle data typen overeen
Lever op Lever de juiste data op, op het juiste moment en in de juiste vorm
PowerCenter
PowerExchange
Ontwikkel & Manage Ontwikkel en werk samen met gewone repository’s en gedeelde metadata
Tool toepassingen
Data explorer • Verschillen in de bron data PowerCenter • Controleren hash totalen (per mapping) • Voorspellen en vaststellen runtime mappings • Error tracking & tracing (log files) • Validatie van verschillen in de bron data • Signaleren verschillen in de basis tabellen • Monitor de (real-time) voortgang van de mapping
Datakwaliteit
• Misvattingen aangetoond m.b.v. Data Explorer • Schoning na migratie m.b.v Powercenter • Verrijking door team van Air France na migratie
Dat was de bedoeling maar….
De ervaring wijst uit dat; Dit soort migraties stressvol en kostbaar zijn, niet de resultaten brengen die vooraf worden beloofd en al met al dat migraties zich het beste laten beschrijven als:
één grote verzameling risico’s
Borgen door methode Functionaliteit
BS
IST
Business Case & Strategie alignment
Data
BV
BI Project setup
Scenario alignment
PoC
ERP / rebuild
BT
Migratie
BA
BP
Test & integratie
Acceptatie & overdracht
Productie
Documenteren &Renoveren
Platform
Objecten Scheiding tussen organisatie en techniek Betrokkenheid van de klant
Van Buiten naar Binnen
Project
Initial state gevolgd door het meest complexe deel
Relevantie data kwaliteit
Beheerders Bruikbaarheid van tools
Type migratie / IT vernieuwing Omvang en Complexiteit als geheel
Reductie van Complexiteit
Reductie van Omvang
Gebruikers
SOLL
Specifieke Elementen - Aanpak Standaard Quick wins
Complexiteit
Risico’s
Methodisch Voorbereiding
Complexiteit Risico’s
Specifieke Elementen - proces
Geautomatiseerd proces
IST
Kopieer omgeving
ontwikkeling
Begin
x
Synchroniseer omgeving
Initialstate Final state
SOLL
Einde
Specifieke Elementen - Roadmaps Analyze
Project
Benadering
(Systeem) Test Proof of Confidence
(Systeem) Test
Migreer Initial State
Business veranderingen Synchroniseer Functies
Overdracht vergelijking
Data vergelijking
Schoning / Verrijking data Conversie 1 Conversie 2 Conversie n
Beheer
Productie voor migratie
Beheer & Onderhouds omgeving
Backup faciliteiten
Verwijder oude omgeving
Initial State Data transparantie Business Support voor migratie
Acceptatie tests
Gebruikers
Overdracht vergelijking
Business Support Na migratie
Productie draaien op gemigreerde data (mits mogelijk)
Hoe verliep het bij KLM-Cargo? Werd het het gebruikelijke migratie drama?
Hoe verliep het bij KLM-Cargo? Of kwamen we soepel van de grond?
Project resultaten Product KLM product netwerk City pair exclusions KLM Markttarieven
Procent
Records oke
Rejects
100%
3.744
0
100%
19.692
0
100%
Weight breaks
100%
2.003
0
Focus flows
100%
32.254
0
Market rates
100%
150.290
0
Alignment rules
100%
1.872
0
100%
7.721
0
AF product netwerk City pair exclusions AF Markettarieven
NA 100%
Weight breaks
100%
2.899
0
Focus flows
100%
65.609
0
Market rates
100%
309.297
0
Alignment rules
100%
2.873
0
AF Plaatstarieven
as-is
KLM Plaatstarieven
99.5%
1.450
8
AF Klantcontracten
100%
18.498
0
KLM Klantcontracten
99.9%
42.248
3
Project Resultaten
Mappings gemaakt in 4 iteraties Updates & Deletes 100% Inserts 99,99% Geen verstoring van de business Op Tijd en binnen Budget Kwaliteitsniveau boven verwachting
Conclusies
• Geautomatiseerde datamigratie met Informatica tools werkt geweldig • Maar met alleen de tools ben je er niet • Borging van een migratie middels de Mikado™ methode garandeert het succes en maakt het proces meetbaar, controleerbaar en beheersbaar
Vragen?
Uitnodiging
Bezoek vandaag ook de Workshop “Mikado™ nader beschouwd”
