Open BI: Alliander’s Next Gen DWH Powerdesigner , Data Vault, SAP (RDP, BO)
Martjan Hendriks BI Architect@Alliander 2013
Alliander : Energy Shift Happens Largest Dutch Regional GRID Operator (Gas & Electricity) Energy Transition means – – – – – –
Prosumers Smart Grid Smart Metering Integrate IT/OT/Geo Data Optimize, Innovate & Invest (BIG) Advanced Analytics!
Need a LOT More BI for a LOT Less and a LOT Quicker!
BI 2.0 : Self Service & Platform Synergy Processes Agile (Co-Creation)
Platform Ad-Hoc Consolidate Custom to SAP
Selfservice
OLTP & OLAP Data Platform Converges
Function
Visualisation
Delegated ERP,
DMS, GIS
EDW (DV)
COTS BI APPS
Data
IT Lean (Factory)
Systematic
Data (structured, unstructured, On-line In-memory, nearline SSD)
Fit for purpose
Specific Businessviews (DNF Marts)
Generieke Businessviews (DV+ALDM) Out Of The Box Apps (oa SAP BW) Rule Vault Persistant Staging (ODS)
Data Layer
EDW System of Fact (Data Vault)
Source systems
Metadata control Environment
Presentation Layer
BI Architectuur Next Gen
& Specials: GRID Events (Osisoft PI)
Staging in
Extern EDSN SPATIAL SOCIAL …
Intern
Overig
Klak, Maint, etc.
GIS (NRG)
ERP
SAP FICO, CRM, ISU, etc.
= abstractie/federatielayer
= Storage physical or virtual
GRID
smart devices
= dataflow
Knowledge to the Model & Lineage All Models Linked! Round Trip Traceability Source
Collect Expert Domain Knowlegde Annotate & Classify Source Model
BI
BI (MARTS)
Corp LDM
Auto Generate - EDW Data Model & Mappings - EDW Model & ETL Code
BI EDW
Source
Lync with Corporate Logica Data Model
Rich Source Model Publication ODS Replication (CDC)
(Virtual) Business Views Datamart & Universe Convergence Self Service Data Catalog Publication With Lineage
Corp LDM
Raw Vault Rule Vault Error Vault Metrics Vault DQ Vault
Roadmap Ahead • • • • •
SAP HANA In Memory Replace Legacy CDC Vault Geo Spatial Vault MDM & DQ Vault
Energienet dynamisch Metingen & Events GV
ITRON EE
Metingen & Events KV SCADA metingen Schakelstanden
Energienet statisch Aanluitschetsen
Diasys
Netinium
Asset Masterplan
SAP BW/IP
DMS
Infrastructuur Energienet
DMS
Meters
Storing, onderhoud & onderbrekingen
Realiseren
Logistiek
Gaslekopsporing
GLZ
Aanvragen
SAP CRM
Inkoop
SAP MM
Graaf meldingen
WebKLIC
Workflow
KLAK
Leveranciers
SAP SRM
Gravers Ervaringen
SAP IS-U
Projecten
SAP PS
Magazijnen
SAP WMS
SAP IS-U
Onderhoud Netten
MAINT
Vrije domein
SAP PS
Materialen
SAP MM
MSR Kit configuratie
SAP PM
Storingen
KLAK
Werkorders
KLAK
Transport
SAP MM
Net Telecom Infra
TKN 2000
Werkorders
KLAK
Werkorders
SAP CS
Voorraad
SAP MM
Werkorders
SAP CS
Workflow
KLAK
NRG
Data Collectie (MV)
Klant
Marktfacilitering
Klant & Relaties
SAP IS-U
Distributie MV
MDS (+)
Aansluiting
Contracten & Offertes
SAP SD
Handopname
MOS
Facturen uitgaand
SAP SD
Meetdata interval GV
ITRON EE
Credit & Collectie
SAP CCM
Meetdata interval KV
Netinium
Contacten
SAP CRM
Meter events
Claims
MS Excel
Meterpark beheer
Leegstand
Colt
Finance
Externe Referentie Gegevens
C-AR
KvK
Switch & Verhuisber.
REAL/CATS/JMAIL
Kadaster
Meetdata distributie
DAP, NimBUS
Gemeente/Provincie
Meetdata periodiek
SAP IS-U
Demografische referentie data
Infra
Alloc & Recon E
SAP Tesla (A), KRM (R)
Geografische referentie data
MAINT
Alloc & Recon G
SAP EDM (A), EDM (R)
Organisatie
Overig
Boekhouding
SAP FI/CO
Organisatiestructuur
Peoplesoft
Inspecties HS
Inspector
Consolidatie
Cognos
Uren
SAP HR/CATS
Juridische Rechten
SAP CS
Meldingen
Promasys
Onderhoud HS
I-Core
Servicemeldingen
James
BONUS
Componenten waaruit de fabriek bestaat 1
2
3 4 5 6
1. 2. 3. 4. 5. 6.
Modellering & Generators (PowerDesigner) Centraal open metadata model Batchverwerkingsprocedures (Oracle) Fysiek EDW model Gegenereerde ETL objecten Open BI ontwerp richtlijnen en standaarden Gernerieke databron (ODS)
Pagina 8
Richtlijn Datakwaliteit EDW Integratie Generieke oplossing Meetresultaten zijn een product van toegepaste businessrules en worden in de rulevault opgeslagen. Dit gebeurt in een datakwaliteit satelliet volgens een standaard structuur die op de hub of link gekoppeld is waarvoor gemeten is. De context voor de meting wordt niet vastgelegd.
Alliander BI voorziening 1.3
9
BI Data Gebieden indeling, afkomst & status (Subject Area’s) De data gebieden geven in 1 overzicht een logisch, herkenbaar, tijdstabiel en dekkende indeling van data die relevant is voor BI. Daarbij is een subindelng gemaakt en aangegeven welke systemen daarvoor leidend zijn en wat hun status is van ontsluiting in een van de Alliander data warehouses. Blauw gekleurde deelgebieden zijn reeds ontsloten in Open BI (EDW), groen in SAP BW, geel in de BAR en oranje in het CDB datawarehouse. beschikbaar in SAP BW. Blauw gekleurde gebieden in de Basis Asset Repository (BAR), Oranje in het Scada Warehouse (CDB).
Energienet dynamisch Metingen & Events GV Metingen & Events KV SCADA metingen Schakelstanden
ITRON EE Netinium DMS DMS
Aanluitschetsen Diasys Asset Masterplan SAP BW/IP Infrastructuur Energienet NRG Meters SAP IS-U MSR Kit configuratie SAP PM Net Telecom Infra TKN 2000
Storing, onderhoud & onderbrekingen Gaslekopsporing Graaf meldingen Gravers Ervaringen Onderhoud Netten Storingen Werkorders Werkorders
Data Collectie (MV)
Klant Klant & Relaties SAP IS-U Contracten & OffertesSAP SD Facturen uitgaand SAP SD Credit & Collectie SAP CCM Contacten SAP CRM Claims MS Excel Leegstand Colt
Finance Boekhouding Consolidatie
Energienet statisch
SAP FI/CO Cognos
Distributie MV MDS (+) Handopname MOS Meetdata interval GV ITRON EE Meetdata interval KV Netinium Meter events Infra Meterpark beheer MAINT
GLZ WebKLIC SAP IS-U MAINT KLAK KLAK SAP CS
Marktfacilitering Aansluiting Switch & Verhuisber. Meetdata distributie Meetdata periodiek Alloc & Recon E Alloc & Recon G
Organisatie Organisatiestructuur Peoplesoft Uren SAP HR/CATS
Overzicht relevante bronsystemen De deelgebieden verwijzen allen naar Alliander bronsystemen, die rechts zijn samengevat. Hiermee worden de data stromen tussen BI en de bronsystemen transparant.
Realiseren Aanvragen Workflow Projecten Vrije domein Werkorders Werkorders Workflow
SAP CRM KLAK SAP PS SAP PS KLAK SAP CS KLAK
Logistiek Inkoop Leveranciers Magazijnen Materialen Transport Voorraad
SAP MM SAP SRM SAP WMS SAP MM SAP MM SAP MM
Externe Referentie Gegevens
C-AR KvK REAL/CATS/JMAIL Kadaster DAP, NimBUS Gemeente/Provincie SAP IS-U Demografische referentie data SAP Tesla (A), KRM (R)Geografische referentie data SAP EDM (A), EDM (R)
Overig Inspecties HS Juridische Rechten Meldingen Onderhoud HS Servicemeldingen
Inspector SAP CS Promasys I-Core James
