D
A
T
A
W
A
R
E
H
O
U
S
E
ETL-software wordt centraal component van informatiemanagement
Trends in ETL-tools Freek Kamst
M
eest kritiek in een datawarehouseproject is en blijft de ontwikkeling van processen voor extractie, transformatie en laden (ETL). Vast staat dat bij meer dan zeven -tijdrovendeETL-processen binnen een organisatie, een ETL-tool al een zinvolle investering is. De betreffende softwareproducten zijn de laatste jaren uitgegroeid tot toepassingen voor algemene gegevensintegratie. Ze worden inmiddels ook buiten datawarehouse-omgevingen ingezet in trajecten van migratie en integratie. Freek Kamst kijkt naar heden en toekomst in de ETL-markt.
Redenen genoeg om eens stil te staan bij
De trends die van invloed zijn op de
de huidige situatie in de markt voor ETL-
ontwikkeling van ETL-tools liggen mede
tools en de ontwikkelingen en trends naar
ten grondslag aan de visie en strategie van
de toekomst nader te beschouwen.
de leveranciers ervan. De belangrijkste
Wereldwijd groeit deze markt momenteel
trends die opgeld doen zijn:
met 11% per jaar. De verwachting is dat de
• het meeleveren van ETL-technologie
toename de komende jaren gelijk zal blij-
met de onderliggende database;
ven, als het huidige economische klimaat
• integratie van gegevens met ERP- en
aanhoudt.
CRM-toepassingen;
Onbetwiste marktleider is nog steeds
• gebruik van de XML-standaard;
Informatica, maar de snelste groeiers zijn
• integratie en communicatie met message
op dit moment Microsoft en IBM. Het
brokers;
marktaandeel van Microsoft is in 2001
• datakwaliteit wordt steeds belangrijker;
gestegen van 2% naar 6%, terwijl IBM met
• aantal gegevens neemt toe.
Data Warehouse Manager haar aandeel zag verdubbelen van 2% naar 4%. Reden
TREND 1: MEELEVEREN
Werden extractieprocessen voorheen nog
hiervoor is dat databaseleveranciers steeds
wel ontwikkeld met behulp van traditione-
meer ETL-technologie zonder meerprijs
le programmeertalen, tegenwoordig is het
meeleveren met de onderliggende data-
De ‘meelever’-trend is in 1999 in gang
ETL-tool een begrip geworden binnen elke
base.
gezet door Microsoft. Zij kwam toen met
datawarehouse-omgeving. Ook de toch nog omvangrijke investering die dergelijke software met zich meebrengt, vormt van-
18%
daag de dag geen discussiepunt meer. Zij
16%
verdient zichzelf snel terug door de aan-
14%
zienlijke tijdbesparingen in ontwikkeling
12%
en onderhoud.
10%
Databaseleveranciers hebben ETL-tool-
8%
ing inmiddels in hun assortiment opgeno-
6%
men en leveren deze als extra functionali-
4%
teit bij hun database-engine. Ook de
2%
opkomst van nieuwe technologieën, zoals
Rest
Compuware
CA
Teradata
ETI
Microsoft
IBM
Sagent
Cognos
SAS
waardoor de klant ETL-tools steeds vaker
Information Builders
vasthouden aan hun eigen standaards,
Hummingbird
softwareleveranciers blijven bovendien
Oracle
Informatica
geïntegreerde informatievoorziening. Veel
Ascential
0%
ERP, CRM en e-commerce, vragen om
moet inzetten om een uniform geïntegreerd beeld te realiseren.
F IGUUR 1: D E
VERDELING VAN DE MARKT VOOR
Database Magazine - Nummer 4 - juni 2002
23
ETL-TOOLS
OVER DE DIVERSE LEVERANCIERS .
D
A
T
A
W
A
R
E
H
O
U
S
E
reerde en ongestructureerde gegevens. Veel softwareleveranciers ondersteunen ETL
reeds de mogelijkheid van dataverwerking en -aanmaak in XML.
Bronsystemen
ERP ETL
XML-inzet door ETL-tools kan op twee OLAP
manieren. De eerste optie is gegevensstromen vanuit de bronsystemen in XML-for-
ETL
ETL
maat te verwerken. Daarnaast zijn metage-
Datawarehouse Datamart ETL
gevens in XML-formaat worden op te slaan, zodat deze beschikbaar kunnen komen voor andere toepassingen, zoals ontwikkel- en metadatabeheersystemen.
ETL CRM
TREND 4: MESSAGE BROKERS F IGUUR 2: I NZET
VAN
ETL-TOOLS
BIJ
ERP-
EN
CRM-TOEPASSINGEN . Message brokers verzorgen op recordbasis
haar Data Transformation Services (DTS),
tuur zal wijzigen. En veranderingen verei-
realtime communicatie tussen applicaties
een combinatie van extra functionaliteit
sen meestal extra investeringen.
en worden vooral toegepast binnen projec-
voor datawarehouses, gebaseerd op en als
ten voor enterprise application integration
onderdeel van SQL Server. Meegeleverd worden een relationeel schema, een
(EAI). Message brokering-toepassingen
TREND 2: ERP, CRM
OLAP-kubus, ETL-toolroutines en inter-
vallen onder de categorie middleware; een van de bekendste standaards is momenteel
faces voor metadatabeheer. Hoewel ze niet
De tweede trend stoelt op de toename van
MQ Series. Het gebruik ervan heeft als
uitgebreid is, voldoet de functionaliteit
het aantal ERP- en CRM-systemen.
voordeel dat een informatiecomponent
voor de bouw van redelijke business intel-
Beschikbaarheid van historische klant- en
-bijvoorbeeld naam- binnen één toepas-
ligence-toepassingen en dient het dikwijls
productiegegevens is essentieel voor een
sing is te wijzigen en dat deze wijziging
als basis voor een professionele dataware-
juiste werking van deze systemen. Door
vervolgens via een message queue wordt
house-omgeving.
analyses uit te voeren op deze historische
doorgegeven aan alle overige relevante
Microsoft had succes en kreeg dan ook
gegevens kan men aannamen en patronen
al snel, in 2000, navolging. IBM doopte
terugkoppelen naar de ERP- en CRM-sys-
haar Visual Warehouse om in Data
temen. Bij de eerste kan dit leiden tot
Warehouse Center en leverde het gratis
bijsturing van het productieproces, terwijl
mee met de Windows NT-versie van DB2.
bij CRM onder meer klantwaarden kun-
De functionaliteit is echter beperkt ten
nen worden bepaald die ondersteunend
opzichte van de andere platforms waarop
zijn aan het verkoopproces.
DB2 draait. Wie een niet-NT-versie, met
Uiteindelijk heeft alles natuurlijk te
meer functionaliteit, wil aanschaffen, moet
maken met de behoefte gegevens geïnte-
in licenties investeren.
greerd beschikbaar te maken, zodat meer
Oracle heeft de productstrategie geba-
inzicht ontstaat in de bedrijfsprocessen.
seerd op integratie van ETL-, OLAP-en
Niet alleen bij ERP- en CRM-systemen
datamining-functionaliteit. De nieuwe ver-
wordt de relevantie van het informatie-
sie Oracle 9i bevat standaard al beperkte
component onderschat, maar ook bij vele
ETL-functionaliteit gebaseerd op PL/SQL
andere standaard applicaties geniet het
en ETL-SQL. Wie volledige functionaliteit
proces zelf veelal de aandacht. Een ETL-
wenst, kan dat krijgen door aanvullende
tool biedt dan uitkomst. Het helpt op een
modules te kopen, zoals Oracle Warehouse
flexibele manier de gewenste informatie
Builder en Data Warehouse Manager.
zichtbaar te maken.
De grote drie hebben de ontwikkeling van hun ETL-functionaliteit alle gegroepeerd
TREND 3: XML
rondom de eigen database-engine. Dat blijft natuurlijk een risico, evenals het
XML is inmiddels uitgegroeid tot een uni-
gegeven dat vroeg of laat de licentiestruc-
versele uitwisselingstaal voor gestructu-
Database Magazine - Nummer 4 - juni 2002
24
Leverancier
Product
Informatica Ascential SAS Oracle Hummingbird Cognos Sagent IBM ETI Microsoft Teradata Computer Associates Information Builders Compuware Acta DataJunction I-flex Embarcadero
PowerMart/Center DataStage XE Warehouse Administrator Oracle Warehouse Builder Genio Designer/Engine DecisionStream Sagent Technology Suite DataWarehouse Manager ETI*Extract DTS Warehouse Builder Infopump/Data Transformer IWay/Copy Manager File-Aid ETL Actaworks DataJunction Integration Flexcube ETL DT Studio
F UNCTIONALITEIT
BINNEN EEN GROOT AANTAL
ETL-TOO
D
A
T
toepassingen. De message bestaat uit het
A
W
A
R
E
H
O
Standaardisatie van de naam naar één
U
S
E
teel allerlei benchmarks uit, maar ieder
gewijzigde record en een identificatie van
uniforme naam kan met speciale tools voor
gebruikt zijn zelf ontworpen benchmark.
de toepassing.
datakwaliteit worden gerealiseerd. Een
Zo is behoefte ontstaan aan een standaard
trend is dat dergelijke functionaliteit nu
benchmark voor ETL-technologie, ontwor-
brokers niet meer dan een bron- en doel-
ook binnen ETL-tools steeds meer als stan-
pen door een onafhankelijke derde partij.
object, en bij gebruik hiervan wordt slechts
daard wordt geleverd.
Voor een ETL-tool zijn deze message
één record per gebeurtenis verwerkt.
ONTWIKKELINGEN
De combinatie van ETL en EAI is tot op zekere hoogte in de praktijk toepasbaar.
TREND 6: AANTAL DATA
Terwijl EAI-omgevingen altijd transactie-
Alle leveranciers van ETL-tools reageren
georiënteerd zijn, zullen ETL-omgevingen
De omvang van de gegevensstroom neemt
over het algemeen direct op de genoemde
zich meer richten op query-intensieve
binnen alle organisaties exponentieel toe.
trends. De database-vendors richten zich
omgevingen, waarbij grote hoeveelheden
Oorzaak is vooral de invoering van veel
op integratie met hun bestaande produc-
gegevens moeten worden getransporteerd.
nieuwe technologieën, zoals de al
ten, de onafhankelijke ETL-toolleveran-
genoemde CRM, ERP en e-commerce.
ciers leggen zich voornamelijk toe op inte-
Ook moeten gegevens frequenter worden
gratie met open standaards en marktge-
geladen in het datawarehouse, zodat de
richte ‘totaaloplossingen’.
TREND 5: DATAKWALITEIT
organisatie een actueler beeld krijgt waar-
Deze toepassingen worden ook wel
Met de toenemende behoefte aan geïnte-
op het management kan sturen.
analytische applicaties genoemd. Ze
greerde klantinformatie die via diverse
Dataverwerking wordt dus een steeds
bestaan uit standaard sterschema-datamo-
contactkanalen tot stand wordt gebracht, is
intensiever en langduriger proces.
dellen voor specifieke industrieën en pro-
de kwaliteit van de klantgegevens essen-
De concurrentie op de ETL-toolmarkt
cessen, zoals financiën, telecommunicatie,
tieel. Bijvoorbeeld als klantgegevens via
wordt veelal uitgevochten met perfor-
marketing, e-commerce en voorraadbe-
een callcenter, via Internet en via directe
mancecijfers. De leveranciers maken hier-
heer. Ook standaard ERP- en CRM-geba-
verkoop worden bepaald, legt men deze
bij gebruik van parallelle laadtechnieken.
seerde gegevensmodellen van specifieke
gegevens meestal op uiteenlopende
Hierbij worden meerdere ETL-processen
leveranciers (SAP, PeopleSoft, Siebel en
manieren vast (bijvoorbeeld een klant-
op multiprocessorsystemen ingezet, waar-
andere) worden steeds meer als optie aan-
naam kan worden genoteerd als: Dhr.
door meer gegevens in een kortere periode
geboden. De verwachting is dat deze ana-
Jansen, De heer K. Jansen en Jansen K.).
zijn te verwerken. Vendors voeren momen-
lytische applicaties in omvang zullen toe-
Website
Databaseleverancier
www.informatica.com www.ascentialsoftware.com www.sas.com www.oracle.com www.hummingbird.com www.cognos.com www.sagent.com www.ibm.com www.eti.com www.microsoft.com www.teradata.com www.ca.com www.informationbuilders.com www.compuware.com www.acta.com www.datajunction.com www.iflexsolutions.com www.embarcadero.com
Analytische applicaties beschikbaar X
XMLgegevenstransport X X
XMLmetadata
X X
X
X
X
X
X X
X X
X X
X X X X
X
Message Datakwaliteit broker functies ondersteuning X X X X X X X X
Parallelle laadopties X X X
X
X X X X
X X X
X
OLS .
Database Magazine - Nummer 4 - juni 2002
25
D
A
T
A
W
A
R
E
H
O
U
S
E
nemen, maar uiteindelijk geen kernactivi-
model soms evenveel inspanning vergen
heden voor realtime datawarehouses bin-
teit van de ETL-vendors worden. De winst
als het ontwerpen van een gegevensmodel
nen handbereik. ETL/EAI-integratie vraagt
moet uiteindelijk toch komen van het aan-
op maat.
echter om een tegenstrijdige kijk op de
tal licenties en de dienstverlening rondom
Volledige samensmelting van ETL- en
strategie voor gegevenstransport binnen
het ETL-tool. Wie de hoop mocht koeste-
EAI-systemen zal voorlopig een punt van
één organisatie. De belangrijkste knelpun-
ren dat aanschaf van een analytische
discussie blijven tussen ETL-leveranciers
ten die de komende tijd moeten worden
applicatie een integratietraject snel en effi-
en hun klanten. Nu processoren steeds
opgelost zijn de volgende.
ciënt maakt, zal al snel tot de conclusie
krachtiger worden en de applicaties flexi-
• De huidige systemen bevatten tal van
komen dat de noodzakelijke aanpassingen
beler zijn voor het aanleveren van één
legacy databases, waardoor één stan-
en implementatie van het standaard data-
record per wijziging, komen de mogelijk-
daard benadering (ETL-bulkload of per transactie) niet mogelijk is. • Wensen en eisen voor metagegevens
Gartner over ETL-markt
worden nog niet ondersteund door de
Informatica is door Gartner Group uitgeroepen tot leider in de markt voor ETL-tools. In
ring-systemen.
huidige leveranciers van message broke-
het vorige maand uitgekomen rapport ETL Magic Quadrant Update: a market in evolution beschrijven de analisten de zeventien spelers en de trends in de ETL-markt. Gartners “ETL Magic Quadrant” ziet er momenteel uit als in figuur 3. ‘Leiders’ zijn
STANDAARDS
volgens Gartner leveranciers die goed presteren, een duidelijke visie op marktontwikkelingen hebben en actief hun competenties uitbouwen om hun positie in de kop van
Zoals uit de trends blijkt, neemt de behoef-
het peloton vast te houden. Het draait dus niet alleen om marktaandeel.
te aan een onafhankelijke benchmark toe.
“Door vendors in dit Magic Quadrant te plaatsen, benadrukken wij de levensvatbaar-
Naar verwachting zal een onafhankelijk
heid van de onderneming, allianties, prijsmodellen en productcriteria,” aldus het
instituut -zoals de Transaction Processing
Gartner-rapport. “Verder wegen de plannen en mogelijkheden van de vendors trends
Performance Council- binnen een jaar een
te zetten in de data-integratiemarkt, zwaar in het klassement.”
standaard benchmark voor ETL-tools aanbieden.
Challengers
Hoewel standaardisatieprocessen nooit
Leaders
een gesignaleerde behoefte kunnen bijhouden, heeft de Object Management Group (OMG) inmiddels het Common Warehouse Metamodel (CWM) opgesteld.
Ability to Execute
Deze standaard specificatie voor een meta-
• Informatica Oracle • Microsoft • • IBM • Ascential Software Embarcadero • IWay Software Technologies • • SAS Computer Associates • • Data Mirror • Acta Technology • Ab Initio Software Data Junction • Cognos • • Hummingbird • Evolutionary Technologies Sagent • International
datamodel is bovendien al zo breed geaccepteerd, dat de meeste leveranciers haar implementeren in hun ETL-product. XML en het bijbehorende uitwisselingsformaat XMI zijn de standaards binnen het CWM. Een van de productstrategieën van de ETL-leveranciers is de metagegevens conform het CWM op te zetten en de communicatie met andere metadata-applicaties te
Niche Players
laten plaatsvinden via XMI. Met als uit-
Visionaries
eindelijk resultaat meer inzicht voor de Completeness of Vision
eindgebruiker en dus een hogere productiviteit binnen de organisatie.
F IGUUR 3: ETL M AGIC Q UADRANT 2002 ( BRON : G ARTNER G ROUP ).
INFORMATIEMANAGEMENT De ETL-markt blijft volgens Gartner groeien en veranderen. De huidige spelers hebben diverse achtergronden, van ETL als core business tot business intelligence- en dbms-
Samenvattend stellen we vast dat de ETL-
vendors. Informatica is begonnen met data-integratie als kernactiviteit -met haar
toolmarkt gestaag groeit en dat die groei
ETL-product PowerCenter- en heeft inmiddels ook analytische applicaties ontwikkeld.
de komende jaren blijft aanhouden. Er is
Het rapport van Gartner is te vinden op www.gartner.com/reprints/informatica/
een migratie aan de gang van een markt
106602.html
voor datatransportapplicaties naar een markt voor een groep applicaties die gege-
Database Magazine - Nummer 4 - juni 2002
26
D
A
T
A
W
A
R
E
H
O
U
S
E
vensintegratie, analytische applicaties,
informatievoorziening binnen organisaties,
boven de rest uitsteekt. De selectie van
software-ontwikkeling en gegevensbeheer
is het dan ook van belang om ETL-tools te
een ETL-tool moet altijd zijn gebaseerd op
als belangrijkste processen onderkennen.
conformeren aan deze standaard. Het
de behoefte aan integratie van informatie
Het ETL-tool wordt dus een belangrijk
Common Warehouse Metamodel van de
binnen een organisatie. Het is daarom van
component van het informatiemanage-
Object Management Group is een specifi-
groot belang zorgvuldig de wensen en
ment binnen een organisatie. Hierbij is
catie die compleet genoeg voor implemen-
eisen met betrekking tot de geïntegreerde
informatie, naast mensen, middelen en
tatie door ETL-leveranciers.
informatiebehoefte in kaart te brengen en
financiën, de vierde belangrijke pijler bin-
Over het algemeen zijn ETL-tools ont-
vervolgens een selectietraject te beginnen.
wikkeld om frequent grote hoeveelheden
Kwalificatie en selectie van een ETL-tool
gegevens te transporteren en transforme-
is nog steeds een lange-termijngebeurte-
dat de ETL-leveranciers zich meer richten
ren naar query-intensieve gegevensban-
nis, waarbij de huidige en toekomstige
op het leveren van analytische applicaties.
ken, zoals datawarehouses en datamarts.
trends zeker moeten worden meegeno-
Sommige vendors doen dit door het leve-
EAI-applicaties zijn meer toepasbaar in
men.
ren van standaard sterschema’s, andere
een transactionele omgeving waarin realti-
daarentegen leveren speciale portals als
me synchronisatie van operationele syste-
Referentie:
onderdeel van een totaal geïntegreerde
men actueel is. Volledige integratie van
Lou Agosta: Market Overview Update: ETL. Giga
informatiebenadering. Feit blijft dat naast
ETL- en EAI-toepassingen zal voorlopig
Information Group, Inc, 2002.
ETL steeds meer business intelligence-
dan ook niet tot de mogelijkheden beho-
functionaliteit wordt toegevoegd.
ren.
nen een organisatie. De huidige trends zijn er oorzaak van
XML is en blijft de standaard voor de
Gezien de ontwikkelingen in de markt
opslag van van metagegevens. Omdat
voor ETL-tools is er momenteel niet echt
Freek Kamst (
[email protected]) is
metadatabeheer strategisch is voor de
één leverancier die met kop en schouders
consultant bij Newcom Information Systems.
U INFORMATION BUILDERS: TEMPLATES VOOR VERTICALE MARKTEN
P
D
A
T
E
Word-documenten, PDF’s, html en vele ande-
gebruikers diep doordringen in geabstraheerde
re files opgeslagen in diverse typen databases
data in een OLAP-kubus.
en systemen.
Tegelijk met deze nieuwe release brengt
Meer informatie op www.sas.com De Vertical Business Reporting Templates -of
voor een rapportage-omgeving die binnen enkele weken op maat gebouwd kan worden
tegreerd met andere rapportage-omgevingen
FRAMEWORK VOOR CORPORATE PERFORMANCE MANAGEMENT
en die is afgestemd op de branche en de organisatie. De intelligence foundations omvatten stan-
een compleet framework op de markt brengt
daard reporting templates voor het analyseren
voor corporate performance management
van bedrijfstakspecifieke meetwaarden.
(CPM), de strategische toepassing van busi-
ders.nl.
en standaardproducten, zoals Microsoft PowerPoint. Mede door Executive Viewer 4.2 verwierf Temtec de Platinum Technology Partner-status
Cognos claimt de eerste leverancier te zijn die
Meer informatie op www.informationbuil-
Temtec een API voor Executive Viewer uit, waarmee Executive Viewer kan worden geïn-
intelligence foundations, zoals Information Builders ze noemt- vormen het fundament
●
ness intelligence. Het framework faciliteert de volledige managementcyclus van plannen, budgetteren, uitvoeren, rapporteren en analy-
van Hyperion. Meer informatie op www.temtec.com
COGNOS KOMT MET CMG EN ORACLE VERSTERKEN SAMENWERKING
seren.
SAS BREIDT DATAMININGSOFTWARE UIT MET TEXT MINER SAS kondigde onlangs de beschikbaarheid van Text Miner aan. Hiermee kan kennis wor-
Voor meer informatie www.cognos.com
CMG en Oracle Nederland gaan hun samenwerking intensiveren op het gebied van kennisoverdracht, training, ondersteuning en weder-
TEMTEC BENUT DRILLTHROUGH MOGELIJKHEDEN VAN ESSBASE
den gehaald uit een scala aan tekst-documen-
verkoop. De overeenkomst versterkt CMG’s positie als system integrator, waarbinnen ook consultancy en implementatie van Oracles 9i database, Application Server en de volledige E-
ten, zoals rapporten, verslagen, medische
Temtec lanceert een nieuwe versie van
Business Suite vallen. CMG is Certified
files, websites, patenten, garantieverklaringen
Executive Viewer, haar analytische frontend-
Advantage Partner van Oracle sinds 1996.
en e-mails.
toepassing voor Essbase en andere OLAP-tools.
De software kan tekstgegevens bereiken in
Met versie 4.2 van Executive Viewer kunnen
Database Magazine - Nummer 4 - juni 2002
27
Voor meer informatie: www.cmg.com en www.oracle.nl
