Aandachtspunten bij de transitie naar een Big Data-omgeving Organisaties worden steeds meer voor de uitdaging gesteld om grote volumes aan data te verwerken en op te slaan. Het gemiddelde volume aan data is wereldwijd per dag enorm en blijft toenemen.
Uitdaging Big Data
one day in the digital world 540 million
145 billion
text messages are sent
emails are exchanged
very large telescope (VLT)
30.000 megabytes of data are collected
40.000 gigabytes of data are produced at the Large Hadron Collider (LHC)
4,5 billion searches are launched on google
400 million tweets are sent via Twitter
552 million users connect to facebook 00:00
06:00
12:00
Een digitale dag (bron CNRS)
18:00
24:00
Traditioneel hebben organisaties veelal relationele database-systemen in gebruik om in deze behoefte te voorzien, zoals bijvoorbeeld Oracle, DB/2 of Microsoft SQL Server. Deze relationele database-systemen blijken steeds minder toegesneden op een veranderende wereld, voor wat betreft de schaalbaarheid en verwerkingssnelheid, gezien de groeiende volumes van data en gebruikers. Relationele database-systemen kunnen slecht uit de voeten met ongestructureerde of semi-gestructureerde data en zijn bovendien lastig te implementeren in grote clusters, waarbij opgemerkt kan worden dat dergelijke clusters zeer kostbaar en arbeidsintensief zijn qua onderhoud.
Data Volume
In omgevingen waar men grote volumes aan data verwerkt en te maken heeft met grote aantallen gebruikers, bijvoorbeeld bij SaaS oplossingen en mobiele applicaties, is een verschuiving gaande richting nieuwe eco-systemen gebaseerd op de begrippen als „Big Data“ en „NoSQL“.
• Big Data om weer te geven dat het datavolume waarmee gewerkt kan worden, zeer omvangrijk kan zijn (penta-, tera-, hexa, hepta en octa bytes) • NoSQL om aan te duiden dat deze systemen meestal geen gebruik maken van de data manipulatie taal SQL, die relationele database-systemen zo kenmerkt
Tegenwoordig is een groot aantal Big Data / NoSQL oplossingen beschikbaar, die t.o.v. de relationele database-systemen vaak het voordeel hebben dat ze een relatieve lage toegangsdrempel hebben, omdat ze vanuit een „open source“ model worden ontwikkeld. Dit laatste - is ook een aspect voor wat betreft (licentie)kosten. Licentiekosten spelen een belangrijke rol bij het uitbreiden van databasecapaciteit ook wel “clustering” genoemd, vanwege grote datavolumes en gebruikers Relationele database-systemen zijn door hun schema structuur en onderlinge relaties minder geschikt voor het omgaan met ongestructureerde en semi-gestructureerde data. Deze complexe data, bijvoorbeeld video en afbeeldingen, is in de afgelopen jaren exponentieel gegroeid, dankzij allerlei nieuwe web en mobiele applicaties.
Stored Digital Information (Exabytes)
Complex, Unstructured
Business Transaction Data
1970
1980
1990
Text Images Audio Video ...
Relational
2000
Toename data (bron VINT)
-
Web Application Data
2010
Toepassing van Big Data
Het werkgebied van relationele database-systemen zijn vaak traditionele bedrijfsapplicaties, zoals ‘Enterprise Resource Planning’ applicaties. Het volume aan data van dergelijke applicaties is relatief gering in vergelijking met de applicaties die worden ontwikkeld voor web en mobiele toepassingen. Big Data / NoSQL systemen zullen echter niet voor elk scenario een ideale oplossing bieden, zeker in omgevingen waar sprake is van complexe transacties, hebben relationele database-systemen het voordeel dat zij op dit vlak uitontwikkelde technieken bevatten. Organisaties zullen zich steeds meer voor de uitdaging gesteld zien om web en mobiele toepassingen in de bedrijfsprocessen op te nemen. Wellicht vroeg of laat ook uw organisatie. Big Data Impact Een aantal industrieën zal met de ontwikkeling van Big Data sneller maken krijgen dan andere, zoals overheids instellingen, de financiële dienstverlening en bedrijven in de (tele-)communicatie wereld. 'Heatmap Big Data opportunities' (Bron Gartner)
Transitie naar een Big Data platform
Een organisatie die overweegt over te stappen van traditionele relationele databasesystemen naar een Big Data / NoSQL database oplossing, zal een aantal zaken moeten overwegen: • Connectiviteit tussen (legacy) applicaties en een NoSQL database oplossing • Modelering van datastructuren • Kennis in organisatie voor wat betreft operationeel beheer • Migratie van huidige data platform naar het nieuwe platform Om een transitie te bewerkstelligen zal het noodzakelijk zijn, om allereerst een pilotomgeving te gebruiken, waarmee de gebruikers in de organisatie vertrouwd kunnen raken met het nieuwe Big Data / NoSQL platform en het platform te kunnen beoordelen. Als een pilot-fase bevredigend is afgesloten en een definitieve beslissing valt om te migreren naar het nieuwe platform zal een organisatie zich gesteld zien met de uitdaging om bestaande data te migreren naar het nieuwe Big Data / NoSQL platform. Bij een migratie zal moeten worden beoordeeld hoe data het beste kan worden gemigreerd en welke strategie het beste past in een bedrijfsproces, bijv. batch-modus of een incrementele migratie.
Voor data migratie bestaan een aantal mogelijkheden: • Scripting • Gebruik van een Data Integratie tooling Scripting vereist veel achtergrondkennis van connectoren e.d. en kan tijdrovend en foutgevoelig zijn. Gebruik maken van een Data Integratie Applicatie vergt meestal een financiële investering, maar maakt dat het proces versneld kan worden en vermindert de kans op fouten. Bovendien bieden data integratie oplossingen doorgaans ook monitoring faciliteiten. Slechts een beperkt aantal data integratie tools biedt uitgebreide oplossingen aan om te werken met diverse Big Data en NoSQL systemen.
Over cimt
Omdat data- en applicatie integratie de kern vormen van Informatie Management, zijn de services die cimt verleend gebaseerd op deze fundamentele componenten. Onze competentie wordt gevormd door onze partners en senior consultants met ruim 25 jaar ervaring in management en IT-consulting en gekwalificeerde talenten die ons team als afgestudeerden of als Young Professionals versterken. Onze know-how in verschillende industrieën is ontstaan uit duurzame samenwerking met onze klanten - stuk voor stuk leiders in hun branches. Ons hoofddoel is het leveren van excellente oplossingen, zowel in termen van kwaliteit alsook in termen van service. Dit hebben we inmiddels in meer dan 1.000 projecten mogen bewijzen. Met meer dan 150 specialisten heeft cimt bij toonaangevende bedrijven een trackrecord opgebouwd op het vlak van data integratie in combinatie met Big data, web- en mobiel gerelateerde toepassingen. Wij helpen organisaties bij de transitie naar een Big Data-platform. Neem voor meer informatie contact met ons op! cimt b.v. De Gruyterfabriek Veemarktkade 8 5222 AE 's Hertogenbosch Tel. +31 73 303 04 58
Mail
[email protected]
