Tussen hoop en vrees, een ‘fundamentele’ kijk op:
BIG Data Martin Vos DDHS, 11 dec 2012
Even voorstellen Martin Vos Director for Business Development Eurofiber Daarvoor o.m.: • Ondernemer in glasvezel netwerk ontwikkeling • Business Consultant
Eurofiber • Landelijk Glasvezelnetwerk – Dark fiber, WDM en Ethernetdiensten – Carrier neutral, open – 13000 km – 5000+ aansluitingen
Eurofiber Datacenter Utrecht – Tier3 around the corner – 2000m2 , 4Mw IT – Colocatie only – Modulair, gedistribueerd model
IBM Big Data claim What is big data?
“ Every day, we create 2.5 quintillion bytes of data — so much that 90% of the data in the world today has been created in the last two years alone.”
‘BIG DATA’ as we know it… • Next buzzword na the Cloud? • Heel Veel en explosief groeiend: – – – –
35 zettabytes in 2020 90% van alle data in de laatste 2 jaar gecreëerd 45% $‐groei per jaar Data universe verdubbelt elke 18 maand
• Ongestructureerd – – –
Veel bronnen transacties, sensors, social media, mobile devices Real time data
• High Speed – –
Snelheid van data generatie Vereiste snelheid om van data zinvolle informatie te maken
Big data en de Cloud Twee kanten van de zelfde medaille? Big Data Cloud Onbeperkt grote flexibele storage capaciteit Parallelle Cluster computing Distributed File System / Map Reduce
Eindeloze stroom van ongestructureerde data Behoefte aan real time analyse van deze data
Kansen Big Data? • Onvermoede patronen vinden in de data oceaan – Voorspellende kracht door ontelbare dwarsverbanden – Toepassingen: • Commercieel • Veiligheid • Gezondheid • Techniek, onderhoud
• Wisselwerking centrale rekenkracht en locale data‐ acquisitie en feedback
Bedreigingen big data? • Security and Privacy – De big data toepassing weet straks meer van je dan jezelf – Wie verschaffen we toegang tot onze data?
• Weten we nog hoe de uitkomsten van data analyse tot stand komen? – Bijvoorbeeld: Big data en Wall Street?
• Explosieve groei – Waar moet al die data een plekje krijgen?
• Information overload/stress – Hoeveel informatie kunnen we verwerken – Waar kunnen we nog zinvol op reageren
Eurofiber’s ‘fundamentele’ kijk op de wereld Business
Techniek
Anticipeer op: ‐Type gebruik ‐Type gebruiker
Eurofiber’s ‘fundamentele’ kijk op de wereld • Build once, serve many – Vraagbundeling – Anchor customers
• Infrastructure only – Kosten vooraf en ineens – Zoveel mogelijk capaciteit in de grond – Geen vertical strategie / open netwerk
• Top down en step by step – Longhaul / City to City – Metroringen – Dedicated aansluitnetwerken
Type gebruik glasvezel over de jaren • 90’s ‐ 00’s :Backbones Trunkverbindingen – Carriers, ISP’s, Mobile operators – Telehouses onderling
• 00’s: Aggregatie/distributie – Stadsringen – Regionale uitrol naar wijkcentrales
• 00’s ‐ 10 ’s: Aansluitnetten – – – –
Fiber to the Home Fiber to the Office Fiber to the Mast Objecten (Smart Grid, Camera’s , Sensoren)
Fiberspeed end to end • Wat betekent Fiber in het aansluitnet? – 1‐100 Gbits en meer – Bidirectioneel
• Geaggregeerd? Big Data!
Astron LOFAR • Gedistribueerde radiotelescoop • Sensor netwerk – tienduizenden antennes – 350km diameter – Alles verbonden met glasvezel
• Supercomputer verwerkt (big) data
Dijkmonitoring: Stichting IJkdijk • Monitoring van dijken – Sensortechnologie – Glasvezelsensoren – Informatie over waterspanning/temperatuur
Camera toezicht • • • • •
CCTV HD cameratoezicht Grote datastromen: dus glasvezel access Volgen personen, Herkennen verdachte patronen Voorspellen gedrag winkelend publiek
Waar slaan we al die data op?
Het huidige datacenter: typisch verwachtingspatroon • • • •
Gevestigd in grote steden Grootschalig 5000m2 plus Hoge powerdensiteit, lage PUE Hoge eisen aan beschikbaarheid – TIER kwalificaties: Installaties N+1 of 2N – Niet onder aanvliegroute – Ruim boven NAP!
New York, november 2012 Ruim boven NAP!
Big data en the Cloud (revisited) • Aandeel ongestructureerde data in totaal elk jaar groter • Cloud structuur past goed bij: – Exponentiele storage wensen – gevraagde rekenkracht
Big data en the Cloud • Distributed file system: – – – –
Google File System / Hadoop Het datacenter als grote harde schijf Clusters van commodity (redundant) hardware High speed connectivity tussen nodes (1‐5Gb/s)
• Need for speed: – –
Parallel processing Map / Reduce
Hoe verandert dit onze kijk op het datacenter?
Welk type datacenter past bij big data? • Gedistribueerd versus centraal? – In de stad of daarbuiten? – Groot of klein?
• Failsafe of Fail tolerant? • Integratie IT en Facilitair of gescheiden? • Welke rol speelt glasvezel hierin?
Geografisch Optimaliseren: Modulaire datacenter geografie 4 dimensies:
Local dc
Gebruik Local dc
Kosten
Beschikbaar heid Local dc
Milieu
Gebruik en gebruikers DC Capaciteit volgt de vraag: • Locale storage – Bedrijven – Instellingen – ziekenhuizen
• Mobile data • HD video Content/cdn
Local dc
Beschikbaarheid / redundantie Dit?
1
Of Dit? 1
2
2 Nu vaak nog gescheiden werelden…
3
Energie & milieuwinst boeken • Modulariteit – Invest while you go – Binnen het DC of ook tussen DC’s? – Failover op IT of facilitair niveau? Local dc
• Kosten van energie – Zijn er locale win/win’s te vinden? – Optimalisatie: PUE/EUE/Vrije koeling – Kosten van de aansluiting
• Milieuwinst: Slimme locale combinaties – locale opwekking (wkk) – Warmteterugwinning
Bedankt!
