De kunst van het modern archiveren
Lezing 2 : Moderne digitale storage Gastspreker : De heer Ties Beekhuis
Van Abbemuseum Eindhoven 5 februari 2009
Data Space Nederland BV
Moderne Digitale Storage Ties Beekhuis Manager Consultancy
Agenda Section PROACT Headingop about Archiveren de agenda Wat zijnsubject de uitdagingen new Welke oplossingen Object gebaseerd archief Samenvatting / Q&A
De PROACT Groep •
Grootste, beursgenoteerde storage integrator van Europa
•
Kennishuis met 15 jaar storage ervaring, €100M+ omzet
•
Vertegenwoordigd in 8 landen, 18 kantoren
•
Bekende A-merken onder 1 dak
•
320 medewerkers, waarvan 220 engineers
•
Executive member SNIA
•
Ruim 1700 klanten, loyaliteit 99,8%
Focus gebieden
Agenda PROACT Archiveren op de agenda Wat zijn de uitdagingen Welke oplossingen Object gebaseerd archief Samenvatting / Q&A
Archiveren op de agenda • Het digitale universum in 2007 was 45 gigabytes (GB) voor elke persoon op de wereld • Met 281 miljoen GB (281 exabytes), was het digitale universum 10% meer dan verwacht • In 2011 zal dit 1.8 zettabytes (1,800 exabytes) zijn • Uw “Digital Shadow” is per dag meer dan u zelf aan digitale data creëert
IDC 2007: The Diverse and Exploding Digital Universe: An Updated Forecast of Worldwide Information Growth Through 2011
Archiveren op de agenda • Nationaal Archief (beleidsplan ‘07-’10) – reeds 2TB digitaal archief – vanuit ministeries al meer dan 8x aangeboden – overdracht nog niet plaatsgevonden vanwege ontbreken operationeel digitaal depot. • Wet bewaarplicht telecommunicatie – In Nederland verkeers- en locatiegegevens 18 mndn bewaren – Op sommatie van Justitie data op heel korte termijn verstrekken • Fiscale bewaarplicht – 7 jaar – 20 jaar bij rechtsvordering uit contract (ook digi communicatie)
Archiveren op de agenda • Wet op de geneeskundige behandelingsovereenkomst – 15 jaar bewaartermijn – 30TB+ PACS archief geen uitzondering meer • Archiefplicht overheidsorganisaties – Onbepaalde tijd voor Nederlands cultureel erfgoed • Hoe houd je de groei bij? • Hoe migreer je TB’s aan data? • Hoe financier je oneindige kosten? • Hoe voorkom je dataverlies?
Archief definitie PROACT’s definitie voor archiveren Een combinatie van beleid, processen en een technisch platform voor het behouden, beveiligen en toegankelijk maken van geselecteerde informatie voor een vastgestelde tijd.
De (on)zin van ILM Er is een groot verschil tussen archiveren en migreren!
Archiveren is een beleidsmatig besluit.
Migratie is het verplaatsen van data tussen twee verschillende opslag type – dit is een IT besluit.
Agenda PROACT Archiveren op de agenda Wat zijn de uitdagingen Welke oplossingen Object gebaseerd archief Samenvatting / Q&A
Uitdagingen archief storage • • • • • •
Schaalbaarheid capaciteit en performance Limieten en beheer bestand systemen Integriteit en authenticiteit Standaard gebaseerde interfaces Toekomstige migraties Ondersteunende diensten / compliancy
Bestand systemen kunnen het niet bijhouden • Bestand systemen zijn 30 jaar geleden ontworpen – Gericht op het opslaan van honderden bestanden op kleine disken – Systemen van vandaag de dag nog steeds gebaseerd op ouderwets ontwerp • Opslag vereisten zijn anders – Opslag van miljoenen bestanden op honderden tot duizenden grote disken • Bestand systemen kunnen niet meer opgerekt worden – Instabiel met gelaagde complixiteit en virtualisatie – Technische limieten – Onderliggende bestand systeem moeten nog steeds beheerd, veiliggesteld, gemigreerd en onderhouden worden.
Archief medium • Tape en optische disken: – Niet ontworpen voor gegarandeerde lange termijn opslag – Beleid op basis van backup, niet archivering – Oude informatie vaak offline op tape – traag – niet zoekbaar – Korte levensduur van tape formaten - migraties • Disk (DAS/SAN/NAS): – Niet ontworpen voor gegarandeerde lange termijn opslag – Integriteit en onveranderbaarheid van data niet gewaarborgd – Gebaseerd op 30 jaar oude bestand systemen – Bestand systeem beheer, backup en technische limieten – Migratie gelimiteerd door archivering applicatie server
Agenda PROACT Archiveren op de agenda Wat zijn de uitdagingen Welke oplossingen Object gebaseerd archief Samenvatting / Q&A
18. februar 2009 – page 24
Meest gebruikte oplossingen • Pointer gebaseerd – Ideaal voor mail en databases, minder voor bestanden – Is voornamelijk migratie – applicatie omzeilen • Storage netwerk gebaseerd – Geen pointers, fysiek verplaatsen – Is voornamelijk migratie – applicatie omzeilen • Storage opslag gebaseerd – Traditionele disk opslag - nog steeds uitdagingen – Object gebaseerde opslag • Archiveren naar behoefte
Archiveren naar behoefte • Voornamelijk financiele constructies en geen weg terug • Archiveren als dienst met beheer services: – Volledig storage beheerd archief – Niet verplicht gedeelde infrastructuur, te verplaatsen – Locatie onafhankelijk – Service niveau afspraken – Open ontsluiting voor alle applicaties – Juiste kennis, beheer en support organisatie – Geen onbeschikbaarheid voor migraties, onderhoud of vernieuwing – Geen levenscyclus risico’s – Vastgestelde achterdeur
Waarom wel archiveren naar disk? Het antwoord: Totale Kosten (TCO) $4X
Paper/fiche
Tape/Optical
$3X
Object oriented disk
$2X
Bron: SNIA
$1X 3
6
9
12
15
Agenda PROACT Archiveren op de agenda Wat zijn de uitdagingen Welke oplossingen Object gebaseerd archief Samenvatting / Q&A
ILM traditioneel complex • 3 - 4 storage lagen – Vermenigvuldiging van overhead – Data duplicatie • Data dijken en pompen – Vereist het verplaatsen van data tussen oplossingen – Complex, arbeids intensief – Hoge investeringen • Fragiel en inflexibel • Goed voor vendors, minder voor gebruikers
Management
Apps
SAN days
NAS
Tape Archive
Tier data pumps
ILM innovatief simpel • Dynamisch ~10% db Î SAN of NAS – Gericht op servers met performance Apps behoefte • Statisch ~ 90% overige data Î CAS – Massaal schaalbaar met hoge doorvoersnelheid – Snel en goedkope primaire storage – Stabiel en flexibel – Minder beheer en onderhoud CAS – Standaard NAS ontsluiting 90% Fixed Content – Goed voor klanten, minder voor vendors
10% Dynamic SAN or NAS
Wat is CAS? • Content Addressable Storage – object gebaseerde opslag – Een bestand wordt vertegenwoordigd door de inhoud – Een bestand adres refereert aan de inhoud, NIET de locatie • CAS vs “Regulier” disk systeem: – Geen bestand systeem – Ongelimiteerde adres ruimte – Data integriteit – Een bestand adres refereert aan de inhoud – Backup/Restore en beschikbaarheid – ingebouwde functionaliteit • Dit creeert een systeem dat…. – Geen bestand systeem, RAID of volumes heeft, alleen adressen – Zonder onbeschikbaarheid onbeperkt kan groeien
Het gaat om de inhoud, niet de locatie • Basis concept van CAS: eenvoud – Stop er een bestand/object in – Krijg een unieke sleutel terug – Bewaar de sleutel in een document of db – Gebruik steutel om object op te vragen • Aanvullende functionaliteiten: – Defineer bewaartermijn – Defineer aantal objecten • Metadata bij elk object • Universele HTTP, bestand of applicatie integratie ontsluiting
CAS Cluster “Simplicity is the ultimate sophistication” • Start met een klein cluster • Voeg capaciteit naar behoefte toe – Van 1TB tot meer dan 1PB • Zonder applicatie of gebruiker verstoring capaciteit en snelheid uitbreiden • Voeg sub-cluster(s) toe voor beschikbaarheid met replicatie • Het geheel doet zich als één digitaal online archief voor
Metadata gedreven beschikbaarheid Object in 2 replicas
• Gebruiker (= applicatie) kan het aantal replica’s bepalen voor elk object Identifier out
• Replica UUIDs voor een object zijn identiek – geen corruptie • Tijdens levenscyclus van data kan door beleid het aantal replica’s veranderen • Alles is metadata gestuurd
Automatische optimalisatie en migratie Toevoegen nieuwe hardware
Verwijder oude hardware
Object gebaseerde opslag met CAS: •
Zeer schaalbaar
•
Gegarandeerde data integriteit
•
Zelf configurerend en beheerend
•
Zelf herstellend en helend
•
Enkel type opslag voor levensduur
•
Open standaard ontsluiting
•
Voldoen aan wet- en regelgeving
•
Zonder onbeschikbaarheid wijzigen
•
Minimale beheerlast
Agenda PROACT Archiveren op de agenda Wat zijn de uitdagingen Welke oplossingen Object gebaseerd archief Samenvatting / Q&A
Samenvatting • • • • • • •
Archiveren is niet gelijk aan migreren Archiveren niet alleen vanuit wet- en regelgeving Inzichtelijk maken lange termijn problematiek Impact en werking van oplossingen verschillen Object gebaseerde opslag voor beheerloos archief Maar ook voor alle file gebaseerde opslag Object gebaseerde opslag alleen is nog geen archief
Why Proact Focused company Independent Processes in place Industry knowledge Experience References Top certifications
PROACT 035 - 7070525
[email protected] www.proact.nl
Established & disruptive spelers
Our industry focus and customers at a glance
Lithuanian Parliament
Heinen en Hopman
De kunst van het modern archiveren
Van Abbemuseum Eindhoven 5 februari 2009 Data Space Nederland BV
