Digitale opslag Door Jeffrey van der Hoeven
Cumulatieve prognoses van Beeld&Geluid, KB, Nationaal Archief en KNAW tezamen.
Wat is 1 Petabyte aan data? 1800m 1,5 miljoen CD-ROM’s
Burj Khalifa Dubai
828m Empire State Building
443m 324m Eiffeltoren
NCDD netwerk voor duurzame toegankelijkheid
CCDD
Ge‐ meente‐ archieve n
ACDD Ge‐ meentes
AVA_net
Iedereen heeft opslag nodig
Biedt de ‘cloud’ de oplossing?
Een meer alledaags beeld…
Huidige situatie • Zoveel organisaties, zoveel storage oplossingen • Grote verschillen in gekozen oplossing – (in‐house, outsourced, partnerships, cloud storage)
• Verschillende kwaliteitseisen • Juridische gevolgen vaak onbekend (waar is mijn data? Van wie?) • Focus ligt op korte termijn toegang Daardoor: • Inefficiënt gebruik van middelen (geld, opslag, mensen) • Groter risico op verlies van data, over lange termijn • Juridische consequenties
Doelstelling werkgroep Storage “The WG Storage will deliver a report with concrete recommendations to the NCDD Board on how storage of digital objects in the Dutch public domain can be organized as effectively and efficiently as possible while meeting quality requirements to be defined by the WG (based on the experience of WG members). The recommendations will be based on currently running pilot projects in the various domains, as well as scenarios based on future demand.”
Leden van de werkgroep Storage Jeffrey van der Hoeven
Koninklijke Bibliotheek
Rutger Kramer
DANS
Ruud Yap
Nationaal Archief
Sandra Linssen
Nationaal Archief
Ernst van Velzen
BenG
Astrid Verheusen
Koninklijke Bibliotheek
Walter Swagemakers
EYE Filminstituut
Anne Gant
EYE Filminstituut
Henk Alkemade
RCE
Benjamin Dekkers
RCE
Gaby Wijers
NIMK
Wiel Seuskens
NIMK
Tine Sierink
KNAW
Cultuur/erfgoed Media Overheid/archieven Wetenschap
In scope • Nationale focus • Voorzieningen voor lange termijn opslag • Toepasbaar voor digitale collecties in alle vier de publieke domeinen – (wetenschap, overheid, cultuur, media)
• Voor collecties varierend in omvang en soort • Voor een periode van 10 jaar
Buiten scope • Elke organisatie behoudt haar eigen verantwoordelijkheid • Geen diensten voor toegang • Geen diensten voor duurzaamheid • Geen concurrentie met bestaande (commerciële) infrastructuren
Plan van aanpak Inventariseer huidige oplossingen Maak een schatting van de verwachte groei Bepaal kostenbepalende factoren (TCO) Stel kwaliteitseisen op (legal regime, flexibility, risks in scope, hierarchical storage management, security, etc.) • Verken verschillende oplossingen:
• • • •
• Shared backup & recovery facilities; • Private storage cloud; • Shared service centre;
• Monitor storage pilots bij deelnemers • Geef aanbevelingen en visie (periode van 10 jaar)
Eerste inzichten ‐ opslag Differentiatie in opslag (tiers)
Goud
Zeer snel Databases
Zilver
Snel Websites
Staal
Duurzaam Archief
Brons
Traag Back‐up
Eerste inzichten ‐ kosten Opslag Brons (back‐up) Staal (duurzaam) Zilver (snel) Goud (zeer snel) * Kostenfactoren gebaseerd op KB ervaring.
Kosten factor* 1 x
1,3 x
2,7 x
7,0 x
Eerste inzichten – in the ‘cloud’ Cloud storage services Voorbeeld Business Process as a Duurzaam archiveren (incl collectiebeheer) service Software as a service Data validatie, controle Managed storage cloud Platform as a service Backup, vloerruimte, Infrastructure as a netwerk service
Oplossingsrichtingen Scenario A: Shared Conditioned Space • Samenwerking van 2 of meer organisaties waarbij bestaande faciliteiten (storage systems, floor space, power, communication lines) worden gedeeld voor backup & recovery. Scenario B: Private Storage Cloud • Op verzoek en in geval van overcapaciteit kunnen opslag en rekenkracht gedeeld. Dit is incidenteel. • Samenbrengen van alle overcapaciteit en dit automatisch beschikbaar stellen middels individuele overeenkomsten direct tussen elkaar. Scenario C: Shared Service Centre • Management, diensten en onderhoud voor opslag onderbrengen in een aparte organisatie: the Shared Service Centre (SSC). De opslag wordt door de deelnemende organisaties ter beschikking gesteld.
Een stap verder… Storage broker • Brugfunctie tussen opslagaanbieder en afnemer. Door partijen bij elkaar te brengen kan een gezamenlijke private storage cloud opgezet worden die vervolgens vanuit 1 loket kan worden aangeboden. Deze vorm ligt tussen scenario B en C in. Dit vraagt: – – – – –
service management (portfolio diensten, administratie, SLA’s) private cloud met universele interface Kwaliteitsbeleid Duurzaamheidsbeleid Juridische afspraken
Nog een stap verder… Dienstenpakket • naast simpelweg opslag te bieden kan een heel dienstenpakket opgezet worden. Van beperkt tot uitgebreid. Te denken valt aan: – Bit‐level preservation – parkeerruimte voor de data – Data validatie – enkele basiscontroles op de data – verwerkingsproces – automatische metadata controle, bestandsformaatconversies e.d.) – Beschikbaarstelling van data (hosting) – Preservation as a Service ‐ Preservation Planning & Action (bijv. batch migratie, emulatie service)
Voer voor discussie! • Zijn er bestaande initiatieven/oplossingen voor gezamenlijke opslag? • Welk soort diensten zijn gewenst? • Hoe ziet de toegang tot mijn data eruit? • Kwaliteitsbeleid: laagdrempelig of streng? • Duurzaamheidsbeleid: certificering? • Juridische beperkingen: mag ik als organisatie mijn data wel elders onderbrengen? Wie is eigenaar van de data?
Discussie met werkgroepleden! Jeffrey van der Hoeven
KB
Rutger Kramer
DANS
Ruud Yap
NA
Sandra Linssen
NA
Ernst van Velzen
BenG
Astrid Verheusen
KB
Walter Swagemakers
EYE Filminstituut
Anne Gant
EYE Filminstituut
Henk Alkemade
RCE
Benjamin Dekkers
RCE
Gaby Wijers
NIMK
Wiel Seuskens
NIMK
Tine Sierink
KNAW
Cultuur/erfgoed Media Overheid/archieven Wetenschap
