VIAA Informatie Sessie Storage en Infrastructuur 22 08 2013
AGENDA q Introductie q Wie is wie q VIAA historiek en link met iMinds q Over VIAA
q The big picture q Scope archiefsysteem q Architectuur systeem q Overzicht betrokken bestekken q Timing en Planning bestekken
q Informatie sessie storage en infrastructuur q Overzicht dossier q Antwoorden op de vragen q Closing remarks Slide 2
WIE IS WIE? Slide 3
IMINDS EN VIAA iMinds • Software research instelling sinds 2005. • Projecten voor meerdere sectoren (media, e-health, ...) • Enkele grote projecten in de archiefwereld: • Archipel, Bom-Vlaanderen, Vlaanderen in Beeld
VIAA • Ontstaan n.a.v. de gedetecteerde nood in eerdere projecten • Tot 2014: opgericht binnen de schoot van iMinds. Slide 4
VIAA - SERVICES Digitaliseren • • •
600.000 uur aan materiaal in kaart gebracht Eerste focus: audiovisueel materiaal Prioretisering ifv ‘waarde’ en risico op verlies
Archiveren • • •
Preservatie van het gedigitaliseerde materiaal Managen van de content (metadatering, reporting) Toekomst: • •
Intake bestaande archieven Intake born-digital materiaal
Interactie • •
Hergebruik mogelijk maken. Doelgroepen: onderwijs, research, grote publiek
Slide 5
ARCHIEF SYSTEEM Slide 6
ARCHIEF SYSTEEM Scope • Intake van de content (gedigitaliseerd, born-digital, ...) • Main focus: audiovisueel. • Longer term (Q3 2014): documents, foto’s, ...
• Management van de content • Annotatering, collectiebeheer, reporting, ...
• Preservatie van de content • Lange termijn bewaring (think: forever) • Voorkeur voor open standaarden, exit strategy, generieke, makkelijk te vervangen componenten. (cfr. leidende principes in bestek). Slide 7
ARCHIEF SYSTEEM Stakeholders • VIAA voorziet: services voor ‘klanten’ • VIAA krijgt: licentie op de content voor interactie projecten • Content providers (35+ op dit moment) • Broadcasters • Erfgoed instellingen (musea, bibliotheken, ...)
• In getallen • 600.000 uur te digitaliseren. • Max instroom: 3 PB/jaar • Na 10 jaar: 30 PB
Slide 8
ARCHIEF SYSTEEM
Slide 9
BESTEKKEN Housing • Data center capaciteit (m2, koeling, power)
Storage en infrastructuur • Aankoop storage componenten • Aankoop server hardware & LAN/SAN fabric • Installatie on site (in rack plaatsen & turnkey)
Software en integratie • Aankoop media asset management systeem (evt HSM) • Integratie luik: filesystemen, hypervisors, OS, software • Configuratie software component, workflows, etc.
Slide 10
23.11: start oplevering. 17.01: eerste files op systeem
TIMING BESTEKKEN Jun.
Jul. Aug.
Sept.
Okt.
Nov.
Dec.
Jan.
22.08 : Q&A sessies
Enuncia'ef
02.09: offertes ontvangen
offertes
Eval.
22.09: beslissing freeze
03.08: bestekken publiek
09.10: gunning Levering + install hardware Integra(e + config
Enuncia'ef
23.09: communica'e
Kandidaturen offertes
Eval.
Q&A sessie 17.10: offertes ontvangen 6.11: beslissing
freeze
23.11
INFORMATIE SESSIE Overview bestek infra & storage Q&A sessie (+/- 15 vragen) • Vraag + antwoorden • Slides komen ook op e-procurement + extra documenten (bijgewerkte templates) • Extra kleine vragen of verduidelijkingen: vraag gerust • Worden toegevoegd in slides en via eprocurement verspreid in de loop van vandaag
Slide 12
INFRASTRUCTUUR OVERZICHT Slide 13
INFRASTRUCTUUR COMPONENTEN PRIMAIRE*SITE
SERVERS
SECUNDAIRE*SITE
OPSLAG*GENERIEK*IT
OPSLAG*GENERIEK*IT
OPSLAG*BUFFER/WERKRUIMTE
OPSLAG*BUFFER/WERKRUIMTE
ARCHIEF*LOW* COST
ARCHIEF*LOW* LATENCY
ARCHIEF
ARCHIEF
INGEST
TEST*
REPLICATIE
SERVERS
ARCHIEF*LOW* COST
ARCHIEF*LOW* LATENCY
ARCHIEF
ARCHIEF
BACKUP
TEST*
TEST*
TEST*
FABRIC
FABRIC
Slide 14
INFRASTRUCTUUR OVERZICHT
DB1server
MAM
LAN$FABRIC
TRANSPORT1 SERVER
STORAGE MGMT
$SAN$FABRIC ARCHEF1LOW1 LATENCY1(0.51PB)
BUFFER WERKRUIMTE
OPSLAG1 GENERIEK1IT1
ARCHIEF1LOW1 COST1(151PB)
ARCHIEF
TEST1
TEST1
ARCHIEF INGEST
Slide 15
ALGEMENE VEREISTEN • ‘Software Defined Infrastructure’: maximale flexibiliteit voor de leverancier van de software – modulair, flexibel – sterk gestandardiseerde componenten – schaalbare oplossing, vermijden van vendor lock-in.
• Geïntegreerde oplossing – onderlinge compatibiliteit – bedrijfszekerheid – optimale perfomantie
• Enterprise grade hardware, software en diensten – redundant, betrouwbaar, schaalbaar, onderhoudsvriendelijk – beheer (vanop afstand) en mogelijkheid tot monitoring – vaardige technici, gedegen project aanpak, kennisdeling, teamwork
• Totale kost Slide 16
ARCHIEFOPSLAG • Twee onafhankelijke systemen • Low Cost Archief • Low Latency Archief
• Kompact en ecologisch • Lange termijn • vermijden van lock in • exit strategie • strategie voor media rotatie
• Bescherming tegen dataverlies • • • •
voortdurende controle op integriteit van media automatische remediëring rapportering over media integriteit mature technologie Slide 17
ARCHIEFOPSLAG: LOW COST • Indien gebaseerd op tape • voorkeur voor LTO technologie • monitoring en rapportering van de kwaliteit van de media en de drives is belangrijk • Partioneerbaar • Archief • Test omgeving • Ingest Buffer
• Indien gebaseerd op disk: zie low latency opslag
Slide 18
ARCHIEFOPSLAG: LOW LATENCY • Betrouwbaar • Geschikt als finale archiefbestemming (zonder backup) • Is geen buffer of cache bovenop het low cost archief.
• Geautomatiseerd • Beheer • Media Migratie • Herstel van redundantie na media-fouten
• Schaalbaar en Flexibel • Geschikt voor grote en kleine objecten • Horizontaal schaalbaar met minimale herconfiguratie • Dynamisch toevoegen en herconfigureren van policies
• Low latency en streaming (naar een beperkt aantal gebruikers)
Slide 19
ALGEMENE OPSLAG • On line buffer • Centrale werkruimte • LAN free houden van bulk data transport • Vermijden dat grote bestanden verschillende keren worden gekopieerd.
• • • •
FC attached Gebruikt door de ‘transport servers’ Performantie Storage management laag niet in scope • “Software defined storage” • HSM ? Parallel filesysteem ?
• Generieke IT storage • Brede ondersteuning voor OS en virtualisatie
Slide 20
SERVERS EN FABRIC • Servers • Transport Server: connectiviteit, bandbreedte • Generieke IT server: virtualisatie
• Fabric • In lijn met vereisten voor performantie • LAN (10Gb en 1Gb) en SAN
• Wel doordacht ontwerp is belangrijk • integratie Fabric – Servers – Opslag.
Slide 21
VRAGEN & ANTWOORDEN Slide 22
Bijlage 1. Op p19 staat: "Indien de low-cost opslagoplossing gebruikt maakt van disk, dan dient ze te voldoen aan alle eisen van het low latency opslagsysteem". Betekent dit dat een disk gebaseerde low cost cost oplossing geen hogere latency en/of lagere snelheid mag hebben dan de low latency storage ?
Een disk gebaseerde low cost opslag moet aan de vereisten voor een low latency opslag voldoen voor wat betreft durability, eenvoud van beheer, schaalbaarheid etc. Maar langere toegangstijden zijn wel aanvaardbaar voor de low cost opslag, ook als deze disk gebaseerd is.
Slide 23
Met de oplossingen die we gepresenteerd hebben aan iMinds, vroegen we ons af in welke mate we op alle loten moeten antwoorden.
De verschillende offerteaanvragen staan los van elkaar en worden los van elkaar geëvalueerd. Het staat elke leverancier vrij van op één of meerdere offerteaanvragen te antwoorden.
Slide 24
Bijlage 1. §3.1.3.2 Als software vereiste van de low latency opslag wordt het beheer van de capaciteit vereist. Is dit inclusief quota mangement?
De mogelijkheid tot het instellen van Quota is geen geen stricte vereiste voor de low latency opslag.
Slide 25
Bijlage 1. §3.1.4.1 De buffer storage oplossing dient via FC aanspreekbaar te zijn. Echter wordt verder in deze paragraaf vermeld dat er een filesysteem bovenop geplaatst zal worden. Is een oplossing die een native filesysteem aanbiedt met hoge schaalbaarheid en performantie ook aanvaardbaar?
Om maximale flexibiliteit te bieden aan de leverancier van de opdracht 'MAM systeem en intergratiediensten' wordt alleen FC attached block storage toegelaten. De "storage management laag" is onderdeel van die laatste opdracht . Of er al dan niet een filesysteem zal bovenop geplaatst worden zal bepaald worden door de leverancier die opdracht.
Slide 26
Bijlage 3 “gedetailleerde prijsopgave”: - Onderscheid “eenmalige kosten ()” en “Aankoop Systemen”? - “List price (4 years)” vs. “listprice 1 year” onder “aankoop systemen” - Is een “data mover” gelijk aan een “transport server”? - prijs voor “generieke IT servers” niet opgenomen in de meetstaat? - prijs voor “Netwerk” niet werd opgenomen in de meetstaat? - DRP support: in welk prijs onderdeel moet de aanbieder de 2 mandagen support voor de DRP testen plaatsen? Zie update prijstabel: • Ipv ‘Aankoop Systemen’ staat nu ‘Onderhoud Systemen’ • De term ‘Data Mover’ is vervangen door ‘Transport Server’ • Lijn toegevoegd voor DRP support
Slide 27
bijlage 3 “gedetailleerde prijsopgave” Bedoelt men met “maximale configuratie” de theoretisch maximaal configuratie van de aangeboden oplossing? Of bedoelt men met “maximale configuratie” eigenlijk de titels “minimaal uitbreidbaar tot”?
Met 'Maximale configuratie' in bijlage 3 wordt bedoeld "minimaal uitbreidbaar tot", zie de bijgewerkte prijstabel
Slide 28
Bijlage1. In de architectuurtekening op pag 14 blijkt dat de SAN verbinding niet gekoppeld is aan het low latency archief alsook de online buffer werkruimte. Toch spreekt men in de specificatie over een oplossing die aanspreekbaar dient te zijn via FC protocol. Kan u dit toelichten?
De online buffer werkruimte moet inderdaad op de FC-SAN gekoppeld worden. Die koppeling ontbreekt op de tekening. Het low latency archief wordt in principe via het LAN benaderd.
Slide 29
- Bijlage1. p. 23 “Daarbij moet men ervan uitgaan dat de online buffer zal aangesproken worden via een schaalbaar parallel filesysteem of een andere technologie …..”. Wil dit zeggen dat het parallel filesysteem niet in deze opdracht omvat is? - Bijlage 1. p. 23 Online Buffer Opslag: De buffer opslag moet het FC protocol ondersteunen, maakt het leveren van het parallel file-systeem (SW licenties, ... ) deel uit van deze opdracht ? - Bijlage 1. p. 23 Online Buffer Opslag: Is er reeds een keuze gemaakt voor parallel file-systeem ? Maakt dit deel uit van een andere opdracht ? Het eventuele parallel filesysteem is geen onderdeel van deze opdracht. De leverancier van de opdracht 'Aankoop MAM systeem en integratiediensten' zal een parallel filesysteem leveren indien nodig.
Slide 30
Bijlage 1. Software voor de bewaking van de goede werking, in het bijzonder proactieve integriteitsbewaking van tape en disk.": Moet de leverancier van dit lastenboek integriteitbewaking doen van tapes. Dit gebeurt vaak ook al door de MAM applicatie. Moet de leverancier een extra systeem voorzien met het risico dat de tapes dubbel zoveel gelezen zullen worden?
• • • •
In scope is een systeem voor proactive kwaliteitscontrole en rapportering van tapes en drives vroegtijdige detectie, identificatie van media en drives met een potentieel verlies aan betrouwbaarheid. rapportering over statistieken in relatie met media en drive integriteit. eventuele ondersteuning voor een controle op integriteit op een hoger niveau
Slide 31
- Bijlage 1. p 10: Wat wordt bedoelt met storage management laag ? Is dit de HSM oplossing ? - Bijlage 1. p10: Is er reeds een keuze gemaakt voor deze storage management laag ? Maakt dit deel uit van een andere opdracht ? - Bijlage 1, pag.4, §1.4: Er is verwarring mogelijk inzake het al dan niet aanbieden van HSM binnen de scope van het bestek Storage en Infrastructuur (cfr., Architectuur, schema) … De Storage managment laag maakt deel uit van de opdracht 'MAM systeem en intergratiediensten'. Deze kan bijvoorbeeld bestaan uit een HSM systeem eventueel in kombinatie met een parallel filesysteem. Wat de storage management laag betreft is er nog geen keuze gemaakt.
Slide 32
Overzichtsdocument p. 16, § 9.1.5 Definitieve oplevering en acceptatie, wordt de maximale tijdsduur van de acceptatietesten en de bijhorende goedkeuring door iMinds niet vastgelegd. Pas achteraf kan de definitieve oplevering op verzoek van de leverancier worden afgekondigd. Dit brengt rechtsonzekerheid voor de inschrijver. Kan iMinds/VIAA de procedure toelichten?
VIAA is gebonden aan een stricte planning en heeft er dus alle baat bij om de implementatie zo snel mogelijk te laten verlopen. De acceptatietesten zullen in principe afgerond worden binnen de 14 dagen na oplevering, tenzij er tijdens de testen ernstige gebreken worden vastgesteld.
Slide 33
Bijlage 1. p. 30 § 4.2 – Voor hoeveel mensen dient opleiding voorzien te worden?
De opleiding is voor kleine groep: grootte-orde 2 a 3 personen.
Slide 34
CLOSING REMARKS • Indienen van de offertes • MOET digitaal gebeuren via het e-procurement systeem! • Planning: zie offerte aanvraag
• Presentatie van de offertes • Nog steeds op de data zoals vermeld in de offertevraag • iMinds/VIAA stuurt een slot toe daags na indiening
Thanks!
Slide 35
