Ukládání a archivace dat vzniklých digitalizací
v Digitálním archivu SOA v Třeboni
Základní cíle projektu Vytvořit systém, který bude zaštiťovat postupy spojené s digitalizací archivních materiálů • vytváření archivních databází a metadat • kompletní správa datového úložiště • import snímků z digitalizačních pracovišť • zpracování snímků • bezpečné uložení a archivace snímků • export snímků pro vnější potřeby • zpřístupnění materiálů uživatelům
Webová aplikace
Datové úložiště
ÚLOŽIŠTĚ MHTF
ÚLOŽIŠTĚ TIFF
(prohlížecí formát)
(archivní formát)
DigiArchiv
Přístup uživatelů přes Internet WWW rozhraní administrace
D A T A B Á Z E
DigiDepot
IMPORT přidávání nových materiálů
EXPORT export uložených materiálů
EXPORT ARCHIV export uložených materiálů ve formě balíčků do vnějšího úložiště
Potřebné funkce digitálního archivu 1. Databáze metadat materiálů
Digitalizace snímků digitalizační pracoviště
Import snímků Zpracování snímků
Datové úložiště DigiDepot
DigiDepot
Databáze metadat DigiArchiv
Databáze
Export snímků DigiDepot
Archivace dat
Zpřístupňování DigiArchiv
1. Databáze popisů materiálů – DigiArchiv
Potřebné funkce digitálního archivu 2. Import snímků 3. Zpracování snímků Digitalizace snímků digitalizační pracoviště
Import snímků Zpracování snímků
Datové úložiště DigiDepot
DigiDepot
Databáze metadat DigiArchiv
Databáze
Export snímků DigiDepot
Archivace dat
Zpřístupňování DigiArchiv
2. Import snímků – webové rozhraní DigiDepotu
3. Zpracování snímků – webové rozhraní DigiDepotu
Potřebné funkce digitálního archivu 4. Export snímků
Digitalizace snímků digitalizační pracoviště
Import snímků Zpracování snímků
Datové úložiště DigiDepot
DigiDepot
Databáze metadat DigiArchiv
Databáze
Export snímků DigiDepot
Archivace dat
Zpřístupňování DigiArchiv
4. Export snímků – webové rozhraní DigiDepotu
Potřebné funkce digitálního archivu 5. Zpřístupňování materiálů
Digitalizace snímků digitalizační pracoviště
Import snímků Zpracování snímků
Datové úložiště DigiDepot
DigiDepot
Databáze metadat DigiArchiv
Databáze
Export snímků DigiDepot
Archivace dat
Zpřístupňování DigiArchiv
4. Zpřístupňování materiálů – DigiArchiv
Potřebné funkce digitálního archivu Správa datového úložiště
Digitalizace snímků digitalizační pracoviště
Import snímků Zpracování snímků
Datové úložiště DigiDepot
DigiDepot
Databáze metadat DigiArchiv
Databáze
Export snímků DigiDepot
Archivace dat
Zpřístupňování DigiArchiv
Datové úložiště - DigiDepot Při vývoji DigiDepotu byly zohledněny především tyto požadavky •
nezávislost na speciálním hardware (DigiDepot přistupuje k úložišti přes standardní systém souborů)
•
automatická správa více úložišť (obejití maximální velikosti 2TB volume v operačním systému)
•
nulové zásahy ze strany administrátora do systému souborů (práce s originálními snímky bez nutnosti znalosti jejich umístění v datovém úložišti)
•
žádný blackbox (data v úložištích ve standardních formátech jsou v případě potřeby dostupná jiným způsobem)
•
dodržování standardů (snímky TIFF, popis Dublin Core atd.)
Datové úložiště - DigiDepot Hardware •
disková pole Petastore Alnico připojená přes optické rozhraní k serveru
•
konfigurace RAID6
•
rozdělená na volume po 2 TB
Datové úložiště - DigiDepot Princip ukládání originálních snímků plná úložiště Data 1
Data 2
prázdná úložiště Data 3
Data 4
Data 5
Data 6
DigiDepot server
Složka pro import
Export / Import vnější archiv
Složka pro export
Administrátor
........
Datové úložiště - DigiDepot On-line zjištění stavu úložišť
Datové úložiště - DigiDepot Základní funkce DigiDepotu spojené s ukládáním materiálů •
hledání volného úložiště
•
konverze snímků a vytváření standardních metadatových souborů
•
řešení přesunů dat mezi úložišti
•
řešení oprav snímků (mazání, přidávání, přečíslování)
•
řešení kontrol snímků (kontrola obsahu na sha1 hash)
•
administrátor pracuje pouze se složkami import/export, potřebné vnitřní přesuny realizuje DigiDepot automaticky
Potřebné funkce digitálního archivu Archivace dat
Digitalizace snímků digitalizační pracoviště
Import snímků Zpracování snímků
Datové úložiště DigiDepot
DigiDepot
Databáze metadat DigiArchiv
Databáze
Export snímků DigiDepot
Archivace dat
Zpřístupňování DigiArchiv
Archivace dat Při řešení archivace byly zohledněny především tyto požadavky •
co největší integrace s DigiDepotem
•
automatická, pokud možno bezzásahová archivace na páskovou knihovnu
•
automatická správa záloh (hlídání změn)
•
aplikace mechanizmů kontroly dat na páskách
•
2 sady pásek v geograficky oddělených lokalitách
•
možnost automaticky plánovaných kontrol pásek
Archivace dat Hardware •
pásková knihovna Quantum Scalar i500 připojená přes optické rozhraní k serveru
•
96 slotů, 2 páskové jednotky, robotické podávání
•
pásky LTO4 (800GB nekomprimovaně)
•
použitý software Netvault Backup (Quest)
Archivace dat Princip původní archivace Admin
Pásková knihovna
Netvault Data 1
Data 2
Data 3
Data 4
Data 5
Data 6
DigiDepot server
Složka pro import
Export / Import vnější archiv
Složka pro export
Admin
........
Archivace dat Původní způsob archivace pouze přes software Netvault nevyhovuje •
nutnost přístupu ke všem úložištím
•
úložiště jsou dynamicky přidělována DigiDepotem, pozice materiálu se může změnit => nutno ručně měnit zálohovací joby
•
problém s obnovou (pozice materiálu se může změnit)
•
nelze kontrolovat obsah pásky (dá se pouze obnovit)
•
problém s velkými zálohami – nutnost odzálohovat celý jeden typ materiálu (např. 18 pásek pro matriky)
Archivace dat Nový princip archivace Pásková knihovna
Data 1
Data 2
Data 3
Data 4
Data 5
Backup složka
DigiDepot server
Složka pro import
Export / Import vnější archiv
Složka pro export
Admin
Netvault
Archivace dat Nový způsob archivace •
přístup Netvaultu pouze k jediné složce „Backup“
•
DigiDepot vytváří zálohovací balíčky, ukládá jejich hash do databáze pro kontrolu, automaticky ovládá archivaci do knihovny / obnovu z knihovny
•
řešení nezávislé na uložení materiálů v úložištích
•
možnost automatické kontroly obsahu pásek
•
správa archivace přes webové rozhraní
Archivace dat Správa záloh z webového rozhraní
Potřebné funkce digitálního archivu
Digitalizace snímků digitalizační pracoviště
Import snímků Zpracování snímků
Datové úložiště DigiDepot
DigiDepot
Export snímků DigiDepot
Archivace dat DigiDepot
Databáze metadat DigiArchiv
Databáze
Zpřístupňování DigiArchiv
Závěr Podařilo se vytvořit systém, který zahrnuje všechny potřebné funkce pro digitalizaci od ukládání digitalizovaných materiálů a vznik databází metadat po zpřístupnění materiálů badatelům.
Děkuji za pozornost Martin Hankovec
