IBM hardwarova infrastruktura pro dlouhodobou archivaci dat Rudolf Hruška IBM, Information Infrastructure Leader
1
Digitalizace a archivace očima IBM
Agenda • “Big data” aneb lavina nestrukturovaných dat • Infrastrukturní ekosystém pro archivaci • Výzvy pro vysoce škálovatelné systémy • Scale-out storage architektury • Problematika degradace datových nosičů • Budoucnost a příklady řešení pro “big data” storage
2
Digitalizace a archivace očima IBM
Realita digitálního světa a “big data” Vytvoření, uložení a replikace informací 44-násobný růst za 10 let
Nestrukturovaná Data
2009 800 Exabytes
2011 1,800 Exabytes
Zdroj: IDC’s Digital Universe Study 3
2020 35,000 Exabytes
Digitalizace a archivace očima IBM
This is the problem that IBM File Services solutions are designed to solve
4
Digitalizace a archivace očima IBM
Dvě tváře archivace - proč archivovat? Je to praktické - Space Management •
Přesunout staré neaktivní soubory na méně drahou archivní storage, tudíž snížit čas zálohování a snížit náklady na infrastrukturu
•
Udržet výkon produkčních aplikací
Je to nutné - Data Retention Compliance
5 5
•
Ochránit dlouhodobě obsah s tzv. Non-Erasable, Non-Rewriteable storage řešením (NENR / WORM) a prokázat compliance s předpisy
•
Ochránit dlouhodobě digitalizované či digitálně vytvořené archiválie v rámci LTP Long Term Preservation archive
Digitalizace a archivace očima IBM
3/15/2013
Infrastrukturní ekosystém pro archivaci Zdroje pro archivaci
E-Mails
Files
ERP
Database
PACS
Paper
Connectors and converters
Management
Enterprise Content Management (indexing, classification, search & discovery, information management)
Archive Storage
Archivní Storage
6 6
(compliance & protection, tiered storage, data management)
Digitalizace a archivace očima IBM
Voice
Koncept „Open Archival Information Systems‟ OAIS • Archival Information System
– Hardware, software a organizace sdílející zodpovědnost za získání, uchování a sdílení informací • Referenční model pro dlouhodobou prezervaci digitálních informací
– Založen na základě prací NASA pro astronomická data a jejich uchování – ISO 14721 : 2002
7 7
Digitalizace a archivace očima IBM
Výzvy pro vysoce škálovatelné storage systémy •
Enormní množství souborů
•
Kapacitní nároky
•
Škálovatelný výkon
•
Search, Discovery, Analysis
•
Backup & Archivace
•
Migrace dat
•
Spolehlivost, odolnost a management systémů
•
Napájení, prostor, chlazení
•
Náklady 8
Digitalizace a archivace očima IBM
Jak IBM doporučuje konsolidovat velká data – transformace pro geograficky rozptýlené storage kapacity a Cloud (animated chart)
High-End Workstations
Database
Benefits: Clustered Auto-failover
Global Virtual File Server capability
Global namespace Protocols Management CIFS Central NFS Administration End Users HTTPS Monitoring FTP File Mgmt
Availability Data Migration Replication Backup
Application Servers
NAS File Servers
Auto-Tiered Storage
High perf. Data Copies Scan engine 9
High performance petabyte scale
Tiered storage De-dup VTL Or tape
Underutilized segmented capacity Automated movement between tiered storage pools Digitalizace a archivace očima IBM
IBM Scale-Out architektury systémů pro “Big Data” General Parallel File System
User LAN
Real time Compression Open protokoly
I/O Node
GPFS StoragePod
I/O Node
I/O Node
InfiniBand
I/O Node
Ethernet
I/O Node
... desítky, stovky Nodes
misc
... desítky, stovky Petabytes
StoragePod
HSM / Tiered Storage
Storage pool Virtualization – XiV, Storwize V7000, SVC 10
Digitalizace a archivace očima IBM
Deduplication VTL ProtecTIER / Tape
Problematika degradace datových nosičů
11
Digitalizace a archivace očima IBM
Na co uložit? • Analogové uložení – Malby v jeskyních – Hliněné destičky – Papír – Microfilm
desetitisíce let tisíce let 500 let 200 let
• Digitální uložení a média – MagneticTapes – Optical Disks – Magnetic Disks – Solid State Disks – Budoucí média...
10-30 let 30-50 let 3-5 let 10-15 let ?
• Nutnost kontinuálních migrací bez narušení bezpečnosti a konzistence záznamu • Záznamové systémy se vyvíjejí rychleji než média 12 12
Digitalizace a archivace očima IBM
Použití kombinovaného řešení disky a pásky Store 250TB with 25% Growth Rate over 10 Years Scenario: Store 250TB 25% Growth Rate Over 10 Years
10 Year TCO Analysis
Choosing the Right Hardware and Software for Data Protection, Mesabi Group http://h20195.www2.hp.com/PDF/4AA1-4339ENW.pdf 13
13 13
Digitalizace a archivace očima IBM
Budoucnost a příklady řešení pro archivaci a “big data” storage
14
Digitalizace a archivace očima IBM
Německá knihovna ukládá národní dědictví na IBM Scale-out NAS •
Deutsche Nationalbibliothek ukládá knihy, časopisy, digitální média (CDs,…), elektronické publikace
•
Intenzivní digitalizace
•
Očekává potřebu 800+ terabytů kapacity do 2014 – v jednom single file systému
•
Zákazník hledal velmi velké a škálovatelné storage řešení
•
IBM Scale-out NAS s GPFS a Tivoli Storage Manager pro zálohování a archivaci
•
Problematika dlouhodobého digitálního uložení a prezervace národního kulturního dědictví
15
Digitalizace a archivace očima IBM
IBM postavila největší storage systém na světě pro superpočítače •
120 petabytový “drive”
•
200.000 disků
•
10x větší než cokoliv postavené dříve
•
Vyvinuto v IBM výzkumných laboratořích v Almadenu v Kalifornii
•
Schopnost uložení trilionů souborů
•
GPFS cluster, high speed indexování, high density disky, vodní chlazení, vysoká dostupnost a odolnost
•
Výkonnější simulace reálných globálních jevů a komplexních systémů (klimatické modely, počasí…) 16
Digitalizace a archivace očima IBM
Budoucí trendy pro „Big Data“ storage technologie •
Virtualizace
•
Scale Out architektury
•
Masivní paralelní processing
•
Single Name space
•
Správa metadat file systémů je klíčová
•
Efektivní využití a správa fyzických storage médií (SSD, HDD, tape, future media)
17
Digitalizace a archivace očima IBM
Děkuji za pozornost !
Rudolf Hruška Information Infrastructure Leader IBM Systems & Technology Group
[email protected]
18
Digitalizace a archivace očima IBM
