Sun StorageTek platforma pro ILM Jan Jiskra Sun Microsystems, Inc.
1
Dynamická povaha dat Online (ms)
Probability of Re-use
High
Amount of Data
Inline Storage
$40/GB
Near line (sec) Archived/ Deletion
$20/GB
(sec/mins)
$5/GB
Low
1
3
Sources: Horison Information Strategies, StorageTek
7 16 30 Days Since Creation
60
90 2
Optimalizovaná infrastruktura Rozložení kapacity High-End High-End
Midrange Midrange
Low Low CostCost (SATA)
Archival Archival
10% 20% 30% 40% Highest Performance & Availability
High Performance & Availability
High Capacity & Density
Super High Capacity & Density 3
Sun StorageTek™ Disková úložiště
ST9990V
Midrange ST9985V
$15K
Cena
$300K
High End
ST6540
Workgroup
ST2500
ST6140
ST3510
Task Critical
Business Critical
Mission Critical
Kapacita, Dostupnost, Výkon
4
Řada Sun StorageTek™ 5000 NAS Entry Level
SE 5220
•2-24 TB SATA-2 RAID
Common Features
•Unix & Windows File Sharing •Snap-shots •Remote Mirroring •64-bit Journaling FS •Virus checking for windows
High Availability Enterprise
SE 5320
SE 5320C
SE 5320 GW
SE 5320C GW
• 2-134 TB FC • 2-224 TB SATA • 2 to 8 RAID Controllers
Gateways
• Open back-end • Leverage existing SAN based storage
• Same as SE 5320 • Dual NAS Servers • Automatic Failover
• Same as ST 5320 GW • Dual NAS GWs • Automatic Failover 5
X4500
Datový server Punchstock 1872014 6
Sun Fire X4500 Server
Integrovaná x86 výpočetní síla,
masivní kapacita a propustnost
Server ● ●
2 x Dual Core Opteron CPU 16GB paměti
Storage ● ●
48 SATA disků Až 24TB kapacity
I/O ● ● ●
Vysoká propustnost 2x PCI-X slots 4 GigE
Dostupnost ●
Hot-swap/plug zdroje, větráky, disky
Management HPC, Data Warehouse/Business Intelligence, Digital Media, Digital Surveillance, VTL
●
Management jako ostatní servery Sun (TM)
Solaris ●
ZFS
Převratný FS od Sunu
7
Solaris ZFS
Shutterstock 1795734 8
Co je ZFS?
Nový způsob jak spravovat data Integrita dat
Kontrolní součty, transakční design
Snadná administrace
Storage pool žádný volume manager
Neomezená Software kapacita Developer
První 128 bitový souborový systém na světě
Vysoký výkon
Optimalizován pro rychlé zpracování
9
ZFS – integrita dat • • • •
Copy-on-write, transakční design Všude kontrolní součty Ochrana RAID-Z Disk Scrubbing
10
Samouzdravovací mechanizmus ZFS detekuje porušená data prostřednictvím kontrolních součtů a provádí “zotavení” Application
Application
Application
ZFS Mirror
ZFS Mirror
ZFS Mirror
Detects Bad Data
Gets Good Data from Mirror
“Heals” Bad Copy and Sends Back to Application 11
128-bit File System Žádná omezení na velikost a počet souborů
Výjimečná kapacita 12
Snadná administrace • Pooled Storage Design znamená snažší správu Eliminována potřeba Volume Manageru!
• CLI a GUI > Snapshoty a klony > Kvóty a rezervace > Komprese > Migrace Poolu > ACL bezpečnost 13
FS/Volume Model vs. ZFS Tradiční přístup
ZFS Pooled Storage
FS
FS
FS
Volume
Volume
Volume
ZFS
ZFS
ZFS
Storage Pool
14
Copy-on-Write Design Různé velikosti bloků Dynamický Striping Inteligentní Pre-Fetch
Navržen pro rychlost 15
Řešení s X4500
Punchstock 1872016 16
Sun X4500 DataWarehouse appliance Terabytes •20 Text 20 kW, 8 Racks $20M
33 Terabytes 20 kW, 6 Racks $7M
100 Terabytes 9 kW, 1 Rack $1.8M
17
D2D2T • Jednoduchost - media server a storage ve 4RU • Škálovatelnost – neviditelně a bez omezení • Vynikající poměr výkon/cena
18
De-Duplication ProtecTIER sw on X4500
F/C
Media server ProtecTIER VT Application
• Výrazné snížení počtu komponent a nákladů • Diligent ProtecTIER a X4500 je de-duplication data protection řešení střední kategorie • Pro archivaci a zálohování na disk
19
19
Záznamy z video kamer 42 U
• Sun HW 1 SL500 (2 LTO 2) $90,000 290 LTO Slots (400GB/Tape native or 116 TB’s)
> Sun aplikační servery > Podpora pásek a SAM-FS > Windows, Linux, Solaris > X4500 jako archivační
zařízení
2 X4500's List Price $69,995 (Total of $169,990) 2 dual core 2.6 MHZ Opt. 285's Up to 16 GB of Ram 4 onbaord 10/100/1GbE network Ports 6 SATA Controlers with 8 Drives per controller 48 7200RPM 500GB SATA drives (24TB raw) SAM-QFS ($30,000) Solaris 10 (Free)
• Nezávislé na SW implementaci
3 x4200's List Price $13,895 (2 for Mgmt, one for ACSLS) 2x AMD Opteron Model 2218 (2.6GHz/1MB) processor, 4x 4GB DDR2-667 memory, 4x 73GB 10K RPM SAS
Room for networking equipment, both LAN and SAN
20
20
VTL Value • Virtuální pásková knihovna > > > >
Integrace s FalconStor SW Zálohování do vzdálené lokality Jednotný management Jednotná podpora
21
NEW!
Easily Swap STK 5800 Out the Image (“Honeycomb”) Inovativní řešení pro digitální archivy 2. TEMPLATE – TITLE SLIDE WITH PHOTO
Presenter’s Name Presenter’s Title Presenter’s Company
Note: This is an optional title slide, following Sun’s Brand approved photo layout. The image can easily be swapped out and replaced. Additional brand photography can be found at: https://photos.sun.com/brand 22
Honeycomb Storage System První programovatelný storage systém Rozšiřitelná metadata První dotazovatelný storage systém StorLet – interní storage aplikace Definice nové kategorie úložišť
Load-balancovaná horizontální škálovatelnost Dramaticky snížené TCO Minimální administrace Model odloženého servisu
Extrémní spolehlivost a self-healing Pro masivní úložiště Media, Internet, Zdravotnictví, Věda 23
STK 5800 v kostce • Symetrický clusterový design – výpočetní síla, paměť a výkon rostou s kapacitou • Load-balancing a horizontální škálování ● Významné snížení TCO ● Vysoká spolehlivost a self-healing ● Pro velká úložiště (16TB – multi- PB) ● První programovatelný storage systém založený na Solarisu a Javě 24
STK 5800 – hlavní přínos
Větší kapacita s nižšími náklady Šetří čas a snižuje komplexitu Zabezpečuje data 25
Větší kapacita s nižšími náklady • Centralizovaná správa pro PB dat • Snížení operačních i investičních nákladů
> Konsolidace ostrůvků informací > Eliminace tradičních nákladů na
správu > Volume/LUN > Úspory za DB licence
• Nízkonákladová údržba > Nízké náklady na náhradní díly > Plánovaná údržba dle potřeb
zákazníka
26
Šetří čas a snižuje komplexitu • Rychlý přístup ka datům > Úzká integrace s aplikací > Definice pohledů na data > Caching metadat a indexů pro zvýšení
výkonu
• Inteligentní ukládaní a čtení > Unikátní object id > Propojení metadat s každým uloženým
objektem
> Název, téma, práva, autor, datum vydání, rozlišení, atd. ( definováno zákazníkem ) > Získání objektu na základě OID nebo metadata dotazu
• Odstranění nečekaných odstávek > samouzdravování 27
Zabezpečuje data • Extrémní ochrana dat > Pokročilý algoritmus distribuce dat > Prostředky pro zajištění integrity dat > Výrazně lepší ochrana než RAID5
• Odolnost proti několikanásobným selháním HW > Samouzdravovací mechanizmus
• Poskytuje virtuální pohledy • Disaster recovery (DR) ve spojení s páskami
28
Virtuální pohled: Zdravotní data Doctor = Smith Patient = Jones1234 Patient_sex = F Modality = MRI Vendor = GE Caption = aorta Date = 20050110 Area = Chest
Define View “for_doctor” = by Doctor, Patient, Modality, Date, Caption+“.jpg” /for_doctor/Smith/Jones1234/MRI/20050110/Aorta.jpg Define View “for_researcher” = by Patient_sex, Caption, Area, Date+“.jpg” /for_researcher/female/aorta/chest/20050110.jpg Define View “for_technician” = by Vendor, Modality, Date+“.jpg” /for_technician/GE/MRI/20050110.jpg 29
STK 5800 - škálovatelnost • Pro začáteka ½ buňky (8 uzlů) > 16 TB Raw
• Upgrade na buňku (16 nodes) > 32 TB Raw
• Přidávání buněk = Silo • Přidávání a odebírání za běhu > Data evacuation > Data sloshing
• Stále jedna IP adresa
30
Symetrická clusterová architektura Mgt VIP
Data VIP L2 switch Gig-E interconnect
Opteron/S-ATA cluster nodes
Data Space
Metadata Space 31
Honeycomb - architektura mnoha buněk
Honeycomb “silo” se skládá z buněk Buňka je jednotka spolehlivosti Všechny buňky přístupné přes jednu IP adresu Buňky jsou nezávislé a lze k nim přistupovat individuálně Klientská knihovna řídí přístup k buňkám
32
HADB (Clustra) • Index ukládán v paměti > Vyvinuto pro telekomunikační průmysl
• Záznamy metadat jsou umístěny na disku a potom vloženy do HADB • Plně distribuovaná a kapacitně rozložená DB • Jako včelí plástev – vysoká odolnost vůči chybám
33
Implemetace služeb prostřednictvím StorLetů • Přesun služeb nižší vrstvy z aplikačního serveru na storage • Další funkcioanalitu může vytvářet uživatel nebo ISV • Modifikace chování funkcí store/retrieve/query/delete • Příklady: > Extrakce metadat ze souboru > Transcode/downsample/filter/watermark > Vyšší úroveň zabezpečení: ACL, encrypt, audit trail
34
Reed Solomon kód An error-correcting code that works by oversampling a polynomial constructed from the data…the receiver can recover the original polynomial even in the presence of a "few" bad points. - Wikipedia
• Vytvořen v MIT Lincoln Labs in 1960 • Použití pro CD & DVD • Umožňuje různé kombinace dat a parity (D,P) RAID stripe > 5/1, 5/2, 6/4, atd
• Honeycomb -první storage na světě používající RS > Přispívá k vysoké spolehlivosti > Lepší než mirror, výrazně nižší cena
• V budoucnu umožní implementovat proměnnou spolehlivost na základě politik 35
Algoritmus distribuce dat • Fragmentace napříč clusterem bez použití volumů • Zajišťuje kapacitní vyváženost a opětovné vyvažování (aka sloshing) File 1 • Poskytuje autoatický self-healing > Model posunutého servisu > Bez hot-spare disků > Paralelizace pro rychlou obnovu
File 2 File 3
• Bezestavový algoritmus – není potřeba sdílet stav napříč clusterem • Okamžité načtení dat i přes sloshing a self-healing 36
Samouzdravovací služby • Lokální kontrola konzistence dat, paralelizace > Scanování fragmentů > Kontrola přítomnosti všech potřebných fragmentů > Uvolňování nepotřebných fragmentů > Kontrola asociace metadat se všemi lokálními objekty > Garbage collection pro dočasné soubory
• Healing services dokončí kontrolu v predikovatelném čase
37
Honeycomb SDK C API Honeycomb lib/DLL, cURL lib/DLL Java API, honeycomb-client.jar Dokumentace Příklady kódu včetně command-line příkazů store/retrieve • Demo aplikace • Honeycomb emulator • • • •
> Pro ladění kódu
38
STK 5800 dostupnost • RAIN – Redundant Array of Independent/Inexpensive Nodes • Symmetrický cluster
> HA Database (Clustra)
• Dvě úrovně switchů, cluster • Service processor není součástí kritické cesty • Call home 39
STK 5800 Servisovatelnost • Model odloženého servisu > 8-node: ztráta 1 serveru > 16 nodes: ztráta 2 serverů
• Přidávání a odebírání HW online > Data evacuation > Data sloshing
40
STK 5800 – integrita a ochrana dat • Unikátní Object Ids > Cryptographic Checksum/Hash
(SHA-1)
• Data Placement Algoritmus > 10,000 kombinací
• Reed Solomon kód > “error-correcting code that works by
oversampling a polynomial constructed from the data”
• Průběžné samouzdravování • Odolnost vůči mnohanásobným selháním • Backup (DR)
Data
Parity
41
Sun StorageTek páskové portfolio Enterprise Libraries
Midrange Tape Libraries
Distributed Libraries
Entry Libraries C2 C4
SL 8500
L140 0m
Virtualization Solutions Virtual Storage Manager 4e/4/5
SL500
Encryption Key Management
STK Brand Tape Media
VTL
Tape Drives DAT 72
Tape-Related Software
LTO 2/3
Backup and Recovery
T9x40
Library Software
T10000
SDLT 320
SDLT 600
Key Management 42
Sun StorageTek Storage Archive Manager SAM-FS Shutterstock 1795734 43
Co je SAM-FS? • Základní komponent implementací ILM • Policy engine a klasifikace dat podle kritérií zákazníka • Integrovaný data mover pro správu dat přes všechny úrovně • Eliminuje potřebu backup/recovery • Škálovatelnost, výkon
44
Souborový systém pro ILM Aplikace OS SAM-FS/QFS File System I/O Sub-System
$40
$20
$5
$0.50
45
Proč SAM-FS Komponent ILM ● Klesající hodnota dat v čase ● Maskování komplexity víceúrovňového modelu ● SAM aktivně přesouvá data podle politik ● Až 80% úspory ● Transparentní přístup k datům ● Průběžná záloha — eliminuje okna pro backup ●
46
QFS – souborový systém v SAN NT Workgroup
UNIX Workgroup
TCPIP
NFS
SAMBA/CIFS
NFS
TCP/IP
Solaris SAM-QFS meta data
Remote Site Tape Copy 3
Mixed Workgroup
Solaris QFS Client
Linux QFS Client
Fibre SAN Switch
QFS File System FC meta data Local Site Tape Copy 2
FC Data Disk(s)
Disk Archive SATA Copy 1 47
Děkuji ! 48
