Přednáška Úložiště dat: HDD, SDD, RAID, DAS, NAS, SAN.
Katedra počítačových systémů FIT, České vysoké učení technické v Praze ©Jan Trdlička, 2012 Příprava studijního programu Informatika je podporována projektem financovaným z Evropského sociálního fondu a rozpočtu hlavního města Prahy. Praha & EU: Investujeme do vaší budoucnosti
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
1
Hard Disk Drive (HDD) - Pevný disk
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
2
HDD - geometrie
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
3
HDD - geometrie ●
●
●
Sektor (Sector) ●
Nejmenší adresovatelná jednotka na disku.
●
Obsahuje: ●
Identifikace– informace o čísle a pozici sektoru
●
Synchronizační informaci – slouží pro řadič disku
●
Data (nově 4096B, dříve 512B),
●
ECC – pro detekci a opravu chyb
●
Oddělovací značky
Stopa (Track) ●
Množina sektorů na jednom povrchu ve stejné vzdálenosti od středu.
●
Počet sektorů ve stopě se může lišit v závislosti na poloměru.
●
Čísluje se od vnější stopy.
Cylindr (Cylinder) ●
Množina všech stop o daném poloměru. BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
4
HDD - geometrie ●
Adresování sektorů ●
●
●
Cylinder,Head,Sector (CHS) ● Starší adresování podle geometrie disku. Logical block addressing (LBA) ● Diskové sektory jsou číslovány sekvenčně od 0, bez ohledu fyzickou geometrii.
Zone Bit Recording (ZBR) ●
Stopy rozděleny do zón.
●
Každá zóna má různý počet sektorů na stopu.
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
5
HDD - sběrnice ●
ATA (Advanced Technology Attachment), PATA (Parallel ATA) ●
●
SATA (Serial ATA) ●
●
Paralelní sběrnice, rychlosti: …, 2.5Gb/s, 5Gb/s, vzdálenost: 25m
SAS (Serial Attached SCSI) ●
●
Sériová sběrnice, rychlosti: 1.5Gb/s, 3Gb/s, 6Gb/s, vzdálenost: 1m
SCSI (Small Computer System Interface) ●
●
Paralelní sběrnice, rychlosti: …, 1Gb/s, vzdálenost: 1m
Sériová sběrnice, rychlosti: …, 6Gb/s, vzdálenost: 10m
FC (Fibre Channel) ●
Sériová sběrnice, rychlosti: 8Gb/s, vzdálenosti: 12m
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
6
HDD – výkon ●
Jak dlouho trvá zápis/čtení jednoho sektoru? ●
●
●
●
●
doba vystavení (seek time) ● čas nastavení hlaviček nad správný cylindr (cca 1-10ms) rotační zpoždění (rotational delay) ● čas posunutí správného sektoru pod hlavičku ● při rotaci disku: 5000-15000 rpm => průměrně 6-2ms (polovina rotace) čas přenosu dat
OS je odpovědný za efektivní používání disků ●
rychlý přístup (minimalizování doby vystavení)
●
velká šířka pásma (maximalizace počtu přenesených bytů za čas)
Algoritmy plánování přístupu na disk ●
dříve implementované pouze v OS, nyní v řadičích disků
●
určují pořadí zpracování jednotlivých požadavků, např. ●
Tagged Command Queuing (TCQ) pro SCSI a ATA disky,
●
Native Command Queuing (NCQ) pro SATA. BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
7
●
Příklad: sekvenční x náhodný přístup Mějme disk s těmito parametry ●
Velikost sektoru 512B
●
Pouze jeden povrch
●
Průměrný počet sektorů na stopu 320
●
Otáčky 10000 rpm
●
Průměrný seek time 10 ms
●
Track-to-track seek time 1ms
●
Jaký je průměrný rotation delay?
●
Kolik stop potřebuji na uložení 2560 sektorů (1.3MB) dat?
●
Jak dlouho bude trvat přečíst 1.3MB uložených na sousedních stopách?
●
60 / ( 2 x 10000 ) = 3ms
●
Načtení 1. stopy: 10ms + 3ms + 6ms = 19ms
●
Načtení další stopy: 1ms + 3ms + 6ms = 10ms
●
Celkem: 19ms + 7 x 10ms = 89ms
2560 / 320 =8 stop
Jak dlouho bude trvat přečíst 1.3MB uložených náhodně na disku? ●
Načtení jedno sektoru: 10ms + 3ms + 6ms/320 = 13.01875ms
●
Celkem: 2560 x 13.01875ms = 33.328 s
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
8
First-In-First-OUT (FIFO) ●
Ovladač disku přijímá V/V požadavky a obsluhuje je v pořadí v jakém přišly.
●
Výhody: spravedlnost
●
Nevýhody: horší výkon
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
9
Shortest Service Time First (SSTF) ●
Nejdříve jsou obslouženy požadavky z fronty, které vyžadují nejmenší pohyb hlaviček z aktuální pozice.
●
Výhody: lepší výkon než FIFO
●
Nevýhody: ●
hlavičky mají tendenci setrvávat uprostřed disku
●
vzniká problém stárnutí u V/V požadavků z krajních pozic
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
10
SCAN Algorithm (elevator alg.) ●
●
Hlavičky se pohybují nejdříve jedním směrem a uspokojí se všechny požadavky v daném směru. Pokud už není žádný požadavek v daném směru, směr se změní a uspokojují se zbylé požadavky.
●
Výhoda: odstranil se problém stárnutí.
●
Nevýhoda: trochu horší výkon než SSTF
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
11
N-step SCAN ●
●
●
Původní fronta požadavků je rozdělena na několik front délky N. Jednotlivé fronty jsou zpracovány najednou algoritmem SCAN. Výhoda: snižuje možnost ustrnutí hlaviček nad hodně vytěžovanými cylindry.
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
12
HDD – Shrnutí ●
Výkon ●
●
●
●
Malá latence (cca 5ms) => malý počet nezávislých operací za sekundu (průměrně 200 operací/sec. na jeden disk)
Spolehlivost ●
●
„Pomalý“ přístup k datů
Výpadek disku => ztráta dat
Flexibilita ●
Lze měnit velikost oblastí.
●
Nelze měnit rychlost, redundanci, ...
Vývoj ●
●
Kapacita disků roste „exponenciálně“. Rychlost náhodného čtení/zápisu (B/s) a počet IO operací za sekundu (IO/s) roste „lineárně“. BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
13
Solid State Drive (SSD) ●
Data uložena většinou na NAND Flash paměti.
●
Výhody ●
●
●
●
Žádně mechanické části jak HDD. Rychlý přístup k datům (až cca 100x rychlejší než HDD), doba vystavení a rotační zpoždění je nulové. Malá spotřeba
Nevýhody ●
Menší kapacita (SSD ~0,5TB x HDD 3TB v roce 2011)
●
Menší životnost
●
Vyšší cena (SSD ~1,5 $/GB x HDD 0,05$/GB v roce 2011) BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
14
Redundant Array of Independent Disks (RAID) ●
1988, University of California at Berkeley
●
SLED = Single Large Expensive Disk ●
●
Mean Time Between Failure (MTBF) = střední doba mezi poruchami disk
RAID = Redundant Array of Independent (Inexpensive) Disks ●
●
●
●
RAID je množina fyzických disků, které OS vidí jako jeden logický disk. data jsou distribuována mezi jednotlivé fyzické disky část (redundantní) diskové kapacity může loužit pro uložení pomocných informací (např. parita,…) nutných pro obnovu dat v případě poškození některých disků MTBF(pole RAID 0) = MTBF jednoho disku/počet disků v RAIDu. BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
15
RAID - vlastnosti ●
●
Výkon ●
IO operace/s
●
B/s
Spolehlivost a dostupnost dat ●
●
●
Kromě RAID 0
Flexibilita ●
Z hlediska výkonu
●
Z hlediska kapacity
Zjednodušení administrace
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
16
Hardwarový RAID
●
Pro OS se jeví jako jeden/několik disků
●
Administrace a monitorování se děje na poli
●
Příklady výrobců: Hitachi, EMC,... BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
17
Hardwarový RAID - výhody ●
Výkon zápisu (sekvenční i náhodný) ●
●
Výkon sekvenčního čtení ●
●
read ahead strategy (pole přednačítá mnohem více bloků než jednotlivý disk díky velké paměti pole)
RAID 5 ●
●
write behind caching strategy (potvrdí zápis bloku při zápisu do cache nikoliv na disk)
Lepší výkon při zápisech než SW RAID
Administrace
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
18
Softwarový RAID ●
Obsahuje ●
Jednotlivé disky připojené k systému nebo JBODs
●
Volume Manager (SW realizující RAID)
●
Správa a monitorování probíhá z OS
●
Příklady produktů ●
Veritas Volume Manager (MS Windows, Linux, Solaris, AIX,...)
●
Logical Volume Manager (Linux)
●
Solaris Volume Manager
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
19
Softwarový RAID - vlastnosti ●
Nižší latence než HW RAID
●
Transparentnost ●
●
V případě problémů lze využít standardních nástrojů OS
Cena ●
JBODs – méně komponent, méně otestované
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
20
RAID 0 – concatenation (zřetězení)
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
21
RAID 0 – concatenation (zřetězení) ●
●
●
●
●
Data jsou postupně zapisována na jednotlivé disky (po naplnění prvního disku, pokračujeme na druhém,…) Operace čtení/zápis stejně rychlé jako u jednoho disku. V SW RAIDu slouží jako přípravný krok pro zrcadlení (např. již existujícího systémového FS) Výhody ●
Získáme velký logický disk.
●
Lze využít 100% diskové kapacity.
Nevýhody ●
Žádná redundance poškození jednoho disku v poli způsobí ztrátu všech dat. BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
22
RAID 0 - stripe
• strip = množina k po sobě následujících sektorů BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
23
RAID 0 - stripe ●
Nevýhody ●
Žádná redundance poškození jednoho disku v poli způsobí ztrátu všech dat.
●
●
Výhody ● ●
●
lze využít 100% diskové kapacity, zvýšení propustnosti vyvážením zátěže malými přístupy, paralelizace velkých přístupů s cílem zkrácení doby odpovědi.
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
24
RAID 1 - zrcadlení
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
25
RAID 1 - zrcadlení ●
Nevýhody ●
●
Využijeme pouze 50% diskové kapacity.
Výhody ● ●
●
Při ztrátě disku, lze data okamžitě získat z kopie. Zápis je stejně rychlý jako u jednoho disku (podle strategie zápisu: paralelní/sériová). Počet operací čtení ze sekundu je větší než u jednoho disku (podle strategie čtení: round robin/geometric/first).
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
26
RAID 0+1 (stripe)
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
27
RAID 1+0 (stripe), RAID 10
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
28
RAID 0+1 x RAID 1+0 ●
●
Výhody ●
data distribuovaná mezi disky,
●
čtení/zápis může být rychlejší než u jedno disku,
●
Redundance.
●
Rychlejší obnova u RAID 1+0
Nevýhody ●
lze využít pouze 50% diskové kapacity,
●
výpadek jednoho disku způsobí ztrátu redundance.
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
29
Raid 2, 3, 4 ●
RAID 2 ●
●
●
Stripování po bitech + zabezpečení pomocí Hammingova kódu
RAID 3 ●
Stripování po bytech + zabezpečení pomocí parity
●
Jeden paritní disk
RAID 4 ●
Stripování po stripech + zabezpečení pomocí parity
●
Jeden paritní disk
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
30
Raid 5 ●
Stripování po stripech + distribuovaná parita
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
31
RAID 5 ●
Výhody ●
●
●
●
paritní informace odpovídají kapacitě jednoho disku, ostatní kapacitu lze využít pro data. paralelizace čtení velkých přístupů s cílem zkrácení doby odpovědi. zvýšení propustnosti vyvážením zátěže malými přístupy
Nevýhody ●
U SW RAIDu problém se zápisy
●
Vhodný pokud počet operací zápisu nepřekročí cca 15%.
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
32
Direct-Attached Storage (DAS)
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
33
Direct-Attached Storage (DAS) ●
Připojení disků k systému přímo přes V/V porty.
●
Způsob přístupu k zařízení
●
●
Raw device
●
Systém souborů
Technologie ●
●
SCSI, SATA, PATA (ATA, IDE), Fibre channel…
Vlastnosti ●
Umožňuje dual hosting (např. SCSI) BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
34
Network-Attached Storage (NAS)
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
35
Network-Attached Storage (NAS) ●
Systém souborů (jeho část) sdílený přes síť.
●
Způsob přístupu k zařízení ●
●
Systém souborů
Technologie ●
NFS, CIFS, …
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
36
Storage Area Network (SAN)
BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
37
Storage Area Network (SAN) ●
Disky přístupné přes síť.
●
Způsob přístupu k zařízení
●
●
Raw device
●
Systém souborů
Technologie ●
●
Fibre Channel, iSCSI, Infiniband, …
Vlastnosti ●
Multihosting
●
Multipathing
●
Oddělění datové sítě BI-OSY Operační systémy – Přednáška 10
ČVUT - FIT
38
