2012.02.28.
1
2
Adattároló rendszerek fogalmai • On-line: bármikor elérhető • Off-line: humán beavatkozás igényel (pl. szalag) • Szekvenciális: bájtfolytonosan írható/olvasható • Random elérésű: bárhonnan írhatunk/olvashatunk • DAS: directly attached storage ▫ Közvetlenül a rendszerbuszra kapcsolva ▫ Gyors, kis távolságra vihető el, drága
• NAS: network attached storage ▫ Hálózaton érhető el (lassú) ▫ Nagy távolságra vihető el, drága
3
Adattároló egységek ▫ Tömeggyártás, olcsó ▫ Gyors szekvenciális adatelérés ▫ Random adatelérés, de az lassú ▫ Érzékeny mechanika ▫ Nagy fogyasztás
• Félvezető tárolók (SSD) ▫ ▫ ▫ ▫
Ma még drága Nagyon gyors random Írási problémák Alacsonyabb fogyasztás
Merevlemez
• Memória:
• Adatrögzítés módja:
▫ Drága, de már TB elérhető ▫ Nagyon gyors, random
▫ Az információt ferromágneses réteg tárolja ▫ Kiolvasás a GMR elv szerint
• Szalagos egységek • Felépítése:
▫ Jó ár/kapacitás arány ▫ A meghajtók ma már nagyon drágák ▫ Soros adatelérés ▫ Archiválásra, biztonsági mentésre, adattovábbításra
Forrás: Wikipedia
• Merevlemez
4
▫ Egy vagy több lemez közös tengelyen ▫ Motor ▫ Olvasófejek közös tengelyen ▫ Elektronika
• Optikai tárolók ▫ Kis kapacitás, reménytelen
5
Merevlemezek paraméterei • Fizikai méret: ▫ Szerverekben 2.5”, 3.5” ▫ Lemezek száma tipikusan 12-3
• Kapacitás: 500 GB – 2000 GB ▫ Limitáló tényező: bitsűrűség ▫ A mai technológia 30 TB-ig kiterjeszthető
• Sebesség ▫ 60-150 MB/s szekvenciális olvasás (a lemez szélén) ▫ 4.5-15 ms random elérési idő ▫ Limitáló tényező: fordulatszám: max. 5400 – 15000 rpm
6
Diszk = szalag =
• Interfész ▫ SATA II – 3 Gb/s rövid kábel, gépen belül ▫ SAS – 6 Gb/s – közepes távolság, szekrényen belül ▫ FibreChannel – gigabit, optikai, drága, nagy távolság
• Memória: gyors, drága
ADAT ≫ MEMÓRIA DISZK RANDOM IO
• Diszk: olcsó, de lassú 100-150 MB/s
SZEKVENCIÁLIS IO
• Cache méret: 16-32 MB
• 1 TB-os diszk beolvasása: • Raid Edition: speciálisan szervergépekbe szánt változat
▫ szekvenciális olvasáskor: 4,5 óra ▫ random olvasáskor: 15-150 nap
SSD ?
▫ Jobb mechanikai kialakítás ▫ Nagyobb cache ▫ Speciális firmware
1
2012.02.28.
7
Merevlemezek meghibásodása • Vezérlő áramkör ▫ Teljes lemezt elérhetetlen ▫ Áramkör cserével a meghajtó még talán olvashatóvá tehető (egyszerűbb)
• Lemez fizikai meghibásodása ▫ Általában ponthibák ▫ A vezérlő logika legtöbbször automatikusan képes javítani, ha a hiba lokális ▫ A javítás időbe telik (másodpercek – át kell másolni mindent egy hibátlan helyre) ▫ Bit rotting ▫ Ellenőrzőösszeg (checksum)
8
SSD-k paraméterei • Flash memória • Félvezetőből kialakított háttértároló, nincsen mozgó alkatrész • Alacsony fogyasztás • Nagy sebesség
• Mechanikai meghibás ▫ Motor, csapágy, fejmozgató mechanika ▫ Az adatok mechanikai javítás után még olvashatóvá tehetők (bonyolult)
• S.M.A.R.T.
▫ Tipikusan 150-200 MB/s, de nem konzisztens ▫ 0 ms random elérési idő
▫ Self-Monitoring, Analysis, and Reporting Technology ▫ Információt nyújt a meghajtó fizikai állapotáról ▫ Működési statisztika, hőmérséklet, hibás szektor arány stb. ▫ Az előre várható hibákból eredő adatvesztések elkerülését segíti
• Egyelőre nem túl nagy méret: 250 GB / egység • Problémák az írással: ▫ A flash memória íráskor öregszik ▫ Egyszerre csak komplett blokkok írhatók
• Nagyon drága • Strapabírásuk nem igazán ismert
9
10
11
12
Interfészek, protokollok • SATA: serial advanced technology attachement ▫ Asztali és laptop gépekhez fejlesztve ▫ 1.5-6 Gb/s soros adatátvitel ▫ 1 m hosszú kábel ▫ diszkenként egy kábel • SCSI: Small Computer System Interface ▫ Munkaállomásokhoz és szerverekhez ▫ 1.2-5 Gb/s párhuzamos adatátvitel ▫ 12 m hosszú kábel ▫ több eszköz sorban felfűzve ▫ drága
• Fiber Channel ▫ Optikai link, főleg NAS (network attached storage) megoldásokhoz, drága • iSCSI ▫ SCSI protokoll hálózaton keresztül ▫ NAS
• SAS: Serial Attached SCSI ▫ SATA hardver + SCSI protokoll ▫ 3-6 Gb/s soros adatátvitel ▫ 10 m hosszú kábelek ▫ Multiplexer, backplane támogatás ▫ SATA lemezekkel kompatibilis (olcsó)
Alapprobléma • Különálló diszkek esetében ▫ olvasás/írás szekvenciálisan sem túl gyors ▫ p(hiba) nagy ▫ 2TB egyben nem feltétlenül elég
• Redundáns rendszert akarunk • Gyors rendszert akarunk • Nagy kapacitást akarunk több diszket összekapcsolni
Alapfogalmak • • • • • • • • • •
Fizikai lemez RAID JBOD Virtuális lemez Kötet (volume) Kötet menedzser Partíció Fájlrendszer Blokk méret Paritás bit
• • • • •
Hot-swap Hot-spare SATA SAS SCSI
• Hardveres megoldás: RAID • Szoftveres megoldás: redundáns fájlrendszerek
2
2012.02.28.
13
RAID
RAID • Szoftveres: ▫ a szükséges számolást a CPU végzi ▫ olcsó megoldás munkaállomásokba, kis szerverekbe ▫ Az operációs rendszer különálló lemezeket lát • Hardveres ▫ RAID vezérlő kártya (alaplapi vagy bővítő, PCI-e x8, x16) ▫ A számolást a RAID kártya processzora végzi ▫ Általában nagy cache ▫ Back-up akkumulátort igényel ▫ Az operációs rendszer felé egybefüggő, nagy kapacitású lemez látszik
• Redundant Array of Identical Drives • Több (azonos) lemezegység összekapcsolása • Az OS számára virtuális lemezként látszik • Célok: ▫ Gyorsabb adatelérés ▫ Redundancia: egy lemez meghibásodása ne okozzon adatvesztést ▫ Nagyobb kapacitás
15
RAID – gyorsabb adatelérés • Sebességet korlátozza ▫ Lemez fordulatszáma ▫ Bitsűrűség
• Több lemez párhuzamos olvasása/írása:
16
RAID - redundancia • Egy (vagy több) lemez kiesése ne okozzon adatvesztést
• Korlátozó tényezők: ▫ diszkvezérlő sávszélessége tipikus SAS vezérlő: 2GB/s ▫ csatlakoztatható diszkek száma
• Az adatokat többször kell tárolni ▫ Teljes tükrözés (mirror), vagy ▫ Paritás bitek tárolása
▫ Szekvenciálisan olvasandó adat nem egy lemezen folytonosan, hanem csíkokra (stripe) vágva, lemezek között elosztva
• Minél nagyobb redundanciát akarunk, annál kisebb lesz a hasznos tároló kapacitás • A maximális méretet a legkisebb lemez mérete határozza meg
• A sebesség a lemezek számával (arányosan) nő
17
RAID konfigurációk: RAID 0
18
RAID konfigurációk: RAID 1 • mirror = tükrözés
• Az adatokat úgy osztja el két vagy több lemez között, hogy a lemezekről párhuzamosan olvasva nagyobb sebességet lehessen elérni
• Az adatokat tükrözi két lemezen úgy, hogy ha az egyik elromlik, akkor a másikról az adatok még elérhetőek
• Teljes kapacitás: Ctotal = ndisk × Cdisk • Nem redundáns, sőt: pfailure = ndisk × pfailure,disk
Forrás: Wikipedia
• stripe = csíkozás
• Teljes kapacitás: Ctotal = ndisk × Cdisk / 2
Forrás: Wikipedia
• RAID: redundant array of identical drives • Több lemezegység logikai összekapcsolása kötetekbe (volume) • Cél: ▫ Gyorsabb adatelérés ▫ Redundancia: egy vagy két lemez meghibásodása nem okoz adatvesztést (de teljesítmény csökkenést általában igen) ▫ Nagyobb kapacitás
14
• Redundáns: pfailure = (házi feladat)
3
2012.02.28.
19
Paritásbitek • 1. diszk: • 2. diszk: • XOR:
10011101 11001001 01010100
RAID konfigurációk: RAID 5/6 • RAID-5:
• Általánosítás n diszkre: n bitből páros vagy páratlan számú 1-es bit van?
▫ Minimum három lemez ▫ Paritás bitek a lemezeken elosztva ▫ Egy lemez kiesését viseli el
▫ A 3. diszken tárolva
• 1. diszk: • 3. diszk: • XOR:
10011101 01010100 11001001
▫ Pont ez volt a 2. diszken!
• Egy diszk kiesésekor még visszaállítható az adat
• RAID-6: ▫ Minimum négy lemez ▫ Paritás bitek két lemezen ▫ Két lemez egyidejű kiesését viseli el Forrás: Wikipedia
• Hiba esetén helyreállítás:
20
• Azt, hogy melyik diszk hibás, máshonnan tudjuk, ez a paritásbitekből nem található ki • Általánosítható úgy, hogy több diszk kiesését elviselje.
21
RAID konfigurációk: RAID n+0
22
RAID írása, késleltetés (latency) • Egyszerre több diszket kell írni • Meg kell várni, míg a lemez a megfelelő blokkhoz fordul ehhez átlagosan ennyi fordulat kell:
• A csíkozás és tükrözés összekapcsolása • Csíkozás két RAID kötet fölött • Minimum négy lemez (1+0) • Csak olvasáskor gyorsabb, íráskor mindkét kötetet párhuzamosan írni kell
Diszkek száma
Átlagos késleltetés (fordulat)
1
0.500
= 1 – 2–n • Γ = fordulatszám • = átlagos késleltetés: = / Γ • Tipikus értékek:
• Teljes kapacitás: Ctotal = CRAIDn / 2
▫ Γ = 7200 RPM, = 4.2 ms
• Több lemez esetén, mire az összes lemez a megfelelő blokkhoz fordul:
• Redundáns: pfailure = (házi feladat)
SSD:
= 1 – 2–n
2
0.750
3
0.875
4
0.938
5
0.969
6
0.984
7
0.992
8
0.996
0 latency nagy lehetőségek a jövőben!
23
A paritásbitek felírása drága • A1 egy része megválzott (a memóriában van az új adat) • A1-et írni akarjuk • Ap-t újra kell számolni • Szükség van: ▫ A1 régi értékére és Ap-re
• Műveletsor: ▫ ▫ ▫ ▫ ▫
Olvasd be A1-et (régi érték) Olvasd be Ap-t Számold ki az új Ap-t Írd ki A1-et (új érték) Írd ki Ap-t
24
RAID írásának gyorsítása • Cache használata ▫ A két olvasási művelet megspórolható, ha az adat a cache-ben van
• Write back cache használata ▫ Az adat csak a cache-be íródik ▫ Csak később kerül ki a diszkre ▫ Csökkenthető a késleltetés
4
2012.02.28.
25
RAID írási lyuk
26
RAID rendszerek adatbázisoknál
• Write hole • Több lemezt írása nem atomi művelet!
• Tudományos adattárak ▫ ▫ ▫ ▫
• Mi van, ha írás közben hiba történik? ▫ Megsérül a lemez ▫ Áramkimaradás történik ▫ Sérült lemez át kell írni a blokkot máshova ▫ Áramkimaradás
Olvasás jóval gyakoribb, mint az írás Hosszú szekvenciális műveletek RAID 5 a nagy tárterületért Adatbetöltéskor write through cache használata
• Tranzakció-kezelő rendszerek ▫ Sok apró írás ▫ RAID 1+0 a nagy sebességért ▫ Write back cache használata
Szünetmentes tápegység Battery Back-up Unit (BBU) használata Frissíti a RAID cache-t, míg az áram visszajön
27
RAID mőveletek
28
RAID megvalósítása
Kötet újraépítése
Időzített járőrözés
Szoftver RAID
Hardver RAID
• volume rebuild
• patrol read, scrubbing
• Ha megsérül egy lemez a köteten belül, akkor a hardver egység cseréje után a logikai kötetet újra kell építeni • Az újraépítés jelentős időbe kerül, o(10 óra), a lemez méretétől függően • A RAID vezérlők támogatják az ún. meleg tartalék (hot-spare) lemez kijelölését, amik rögtön a kiesett lemez helyébe lépnek, és elindul az újraépítés
• Az, hogy egy lemez meghibásodott, sokszor csak akkor derül ki, amikor az adatokat olvasni akarjuk • Bit rotting • Hogy ez időben kiderüljön, rendszeresen végig kell olvasni a lemezeket
• Szükséges számolást a CPU-n • Olcsó megoldás: munkaállomásokba, kis szerverekbe
• Dedikált RAID vezérlő kártya • Számolás IOP végzi • Gyakran drága
• RAID 5,6 stb. nagyon lassú • Nincsen dedikált cache • Nincsen BBU • Az OS különálló lemezeket lát • Volume manager fűzi össze
• Gyors RAID 5,6 • Hardver szintű optimalizálási lehetőség ▫ pl. latency csökkentése • Nagy cache (256-512 MB) ▫ Gyors írás, adaptív előreolvasás • BBU lehetőség • Az OS egybefüggő nagy lemezt lát
29
Tipikus RAID problémák Kompatibilis diszk hiánya ▫
▫
Korrelált meghibásodások
4×SAS
Sok diszk
SATA/SAS
Diszk
Backplane + Multiplexer SATA/SAS
Nem elég nagy a számítógépház Nem elég nagy a tápegység teljesítménye Külső RAID házak használata Túl sok a kábel Multiplexeres backplane használata Gyakori diszk csere, a gépet nem lehet leállítani Hot-swap
Diszk
▫ ▫ ▫ ▫ ▫ ▫ ▫
4×SAS
SATA/SAS
Teljes adatvesztést okozhat A kártya nem mindig cserélhető (régi típus) A lemezen használt formátum gyártó specifikus, az elveszett adatokat csak speciális szoftver tudja visszaolvasni
RAID vezérlő
SATA/SAS
▫ ▫ ▫
PCIe
SAS vezérlő (akár RAID-del) 4×SAS linkek Multiplexeres backplane RAID dobozok
Diszk
▫
RAID vezérlő kártya hibája (ritka)
▫
▫ ▫ ▫ ▫
SATA/SAS
▫
A diszkek általában azonos gyártási sorozatokból valók A meghibásodások egyszerre több diszken jelentkeznek • A második diszk újraépítés közben hibásodik meg
Write-back algoritmussal dolgozó cache esetén a RAID vezérlő az írási műveletet készre jelenti, ahogy az adat beíródott a cache-be. Ekkor még nem íródott ki a változás a diszkre, de az operációs rendszer mégis úgy tudja. Áramkimaradás esetén a cache tartalma elvész, az adatok inkonzisztens állapotba kerülnek.
Diszk
▫
•
Cache szünetmentes tápjának (BBU) hiánya
SATA/SAS
•
•
Szerver
Diszk
▫ ▫
Ha az újraépítési idő alatt még egy lemez tönkre megy, akkor az teljes adatvesztést okoz Sok lemez esetén okoz nagy gondot RAID 6 jó megoldás
• SAS alapon • SBB: storage bridge bay nyílt szabvány:
Diszk
▫
Régi RAID kötetekhez nem lehet új diszket kapni, ilyenkor célszerű a teljes rendszert lecserélni
SATA/SAS
•
Diszk
Lassú kötet újraépítés
SATA/SAS
Hamis biztonságérzetet ad
•
RAID hardver elemei
Diszk
•
30
5
2012.02.28.
31
RAID rendszer belsı diszkekkel
RAID rendszer külsı diszkekkel
4× SAS
PCIe
Meghajtó
Alaplap
Diszk
Diszk
Diszk
Diszk
Diszk
Diszk
Alaplap Szerver ház
Diszk
Szerver ház
Diszk
Meghajtó
Meghajtó
Meghajtó
Meghajtó
Meghajtó
Meghajtó
SATA / SAS
Meghajtó
Külső RAID vezérlő
PCIe
Belső RAID vezérlő
32
Enclosure Manageme nt Module (EMM)
SATA/SAS Backplane
RAID ház
33
34
Szoftver rétegek Adatbázis szerver
Fájlszerver
Webszerver
Fájl API
FS
FS
Fájlrendszer (file system = FS)
Partíció
Partíció
Kötet
Fizikai vagy virtuális (HW RAID) diszk
Fizikai vagy virtuális (HW RAID) diszk
Fizikai vagy virtuális (HW RAID) diszk
35
Fogalmak • Partíció: ▫ egy fizikai vagy virtuális diszk több partícióra osztható ▫ pl.: rendszer, adat
• Logikai kötet: ▫ Szoftveres megoldás több lemez összekapcsolására ▫ Szoftver RAID vagy redundáns kötet
• Fájlrendszer ▫ ▫ ▫ ▫
Könyvtárak és fájlok logikai megvalósítása a partíciók vagy kötetek fölött Blokkméret: minimum írás/olvasás mérete Fájlok blokkokból épülnek fel FAT32, ext2, ext3, NTFS stb.
• Fájl API ▫ A különböző fájlrendszereket logikai szempontból egyesítő könyvtárak
36
Redundáns kötetek • Hardver RAID ▫ Drága, nem elég flexibilis • Szoftver RAID ▫ Hardver RAID olcsó imitációja, lassú
• Slab: alapvető logikai egység ▫ hasonló a RAID blokkhoz ▫ tipikus méret 256-512 MB ▫ tükrözés vagy paritásbitek
• JBOD: just a bunch of disks ▫ az OS csak önálló lemezeket lát, nincsen RAID vezérlő
• Nagy méretek támogatása (zettabájt)
• Szoftveres megoldás a RAID kiváltására? ▫ zvol: 2005 (Sun, ma Oracle) ▫ Storage Spaces: 2012 (Microsoft) • Kapcsolódó modern fájlrendszerek ▫ ZFS - Solaris ▫ BTRFS - Linux ▫ ReFS – Windows 8 Server ▫ Fa alapú ▫ Nem adatbázisokhoz
• FS provisioning ▫ a fájlrendszer csak annyi helyet foglal, amennyi adatot írunk rá ▫ elég később hozzáadni a szükséges lemezeket • Diszkek dinamikusan hozzáadhatók, elvehetők ▫ legkisebb diszk mérete nem korlátozó tényező • Scrubbing ▫ bithibák detektálására ▫ a háttérben fut
6
2012.02.28.
37
38
Fájl API • Bufferelt ▫ Az adatok először egy átmeneti memória bufferbe kerülnek ▫ A szükséges memóriaterület ezután átmásolódik a függvénynek megadott címre ▫ Tetszőleges számú bájt, tetszőleges fájlpozíciónál
• Nem bufferelt ▫ ▫ ▫ ▫
Az adat közvetlenül a megadott memóriacímre másolódik a diszkről Csak blokkméret többszöröse (512 B) Blokk kezdetéhez igazítva Sokkal gyorsabb, mint a bufferelt
(Benchmarking)
• Szinkron / aszinkron ▫ A függvényhívás mikéntje ▫ Aszinkron hívásnál párhuzamosan sok olvasási kérést is indíthatunk
• Függő műveletek [outstanding I/O] ▫ Hány kérés lehet egy időben folyamatban ▫ RAID kártyák 8-16-ot hardveresen támogatnak ▫ a többi kérés sorba rendezését az API valósítja meg
39
I/O Teljesítménymérés
40
Mit akarunk optimalizálni? • Lemezek száma, mérete, sebessége
• Miért mérünk?
▫ Több lemez több tengely gyorsabb ▫ A gyorsabb lemez (10k RPM 2.5”) kisebb kapacitású
▫ Választani akarunk az egyes gyártók közül ▫ Meg akarjuk határozni az adott konfiguráció optimális beállításait
• RAID szint ▫ ▫ ▫ ▫
• Pontosan kell definiálni ▫ A rendszer próbaterhelésének mikéntjét ▫ A mérés módját
• Ehhez ismerni kell az adatbázis majdani felhasználását, de általánosságban igaz:
Mekkora redundanciára van szükség Mennyit fogjuk írni az adatbázist Több RAID konfigurációt is használható egy szerveren belül A RAID cache üzemmódja menet közben is változtatható
• Csíkok mérete, fájlrendszer típusa, blokkmérete stb. ▫ Ezt az adatbázis lapméretéhez kell állítani (ld. később) – 64 kB
▫ Adattárháznál szekvenciális I/O-ra megyünk
41
Mit tudunk mérni? • • • • •
Sebesség [MB/s] Késleltetési idő (latency) [s] I/O művelet [1/s] Processzor használat Függő műveletek száma
• Paraméterek: ▫ ▫ ▫ ▫ ▫ ▫
Olvasás / írás Szekvenciális / random Bufferelt / nem bufferelt Beolvasott/írt blokkok mérete Csíkméret Függő műveletek száma
42
Mérések módja • Mindent többször mérünk • Felvesszük a mért értékek eloszlását ▫ Ha nem gaussi, akkor megnézzük miért Mivel korrelál egy adott mérési érték?
▫ Ha gaussi, akkor megadhatjuk a relatív hibát
• Egy adott terhelési mintázat lehet a fentiek valamilyen arányú kombinációja
7
2012.02.28.
43
44
Hálózatok alapjai • Fizikai réteg ▫ Kábel típusa: réz, optikai
▫ Átviteli sebesség [bit/s] ▫ Átviteli távolság ▫ Topológia Csillag, gyűrű, nagy gráf
• Szoftver réteg ▫ Hálózati kártya meghajtó ▫ Protokoll TCP/IP, stb.
▫ OS hálózati réteg ▫ Hálózati API (programkönyvtár)
45
Lokális hálózat
Külvilági kapcsolat • Internet
• Ethernet ▫ ▫ ▫ ▫
46
▫ Mindig túl lassú ▫ TCP/IP
100 Mb/s, 1 Gb/s, 10 Gb/s UTP kábel néhányszor 10 méter Általában TCP/IP
Folytonos adatátvitelre TCP vagy UDP alapú speciális protokoll
▫ Speciális adatátviteli protokollok
BitTorrent (akár csak két pont között!) FDT (Cern) – Java UDP alapú UDT: A TCP-nél gyorsabb adatátvitelre jó [Grossman et al. 2003]
• InfiniBand
• Dedikált kapcsolat
▫ Maximum 96 Gbit/s elméleti sebesség (sok kábel) ▫ Maximum 15 méter távolság ▫ Speciális protokoll igény, de TCP/IP over IB támogatott
▫ Garantált állandó vagy garantált minimum sebesség ▫ Drága, és nehéz jól kihasználni ▫ Használható saját speciális protokoll
47
A TCP/IP problémái • Kis sebességre és kevés adatra tervezték • A sávszélesség nem feltétlenül jelent átviteli sebességet ▫ A késleltetés erősen le tudja csökkenteni az adatátvitelt (TCP/IP nagy problémája) ▫ Alapértelmezett értékek variálásával némileg javítható (frame mérete, buffer mérete)
• Hibaellenőrző kód nem elég erős: ▫ Véges valószínűséggel kerülhet hiba az átvitt adatba, ha az adatmennyiség nagy
48
Klaszterek, felhık • Számítógép klaszter (Beowulf): ▫ ▫ ▫ ▫ ▫ ▫
Azonos hardver sok processzorral Minimális háttértár az egyes gépekben Központi, hálózaton elérhető nagy háttértár Blade-server kialakítás optimális Garantált, nagy sebességű helyi hálózat Adatintenzív alkalmazásokhoz nem optimális
• Számítási felhő ▫ ▫ ▫ ▫
Szolgáltatók által nyújtott lehetőség (Amazon, Google, MS) Virtualizált platform + fejlesztőeszközök Központi, hálózaton elérhető nagy háttértár Adatintenzív alkalmazásokhoz nem optimális
• Graywulf
• Az adatbázis szerver szoftverek nem támogatnak speciális protokollokat
▫ Dedikált szerverfarm, dedikált hálózattal ▫ Minden elem egy önálló nagy teljesítményű adatbázis szerver ▫ Adatintenzív alkalmazásokra optimalizálva
8
2012.02.28.
49
Fogyasztás és környezetvédelem • Fogyasztási adatok: ▫ ▫ ▫ ▫ ▫
Adatbázis rendszerek az ELTÉ-n • Regionális Egyetemi Tudásközpont adatbázis központja • 3 db Dell PE 2950 szervergép
• A szerverszoba hűtést igényel • Légkondicionáló hatásfokát figyelembe véve a fogyasztás / számítási teljesítmény arány tovább romlik • Megoldási lehetőségek:
Alaplap: 50-100 W Processzor: 80-150 W HDD: 15 W SSD: 1-2 W GPU: 50-150 W
• Könnyen összejön 1,5 – 2 kW szerverenként • Hőként szabadul fel • Szünetmentes tápban nagy akkumulátorok • Léghűtés: zajos, hangszigetelés szükséges
50
▫ 2 x 4 magos Intel Xeon ▫ 16 GB RAM ▫ 2 x Dell PERC 6/e RAID vezérlő
▫ Vízhűtés ▫ Hűtővíz felhasználása fűtésre ▫ Energiatakarékos üzemmód
• 6 db Dell PV MD-1000 tároló egység ▫ Egyenként 15 db 750-1000 GB-os diszk
• Összesen kb.
• 5 év után elavul az egész rendszer: veszélyes hulladék
▫ 1 TFLOP/s számítási kapacitás ▫ 50 TB redundáns tároló kapacitás ▫ 3500 MB/s szekvenciális olvasási sebesség
• Windows 2008 Server + SQL Server
51
52
Adatbázis rendszerek az ELTÉ-n • Informatika doktori iskola • 5 db Supermicro SBB ▫ ▫ ▫ ▫ ▫
két gép egy házban (összesen 10 gép) 2 x 6 magos Intel Xeon i7 (összesen 120 mag) 24 GB RAM LSI 2008 SAS vezérlő 100 TB diszk
• Debian Linux • Különböző szintű szoftver RAID konfigurációk
53
• Miért nem elhelyezni?
érdemes
sok
merevlemezt
egy
tengelyen
• Számítsd ki a RAID 1 és a RAID 1+0 konfigurációk meghibásodási valószínűségét, ha egyetlen lemez meghibásodási valószínűsége egy adott időintervallumban pdisk, a lemezek száma pedig n. • Egy hálózati protokoll úgy működik, hogy a továbbítandó pufferben tárolt adatot csomagokra bontja, majd ezeket egymás után továbbítja. A csomagok a fogadó állomáshoz tetszőleges sorrendben érkezhetnek a hálózati késleltetések miatt. A fogadó állomás a teljes puffer átvitele után a csomagokat sorba rendezi, majd a hibaellenőrző kód segítségével leellenőrzi, hogy sikeres volt-e az átvitel. Ezek után a küldő állomást tájékoztatja, hogy az átvitel sikeres volt, és jöhet a következő átviteli adag. Mi az optimális puffer méret, ha a hálózat sebessége és az átviteli csatorna késleltetése (az az idő, amíg egy kérésre válasz érkezik) adott. Hogyan változik az optimális puffer méret, ha az átviteli csomagok p valószínűséggel elvesznek a továbbítás során?
9
