Operációs Rendszerek II.
Első verzió: 2009/2010. I. szemeszter Ez a verzió: 2009/2010. II. szemeszter Sunday, May 9, 2010
Mai témák • • • •
Mentések (backup) Unix jogosultsági rendszer újra (ACL) NTFS Clusterek
Sunday, May 9, 2010
Mentések • Az „élő” rendszerben különféle adat- és rendszersérülések előfordulhatnak: – megváltozik (felülíródik) – elveszik (letörlődik) – létrejön (keletkezik)
• Ennek okai többfélék: – Hardver vagy szoftver hiba (alaprendszer vagy alkalmazás egyaránt) – Emberi tevékenység, „véletlenül” (tévedés) – Emberi tevékenység, célzottan Sunday, May 9, 2010
Mentések • Szükség lehet a rendszer egy korábbi állapotára! – Hibaelhárítás – „Forensic”
• Mentés: időről-időre pillanatfelvételt készítünk a rendszer állapotáról (leginkább szalagra, de nem mindig) – archiválás? – a RAID nem elég? (Nem) – HSM? Sunday, May 9, 2010
Archiválás • adatok amelyekre a „normál” munka során nincs szükség, azonban (főként törvényi kötelezettség miatt) meg kell őrizni – ezeket nem biztos, hogy az on-line rendszerben kell tárolni – ez némiképp más, mint a mentés • hosszú időre szól (akár több tíz év) • lehet, hogy addigra már az eredeti rendszer meg sem lesz • ez már a médiák adatmegőrzési idejébe sem biztos, hogy belefér Sunday, May 9, 2010
Archiválás • Ma és a közelmúltban egyre több „dokumentum” digitálisan keletkezik, az archiválás egyre fontosabb kérdés – sok, „rövid” életű adat és fájlformátum – különféle médiák – a hagyományos dokumentumok mellett multimédia (kép, hang) és adatbázisok (függőségek)
• Érdekes és fontos terület, de out-of-scope! – Open Archival Information System (OAIS) Sunday, May 9, 2010
Hova mentsek? • A RAID nem elég? – Fizikai hibák egy része ellen véd (nem mind) – Szoftveres és ember által elkövetett beavatkozások ellen nem!
• Másoljuk át egy másik könyvtárra a rendszerben – Ez is áldozatul eshet program vagy emberi „hibáknak” (rm -rf /)
• A mentéseket az élő rendszertől elkülönítetten célszerű tárolni! Sunday, May 9, 2010
HSM • Még egy hárombetűs... – Hierarchical Storage Management
• Az élő rendszerről szól, elve hasonló a virtuális memória kezeléshez – a teljes tároló kapacitást gyors, drága és viszonylag kis méretű és lassú, olcsó(bb) és nagy méretű tároló együttese adja – itt is fontos kérdés az átlátszóság (felhasználónak ne kelljen foglalkoznia vele) és a hatékonyság Sunday, May 9, 2010
Mentések • A diszk terület egészéről vagy egy részéről valamilyen médiára másolatot készítek (rendszer vagy adatmentés) – Nem árt, ha ez visszaállítható (erre nem mindig gondolnak)
• Cél egy adott időpontnak megfelelő állapot rögzítése – A másolás nem tarthat 0 ideig! – Mitől lesz konzisztens a mentés?
Sunday, May 9, 2010
Mentési mód • Konzisztens mentés: a mentendő terület a mentés ideje alatt ne változzon – Off-line mentés: leállítom az alkalmazást/ rendszert, fájlrendszer szinten mentek – On-line mentés: a rendszer fut, de valamilyen (a futó alkalmazásokkal együttműködő) mechanizmus segítségével mégis biztosítom, hogy a mentett állapot konzisztens legyen • ez sincs ingyen!
– Snapshot: nagyon rövid idő (pár másodperc) alatt készített pillanatfelvétel Sunday, May 9, 2010
Játék a számokkal • Példák: Sun Oracle aktuális termékei • Diszk alrendszerek – 288 TB raw kapacitás (Sun 7410 unified st.) – 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990)
• Szalagegység (StorageTek SL500) – LTO4 drive • max 18 drive, 120 MB/sec - 7,7 TB/óra • max 575 catr, 800 GB unc., 460 TB (base: 30)
– LTO3 drive (68..80 MB/sec, 400 GB/catr) Sunday, May 9, 2010
Játék a számokkal • Példák: Sun Oracle aktuális termékei • Diszk alrendszerek – 288 TB raw kapacitás (Sun 7410 unified st.) – 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990)
• Szalagegység (StorageTek SL500) – LTO4 drive • max 18 drive, 120 MB/sec - 7,7 TB/óra • max 575 catr, 800 GB unc., 460 TB (base: 30)
– LTO3 drive (68..80 MB/sec, 400 GB/catr) Sunday, May 9, 2010
Játék a számokkal • Példák: Sun Oracle aktuális termékei • Diszk alrendszerek – 288 TB raw kapacitás (Sun 7410 unified st.) – 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990)
• Szalagegység (StorageTek SL500) – LTO4 drive • max 18 drive, 120 MB/sec - 7,7 TB/óra • max 575 catr, 800 GB unc., 460 TB (base: 30)
– LTO3 drive (68..80 MB/sec, 400 GB/catr) Sunday, May 9, 2010
Játék a számokkal • Példák: Sun Oracle aktuális termékei • Diszk alrendszerek – 288 TB raw kapacitás (Sun 7410 unified st.) – 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990)
• Szalagegység (StorageTek SL500) – LTO4 drive • max 18 drive, 120 MB/sec - 7,7 TB/óra • max 575 catr, 800 GB unc., 460 TB (base: 30)
– LTO3 drive (68..80 MB/sec, 400 GB/catr) Sunday, May 9, 2010
Játék a számokkal • Példák: Sun Oracle aktuális termékei • Diszk alrendszerek – 288 TB raw kapacitás (Sun 7410 unified st.) – 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990)
• Szalagegység (StorageTek SL500) – LTO4 drive • max 18 drive, 120 MB/sec - 7,7 TB/óra • max 575 catr, 800 GB unc., 460 TB (base: 30)
– LTO3 drive (68..80 MB/sec, 400 GB/catr) Sunday, May 9, 2010
Játék a számokkal • Példák: Sun Oracle aktuális termékei • Diszk alrendszerek – 288 TB raw kapacitás (Sun 7410 unified st.) – 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990)
• Szalagegység (StorageTek SL500) – LTO4 drive • max 18 drive, 120 MB/sec - 7,7 TB/óra • max 575 catr, 800 GB unc., 460 TB (base: 30)
– LTO3 drive (68..80 MB/sec, 400 GB/catr) Sunday, May 9, 2010
Mentési variációk • Teljes (full) mentés - minden lementünk • Részleges mentések: csak az egy előző állapothoz képesti változásokat mentjük – Differenciális: utolsó full óta – Inkrementális: utolsó mentés óta – Többszintű inkrementális: n-1 szint óta
• Mentési idő (és szalagigény) vs visszaállási igény! • Szintetikus teljes mentés Sunday, May 9, 2010
Szoftver támogatás • Saját készítésű mentő megoldások (pl. Unix parancsokkal) • Open Source mentő megoldások (pl. Amanda) • COTS mentőszoftverek – Netbackup (Symantec, régen Veritas) – Networker (EMC, régen Legato) – Data Protector (HP) – Tivoli Storage Manager (IBM) Sunday, May 9, 2010
Szoftver támogatás • Saját készítésű mentő megoldások (pl. Unix parancsokkal) • Open Source mentő megoldások (pl. Amanda) • COTS mentőszoftverek – Netbackup (Symantec, régen Veritas) – Networker (EMC, régen Legato) – Data Protector (HP) – Tivoli Storage Manager (IBM) Sunday, May 9, 2010
Szoftver támogatás • Saját készítésű mentő megoldások (pl. Unix parancsokkal) • Open Source mentő megoldások (pl. Amanda) • COTS mentőszoftverek – Netbackup (Symantec, régen Veritas) – Networker (EMC, régen Legato) – Data Protector (HP) – Tivoli Storage Manager (IBM) Sunday, May 9, 2010
Hogyan konfiguráljuk? • Alapvetően nem technikai, hanem üzleti kérdés – valós üzleti igények ismerete nélkül nehéz – tolerálható adatvesztés mértéke – elfogadható állási idő (ez nem csak a backup) • elfogadható teljesítmény degradáció
– visszaállási időkeret (ez nem csak a restore) – megőrzési idő – szabályok többszörös hibák esetén – biztonsági elvárások, ár, stb. Sunday, May 9, 2010
Egyebek • • • • •
Klónozás Mentések ellenőrzése Off-site mentések VTL megoldások Deduplikáció
Sunday, May 9, 2010
Pár szó a Unix jogosultságról • Alapmondások (klasszikus modell) – Hozzáférés kontroll: fájl alapú – Felhasználók és csoportok – 4x3 bit: 3x(rwx,ugo) + (SUID, SGID, STICKY) – értelmezés fájlok és könyvtárak esetében
Sunday, May 9, 2010
UNIX/Linux ACL-ek • Többféle megvalósítás (példa: FreeBSD) – A 9 bites jogosultsági rész jelentés nem változik – Az ACL user-hez és csoporthoz is megadható, szintén 3 bit (r,w,x) – A csoport szintű jogosultság ACL esetén a maximum jogot jelenti (maszk) – A fájlok „eredeti” védelmi adataiban (i-node) egy bit jelzi az ACL létezését az adott fájlhoz
• Parancsok: – setfacl, getfacl vagy chmod és ls kiterjesztés Sunday, May 9, 2010
NTFS • Legfontosabb jellemzői – Visszaállíthatóság (recoverability) – Biztonság (security) – „Nagy” diszkek és fájlok támogatása – Többszörös adatfolyam (data stream) • pl. Mac OS: data stream, resource fork (info)
– Naplózás – Tömörítés és titkosítás – Többszörös névtér (FAT, NTFS, Posix) • hosszú nevek, Unicode támogatás Sunday, May 9, 2010
NTFS storage • Fogalmak – sector: fizikai tárolási egység a diszken – cluster: egy vagy több összefüggő sector – volume: logikai partíció, cluster-ek összessége - akár több diszkre is kiterjedhet
• Foglalási egység: cluster • NTFS layout
Sunday, May 9, 2010
NTFS layout • Partition boot sector (max 16 sector) – boot and startup info – volume layout leírása, FS információk
• Master file table – 1024 byte méretű sorok (rekordok) – minden sor 1 fájlt ír le (ide értve az MFT-t is) – ha a fájl kicsi, itt a tartalma is • 900 bájtnál kisebb fájlok férnek el itt • egyébként a fájl területen
Sunday, May 9, 2010
NTFS layout • NTFS alatt minden foglalt cluster fájlhoz tartozik, mindent fájlként kezel (még a rendszer metaadatokat is) • A fájlokat attribútumok halmazának tekintjük • Az attribútumokat típus kód és opcionálisan név azonosítja
Sunday, May 9, 2010
NTFS layout • NTFS alatt minden foglalt cluster fájlhoz tartozik, mindent fájlként kezel (még a rendszer metaadatokat is) • A fájlokat attribútumok halmazának tekintjük • Az attribútumokat típus kód és opcionálisan név azonosítja
Sunday, May 9, 2010
NTFS layout • NTFS alatt minden foglalt cluster fájlhoz tartozik, mindent fájlként kezel (még a rendszer metaadatokat is) • A fájlokat attribútumok halmazának tekintjük • Az attribútumokat típus kód és opcionálisan név azonosítja
Sunday, May 9, 2010
Legfontosabb fájl attribútumok • Standard információk – attribútumok (ro,rw), időbélyegek
• • • •
fájl neve Biztonsági leíró (ACL) Fájl tartalma Atrribútum lista: azon attribútum rekordok listája, amelyek nem fértek el az MFT-ben
Sunday, May 9, 2010
NTFS layout (folyt.) • System files – MFT egy (kritikus) részének másolata – Log fájl (naplózó fájlrendszer) – Cluster bit map: foglalt cluster-ek – Attribute definition table
Sunday, May 9, 2010
Clustering (fürtözés) • Kapcsolódik az elosztott rendszerekhez • HA megoldásokban is fontos • Klasszikus 2 tagú aktív-passzív cluster – Osztott diszk terület – Hearthbeat kapcsolat – Közös (szolgáltatás) IP cím – Akár több szolgáltatás, így a passzív nem teljesen passzív – de az adott szolgáltatás kapcsán igen!
Sunday, May 9, 2010
Clustering (fürtözés) • Kapcsolódik az elosztott rendszerekhez • HA megoldásokban is fontos • Klasszikus 2 tagú aktív-passzív cluster – Osztott diszk terület – Hearthbeat kapcsolat – Közös (szolgáltatás) IP cím – Akár több szolgáltatás, így a passzív nem teljesen passzív – de az adott szolgáltatás kapcsán igen!
Sunday, May 9, 2010
Clustering (fürtözés) • Kapcsolódik az elosztott rendszerekhez • HA megoldásokban is fontos • Klasszikus 2 tagú aktív-passzív cluster – Osztott diszk terület – Hearthbeat kapcsolat – Közös (szolgáltatás) IP cím – Akár több szolgáltatás, így a passzív nem teljesen passzív – de az adott szolgáltatás kapcsán igen!
Sunday, May 9, 2010
Cluster megoldások • Aktivitás – Aktív-passzív konfiguráció – Akítv-aktív konfiguráció
• Adathozzáférés – független szerverek (hálózaton keresztüli adatáramlás) – szerverek elérik a diszkeket (de egy időben csak egy használja) – szerverek közösen (osztottan) használják a diszkeket Sunday, May 9, 2010
További kérdések • Szolgáltatások átkapcsolása – Gép megáll: triviális – Lehetnek ennél szofisztikáltabb megoldások is (pl. alkalmazás szintű agent) – Oda-vissza kapcsolás? Ping-pont effektus – Split brain kérdése
• Csak két elemű lehet egy cluster? – Nem: N-to-1, N-plus-1 – SCSI alapú diszkeknél ez nehézkes volt – SAN esetén már egyszerűbb! Sunday, May 9, 2010
Elvárások Cluster megoldásokkal szemben • Transzparencia: ne vegye észre a kliens – legrosszabb esetben is csak annyi legyen, mint egy szerver oldali újraindulás • Gyors helyreállás (nem több, mint 5 perc, de inkább <2 min) • Minimális (cél: nulla) emberi beavatkozás • Garantált adatelérés: a másodlagos gép ugyanazokat az adatokat látja, mint a produkciós gép a meghibásodás előtt Sunday, May 9, 2010
Pár szó a történetről • A megoldás nem új a 80-as évek elején már VAX platformon megjelent, VAX Cluster néven • 1991-től, Sun környéke (de 3rd party), lassan a többi gyártó is megjelenik a saját megoldásával (Sun is) • Ma már Unix, Linux, Windows esetén is vannak Cluster megoldások
Sunday, May 9, 2010
