Operációs Rendszerek II.
Első verzió: 2009/2010. I. szemeszter Ez a verzió: 2009/2010. II. szemeszter Sunday, May 9, 2010
1
Mai témák • ZFS • NTFS
Sunday, May 9, 2010
2
ZFS • • • • • • • •
Új koncepció, nem továbbgondolás Pooled storage modell Minden művelet copy-on-write tranzakció RAID-Z, Disk scrubbing Pipelined I/O engine Snap-shots and clones Built-in compression Block level deduplication 3
Sunday, May 9, 2010
3
Storage pools • Hagyományos fájlrendszer: egy eszközön, általában szükséges volume manager • ZFS fájlrendszer: zpool-on, építőelemei a vdevs-ek (blokkok eszközök): – file-ok – partíciók vagy teljes diszkek
• A pool-on belül az eszközök kapcsolata: – non-redundant (kb. RAID-0) – mirror – RAID-Z (RAID-5 jellegű) Sunday, May 9, 2010
4 4
Storage pools • Hagyományos fájlrendszer: egy eszközön, általában szükséges volume manager • ZFS fájlrendszer: zpool-on, építőelemei a vdevs-ek (blokkok eszközök): – file-ok – partíciók vagy teljes diszkek
• A pool-on belül az eszközök kapcsolata: – non-redundant (kb. RAID-0) – mirror – RAID-Z (RAID-5 jellegű) Sunday, May 9, 2010
4 4
Storage pools • Hagyományos fájlrendszer: egy eszközön, általában szükséges volume manager • ZFS fájlrendszer: zpool-on, építőelemei a vdevs-ek (blokkok eszközök): – file-ok – partíciók vagy teljes diszkek
• A pool-on belül az eszközök kapcsolata: – non-redundant (kb. RAID-0) – mirror – RAID-Z (RAID-5 jellegű) Sunday, May 9, 2010
4 4
Pools (folyt) • Hot spares • Read- and write caching (SSD) • A pool kapacitása az összes létrehozott fájlrendszer által elérhető, de: – Léteznek quota-k (limit) – Létezik foglalás (reservation), ami garantálja az adott hely rendelkezésre állását
• Disk scrubbing: on-line adatellenőrzés 5 Sunday, May 9, 2010
5
Pools (folyt) • Hot spares • Read- and write caching (SSD) • A pool kapacitása az összes létrehozott fájlrendszer által elérhető, de: – Léteznek quota-k (limit) – Létezik foglalás (reservation), ami garantálja az adott hely rendelkezésre állását
• Disk scrubbing: on-line adatellenőrzés 5 Sunday, May 9, 2010
5
Pools (folyt) • Hot spares • Read- and write caching (SSD) • A pool kapacitása az összes létrehozott fájlrendszer által elérhető, de: – Léteznek quota-k (limit) – Létezik foglalás (reservation), ami garantálja az adott hely rendelkezésre állását
• Disk scrubbing: on-line adatellenőrzés 5 Sunday, May 9, 2010
5
Copy-on-Write tranzakciók • A fájl adatokat tartalmazó blokkokat nem módosítja • Írás esetén új példányt hoz létre • A pointereket csak a tranzakció végén aktualizálja
6 Sunday, May 9, 2010
6
Copy-on-Write tranzakciók • A fájl adatokat tartalmazó blokkokat nem módosítja • Írás esetén új példányt hoz létre • A pointereket csak a tranzakció végén aktualizálja
6 Sunday, May 9, 2010
6
Copy-on-Write tranzakciók • A fájl adatokat tartalmazó blokkokat nem módosítja • Írás esetén új példányt hoz létre • A pointereket csak a tranzakció végén aktualizálja
6 Sunday, May 9, 2010
6
Snap-shots and clones • Snap-shot: read only • Clone: read-write
7 Sunday, May 9, 2010
7
Számok • A 128 bites, dinamikus FS limitek – 248 snapshots in any file system – 248 files in any individual file system – 16 exabyte file systems (1 million TB) – 16 exabyte files – 3x1023 petabyte storage pools (1000 TB) – 248 files in a directory – 264 devices in a storage pool – 264 storage pools per system – 264 file systems per storage pool 8 Sunday, May 9, 2010
8
ZFS (összefoglalás) • • • • • • •
Pooled storage modell Minden művelet copy-on-write tranzakció RAID-Z, Disk scrubbing Pipelined I/O engine Snap-shots and clones Built-in compression Block level deduplication 9
Sunday, May 9, 2010
9
Platformok • Solaris, OpenSolaris • FreeBSD • Mac OS X: volt ilyen próbálkozás, de lefújták (2009. októberében) • Linux: GNU GPL és Sun CDDL miatti inkompatibilitás miatt jelenleg csak FUSE alatt van működő megoldás
10 Sunday, May 9, 2010
10
FUSE • FUSE: Filesystem in Userspace • Betölthető kernel modul, amely saját – user módban futó – fájlrendszer létrehozását teszi lehetővé • Platformok – Linux – OpenSolaris – FreeBSD – Mac OS X 11 Sunday, May 9, 2010
11
FUSE • FUSE: Filesystem in Userspace • Betölthető kernel modul, amely saját – user módban futó – fájlrendszer létrehozását teszi lehetővé • Platformok – Linux – OpenSolaris – FreeBSD – Mac OS X 11 Sunday, May 9, 2010
11
NTFS storage • Fogalmak – sector: fizikai tárolási egység a diszken – cluster: egy vagy több összefüggő sector – volume: logikai partíció, cluster-ek összessége - akár több diszkre is kiterjedhet
• Foglalási egység: cluster • NTFS layout
Sunday, May 9, 2010
12
NTFS layout • Partition boot sector (max 16 sector) – boot and startup info – volume layout leírása, FS információk
• Master file table – 1024 byte méretű sorok (rekordok) – minden sor 1 fájlt ír le (ide értve az MFT-t is) – ha a fájl kicsi, itt a tartalma is • 900 bájtnál kisebb fájlok férnek el itt • egyébként a fájl területen
Sunday, May 9, 2010
13
NTFS 2 fő (logikai) része • MTF terület – 1k-s rekordokból áll, egy rekord egy fájl – az első 16 db rekord speciális rendszer fájl • Minden rendszer komponens fájl
– Egy file több stream lehet, ebből az alapértelmezett („main”) látható közvetlenül
14 Sunday, May 9, 2010
14
NTFS 2 fő (logikai) része • MTF terület – 1k-s rekordokból áll, egy rekord egy fájl – az első 16 db rekord speciális rendszer fájl • Minden rendszer komponens fájl
– Egy file több stream lehet, ebből az alapértelmezett („main”) látható közvetlenül
14 Sunday, May 9, 2010
14
NTFS 2 fő (logikai) része • MTF terület – 1k-s rekordokból áll, egy rekord egy fájl – az első 16 db rekord speciális rendszer fájl • Minden rendszer komponens fájl
– Egy file több stream lehet, ebből az alapértelmezett („main”) látható közvetlenül
14 Sunday, May 9, 2010
14
NTFS 2 fő (logikai) része • MTF terület – 1k-s rekordokból áll, egy rekord egy fájl – az első 16 db rekord speciális rendszer fájl • Minden rendszer komponens fájl
– Egy file több stream lehet, ebből az alapértelmezett („main”) látható közvetlenül
14 Sunday, May 9, 2010
14
NTFS 2 fő (logikai) része • MTF terület – 1k-s rekordokból áll, egy rekord egy fájl – az első 16 db rekord speciális rendszer fájl • Minden rendszer komponens fájl
– Egy file több stream lehet, ebből az alapértelmezett („main”) látható közvetlenül
14 Sunday, May 9, 2010
14
Könyvtárak • Referenciák fájlokra és alkönyvtárakra • Bejegyzések bináris fában tárolva – Bonyolultabb menedzsment – Gyorsabb elérés
• A „dir” parancshoz elegendő adatot tartalmaz
15 Sunday, May 9, 2010
15
Könyvtárak • Referenciák fájlokra és alkönyvtárakra • Bejegyzések bináris fában tárolva – Bonyolultabb menedzsment – Gyorsabb elérés
• A „dir” parancshoz elegendő adatot tartalmaz
15 Sunday, May 9, 2010
15
Könyvtárak • Referenciák fájlokra és alkönyvtárakra • Bejegyzések bináris fában tárolva – Bonyolultabb menedzsment – Gyorsabb elérés
• A „dir” parancshoz elegendő adatot tartalmaz
15 Sunday, May 9, 2010
15
Egyebek • • • •
Naplózás Tömörítés Titkosítás Különféle fájlnév konvenciók támogatása
16 Sunday, May 9, 2010
16
Egyebek • • • •
Naplózás Tömörítés Titkosítás Különféle fájlnév konvenciók támogatása
16 Sunday, May 9, 2010
16
