SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
SAN Linux k¨ornyezetben Lajber Zolt´an
[email protected] Szent Istv´an Egyetem, G¨od¨oll˝o Informatikai Hivatal
Bevezet´es – Linuxr´ol – Mi A SAN? - DAS, SAN, NAS – SAN e´ s Linux: tervez´esi megfontol´asok: sk´al´azhat´os´ag, megb´ızhat´os´ag, sebess´eg – SAN e´ s Linux: megval´os´ıt´as: elrendez´es, ment´es – SAN-ra e´ s Linuxra e´ p¨ul˝o szolg´altat´asok: f´ajlszerver, mail, web hosting 1
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Linuxr´ol M´erf¨oldk¨ovek 1993
Els˝o linux telep´ıt´es
1996
Els˝o e´ les kiszolg´al´o
2000
¨ Osszes l´enyeges szolg´altat´as Linuxon
linux
a PC ”´ugy n´ez ki” mint a SUN vagy SGI g´epek alap´u
2
a´ r, karbantarthat´os´ag megb´ızhat´os´ag
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Mi is az a Linux? Nagyon r¨oviden: egy a POSIX szabv´anyokat k¨ovet˝o szabadon felhaszn´alhat´o Unix oper´aci´os rendszer, amelyet Linus Torvalds kezdett el fejleszteni el˝obb egyed¨ul, gyakorlatilag a null´ar´ol indulva 1991 v´eg´en, majd k´es˝obb egyre t¨obb ’hacker’, szakember e´ s egyetemista csatlakozott hozz´a az Interneten kereszt¨ul. (http://mlf.linux.rulez.org/mlf/alapok.html)
3
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Filoz´ofi´aja ´ Atvette a UNIX alapelveit, hozz´atette a szabad szoftver er´enyeit, e´ s egy u´ jfajta szoftverfejleszt´esi m´odszert alkalmaz.
4
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
A gy¨okerek: A UNIX – 1969-ben Ken Thomson e´ s Dennis Ritchie k´esz´ıtette egy ”gazd´atlan” PDP-7 -es g´epre. – 1973-t´ol l´etezik a mai form´aban, amikor a´ tt´ırt´ak Ritchie a´ ltal kifejlesztett C nyelvre. – 1974-ben az els˝o nyilv´anos publik´aci´o szabad szoftver!? – 1977-82 k¨oz¨ott az AT&T egys´eges´ıt´esi prob´alkoz´asok – 1983-ban a System V, aktu´alis v´altozata a Release 4, r¨oviden SYSVR4 – Az AT&T egyeduralm´at elker¨ulend˝o, az IEEE e´ gisze alatt l´etrehoztak egy szabv´anytervezetet Portable Operating System Interface (X) POSIX n´even.
5
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
A UNIX ereje – t¨obbfelhaszn´al´os, t¨obb feladatos oper´aci´os rendszer – er˝osen t´amogatja a h´al´ozatokat – a k´es˝obbi fejleszt˝ok is meg´ertett´ek e´ s betartj´ak az eredeti szerz˝ok filoz´ofi´aj´at
6
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
A UNIX filoz´ofi´aja a UNIX fejleszt˝oi marad´ektalanul ragaszkodtak n´eh´any egyszer˝u szab´alyhoz amit n´eha neh´ez betartani, de hossz´u t´avon mindenk´eppen meg´eri. – minden f´ajl – a programok be- es kimenete is f´ajl, ami ´ıgy a´ tir´any´ıthat´o – a nagy programok helyett kis, a´ ttekinthet˝o e´ s o¨ sszekapcsolhat´o seg´edeszk¨oz¨ok – a kis programokkal szembeni k¨ovetelm´enyek: legyenek egyszer˝uek, de a´ ltal´anossan megfogalmazottak Ezekb˝ol k¨ovetkezik, hogy a szabv´anyos seg´edprogramok o¨ sszekapcsol´as´aval bonyolult feladatok is hat´ekonyan megoldhat´ok. 7
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Szabad szoftver A free sz´o angol jelent´esei miatt f´elre´erthet˝o. A free itt nem ingyenest, hanem szabadot jel¨ol. T¨obbnyire persze ingyenes is a Linux, de igazi l´enyege az a szabads´ag, amivel a felhaszn´al´o rendelkezik a forr´ask´od hozz´af´erhet˝os´ege r´ev´en. Az ´ıgy kapott el˝ony¨ok: – forr´asnyelv˝u k´od adta szabads´ag – fejleszt´es sebess´ege – er˝oforr´asok, hajt´oer˝ok – szoftver min˝os´ege, avagy mib˝ol e´ l a programoz´o?
8
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Fejleszt´esi st´ılusok Eric Steven Raymond alapj´an: Katedr´alis : – emberek kis csoportja tervez e´ s programoz – ritka kiad´asok - t¨obbnyire legal´abb f´el e´ v a v´altozatok k¨oz¨ott – a csoport maga v´egzi a hibakeres´est e´ s elt´avol´ıt´ast, a felhaszn´al´oi tapasztalatok e´ s ig´enyek visszacsatol´asa lass´u
9
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Baz´ar : – Egy vagy n´eh´any ember koordin´alja a fejleszt´est – sokan v´egzik a programoz´ast – gyakori kiad´asok (fejleszt˝oi v´altozat), ´ıgy gyors visszacsatol´as – n´epes a tesztel˝ok t´abora – a tesztel˝ok nagyr´esze hibajav´ıt´ast is v´egez http://www.catb.org/˜esr/writings/cathedral-bazaar/
10
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
A Linux alkot´oelemei Kernel : Az oper´aci´os rendszer magja. A Linux sz´o szabatosan csak a magot jelenti. Disztribuci´ok : Ahhoz, hogy haszn´alni tudjuk, sok-sok dolog kell meg a kernel mell´e. T¨obb c´eg, illetve t´arsas´ag k´eszit ilyen o¨ ssze´all´ıt´asokat, ezeket h´ıvjuk disztrib´uci´oknak. A jelent˝osebbek: Debian GNU/Linux, SuSe Linux, Redhat Linux, UHU Linux
11
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
A verzi´osz´amok Idegenek sz´am´ara misztikusnak e´ s bonyolultnak t˝unhetnek. A legfontosabb a mag (kernel) e´ s a disztrib´uci´o: Kernel: form´aja mindig X.Y.Z alak´u. Az X a f˝o verzi´o sz´am. Ha az Y p´aros (´es 0), akkor stabil, ha p´aratlan, akkor fejleszt˝oi v´altozat. A Z sorsz´am, a fejleszt˝oi v´altozatn´al gyorsan v´altozhat. Jelenlegi aktu´alis v´altozatok: 2.6.9 e´ s majd 2.5.x a lez´art fejleszt˝oi v´altozat. Disztribuci´ok: term´eszetesen ennek is van verzi´osz´ama, de t¨obbnyire ”fed˝oneve” is. Jelenleg p´eld´aul Debain/GNU Linuxb´ol a 3.0 (woody), a stabil, e´ s a 3.1 (sarge) a fejelsz´es alatt a´ ll´o.
12
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
V´allalati szempontb´ol fontos tulajdons´agok Csomagkezel´es: Linux szoftverek telep´ıt´es´et az disztrib´uci´ohoz tartoz´o programcsomag v´egzi. Ez az adatb´azis tartalmazza a f´ajlok list´aj´at, be´all´ıt´ast seg´ıt˝o programokat e´ s f¨ugg¨os´egeket is kezel. Elterjedtebb csomagform´atumok az RPM e´ s a DEB. naploz´o f´ajlrendszer: a h´att´ert´arak n¨oveked´ese miatt a megfelel˝o rendelkez´esre-´all´ast csak naploz´o f´ajlrendszerrel lehet biztos´ıtani. Ezek t´amogatjak a ”r¨opt´eben” a´ tm´eretez´est. Elterjedtebbek: ReiserFS (SUSE), JFS (IBM), XFS (SGI) logikai k¨otet kezel´es: fizikai diszkekt˝ol e´ s partici´okt´ol val´o elrugaszkod´as, nagyobb rugalmass´ag, fut´as k¨ozbeni b˝ov´ıthet˝os´eg. SMP: 1-255 db CPU t´amogat´as. Legy¨unk o´ vatossak, tipikus esetben i386 platformon nem a CPU a sz¨uk keresztmetszet, teh´at nem csodaszer. 13
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Mi a SAN? DAS: Direct-attached Storage: er˝osen korl´atozott a b˝ov´ıthet˝os´eg. Tipikus: 6x146G ⇒876G brutto, RAID5: 665G netto. U320 SCSI e´ s 10k rpm-es diskek eset´en csak a 4. disk okoz gyorsul´ast. SAN: Storage Area Network: Diskek k¨uls˝o vez´erl˝on, blokk szint˝u el´er´es a´ ltal´aban 2Gbps FiberChannel, vagy 1Gbps ethernet-iSCSI. Sk´al´azhat´o, gyors. NAS: Network Attached Storage - f´ajl szint˝u el´er´es LAN-on kereszt¨ul
14
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Szolg´altat´asok k¨ozponti f´alj kiszolg´al´o: Linux,SaMBa, LDAP seg´ıts´eg´evel kb 3000 g´epnek - nagy n¨oveked´es v´arhat´o web hosting: Linux UML alap´u virtual hosting - k¨ozepes n¨oveked´es levelez´esi lista archivum: Linux, mailman sz´am´ara archiv´al´asi ter¨ulet viszonylag szer´eny, de monoton n¨oveked´es ment´es: k¨ozponti biztons´agi ment´es
15
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
SAN tervez´esi megfontol´asok A probl´ema: nem hat´ekony a h´att´ert´ar felhaszn´al´as: bizonyos g´epekben sok van, m´as g´epekben m´ar nem tudunk b˝ov´ıteni. H´att´ert´ar konszolid´aci´ora SAN-t v´alasztottunk. F¨obb k¨ovetelm´enyek: sk´al´azhat´os´ag: kis kiindul´o m´eret, k´es˝obb jelent˝os b˝ov´ıt´esek v´arhat´ok t´amogat´as: Debian/GNU Linux e´ s SUN Solaris op. rendszerek kell egy¨utm˝uk¨odni ˝ es: bizonyos szolg´altat´asokat nagy megb´ızhat´os´aggal kell hibatur´ u¨ zemeltetni ment´es: k¨ozponti biztons´agi ment´es lehet˝os´ege
16
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Megval´os´ıt´as Kiv´alasztott hardver elemek megl´ev˝o g´epek: 2db IBM xSeries x345, 1db xSeries 330 ´ g´ep: 1db IBM xSeries x335 (PCI-X, hotswap...) uj HBA: 5db Qlogic QLA2340 szalagos egys´eg: IBM LTO2 200/400G SCSI tape k¨uls˝o h´azban. storage: EMC2 Clariion CX700, 4T brutto kezd˝o ki´ep´ıt´es, max 32T
17
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Fizikai elrendez´es Storage listaszerver webszerver fájlszerver mentés, vezérlés SP A
SP B LTO tape
Fiber Channel
SCSI
18
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Logikai elrendez´es LUN
m´eret
tulajdonos
snapshot
1024G
f´ajlszerver
200G
UML
200G
webszerver
40G
MAILARCH
100G
listaszerver
20G
TMP
200G
backupszerver
-
snapshot
260G
backupszerver
-
FS
szabad
1195G
tartal´ek
-
o¨ sszesen
3724G
-
-
19
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Linux storage-ra k¨ot´ese 1. driver - kernel ford´ıt´as:
Device Drivers/SCSI device support/SCSI low-level drivers/QLogic IS host adapter family support r¨ovidebben: CONFIG_SCSI_QLA2300=y make-kpkg --revision=gepnev1 kernel-image scp kernel-image-2.6.8.1_gepnev1_i386.deb lajbi@gepnev1: gepnev1-en: dpkg -i kernel-image-2.6.8.1_gepnev1_i386.deb 2. le´all´ıt´as, HBA beszerel´es, ind´ıt´as
lspci 0000:02:03.0 Fibre Channel: QLogic Corp. QLA2312 Fibre Channel Adap 02)
20
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
3. SCSI szinten: cat /proc/scsi/scsi ... Host: scsi0 Channel: 00 Id: 00 Lun: 00 Vendor: DGC Model: RAID 5 Type: Direct-Access ... sg_map -x /dev/sg0 0 0 0 0 ...
0
/dev/sda
21
Rev: 0207 ANSI SCSI revision: 04
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
4. particion´al´as: egyetlen Linux LVM t´ıpus´u partici´o Disk Drive: /dev/sda Size: 214748364800 bytes, 214.7 GB Heads: 255 Sectors per Track: 63 Cylinders: 26108 Name Flags Part Type FS Type [Label] Size (MB) --------------------------------------------------------------------sda1 Primary Linux LVM 214745.62
22
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
5. logikai k¨otet l´etrehoz´asa, form´az´as: pvcreate vgcreate lvcreate mkfs.xfs
/dev/scsi/host0/bus0/target0/lun0/part1 emc /dev/scsi/host0/bus0/target0/lun0/part1 -L 1G -n home emc /dev/emc/home
23
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
6. felcsatol´as - mount: # /etc/fstab: static file system information. #
<mount point> <pass> ... /dev/emc/home /home xfs df -h Filesystem /dev/md/0 tmpfs /dev/mapper/raid1-usr /dev/mapper/raid1-var /dev/mapper/emc-home
defaults
0
Size Used Avail Use% Mounted on 471M 103M 344M 24% / 501M 0 501M 0% /dev/shm 2.0G 838M 1.2G 42% /usr 20G 9.1G 11G 46% /var 199G 181G 19G 91% /home
24
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
LUN m´eret n¨ovel´es Lehets´eges m´odszerek: 1. LUN n¨ovel´ese: meta LUN l´etrehoz´as 2. u´ j LUN l´etrehoz´as - RAID 0 3. u´ j LUN l´etrehoz´as - LVM Sz¨uks´eges l´ep´esek LVM eset´en: pvcreate /dev/scsi/host0/bus0/target1/lun0/part1 vgextend emc /dev/scsi/host0/bus0/target1/lun0/part1 lvextend -L+100G /dev/emc/home xfs_growfs /dev/emc/home
25
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
˝ o csatlakoz´as storage-hoz Hibatur˝ 1. storage megfelel˝o be´all´ıt´asa: /opt/Navisphere/bin/navicli -h 192.168.242.243 storagegroup -sethost -host sziszifusz -failovermode 2 2. kernel be´all´ıt´asok: Device Drivers Multi-device support (RAID and LVM) RAID support RAID-1 (mirroring) mode Multipath I/O support 3. t¨obbi l´ep´es mind alapesetben, de particion´al´as helyett md, azaz: cat /etc/mdadm/mdadm.conf DEVICE /dev/sda /dev/sdb ARRAY /dev/md3 level=multipath devices=/dev/sda,/dev/sdb
26
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
cat /proc/mdstat Personalities : [linear] [raid1] [raid5] [multipath] md3 : active multipath sda[2] sdb[0] 1073741760 blocks [1/2] [U] mdadm --detail /dev/md3 Number Major Minor RaidDevice State 0 8 16 0 active sync /dev/sdb 2 8 0 1 active sync /dev/sda UUID : 7aa611cc:afe69994:aae1b159:e86179a8 Events : 0.251 df -h ... /dev/mapper/emc-home 1.0T 1.2G 1023G 1% /home
27
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
M´er´esek ´ır´as
olvas´as
a´ tlag
cx700
85
127
106
qla2340/r5-4
cx700
68
120
94
x345
fusion/swr5
10k/320
75
110
92.5
ment´es
x345
qla2340/r5-8
cx700
67
116
91
webszerver
x335
fusion/swr1
15k/320
72
75
73.5
noc
x330
aic7892/sw r1
10k/160
44
53
48.5
ment´es
x345
fusion/swr1
10k/160
26
40
33
gaia
x235
ibm 5i/r5
10k/160
32
26
29
ment´es
x345
ibm 5i/r5
10k/160
12
30
21
g´ep
t´ıpus
diskvez´erl˝o
disk
f´ajlszerver
x345
qla2340/r5-8
f´ajlszerver
x345
f´ajlszerver
28
SzIE G¨od¨oll˝o, IH
SAN Linux k¨ornyezetben
Eredm´enyek – konszolid´alt, sk´al´azhat´o h´att´ert´ar – olcs´obban fejleszthet˝o szerverpark – k¨ozponti ment´es – hibat˝ur´es
Fejleszt´esi ir´anyok SAN switch: tov´abbi hibat˝ur´es, b˝ov´ıthet˝os´eg iSCSI: t´avoli telephelyek sz´am´ara biztons´agi m´asolat t´arol´as ment´es: LTO tape library helyett ATA storage http://zeus.gau.hu/˜lajbi/eloadasok.html [email protected] 29
