Osvědčené postupy při konfiguraci virtualizovaných prostředí. Symposium 2014

You’ll make breakthroughs

Osvědčené postupy při konfiguraci virtualizovaných prostředí Symposium 2014


1. Virtualizace a podpora Caché Caché (Ensemble a další produkty) jsou podporovány na virtualizovaných operačních systémech InterSystems ověřuje a uvolňuje nové produkty proti OS Virtualizační software je pro nás stejná kategorie jako počítač

Existuje mnoho dodavatelů virtualizačních řešení VMware ESXi, Hyper-V, KVM, Xen, IBM z, AIX LPAR, Micro partitions…

WRC nerozlišuje mezi Caché provozovaným ve virtualizovaném prostředí nebo na holém železe http://www.intersystems.com/cache/virtualization


Virtualizační platformy a InterSystems InterSystems má zkušenosti především s VMWare vSphere (ESXi) Intel Xeon procesory řady 5500 a vyšší, E5, E7 série AMD procesory nejsou podporovány HW kompatibilitu s VMWare ESXi si musí každý ověřit sám http:// www.vmware.com/resources/compatibility/search.php

V současnosti neplánujeme věnovat úsilí jiným platformám


Obecné schéma virtualizované Caché architektury Production VM

VM

VM

Load Balancers

VM

Web Servers

VM

VM

VM

Database/Print

Analytics

Integration

Non-Production

Other

VM

VM

VM

VM

VM

VM

VM

VM

Train

Scratch

Test

Base

RDS

vCenter

Other

Other

Pooled resources: CPU, Memory, Storage, Interconnect VMware

VMware

VMware

VMware Host Servers

SAN Shared Storage

Backup Media Server

SAN Tape Library or Deduplication Solution


Cluster prostřednictvím virtualizace Doporučujeme minimálně 3 fyzické servery pro VMWare HA Cluster může obsahovat až 32 (fyzických) serverů Správa záloh a testování obnovení záloh DR – obnova po katastrofickém výpadku

Zdroje vSphere clusteru je možno sdílet s jinými aplikacemi Zvažte nakolik tyto aplikace spotřebují zdroje clusteru

Minimální verze vSphere pro Caché 2013.1 je VMware 5.0 Doporučujeme verzi VMware 5.5 Doporučujeme Enterprise Edici


Další vlastnosti vSphere Enterprise Edition vMotion pro stěhování VMs mezi fyzickými servery vSphere VMware HA V případě fyzického výpadku serveru s VM je daný VM nastartován na jiném serveru Padne-li pouze VM je proveden failover na jiný VM na stejném fyzickém stroji VM mohou mít až 64 vCPUs Nutno koupit separátně licenci vCenter Server

Porovnání s ostatními edicemi vSphere je možno nalézt zde http://www.vmware.com/products/vsphere/compare


Ukázková konfigurace – jednoduché VMware HA + DR Primary Data Center Cluster Production

Per CPU licence

V M

VM

VM

VM

Web

Database + Print

Analytics

Integration

Non-Production

Other

VM

VM

VM

VM

VM

VM

VM

Base

Test

Train

Upgrade

DRS

vCenter

Others


VMware

VMware

VMware Host Servers

LAN SAN SAN Shared Storage

Backup Media Server

Async Mirror to DR (or Shadow)

SAN Tape Library or Deduplication Solution

Standard • vMotion • HA • Hot add Enterprise • DRS • Storage APIs Enterprise + • I/O Control Operations Manager též… Kits


Benchmark Vmware - výsledky • • • •

HP DL980, 8 procesorů, 64 jader SLES11 SP1 x64 8 VM každý s 8 vCPU 2násobná zátěž proti běžnému provozu 8 vCPU VM = 16x celkem • Neměřitelný rozdíl ve výkonu v porovnání VMWare x holé železo Global References

vMotion

CPU % Utilization

Hot Add CPU


Konfigurace ESXi Host BIOS Fyzický server Použít nejnovější verzi BIOSu Ověřit zda existují Vmware specifická nastavení BIOSu pro daný server / CPU

Ne všechna výchozí nastavení BIOS jsou optimální pro virtualizaci


Konfigurace ESXi Host BIOS BIOS nastavení

Povolit

Poznámky

All cores

Ano

Ujistěte se, že BIOS je nastaven tak, aby povoloval použít všechny zabudované procesorové sokety a jádra v soketech

Turbo boost

Ano

Zvyšuje nebo snižuje takt procesoru k vyvážení výkonu a spotřeby, vypněte nastavení “green”, výkon bude řídit ESX

Hyper-threading

Ano

NUMA

Ano

Na Intel Xeon procesorech (5500 a vyšší) ESXi ví, že se jedná o logické jednotky a použije je správným způsobem Pokuste se používat především lokální pamět uzlu. Některé systémy s NUMA schopnostmi mají v BIOSu volbu pro zakázání NUMA povolením prokládání uzlů (rozložení mezi více uzlů) Ve většině případů získáte nejlepší výkon ponecháním NUMA v zapnutém stavu (tj. vypnutím prokládání uzlů)

Hardware assist

Ano

Ponechte hardwarově ovládané virtualizační vlastnosti (např. VT-x, EPT) povolené. Pomáhá to.

Disable unused devices

Ne

Vypněte na úrovni BIOSu všechna nepoužívaná zařízení (nepotřebné diskové mechaniky, porty, USB či síťové)

Power management

Ne

Ponechte řízení na OS. ESXi si s tím poradí.

64-bit

Ano

Je potřeba mít 64bitový OS.


Konfigurace Paměť Doporučení

Alokujte vyhrazenou paměť pro produkční systémy

Poznámky Při startu si Caché alokuje jeden spojitý kus sdílené paměti pro použití na databázovou keš (globálové buffery), rutinovou keš, haldu, žurnálové buffery a jiné řídící struktury. Abyste zamezili swapování jádra mezi ESXi a hostovaným OS nastavte vyhrazenou paměť nejméně na velikost sdílené paměti Caché plus paměť pro Caché procesy a služby OS a jádra.

Nezakazujte TPS, balloon driver nebo komprimaci

Správu paměti dělá nejlíp přímo VMware

Aplikujte stejná pravidla pro swapovací prostor jako pro fyzické prostředí

Hostovaný OS ve virtualizovaném prostředí tak jako tak potřebuje svůj swapovací prostor, Vmware doporučuje umístit jej do pracovního adresáře virtuálního stroje (soubor .vmx)

Vyhněte se alokování odkládací paměti (swap) na lokálních discích

Lokální swapovací prostor zpomaluje vMotion protože lokální swapovací stránky musí být nejprve přesunuty než může vMotion pokračovat s přesunem VM

Swapovací prostor nesmí být alokován dynamicky (thin provisioning)

Pokud je potřeba, musí být k dispozici okamžitě

Povolte velké stránky v hostovaných operačních systémech

ESXi povoluje velké stránky ve výchozím nastavení. Povolte velké stránky (large – huge pages) na hostovaném OS stejně jako by to bylo na fyzickém stroji.


Konfigurace CPU Doporučení

Poznámky

Nealokujte více CPU než je nutné minimum pro dostatečný výkon

Ačkoliv virtuální stroj umožňuje alokovat velký počet CPU, je dobré použít nejmenší možný počet CPU nutný pro bezpečný provoz aplikace, neboť správa nevyužitých CPU zabírá (byť malé) zdroje

Nealokujte zbytečně mnoho CPU na produkčních Pro produkční systémy platí 1 systémech, pouze pokud provádíte měření výkonnosti. Např. pomocí resxtop či esxtop utilit pro pravidelné fyzický CPU = 1 vCPU měření.

Povolte Hyper-threading

Za předpokladu, že hyper-threading již byl povolen na úrovni BIOSu ESXi serveru.


Konfigurace Uložiště Doporučení

Popis

Držte se doporučení výrobců uložišť pro rozložení databází na jejich polích

Použijte stejnou strategii jako v případě holého železa

Produkční uložiště může být rozděleno na úrovni pole na několik diskových skupin

Náhodný přístup pro produkční databáze Caché

Použijte sdílené uložiště kvůli výkonu a dostupnosti Caché

Buď direct-attach SAS uložiště pro menší instalace, nebo SAN uložiště (Fibre Channel nebo iSCSI) pro větší instalace.

iSCSI uložiště musí být podporováno příslušnými sítěmi

Nejméně 10Gb Ethernet a jumbo frames (MTU 9000) musí být podporovány všemi síťovými komponentami mezi serverem a uložištěm nepočítajíc ostatní provoz.

Sekvenční přístup pro zálohy a žurnály, také pro neprodukční uložiště jako test, trénink atd..

K tomu NIC adaptéry musí zahrnovat iSCSI TCP offload pro lepší výkon Použijte vícenásobné virtuální SCSI řadiče pro databázové virtuální stroje Mějte oddíly souborového systému srovnané

Vícenásobné SCSI řadiče dovolují paralelní výkonávání I/O operací uvnitř hostovaného OS Doporučuje se také oddělit I/O provoz žurnálů od I/O provozu databází prostřednictvím separátních SCSI řadičů VMFS diskové oddíly vytvořené pomocí vCenter jsou zarovnány na 64KB hranicích dle doporučení dodavatelů úložných a operačních systémů.

Používejte VMFS souborové systémy

VMware obecně kvůli jednodušší správě doporučuje VMFS, ale mohou nastat situace, kdy bude potřeba RDM.

Alokujte 25-30% dodatečné ukládací kapacity pro zamezení alarmů vCentra

Nutné pro snapshoty či zálohovací operace nebo výměny VM. Nedostatek místa může mít významné negativní dopady a ovlivnit výkonnost celého virtualizovaného prostředí

Produkční disky jsou nastaveny jako thick provisioned, eager zero

Výsledkem je lepší výkon při zápisu


Konfigurace Uložiště - pojmy VMFS Virtual Machine File Systém Vyvinut VMware, určen a optimalizován pro klastrovaná virtualizovaná prostředí (umožňuje čtení/zápisy z různých uzlů klastru VM soubory lze ukládat do jednoho adresáře – snažší údržba VMFS také podporuje infrastrukturní služby 1. vmdk jako vMotion, DRS a VMware HA. (OS) VMFS 5 (vSphere 5 a vyšší) má maximální velikost svazku 64 TB, nicméně pro Caché je lépe použít víceré VMFS svazky na separátních diskových skupinách kvůli oddělení I/O podle druhu provozu a k oddělení produkčního provozu od ostatního

VM TrakCare

VM LAB

VM TEST

VMFS Volume 2. vmdk (Data1)

7. vmdk (LAB)

4. vmdk (JNL)

Datastore1

5. vmdk (B/up)

Datastore2

6. vmdk (TEST)

Datastore3

LUN A Storage Array DAS or SAN

LUN D LUN B Disk Group A Random Access

LUN E

Disk Group B Sequential Access


Konfigurace Uložiště - pojmy RDM – Raw Device Mapping RDM umožňuje správu a přístup k nemapovaným (raw) SCSI diskům či LUN jako k VMFS souborům RDM je soubor na VMFS s funkcí proxy pro přímý přístup k zařízení RDM je k dispozici pouze na Fibre Channel nebo iSCSI řadičích

Raw Device Mapping (RDM) jsou typicky používány v následujících situacích: Failover Clustering (jediný podporovaný režim pro MSCS quorum disky) Pokud jsou používány snapshoty na bázi polí

RDM disky mapují jeden LUN na jeden VM, takže nad daným LUN je možno vytvořit pouze jeden VM


Konfigurace Síť Doporučení

Poznámky

Oddělte inftrastruktní provoz od VM provozu

Kvůli bezpečnosti a izolaci

Použijte NIC teaming

Kvůli dostupnosti a rozložení zátěže. K NIC teamingu dochází pokud je víceré uplinkové adaptéry svázány s jedním vSwitchem k vytvoření týmu

Využivejte výhod Network I/O Control

Ke sloučení síťového a úložného provozu na 10GbE. Network I/O Control umožňuje garantovat úrovně služeb (šířku pásma) pro jednotlivé typy vSphere komunikací:VM provoz, FT logování, iSCSI, NFS, správa, a vMotion. Toto je zvláště důležité v okamžiku vysokého zatížení sítě, například pro operaci vMotion.

Výchozí týmová politika musí být Load Based Teaming (LBT)

LBT dynamicky přeskupuje vazby portů, na základě zátěže, k efektivnímu využití šířky pásma, není to výchozí nastavení vSphere

Pokud možno, nepoužívejte výchozí síťový adaptér E1000

Kde to jen lze, používejte VMXNET3 síťový adaptér místo výchozího E1000. To je pouze částečně virualizované zařízení které funguje pouze, jsou-li na hostovaném OS instalovány VMware Tools.VMXNET3 adaptér je optimalizován pro virtuální prostředí a navržen pro poskytování vysoké propustnosti

Nakonfigurujte afinitní pravidla kvůli udržení virtuálních strojů na stejném vSwitchi


Konfigurace Ostatní Doporučení

Poznámky

Instalujte VMware tools

Povolí balonovou* správu paměti, lepší síťové ovladače, synchronizaci času a další výhody.

Aktualizujte VMware tools po každé aktualizaci ESXi

Musí být aktuální

Zakažte spořiče obrazovky (nejsou-li požadovány)

Spořiče obrazovky, animace, X-servery spotřebovávají prostředky CPU navíc, potenciálně ovlivňují míry konsolidace a výkonu ostatních virtuálních strojů

Dbejte aby všechny hostující stroje měly správný čas

Nastavte správný čas na VŠECH hostujících (fyzických) strojích. Na každém VM pak použijte volbu pro synchronizaci času nebo jiný nástroj jako NTP, ale nikoliv obojí najednou. Nastavte časovou službu aby se spouštěla spolu s hostujícím strojem.

DNS – přidejte soubor hosts na server vCenter

Umožňuje správu virtuálních strojů při výpadku DNS serveru

* Technika uvolňování nevyužité paměti


HA – vysoká dostupnost Ukázka hybridní architektury: Vmware HA + Cache Mirror VMotion/HA/DRS Mirror 1

VM

Mirror 2

VM

VM

VM

VM

VM


VMware

VM

Doporučená praxe

VMware

• Anti-afinitní pravidla pro členy mirroru • Izolované uložiště pro každý člen mirroru – oddělte diskové skupiny nebo pole

SAN

Datastore (A)

VM

Datastore (B)


Správa systému Zálohy Menší instalace – zálohování prostředky Caché (nejjednodušší) Větší instalace – dle licence Vmware – snapshoty na úrovni uložiště + Caché externí zálohy (freeze/thaw) Snapshot není záloha!

Šablony Vytvořte si (pro neprodukční prostředí) předinstalovaný a optimalizovaný VM a z něj šablonu

Monitorování výkonu vCenter nebo esxtop/resxtop utility pro monitorování výkonu ve virtualizovaném prostředí Pozor na čítače v rámci VM OS, mohou dávat jiná čísla než dává ESX (CPU, paměť)


Osvědčené postupy při konfiguraci virtualizovaných prostředí Symposium 2014

Osvědčené postupy při konfiguraci virtualizovaných prostředí. Symposium 2014

Recommend Documents