SPARC platform (T7/S7) alkalmazása adatbázis és alkalmazás virtuális környezetekben
HOUG 2017 Dr. Erdei Zsolt Oracle Solaris szakértő
2017. Március 29.
Agenda • Történeti áttekintés • Támogatott platformok – mai állapot • Oracle VM for SPARC dióhéjban • Támogatott klaszter topológiák • Megvalósítási lehetőségek • Klaszter az LDOM-ban, S7-2L • LDOM-ok klaszterezése, T7-2 • Redundáns Service Domains
Rövid történeti áttekintés I. – Sun Logical Domains • Logical Domains 1.0 (2007 április) • T1000/T2000
• Logical Domains 1.0.1 (2007 október) • Sun Blade T6320 support
• Logical Domains 1.0.3 (2008 május) • DVD boot support • Solaris Cluster a guest domain-ban
• Logical Domains 1.1 (2008 december)
• Guest Domain Migration bevezetése • Virtual Input/Output (I/O) dinamikus rekonfiguráció megjelenése
• Logical Domains 1.2 (2009 június)
• Physical-to-virtual migraciós-eszköz támogatás megjelenése
• Logical Domains 1.3 (2010 január)
• link-based IPMP • LDOM migráció gyorsítása memória-tömörítésel • 1Tb méret feletti diskről való boot-olás támogatása
Rövid történeti áttekintés II. – Oracle VM for SPARC • Oracle VM Server for SPARC 2.0 (2010 szeptember) • Oracle's SPARC T3 szerver támogatás • PCI Express (PCIe) direct I/O • virtual disk multipathing
• Oracle VM Server for SPARC 2.1 (2011 június) • • • •
Oracle's SPARC T4 támogatás Aktív domain-ok live migration támogatása Magasabb prioritású LDOM CPU-t vehet al az alacsonyabb prioritásútól DRM policy alapján Integrált kriptográfiai egység és virtuális CPU-k dinamikus rekonfigurációja
• Oracle VM Server for SPARC 2.2 (2012 május)
• PCIe Single Root I/O Virtualization támogatása • Cross-CPU migráció
• Oracle VM Server for SPARC 3.0 (2013 március) • Oracle's SPARC M5-32/T5/Fujitsu M10
• Oracle VM Server for SPARC 3.1 (2013 augusztus)
• SR-IOV dinamikus I/O virtualizáció támogatás fejlesztése • non-primary domain root domainként funkcionálhat • Jelentős hálózati teljesítmény növelés
Rövid történeti áttekintés III. – Oracle VM for SPARC • Oracle VM Server for SPARC 3.1.1 (2014 március) • Fibre Channel SR-IOV
• Oracle VM Server for SPARC 3.1.1.1 (2014 szeptember) • Guest domain-ok LDC végpontjai számának növelése
• Oracle VM Server for SPARC 3.1.1.2 (2014 december) • Maintenance update
• Oracle VM Server for SPARC 3.2 (2015 március) • LDOM migrációh biztonságának és performanciájának növelése
• Oracle VM Server for SPARC 3.3 (2015 október) • Virtual SCSI host bus adapter (vHBA) szolgáltatás, bármilyen SCSI device virtualizálására • Oracle VM Template parancsok megjelenése
• Oracle VM Server for SPARC 3.4 (2016 május) • SPARC S7 szerverek támogatása • Virtualis SCSI HBA szolgáltatáson I/O multipathing lehetőség a service domain-ban
Támogatott platformok • UltraSparc T2, T2+ szerverek • T5120, T6320, Netra T5220, T5140, T5240, Netra T5440
• SPARC T3 szerverek • T3-1,T3-2,T3-4,T3-1B, Netra T3-1/1B/1BA
• SPARC T4, T5 szerverek • T4-1/2/4/1B, Netra SPARC T4-1/2/1B, T5-1B/2/4/8
• SPARC M5, M6 szerverek • M5-32, M6-32
• Fujitsu M10 szerver • SPARC T7, M7, S7 szerverek • T7-1/2/4, M7-8/16, S7-2, S7-2L
Mai állapot M7/T7/S7 • M7 CPU • 32 SPARCv9 core/socket, 8*4 core-clusterbe szervezve • 8 thread/core, 256 thread/cpu (=VCPU) • 1 kriptográfiai gyorsító/core (AES, DES, SHA1, SHA2, RSA, stb)
• S7 CPU • 8 SPARCv9 core/socket • 8 thread/core, 64 thread/cpu (=VCPU) • 1 kriptográfiai gyorsító/core (AES, DES, SHA1, SHA2, RSA, stb)
• OVM 3.4.0.X, Solaris 11.3, Oracle Solaris Cluster 4.3 • Oracle® VM Server for SPARC 3.4.0.3 Supplemental Release Notes • Oracle Solaris Cluster 4 Compatibility Guide
Oracle VM for SPARC dióhéjban I. • Control domain: Ez a domain látja el a virtuális környezet menedzsmentjét, amit domain-ek konfigurálásához és erőforrások kezeléséhez használnak. Ez az első domain, ami elindul a rendszer indítás során, ez egy I/O domain és általában egy service domain is egyben. Control Domain-ból mindössze egy lehet. • I/O domain: Egy domain, ami a fizikai I/O eszközökhöz van hozzárendelve, ilyenek lehetnek: egy PCIe root complex, egy PCI eszköz, vagy egy SR-IOV (Single-Root I/O Virtualizáció) funkció. Az IO eszközöknek natív teljesítménye és funkcionalitása van, amiket birtokol. Ezeket az IO eszközöket nem közvetíti egy virtualizációs réteg sem. I/O domainból több is lehet. • Service domain: Egy domain, ami virtuális hálózatot és lemezeszközöket biztosít guest domaineknek. Több service domain is lehet, habár a gyakorlatban általában egy, vagy néha 2 vagy több van a redundancia miatt. Egy Service Domain mindig egy I/O domain, mert fizikai I/O erőforrásokat kell birtokolnia annak érdekében, hogy virtualizálni tudja őket a guest domaineknek. • Guest domain: Egy domain akinek az eszközei vagy virtuálisak vagy fizikaiak: a virtuális hálózat és lemez eszközöket egy vagy több Service domain biztosítja. Bevett gyakorlatban ezt a domain típust használják az alkalmazások futtatására. Guest domain-ből általában több van egy rendszerben.
Oracle VM for SPARC dióhéjban II.
Domain-ek általános kialakítása Diszkek virtualizációja Hálózat virtualizációja SR-IOV FC virtuaizáció
Támogatott klaszter topológiák Oracle VM for SPARC környezetben I.
Cluster in a Box Topology
Single Cluster Spans Two Different Hosts
Támogatott klaszter topológiák Oracle VM for SPARC környezetben II.
Clusters Span Two Different Hosts
Redundant I/O Domains
Megvalósítási lehetőségek - kezelendő kihívások • Fizikai hardveren sok, különböző rendelkezésre állású virtuális környezet lehet • Virtualizációs réteg karbantartása nehézkes lehet időablak hiányában • Minél magasabb redundancia kialakítására van szükség • Hardveres redundancia lehetőségei – szerverfüggőek! • Klaszter szoftver használatának megfontolása
Megvalósítások – Solaris verziók • Control, root, I/O és service domain • Solaris 11 (min: SRU 8)
• Guest • Solaris 10 1/13 (megfelelő kiegészítő patch-ekkel) • Solaris 11 SRU 8
• Javasolt mindenhol a legfrissebb Solaris 11.3 és OVM 3.4.0X
Klaszter az LDOM-ban, S7-2L – környezet leírása • 2db Oracle S7-2 gép
• 4db alaplapi network • 1db PCIe Dual network card • 2db PCIe Dual FC HBA
• Éles és nonprod környezetek mindkét gépen • Klaszter guest LDOM-okban, csak az éles alkalmazás a „cluster resource group” került kialakításra • Nem redundáns service domain kialakítás • Primary(control) domainban megvalósított funkciók • • • • •
Local diskek ZFS mirror-ban Guest LDOM OS diskeknek kiajánlott ZFS volume-ok local diszkekből SAN diskek multipath, alkalmazás diszkek Vdiskserver-rel lettek kialakítva Alkalmazás hálózat LACP megoldással és virtuális switch-el Cluster interconnect cross-kábel
Klaszter az LDOM-ban, S7-2L – sematikus ábra
Klaszter az LDOM-ban, S7-2L - értékelés • Előnyök • Költséghatékony • Klaszter és alkalmazás licensz csak gép(ek) egy részére kell
• Hátrány • „Infrastruktúra” redundancia alacsony • Karbantartások kivitelezése éles működést is befolyásolhatja • Probléma vagy karbantartás esetén számolni kell szolgáltatás-kieséssel
LDOM-ok klaszterezése, T7-2 – környezet leírása • Hardver: 2db T7-2
• 1024 GB RAM • 4db PCIe Dual FC HBA
• • • • • • • •
Éles és nonprod környezetek egyenletesen minden gépen Cluster control domainban – cluster resource group az LDOM Nincs live migration, klaszterátállás esetén számolni kell kieséssel LDOM-on belül zónák erőforrások optimálisabb kihasználása érdekében Tagged VLAN-ban cluster interconnect Tagged VLAN-okban a szükséges hálózatok Vdiskserver (LDC) diszkek SAN-ról bootoló Guest LDOM-ok
LDOM-ok klaszterezése, T7-2 – sematikus ábra
LDOM-ok klaszterezése, T7-2 - értékelés • Előnyök • Költséghatékony • Oracle RDBMS licensz csak ténylegesen allokált erőforrásokra
• Hátrány • • • •
„Infrastruktúra” redundancia nem teljes Karbantartások kivitelezése éles működést is befolyásolhatja DR forgatókönyvvel lehet karbantartásokat is elősegíteni Számolni kell szolgáltatás-kieséssel
Redundáns Service Domains – környezet leírása I. • Minimalizált szolgáltatás kiesés a karbantartási folyamatok esetében • Alkalmazott hardver: Oracle S7-2L szerverek • Alkalmazott szoftverek: • Oracle Real Applications Cluster • Weblogic cluster
• Prod, DR, non-prod környezetek virtualizációja • Redundáns service domain-ek és IO • Adatbázis esetén nagy IO-teljesítményigény – SR-IOV alkalmazása
Redundáns Service Domains – környezet leírása II. • Primary/control domain • • • •
LDOM vezérlés Alaplapi hálózat (nem szolgáltatás hálózat, pl. mentés) Boot SAN device-ról PCI Rootcomplex 1 • Szolgáltatás hálózat • SAN elérés
• Alternate service domain • Boot lokális diszkről • PCI Rootcomplex 2
• Szolgáltatás hálózat • SAN elérés
• Guest domainok
• Multipath a két service domainból kapott erőforrásokra
Redundáns Service Domains – sematikus ábrák
Redundáns Service Domains – értékelés • Problémák: • S7 szerveren nincs split backpane, mint T7-en, emiatt lokális disk-ek nem oszthatók service domainok között, így Primary Service domain SAN boot-ol • Lokális diskek és „USB net” különböző root komplexben • SRIOV disk service domain bootolásra nem használható (guest LDOM esetén igen) • Alaplapi hálózati kártyák lokális diszkekkel közös PCI root komplexben • Alternate service-domain alkalmazása esetén klaszter csak guest LDOM-ban lehet Solaris Cluster esetében (Veritas esetében nincs korlátozás)
Redundáns Service Domains – értékelés II. • Előnyök • • • •
Költséghatékony Oracle RDBMS licensz csak ténylegesen allokált erőforrásokra Redundáns infrastruktúra Rugalmasan módosítható erőforrás-kiosztás
• Hátrány • Kiesés esetén manuális beavatkozás kellhet átrendeződéshez, bár szolgáltatás – esetenként csökkent performanciával – de működőképes (nincs Solaris Cluster) • Bonyolult(-nak tűnő) struktúra
Hasznos linkek • What's up with Ldoms
• https://blogs.oracle.com/cmt/entry/what_s_up_with_ldoms
• Raghuram Kothakota's Weblog - Fibre Channel SR-IOV
• https://blogs.oracle.com/raghuram/entry/fibre_channel_sr_iov
• Availability Best Practices - Availability Using Multiple Service Domains
• https://blogs.oracle.com/jsavit/entry/availability_best_practices_availability_using
• Oracle VM Server for SPARC PCIe Direct I/O and SR-IOV Features (Doc ID 1325454.1) • Guest/IO domain using SRIOV or DIO - expected behaviour when rebooting RootIOdomain/Primary domain (Doc ID 1970596.1) • How to Create and Assign FC SR-IOV Virtual Functions (VFs) on an Emulex FC HBA (Doc ID 1999091.1)
Miért LDOM • A Solaris disztribúciónak része, nincs további licence igény • Az LDOM a legtöbb szoftver gyártó szerint licence határoló • Az LDOM és a Oracle Solaris Zones egymást kiegészítve flexibilis virtualizációs megoldást biztosít • A SPARC platformon a legmagasabb rendelkezésre állású virtuális környeztek építését teszi lehetővé
Kérdések
?
Köszönöm a figyelmet!
