O

LPAR a virtualizace na platformě IBM POWER4/5/6

Agenda LPAR a virtualizační technologie Přehled virtualizačních technologií Historie LPARů na platformě POWER Statické LPARy - POWER4 - technologie umožňující fungování OS v LPARovaném serveru POWER4 Hypervisor - pasivní VMM I/O

Micropartitioning - POWER5/6 POWER5/6 Hypervisor - aktivní Virtuální I/O

Porovnání s pojmy ze světa Intel virtualizace Full virtualization, paravirtualization, hardware-assist

Novinky a budoucnost POWER6 a dál Partition Mobility Real virtual memory, FC multiple N-port


Základní pojmy Co to je LPAR technologie a virtualizace LPAR a virtualizační technologie Přehled virtualizačních technologií Historie LPARů na platformě POWER Historie Vmware a XEN na platformě Intel


Definice pojmů LPAR a virtualizace LPAR = Logical Partition

Virtualizace HW

Jeden velký server je “rozparcelován” na několik oddělených jednotek, tz. “partitions”. Uvniř každého LPARu běží vlastní operační systém nezávislý na ostatních LPARech.

Fyzický HW je virtualizační mezivrstvou prezentován jako virtuální HW. Virtuální HW může mít jiné vlastnosti a množství než fyzický HW. Tím se zajišťuje bezpečné sdílení fyzického HW LPARy.

LPARy: LPAR1 AIX

LPAR2 LINUX

OS1 LPAR3 LINUX

LPAR4 AIX

OS2

OS3

OS4

Virtual HW resources

Virtual layer HW resources


Server Partitioning And Virtualization Approaches Hardware Partitioning

Apps

...

OS

Hypervisor type 1: LPAR

Apps

Apps

OS

OS

...

Hypervisor type 2: interlayer

Apps

Apps

OS

OS

...

Apps

Apps

OS

OS

Adjustable partitions

Partition Controller

...

Apps OS

Hypervisor Hypervisor

SMP Server

Hypervisor type 3: Hypervisor on top of host OS

SMP Server

Physical partitioning

Logical partitioning

IBM S/370, Sun Domains, HP nPartitions

Hypervisor controls HW allocation, LPARs access HW directly. IBM POWER4 IBM POWER5/6 for CPU,MEM, HP vPartitions Sun Logical Domains

Hypervisor SMP Server

Host OS SMP Server

Hypervisor software runs on a host operating system and Hypervisor provides user hosts’ device interlayer between drivers. LPARS and HW. VMware GSX, Workstation System z PR/SM and zVM Microsoft Virtual VMware ESX Server Server ScaleMP HP Integrity VM Win4Lin User Mode Linux Xen Open Source Hypervisor Virtual I/O in IBM POWER 5/6



IBM POWER: History of Virtualization 1967

1973

IBM develops hypervisor that would become VM on the mainframe

IBM announces first machines to do physical partitioning

1987 IBM announces LPAR on the mainframe

1997

2001

2004

POWER LPAR design begins

IBM introduces LPAR in POWER4™ based systems with AIX 5L™

POWER5 Advanced POWER™ Virtualization

POWER6 AIX 6 + WPARs

Virtual servers (LPARs) Dedicated resources Min LPAR size: 1 CPU Up to 32 LPARs Dynamic resizing I/O fencing Create on demand

POWER Hypervisor Min LPAR size: 0.1 CPU Virtual I/O Server Policy-based workload management (PLM) I/O resource sharing Excellent HW utilization

LPAR mobility Durable LPARs IVE Integrated Virtual Ethernet Adapter WPARs, WPAR mobility

2007

Live Partition Mobility IVE - HEA

Future: LPAR virtual memory Multiple Shared Pools Partition hibernation


Intel Virtualization: VMWARE and XEN


Statické LPARy - POWER4 – technologie umožňující fungování OS v LPARovaném serveru POWER4 Hypervisor - pasivní VMM I/O DLPAR - dynamická změna konfigurace


POWER4 - Logical Partitioning LPAR 1

LPAR 2

LPAR 3

LPAR 4

Processors

Memory I/O Slots

Flexibility to allocate resources depending on need


LPAR What is it? – LPAR = Logical Partition – Logical Partitioning - The allocation of system resources to create logically separate systems within the same physical footprint – System resources include: » Processors » Memory » I/O controllers and devices (PCI slots)


POWER ARCHITECTURE CPU1

MEM CTRL

I/O BRIDGE

CHIP PHYS MEMORY

MEM BANK0

PCI HOST BRIDGE

PCI TERMINAL BRIDGE

MEM BANK3

I/O ADAPTER

I/O ADAPTER

MEM BANK1

MEM BANK2

CPU0

CPU1

MEM CTRL

I/O BRIDGE

CHIP

CPU0

PCI TERMINAL BRIDGE PCI HOST BRIDGE

DIRECT I/O ADAPTER

TO OTHER TERMINAL BRIDGES

I/O ADAPTER

I/O ADAPTER

TO OTHER TO OTHER I/O MEMORY


POWER ARCHITECTURE + LPAR

MEM CTRL

I/O BRIDGE

CHIP

CPU1

PHYS MEMORY

MEM BANK0

PCI HOST BRIDGE

PCI TERMINAL BRIDGE

MEM BANK2

MEM BANK3

I/O ADAPTER

I/O ADAPTER

MEM BANK1 PCI TERMINAL BRIDGE PCI HOST BRIDGE

DIRECT I/O ADAPTER

TO OTHER TERMINAL BRIDGES

CPU0

CPU1

MEM CTRL

I/O BRIDGE

CHIP

LPAR

CPU0

I/O ADAPTER

I/O ADAPTER

TO OTHER TO OTHER I/O MEMORY


POWER4 (passive) Hypervisor Functions  The POWER4 Hypervisor firmware poskytuje tyto služby:  Alokační politika zdojů (CPU,MEM. I/O) – alokační tabulka  LPAR VMM – memory management, správa PFT pro LPARy  Poskytuje klon firmware pro LPARy + device tree  Bootuje LPARy Hypervisor je podporován HW  Správa I/O zařízení (TCE tabulky) – nová úroveň oprávnění  Služby LPARům (H_CALL) (mód) instrukce:  Virtuální terminál 4. (nejvyšší) Hypervisor 5. System (kernel)  Virtuální operátorský panel  Dynamická realokace zdrojů za běhu LPARů 6. User (uživatelské procesy) LPAR 1

LPAR 2

LPAR 3

LPAR 4

POWER Hypervisor System Hardware (memory, processors, devices)

 Security and isolation barriers  POWER Hypervisor independent of any OS


Rámce, stránky a segmenty

•

Fyzická pamět rozdělena na oblasti jednotné velikosti – rámce (frame) – – – –

• • •

4 kB standard 16 MB large (pinned) 64 kB medium (Power5+, Power 6) 16 GB huge (Power5+, Power 6)

Virtuální paměť definuje oblasti – stránky (page) - alokované paměti o stejné velikosti jako jsou hardwarem podporované velikosti rámce VMM (Virtual Memory Manager) alokuje stránky virtuální paměti do rámců fyzické paměti dle požadavků aplikací (procesů) Pamět procesu je organizována v rámci segmentů. Všechny stránky náležející danému segmentu jsou stejné velikosti a typu. Velikosti segmentu: – 256MB – 1 TB (Power5+ a Power6)

vsuvka: VMM slide 1


64 bitová efektivní, virtuální, fyzická a reálná adresa

vsuvka: VMM slide 2

•

efektivní adresa – 64 bit – tyto adresy používají procesy, skládá se z čísla segmentu, adresy stránky v rámci segmentu a adresy uvnitř stránky. Unikátní v rámci procesu.

•

virtuální adresa – 80 bit – efektivní adresa je přeložena VMM na virtuální adresu a VMM zajistí mapování virtuální adresy na fyzickou. Unikátní v rámci systému (LPARu).

•

fyzická adresa - 64bit (případně 62bit – dle implementace). Adresa ve fyzické paměti. Unikátní v rámci systému (LPARu).

•

reálná adresa = fyzická adresa. V některých případech kernel nepoužívá VMM pro mapování, ale adresuje paměť přímo.


64 bitová adresa - překlad 32-bit adresa

vsuvka: VMM slide 3


Adresní prostory

adresní prostor procesu - efektivní adresa segment

segment

segment

segment

segment

segment


segment

segment

segment

segment

segment

paging space


segment

segment

segment

segment

segment

file system

0

segment

segment

segment

stránka

0

stránka

fyzická paměť

vsuvka: VMM slide 4

0

virtuální paměť - virtuální adresa


Hypervisor managed VMM

PHYSICAl MEMORY

HYPERVISOR

Hypervisor má vlastní pamět, nepřístupnou pro LPARy. Překladové tabulky stránek (PTF) pro každý jednotlivý LPAR jsou spravovány Hypervisorem a jsou nepřístupné pro přímou modifikaci z LPARů. Nové registry: PTFR – ukazatel na PTF příslušnou LPARu RMO – Real Mode Memory offset Registry plní hypervisor před startem LPARu a jsou nepřístupné pro modifikaci z LPARu.

- FILLS REGISTERS – PFTR, RMO - MANAGES PFTs

REG TO MODIFY PFT

LPAR1 OS

HYP FILLS PFTR , RMO

PTF1

HYP MEM

PFT2

CPU0 PFTR RMO

CPU1 PFTR RMO

LPAR2 OS

CPU2 PFTR RMO

RMA

PAGE

RMA

PAGE

LPAR2 MEM

LPAR1 MEM


Hypervisor managed I/O access - DMA HYPERVISOR - FILLS LODMA, HIDMA IN PCI TERMINAL BRIDGES - MANAGES TCEs

REG TO MODIFY TCE

LPAR1 OS

TCE1 CPU0 HYP MEM PCI BUS

PAGE

CPU1 LOADS/ STORES I/O DATA LPAR2 OS

ADDDRESS TRANSLATION

LPAR1 MEM

DMA ADDRESSES

HIDMA PCI LODMA TERMINAL BRIDGE

CHECK

PAGE

DMA DATA

CPU2 LPAR2 MEM

PHYSICAL MEMORY

I/O ADAPTER


Agenda 2.4 Micropartitioning - POWER5/6 2.4.1 POWER5/6 Hypervisor - aktivní 2.4.2 Sdílené CPU 2.4.3 Virtuální I/O Vitruální Ethernet (interně) Virtuání I/O (externě) - Virtual I/O Server Ethernet bridge Virtuání SCSI


POWER5 - Virtualization Micro-partitioning Shared CPU, fraction of CPU power can be assigned to a partition. One “shared CPU pool”.

Virtual Ethernet

Dynamically resizable 2 2 2 CPUs CPUs CPUs

Virtual I/O paths

AIX 5L V 5.3

Virtual I/O Server

Storage sharing

AIX 5L V5.3

AIX 5L V5.3

AIX 5L V5.3

AIX 5L V5.2

Linux

Linux

Linux

Ethernet sharing

Virtual Ethernet VLAN compliant switch implements in Hypervisor. (firmware)

Micro-partitioning AIX 5L V5.3

Virtual I/O server partition

6 CPUs

Virtual I/O Server “Appliance” partition to provide Virtual Disk Storage and Ethernet Adapter Sharing for the POWER5 Advanced Virtualization environment. Not a general use partition – dedicated to I/O.

Shared Ethernet (Bridge)

Hypervisor

SAN Storage

Provides bridge between virtual and physical world.

HMC

Virtual SCSI physical J ay Kru emc ke IBM 20 0 3

Provides virtual access to storage (SCSI, FC, iSCSI).


POWER5 - Virtualization Micro-partitioning Shared CPU, fraction of CPU power can be assigned to a partition. One “shared CPU pool”.

Virtual Ethernet

Dynamically resizable 2 2 2 CPUs CPUs CPUs

Virtual I/O paths

AIX 5L V 5.3

Virtual I/O Server

Storage sharing

AIX 5L V5.3

AIX 5L V5.3

AIX 5L V5.3

AIX 5L V5.2

Linux

Linux

Linux

Ethernet sharing

Virtual Ethernet VLAN compliant switch implements in Hypervisor. (firmware)

Micro-partitioning AIX 5L V5.3

Virtual I/O server partition

6 CPUs

Virtual I/O Server “Appliance” partition to provide Virtual Disk Storage and Ethernet Adapter Sharing for the POWER5 Advanced Virtualization environment. Not a general use partition – dedicated to I/O.

Shared Ethernet (Bridge)

Hypervisor

SAN Storage

Provides bridge between virtual and physical world.

HMC

Virtual SCSI

NEW physical J ay Kru emc ke IBM 20 0 3

Provides virtual access to storage (SCSI, FC, iSCSI).


POWER5/6 (active) Hypervisor Functions  POWER5 aktivní Hypervisor firmware poskytuje navíc oproti POWER4 Hypervisoru tyto služby:  vyhodnocuje výkonnové statistiky LPARů  Na základě statistik a alokace řídí přidělování CPU – sdílení CPU je tzv. “time sliced”  Poskytuje virtuální I/O 

POWER4 Hypervisor firmware poskytuje tyto služby:  Alokační politika zdojů (CPU,MEM. I/ O) – alokační tabulka  LPAR VMM – memory management, správa PFT pro LPARy  Poskytuje klon firmware pro LPARy + device tree  Bootuje LPARy  Správa I/O zařízení (TCE tabulky)  Slušby LPARům (H_CALL)  Virtuální terminál  Virtuální operátorský panel  Dynamická realokace zdrojů za běhu LPARů

 Virtuální Ethernet  Virtuální SCSI

 Doručuje IRQ (cílový virtuální CPU nemusí vůbec být v dané chvíli příchodu IRQ aktivován)  Řídí Partition mobility (POWER6 pouze)  Běží jako samostatný “neviditelný” LPAR


POWER5 - Virtual I/O Server (VIOS) & Disk Virtualization Virtualization of SCSI disk drives • Both internal and external disk drives and LUNs can be virtualized • Both full disks and Logical Volumes can be served as virtual hdisks • Virtualized devices appear and are treated as hdisks at the client • I/O managed by IBM Hypervisor POWER5/6 server

VIOS* #1 SAN - RAID

Shared disk pool

AIX LVM

LPAR1 AIX 5.3

LPAR2 LINUX

lv1 lv0 Virtual & physical SCSI

vhost0 vhost1

hdisk0 vscsi0

POWER Hypervisor

hdisk1 vscsi1


POWER5 - Virtual I/O Server (VIOS) & Ethernet bridging VIOS Enables Bridging of Physical I/O Devices to Virtual I/O Devices Virtual I/O Server (VIOS) LPAR is required • No physical adapters required in non VIOS LPARs • Physical adapters in VIOS LPAR shared with non VIOS LPARs • Requires the Advanced POWER Virtualization Feature • I/O managed by IBM Hypervisor POWER5/6 server VIOS* #1 SEA Internal Device Physical Adapter

Logical adapter

LPAR1 AIX 5.3 Logical adapter

Logical adapter

POWER Hypervisor External Device

LPAR2 LINUX Logical adapter

Logical adapter

Hypervisor emulates 802.1Q-compliant virtual Ethernet switch

802.1Q (VLAN) Ethernet switch

POWER Hypervisor


Agenda Pojmy ze světa Intel virtualizace Full virtualization Paravirtualization Hardware-assist

Porovnání POWER versus Intel přístupů k virtualizaci


Intel (compatible) world virtualization terms Intel platform used to be “hard (impossible) to virtualize” – no support for third CPU mode - hypervisor mode. It is now available in newer CPU’s both from Intel and AMD.

Full virtualization Guest OS is fully abstracted (completely decoupled) from the underlying hardware by the virtualization layer. The guest OS is not aware it is being virtualized and requires no modification. VMware ESX uses Binary Translation to accomplish full virtualization (changes some code of hosted OS). The hypervisor translates all operating system instructions on the fly and caches the results for future use, while user level instructions run unmodified at native speed.

Paravirtualization (Assisted Virtualization) Involves modifying the OS kernel to replace privileged instructions with hypercalls that communicate with the virtualization layer - hypervisor. The hypervisor provides interfaces for critical kernel operations such as memory management, interrupt handling and time keeping. Xen uses paravirtualization that virtualizes the processor and memory using a modified Linux kernel and virtualizes the I/O using custom guest OS device drivers

Hardware Assisted Virtualization


POWER in Intel virtualization terms

POWER platform since POWER4 supports hardware assisted virtualization.

POWER 4/5/6 virtualization in Intel words could be described as: hardware assisted paravirtualization. • hardware assisted – there is support for hypervisor mode CPU instructions • paravirtulization´- LPAR OS’es use hypervisor calls for priviledged operations – thus OS’es need to be “LPAR aware”


POWER versus Intel virtualization approaches Hypervisor type 1: LPAR

Hypervisor type 2: interlayer

Apps

Apps

OS

OS

OS

drivers

drivers

Apps

...

...

Hypervisor type 3: Hypervisor on top of host OS

Apps

Apps

OS

OS

...

Apps

Apps

OS

OS

Hypervisor Hypervisor SMP Server

Hypervisor drivers SMP Server



Hypervisor controls HW allocation, LPARs access HW directly.

Hypervisor provides interlayer between LPARS and HW.

IBM POWER4 IBM POWER5/6 for CPU,MEM

VMware ESX Server

Hybrid mode – POWER5/6

Host OS drivers SMP Server

Hypervisor software runs on a host operating system and user hosts’ device drivers. VMware GSX, Workstation Microsoft Virtual Server Win4Lin User Mode Linux Xen Open Source Hypervisor

... VIOS

drivers

drivers Hypervisor

SMP Server

Logical partitioning + VIOS Hypervisor controls HW allocation, LPARs access HW directly or through VIOS.

IBM POWER5/6 for IO


Novinky a budoucnost POWER6 a dál Partition Mobility Real virtual memory FC multiple N-port


POWER6 - Partition Mobility Partition Mobility Benefits Zero downtime maintenance: Planned outages for hardware and firmware maintenance and upgrades can be avoided Much higher flexibility by redistributing multiple Workloads within servers Avoid impending failures by moving workloads to an alternate server. (Not a replacement for HA clusters!)

Active Partition Mobility  Active Partition Migration is the actual movement of a running LPAR from one physical machine to another without disrupting the operation of the OS and applications running in that LPAR.  Applicability  Workload consolidation (e.g. many to one)  Workload balancing (e.g. move to larger system)  Planned CEC outages for maintenance/upgrades  Impending CEC outages (e.g. hardware warning received)

Inactive Partition Mobility • Inactive Partition Migration transfers a partition that is logically ‘powered off’ (not running) from one system to another.


POWER6 – Partition Mobility Components MAC, IP address, storage takeover Memory copy

VASI

Mover

VASI

Mover

Takeover of MAC Address & IP Address. Re-mapping VSCSI devices.


POWER6 – possible future enhancements Durable LPARs Priorities to control which LPARs will survive possible HW failures in case of HW resource congestion.

Partition hibernation Will put to sleep a partition with all its running processes and memory.

Virtual Partition Memory – Real Virtual Memory pool of memory that can be shared by partitions. Over-commitment of physical memory with overflow going to a system paging disk – managed by VIOS.

Group Capping Group capping provides a mechanism to limit the capacity consumed by a group of partitions. Group capping provides a means for enforced licensing in an uncapped environment and customers do not overpay for software. NPIV Fibre Channel Adapters Multiple virtual FC adapters are defined on top of a physical FC adapter. Physical adapter appears as multiple virtual adapters to SAN / end-point device. Similar like IVE for Ethernet.


[email protected]

O

Recommend Documents