PLATFOREM V LINUXU FAKULTA INFORMANÍCH TECHNOLOGIÍ BRNO UNIVERSITY OF TECHNOLOGY FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF INTELLIGENT SYSTEMS

ˇ ´ UCEN Í TECHNICKE ´ V BRNE ˇ VYSOKE BRNO UNIVERSITY OF TECHNOLOGY

FAKULTA INFORMANÍCH TECHNOLOGIÍ ´ ´ U ˚ USTAV INTELIGENTNÍCH SYSTEM FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF INTELLIGENT SYSTEMS

ˇ ´ ÍCH TECHNIKY VIRTUALIZACE VYPO CETN PLATFOREM V LINUXU

´ RSK ˇ ´ PRACE ´ BAKALA E BACHELOR’S THESIS

´ AUTOR PRACE AUTHOR

BRNO 2008

ˇ Í ZUPKA ˇ JIR

ˇ Í TECHNICKE ´ V BRNE ˇ VYSOKE´ UCEN BRNO UNIVERSITY OF TECHNOLOGY

FAKULTA INFORMANÍCH TECHNOLOGIÍ ´ ´ U ˚ USTAV INTELIGENTNÍCH SYSTEM FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF INTELLIGENT SYSTEMS

ˇ ´ ÍCH TECHNIKY VIRTUALIZACE VYPO CETN PLATFOREM V LINUXU TECHNIQUES OF VIRTUALISATION OF COMPUTING PLATFORMS IN LINUX

´ RSK ˇ ´ PRACE ´ BAKALA E BACHELOR’S THESIS

´ AUTOR PRACE

ˇ Í ZUPKA ˇ JIR

AUTHOR

´ VEDOUCÍ PRACE SUPERVISOR

BRNO 2008

ˇ VOJNAR, Ph.D. ´S doc. Ing. TOMA

Abstrakt Práce testuje a porovn´ av´ a n´ astroje pro virtualizaci v´ ypoˇcetn´ıch platforem a vysvˇetluje pojmy d˚ uleˇzité pro pochopen´ı problematiky virtualizace. Jej´ım hlavn´ım pˇr´ınosem je srovn´ an´ı s pohledu v´ ykonnosti, efektivnosti, ˇskálovatelnosti a robustnosti virtualizaˇcn´ıch nástroj˚ u. Toto srovn´ an´ı m´ a pomoci firmˇe Red Hat rozhodnout, zda opustit XEN jako hlavn´ı virtualizaˇcn´ı n´ astroj v jejich distribuc´ıch a pˇrej´ıt na jin´ y novˇejˇs´ı, uˇzivatelsky pˇr´ıjemnˇejˇs´ı virtualizaˇcn´ı n´ astroj, jako je napˇr´ıklad KVM.

Kl´ıˇ cov´ a slova virtualizace, QEMU, KVM, XEN, VMware, XEN, VirtualBox, lmbench, ab, bonne++, netperf, pln´ a virtualizace, paravirtualizace, hybridn´ı virtualizace, hypervizor, chránˇen´ y reˇzim, migrace

Abstract The thesis tests and compares various existing virtualization tools for virtualization of computing platforms and explains important conceptions of virtualization technology. It’s main contribution is a performance, efficiency, scalability and robustness comparison of virtualization tools. This comparison should help the Red Hat company to make a decision whether they should leave XEN as a main virtualization tool in their distributions and move on to another newer and more user friendly virtualization tool like KVM.

Keywords virtualization, QEMU, KVM, XEN, VMware, XEN, VirtualBox, lmbench, ab, bonne++, netperf, full virtualization, paravirtualization, hybrid virtualization, hypervizor, protected mode, migration

Citace ˇ Jiˇr´ı Zupka: Techniky virtualizace v´ ypoˇcetn´ıch platforem v Linuxu, bakaláˇrské práce, Brno, FIT VUT v Brn, 2008

Techniky virtualizace v´ ypoˇ cetn´ıch platforem v Linuxu Prohl´ aˇ sen´ı Prohlaˇsuji, ˇze jsem tuto bakal´ aˇrskou práci vypracoval samostatnˇe pod veden´ım pana doc. Ing.,Tom´ aˇse Vojnara, Ph.D. ....................... ˇ Jiˇr´ı Zupka 14. kvˇetna 2008

Podˇ ekov´ an´ı T´ımto bych chtˇel podˇekovat mému vedouc´ımu doc. Ing,Tomáˇsi Vojnarovi, Ph.D. za veden´ı mé práce. D´ ale bych chtˇel podˇekovat panu Ing. Radkovi Vokálovi, kter´ y mi zprostˇredkovával kontakt s firmou Red Hat.

ˇ c Jiˇr´ı Zupka,

2008. Tato pr´ ace vznikla jako ˇskoln´ı d´ılo na Vysokém uˇcen´ı technickém v Brnˇe, Fakultˇe informan´ıch technologi´ı. Pr´ ace je chr´ anˇena autorským z´ akonem a jej´ı uˇzit´ı bez udˇelen´ı opr´ avnˇen´ı autorem je nez´ akonné, s výjimkou z´ akonem definovanch pˇr´ıpad˚ u.

Obsah ´ 1 Uvod 1.1 Virtualizace . . . . . . . . . . . . . 1.1.1 Proˇc virtualizaci vyuˇz´ıvat? 1.1.2 Pˇr´ınos pr´ ace . . . . . . . . 1.1.3 Struktura pr´ ace . . . . . . . 2 Virtualizaˇ cn´ı technologie 2.1 Dˇelen´ı virtualizaˇcn´ıch technik 2.1.1 Podpora virtualizace v 2.2 Dalˇs´ı d˚ uleˇzité pojmy . . . . . 2.2.1 Metody emulace . . . 2.2.2 Hypervizor . . . . . . 2.2.3 Chr´ anˇen´ y reˇzim . . . . ˇ 2.2.4 Sk´ alovatelnost . . . . 2.2.5 Robustnost . . . . . . 2.2.6 Migrace . . . . . . . . 2.2.7 Balloon driver . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

3 3 3 4 4

. . . . CPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

5 5 6 7 7 8 8 12 12 12 13

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

14 14 14 15 15 15 16 16 16 17 17 17 17 19 19 19 20 20 20 21

3 Testovan´ e virtualizaˇ cn´ı n´ astroje 3.1 QEMU . . . . . . . . . . . . . . 3.1.1 Virtualizaˇcn´ı technologie 3.1.2 Uˇzivatelské rozhran´ı . . ˇ alovatelnost . . . . . 3.1.3 Sk´ 3.1.4 Robustnost . . . . . . . 3.2 KVM – Kernel Virtual Machine 3.2.1 Virtualizaˇcn´ı technologie 3.2.2 Uˇzivatelské rozhran´ı . . ˇ alovatelnost . . . . . 3.2.3 Sk´ 3.2.4 Robustnost . . . . . . . 3.3 Xen . . . . . . . . . . . . . . . 3.3.1 Virtualizaˇcn´ı technologie 3.3.2 Uˇzivatelské rozhran´ı . . ˇ alovatelnost . . . . . 3.3.3 Sk´ 3.3.4 Robustnost . . . . . . . 3.4 VMware . . . . . . . . . . . . . 3.4.1 Virtualizaˇcn´ı technologie 3.4.2 Uˇzivatelské rozhran´ı . . ˇ alovatelnost . . . . . 3.4.3 Sk´

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . 1

3.5

3.4.4 Robustnost . . . . . . . VirtualBox . . . . . . . . . . . 3.5.1 Virtualizaˇcn´ı technologie 3.5.2 Uˇzivatelské rozhran´ı . . ˇ alovatelnost . . . . . 3.5.3 Sk´ 3.5.4 Robustnost . . . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

4 Metodika testov´ an´ı 4.1 Co testovat a jak testovat? . . . . . . 4.1.1 CPU . . . . . . . . . . . . . . . 4.1.2 IO operace a zat´ıˇzen´ı procesoru 4.1.3 Systém . . . . . . . . . . . . . 4.1.4 Komplexn´ı testy . . . . . . . . 4.1.5 Architektura procesor˚ u . . . . 4.2 Testovac´ı program . . . . . . . . . . . 4.2.1 Paraleln´ı bˇeh . . . . . . . . . . 4.2.2 Sériov´ y bˇeh . . . . . . . . . . . 4.2.3 V´ ystup programu . . . . . . . . 4.3 Spouˇstˇené benchmarky . . . . . . . . . 4.3.1 lmbench . . . . . . . . . . . . . 4.3.2 povray . . . . . . . . . . . . . . 4.3.3 bonnie++ . . . . . . . . . . . . 4.3.4 apache . . . . . . . . . . . . . . 4.3.5 MYSQL . . . . . . . . . . . . . 4.3.6 apache + MYSQL . . . . . . .

. . . . . .

. . . . . .

. . . . pˇri . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . . . . . . . . . . . . . . . . tˇechto operac´ıch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . .

. . . . . . . . . . . . . . . . .

. . . . . .

. . . . . . . . . . . . . . . . .

. . . . . .

. . . . . . . . . . . . . . . . .

. . . . . .

. . . . . . . . . . . . . . . . .

. . . . . .

. . . . . . . . . . . . . . . . .

. . . . . .

. . . . . . . . . . . . . . . . .

5 Testy virtualizaˇ cn´ıch n´ astroj˚ u 5.1 Porovn´ an´ı v´ ykonnosti a efektivity virtualizaˇcn´ıch nástroj˚ u . . . . . . . 5.1.1 S´ıt’ové operace . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1.2 Diskové operace . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1.3 Systémové microbenchmarky lmbench . . . . . . . . . . . . . . 5.1.4 Komplexn´ı testy . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1.5 Shrnut´ı porovn´ an´ı virtualizaˇcn´ıch nástroj˚ u. . . . . . . . . . . . 5.2 Porovn´ an´ı efektivity vyuˇzit´ı v´ yce procesor˚ u v smp . . . . . . . . . . . 5.2.1 Systémové microbenchmarky lmbench . . . . . . . . . . . . . . 5.2.2 Shrnut´ı test˚ u smp ve virtuáln´ıch systémech . . . . . . . . . . . 5.3 V´ ykon a efektivita provozu v´ıce virtuáln´ıch systém˚ u najednou . . . . . 5.3.1 S´ıt’ové operace . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.2 Systémové microbenchmarky lmbench . . . . . . . . . . . . . . 5.3.3 Komplexn´ı testy . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.4 Shrnut´ı v´ ysledk˚ u test˚ u virtualizace v´ıce virtuáln´ıch systém˚ u na nom fyzickém stroji . . . . . . . . . . . . . . . . . . . . . . . . 5.4 Porovn´ an´ı plné virtualizace a paravirtualizace u KVM . . . . . . . . . 5.4.1 V´ ysledky proveden´ ych test˚ u . . . . . . . . . . . . . . . . . . . . 5.5 N´ astroje potˇrebné pro proveden´ı vlastn´ıch test˚ u. . . . . . . . . . . . . 5.6 Ostatn´ı testy uvedené na internetu . . . . . . . . . . . . . . . . . . . . 6 Z´ avˇ er

. . . . . .

. . . . . . . . . . . . . . . . .

. . . . . .

. . . . . . . . . . . . . . . . .

. . . . . .

21 22 22 22 23 23

. . . . . . . . . . . . . . . . .

24 24 24 24 25 25 25 26 26 27 28 28 28 29 29 29 30 30

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . jed. . . . . . . . . . . . . . .

31 31 31 32 33 35 36 36 36 37 38 38 38 40 40 41 41 41 41 44

2

Kapitola 1

´ Uvod Tato bakal´ aˇrsk´ a pr´ ace se zamˇeˇruje na oblast virtualizaˇcn´ıch technologi´ı. C´ılem práce je shrnout, otestovat a vysvˇetlit dostupné virtualizaˇcn´ı nástroje v prostˇred´ı operaˇcn´ıho systému Linux.

1.1

Virtualizace

O co vlastnˇ e jde? Kdyˇz se ˇrekne slovo virtualizace, obecnˇe si pˇredstavujeme nˇeco neexistuj´ıc´ıho, co se vytv´ aˇr´ı umˇele napˇr. virtuáln´ı realita. V naˇsem pˇr´ıpadˇe nejde o virtualizaci reality, n´ ybrˇz jen poˇc´ıtaˇce, pˇr´ıpadnˇe jen ˇcásti nutné pro bˇeh operaˇcn´ıho systému.

1.1.1

Proˇ c virtualizaci vyuˇ z´ıvat?

Testov´ an´ı V´ yvoj´ aˇri ocen´ı moˇznost otestovat sv˚ uj software na jiném operaˇcn´ım systému bez nutnosti restartu fyzického poˇc´ıtaˇce. Pˇri v´ yvoji jádra je d´ıky virtuáln´ımu stroji moˇzné ladit chyby, které by se na re´ alném hardwaru hledaly opravdu obt´ıˇznˇe. Efektivita Poˇc´ıtaˇce a hlavnˇe servery v dneˇsn´ı dobˇe ˇcasto nejsou vyuˇz´ıvány efektivnˇe. D´ıky virtualizaci je moˇzné na serverech rozjet nˇekolik nezávisl´ ych systém˚ u, aniˇz by se navzájem podstatnˇe ovlivˇ novaly, a vyuˇz´ıt tak v´ ykon poˇc´ıtaˇc˚ u. Bezpeˇ cnost Virtualizace n´ am pˇrináˇs´ı i rozsáhlé moˇznosti zabezpeˇcen´ı. Pˇredstavme si situaci, kdy m´ ate napˇr. farmu webov´ ych server˚ u a chceme je zabezpeˇcit proti softwarovému u ´toku. Staˇc´ı n´ am vytvoˇrit virtu´ aln´ı server a nˇekolikrát ho spustit na fyzickém serveru a je to. Dojde-li k p´ adu jednoho virtuáln´ı serveru, nic se nedˇeje, ostatn´ı ho zastoup´ı. Mezit´ım se nˇejak´ ym trivi´ aln´ım zp˚ usobem oprav´ı zhroucen´ y virtuáln´ı server a klient nic nepozná. Pˇ renositelnost Dalˇs´ı podstatn´ y pˇr´ınos je pˇrenositelnost. Vytvoˇr´ıme poˇc´ıtaˇc, kter´ y poˇ skytuje sluˇzby v Ceské republice, poˇsleme ho pˇres p˚ ul svˇeta, kde ho spust´ı bez ohledu na nainstalovan´ y hardware a klienti aˇz na 1 menˇs´ı problém s DNS servery nic nepoznaj´ı. 1

Pˇri pˇresunu serveru pˇres cel´ y svˇet do jiné s´ıtˇe se mus´ı zajistit, aby DNS servery, pod které spad´ a pˇreklad DNS jména pˇresouvaného serveru, ukazovaly na poˇc´ıtaˇc, kam se virtu´ aln´ı server pˇresouval.

3

1.1.2

Pˇ r´ınos pr´ ace

V rámci této pr´ ace jsou shrnuty z´ akladn´ı pojmy t´ ykaj´ıc´ı se virtualizaˇcn´ıch technologi´ı. D´ ale jsou zde podrobnˇeji rozebr´ any vybrané virtualizaˇcn´ı nástroje jako je QEMU, KVM, VMware, Xen a VirtualBox. Virtualizaˇcn´ı nástroje byly porovnány podle kvality uˇzivatelského rozhran´ı, ˇsk´ alovatelnosti a robustnosti definované na základˇe konzultace s odborn´ıkem z firmy Red Hat. Pro uskuteˇcnˇen´ı test˚ u, které jsou souˇcást´ı zadán´ı, bylo nutné vyvinout testovac´ı n´ astroj, jehoˇz popis je taktéˇz souˇcást´ı této práce. V´ ysledky test˚ u virtualizaˇcn´ıch nástroj˚ u, jejich vysvˇetlen´ı a srovnán´ı jsou uvedeny v posledn´ı ˇcásti práce.

1.1.3

Struktura pr´ ace

V druhé kapitole pr´ ace je uvedeno rozdˇelen´ı typ˚ u virtualizaˇcn´ıch technik a jsou zde vysvˇetleny pojmy d˚ uleˇzité pro pochopen´ı test˚ u a virtualizace. Ve tˇret´ı ˇcásti jsou rozebrány vybrané virtualizaˇcn´ı n´ astroje na z´ akladˇe kritéri´ı uveden´ ych v zadán´ı a v pˇredchoz´ı ˇcásti kapitoly 1.1.2. Kapitola ˇc´ıslo ˇctyˇri se zab´ yvá metodikou testován´ı. Je zde uvedeno zamyˇslen´ı proˇc, co a jak´ ym zp˚ usobem testovat. Dále je zde popsán program, kter´ y bylo nutné vyvinout, pro testov´ an´ı paraleln´ıho bˇehu virtualizovan´ ych systém˚ u. V posledn´ı ˇcásti ˇctvrté kapitoly jsou rozebr´ any konkrétn´ı testovac´ı nástroje. Pˇredposledn´ı kapitola ˇc´ıslo pˇet obsahuje porovn´ an´ı vybran´ ych virtualizaˇcn´ıch nástroj˚ u. V dalˇs´ı ˇcásti páté kapitoly je moˇzné nalézt srovn´ an´ı efektivity vybraného virtualizaˇcn´ıho nástroje pˇri spuˇstˇen´ı virtualizovaného systému s r˚ uzn´ ym poˇctem procesor˚ u v smp (symmetric multiprocessing) reˇzimu. V posledn´ı ˇc´ asti kapitoly pˇet je uvedeno srovnán´ı efektivity spuˇstˇen´ı v´ıce virtuáln´ıch systém˚ u na jednom hostitelském systému. Posledn´ı kapitola ˇsest je závˇer práce.

4

Kapitola 2

Virtualizaˇ cn´ı technologie V této kapitole budou vysvˇetleny základn´ı pojmy t´ ykaj´ıc´ı se virtualizaˇcn´ıch nástroj˚ u a technologi´ı.

2.1

Dˇ elen´ı virtualizaˇ cn´ıch technik

Dˇelen´ı virtualizaˇcn´ıch technik je ˇcásteˇcnˇe pˇrejato z wikipedie [6] a doplnˇeno o novinky. Nˇekteré vyjmenované virtualizaˇcn´ı techniky je moˇzné navzájem kombinovat. Emulace Virtu´ aln´ı stroj simuluje cel´ y hardware, dovoluje bˇeh neupraveného OS hosta na zcela odliˇsném procesoru. Tento pˇr´ıstup je dlouho pouˇz´ıván za u ´ˇcelem tvorby softwaru pro procesory, které nejsou fyzicky dostupné. Pˇr´ıklady zahrnuj´ı Bochs, PearPC (verze Virtual PC pro PowerPC, QEMU bez akcelerace a emulátor Hercula. Emulace je implementována ˇsirokou ˇsk´ alou technik od stavov´ ych automat˚ u aˇz po dynamickou rekompilaci na plnˇe virtualizovan´ ych platform´ ach. Pln´ a virtualizace Virtu´ aln´ı stroj simuluje dostateˇcné mnoˇzstv´ı hardwaru tak, aby umoˇznil oddˇelen´ y bˇeh neupraveného OS hosta urˇceného pro stejn´ y druh CPU. Pro volán´ı privilegovan´ ych instrukc´ı, ke kter´ ym nemá virtualizovan´ y systém pˇr´ıstup, je vyuˇzita bud’ hardwarová virtualizace, nebo softwarové ˇreˇsen´ı v podán´ı dynamické rekompilace. Oba tyto pojmy jsou pops´ any a vysvˇetleny n´ıˇze v kapitole 2.2.3 a v kapitole 2.2.1. Obvykle je moˇzn´ y soubˇeh v´ıce instanc´ı. Tento pˇr´ıstup se objevil v roce 1966 u systému CP-40 a CP[-67]/CMS (pˇredch˚ udce rodiny VM od IBM). Pˇr´ıklady zahrnuj´ı VirtualBox, Virtual Iron, Virtual PC, VMware Workstation, VMware Server (dˇr´ıve znám jako GSX Server), VMware ESX Server, QEMU, Parallels Desktop, Adeos, Mac-On-Linux, Win4BSD, Win4Lin Pro a z/VM. Paravirtualizace Virtu´ aln´ı stroj nemus´ı nezbytnˇe simulovat hardware, ale m´ısto toho (nebo nav´ıc) nab´ız´ı zvl´ aˇstn´ı API, které m˚ uˇze b´ yt pouˇzito jen z upraveného virtualizovaného systému. Toto systémové volán´ı hypervizoru se naz´ yvá hypercall“ v Xenu, Parallel ” Worksations a Enomalism. Vol´ an´ı je implementováno hardwarovou instrukci DIAG ( di” agnose“) v CMS od IBM pod VM (kde se pojem hypervizor“ poprvé objevil). Pˇr´ıklady ” zahrnuj´ı Win4lin 9x, logické domény od Sunu a z/VM. Hybridn´ı virtualizace Jde o spojen´ı toho nejlepˇs´ıho z obou metod plné virtualizace a paravirtualizace. Pomoc´ı plné virtualizace je moˇzné na virtuáln´ım stoji spustit neupraven´ y 5

systém. Pomoc´ı paravirtualizace lze urychlit vybran´ y virtuáln´ı hardware, aby bylo doc´ıleno vˇetˇs´ı v´ ykonu a efektivity. Pˇr´ıkladem je KVM s rozhran´ım virtio. ˇ asteˇ C´ cn´ a virtualizace Virtu´ aln´ı stroj simuluje v´ıce instanc´ı mnoha (ale ne vˇsech) prostˇred´ı hardwaru, na kterém bˇeˇz´ı hostitel, pˇredevˇs´ım adresn´ıho prostoru. Takové prostˇred´ı podporuje sd´ılen´ı zdroj˚ u a izolaci proces˚ u, ale neum´ı oddˇelit instance OS host˚ u. Aˇckoliv obecnˇe nelze hovoˇrit o virtu´ aln´ım stroji, jedná se o v´ yznamn´ y pˇr´ıstup z historického hlediska. Byl pouˇzit u systém˚ u CTSS, pokusného IBM M44/44X a zˇrejmˇe i u VMS. (Mnoho dalˇs´ıch systému, jako Microsoft Windows nebo Linux a systémy ze zb´ yvaj´ıc´ıch kategori´ı n´ıˇze, pouˇz´ıvaj´ı tuto techniku.) Virtualizace na u ´ rovni operaˇ cn´ıho syst´ emu Virtualizuje se fyzick´ y server na u ´rovni OS, coˇz umoˇzn ˇuje bˇeh v´ıce izolovan´ ych bezpeˇcn´ ych virtuáln´ıch server˚ u na jednom fyzickém serveru. Prostˇred´ı OS hosta sd´ılej´ı jeden OS s hostitelsk´ ym systémem – tj. stejné jádro OS je pouˇzito pro implementaci OS hosta. Aplikace bˇeˇz´ıc´ı v prostˇred´ı hosta jej vˇsak vn´ımaj´ı jako samostatn´ y systém. Mezi pˇr´ıklady patˇr´ı Linux-VServer, Virtuozzo (pro Linux nebo Windows), OpenVZ, kontejnery Solarisu a FreeBSD Jail. Aplikaˇ cn´ı virtualizace Desktopové nebo serverové aplikace bˇeˇz´ıc´ı na daném stroji, pouˇz´ıvaj´ı m´ıstn´ı zdroje, ale bˇeˇz´ı ve zvláˇstn´ım virtuáln´ım stroji. To je rozd´ıl oproti tradiˇcn´ımu lokáln´ımu bˇehu nativn´ıch aplikac´ı, tj. softwaru nainstalovaném pˇr´ımo na systému. Takov´ a aplikace bˇeˇz´ı v malém virtu´ aln´ım prostˇred´ı obsahuj´ıc´ım komponenty nutné ke spuˇstˇen´ı napˇr. poloˇzky registr˚ u, soubory, promˇenné prostˇred´ı, prvky uˇzivatelského rozhran´ı a globáln´ı objekty. Toto virtu´ aln´ı prostˇred´ı se chová jako vrstva mezi aplikac´ı a operaˇcn´ım systémem, která zabraˇ nuje konflikt˚ um mezi aplikac´ı a OS nebo mezi aplikacemi vzájemnˇe. Pˇr´ıklady zahrnuj´ı Java Virtual Machine od Sunu Softricity, Thinstall, Altiris, Portable Apps a Trigence. (Tento druh virtualizace je zˇretelnˇe odliˇsn´ y od vˇsech pˇredeˇsl´ ych. Dˇel´ı je pouze tenk´ a hranice od virtu´ aln´ıch prostˇred´ı jako je Smalltalk, Forth, Tcl, P-kód a dalˇs´ı interpretované jazyky.) Hardwarov´ a virtualizace Hardware zajiˇst’uje podporu pro izolovan´ y bˇeh virtualizovan´ ych systém˚ u. Procesory firem Intel (Intel VT) a AMD (AMD-V) maj´ı implementovánu hardwarovou podporu virtualizace. Mezi virtualizaˇcn´ı nástroje vyuˇz´ıvaj´ıc´ı tuto podporu patˇr´ı KVM, VMware, Xen, VirtualBox.

2.1.1

Podpora virtualizace v CPU

U procesoru s architekturou x86 se poˇcátky podpory plné virtualizace datuj´ı asi od roku 2005 a 2006, kdy intel a pak i AMD uvedli na trh procesory s rozˇs´ıˇren´ım IVT (Intel) a AMD-V (AMD). V linuxu si m˚ uˇzeme jejich pˇr´ıtomnost zjistit v souboru /proc/cpuinfo. V tˇele souboru v sekci flags je identifikováno jako vmx pro Intel a svm u procesoru od AMD. Virtualizaci mus´ı podporovat i základn´ı deska, na které je procesor provozován. V dneˇsn´ı dobˇe by jiˇz kaˇzd´ a deska, kter´ a obsahuje chipsety vyvinuté v posledn´ıch nˇekolika letech, nemˇela m´ıt s podporou virtualizace problém.

6

Procesory podporuj´ıc´ı virtualizaci ˇ rady x86 Procesory AMD: • Athlon 64 stepping F a G • Athlon 64 X2 stepping F a G • Turion 64 Richmond • Turion 64 X2 vˇsechny • Opteron Santa Ana a novˇejˇs´ı • Phenom Zav´ ad´ı Nested Paging pro rychlejˇs´ı pˇrep´ınán´ı kontextu virtuáln´ıch stroj˚ u Procesory Intel: • Pentium 4 modely 662 a 672 • Core Duo aˇz na modely T2300E a T2050/T2150/T2250 • Core 2 Duo aˇz na T52x0,T530,T54x0,T5500,E2xx0,E4x00,E8190

2.2

Dalˇ s´ı d˚ uleˇ zit´ e pojmy

V této ˇc´ asti jsou pops´ any kl´ıˇcové pojmy, které umoˇzn´ı z´ıskat nad problémem virtualizace vˇetˇs´ı nadhled a usnadn´ı pochopen´ı test˚ u virtualizaˇcn´ıch nástroj˚ u.

2.2.1

Metody emulace

Dynamick´ a rekompilace jedná se o metodu virtualizaˇcn´ıch emulátor˚ u, d´ıky n´ıˇz jsou tyto emul´ atory schopny spouˇstˇet programy urˇcené pro jinou architekturu. Jak uˇz napov´ıd´ a název, jde o pˇreklad za chodu, kdy pomoc´ı disassembleru analyzuje kód spouˇstˇeného programu a instrukce, které neum´ı spustit nebo jsou ve virtuáln´ım prostˇred´ı zakázány, pˇrevede na instrukce patˇr´ıc´ı do architektury hostitelského procesoru. Kv˚ uli nároˇcnosti dynamické rekompilace se ˇcasto virtualizaˇcn´ı nástroje snaˇz´ı spouˇstˇet kód pˇr´ımo na hostitelském procesoru. V´ ysledek dynamické rekompilace uveden na obrázku 2.1.

7

Obr´ azek 2.1: V´ ysledek po uˇzit´ı disassembleru a dynamické rekompilaci Adaptivn´ı optimalizace Tato technika souvis´ı s pojmem dynamické rekompilace, kdy se pˇri rekompilaci jeˇstˇe optimalizuje kód, aby se vykonával efektivnˇeji. O ˇcemˇz se m˚ uˇzeme pˇresvˇedˇcit na obr´ azku 2.2.

Obr´ azek 2.2: V´ ysledek po adaptivn´ı optimalizaci

2.2.2

Hypervizor

Hypervizor je nˇeco jako minikernel, ker´ y zajiˇstuje IO operace pˇridˇelován´ı pamˇeti a veˇskerou komunikaci host˚ u (virtu´ aln´ıch stroj˚ u u xenu vˇcetnˇe hlavn´ıho kernelu Dom0).

2.2.3

Chr´ anˇ en´ y reˇ zim

Chránˇen´ y reˇzim je operaˇcn´ı m´ od procesor˚ u ˇrady x86 a kompatibiln´ıch. V tomto reˇzimu si kaˇzd´ y proces mysl´ı, ˇze m˚ uˇze pˇristupovat k celé operaˇcn´ı pamˇeti, u 32b v chránˇeném reˇzimu systém˚ u 4GB, aniˇz by byl omezov´ an jin´ ym procesem. Aby byla moˇznost kontrolovat procesy a zamezit jim v pˇr´ımém pˇr´ıstupu k hardwaru ˇci spouˇstˇen´ı instrukc´ı, které by ohroˇzovaly chod systému, byly zavedeny u ´rovnˇe oprávnˇen´ı, tvz. ringy. Spr´ ava pamˇ eti Správa pamˇeti je zajiˇstˇena pomoc´ı virtuáln´ı pamˇeti (virtual memory), proto se chránˇen´ y ’ reˇzim naz´ yv´ a taktéˇz Protected virtual address mode. Systém zajiˇst uje mapován´ı virtuáln´ı pamˇeti do fyzické pamˇeti. Aby mapován´ı virtuáln´ı pamˇeti na fyzickou fungovalo dost rychle, je virtu´ aln´ı pamˇet’ a fyzick´ a pamˇet’ rozdˇelena na stejnˇe velké stránky (segmenty o velikosti 8

4KB nebo vˇetˇs´ı v z´ avislosti na konkrétn´ı architektuˇre a systému). Tabulka namapovan´ ych 1 stránek sloˇzen´ a z deskriptor˚ u se ukládá na zaˇcátku fyzické operaˇcn´ı pamˇeti. Aby byla iluze pro spouˇstˇené programy dokonalá toto nestaˇcilo. Z d˚ uvodu omezen´ı velikosti fyzické pamˇeti pˇribylo ukl´ ad´ an´ı ˇc´ asti pamˇeti na disk tzv. Stránkován´ı(paging). Jestliˇze je fyzick´ a pamˇet’ pln´ a, str´ ankov´ an´ı zajist´ı uvolnˇen´ı ˇcásti fyzické pamˇeti uloˇzen´ım na pevn´ y disk. V´ ybˇer stránek, které se pˇresunou na disk se ˇcasto ˇreˇs´ı pomoc´ı algoritmu LRU (last recently use). V pˇr´ıpadˇe, ˇze jsou poˇzadov´ ana data, která jsou obsaˇzena ve stránce uloˇzené na disku, je vyvolána v´ yjimka. Pˇri této v´ yjimce systém zajist´ı naˇcten´ı stránky z disku. Jestliˇze jiˇz ve fyzické pamˇeti nen´ı dostatek m´ısta, uloˇz´ı se jiná stránka na disk a naˇcte se poˇzadovan´ a stránka z disku do pamˇeti. Celé schéma adresace je popsáno na obrázku 2.3.

Obr´ azek 2.3: Adresace pamˇeti v chránˇeném reˇzimu Aby se pˇreklad virtu´ aln´ıch adres na fyzické zrychlil, vznikla nová hardwarová jednotka v procesoru MMU (memory management unit), která zajiˇst’uje mapován´ı. Pro dalˇs´ı urychlen´ı vzniklo TLB (Translation Lookaside Buffer) tabulka deskriptor˚ u uloˇzená pˇr´ımo v procesoru, kde jsou uloˇzeny deskriptory na nejv´ıce pouˇz´ıvané stránky. Jenˇze pro virtualizaci toho nestaˇc´ı. Bylo nutné vytvoˇrit jeˇstˇe jednu vrstvu, která by virtualizovala fyzickou pamˇet’. Posloupnost adresován´ı je popsána na obrázku 2.4. Pamˇet’ do které se virtualizuje fyzick´ a pamˇet’ je moˇzné nazvat Strojová pamˇet’ (Machine Memory). Toto ˇreˇsen´ı bohuˇzel pˇrin´ aˇs´ı dvoji pˇreklad adres, coˇz znamená ztrátu v´ ykonu. Z tohoto d˚ uvodu se zavedl shadow page tables. Princip shadow page tables spoˇc´ıvá ve vytvoˇren´ı nové tabulky, kter´ a obsahuje mapovan´ı pˇr´ımo z Virtuáln´ı pamˇeti do Strojové pamˇeti. T´ımto zp˚ usobem je moˇzné se vyhnout jednomu pˇrekladu z fyzické na strojovou a znovu skoro dos´ ahnout v´ ykonu obyˇcejného chránˇeného reˇzimu. Jak to funguje je zobrazeno na obrázku 2.5.

1

Deskriptor je nˇeco jako ukazatel obohaceny o dalˇs´ı parametry,které jsou nutnˇe v chr´ anˇeném m´ odu.

9

Obr´ azek 2.4: Adresace pamˇeti v chránˇeném reˇzimu s podporou virtualizace

Obr´ azek 2.5: Adresace pamˇeti v chránˇeném reˇzimu s shadow page tables Nev´ yhody shadow page tables: • nutnost synchronizovat z´ aznamy v primárn´ı mapovac´ı tabulce a v shadow page tables, • virtualizaˇcn´ı software se mus´ı starat o správu shadow page tables, • u vSMP (virtual symmetric multiprocessing) je nutné udrˇzovat shadow page table pro kaˇzd´ y vCPU (virtual CPU), • problém pˇresouv´ an´ı proces˚ u mezi vSMP zahrnuje i nutnost pˇresunout shadow page tables. Tyto nev´ yhody se snaˇz´ı ˇreˇsit hardwarová podpora u procesor˚ u AMD Barcelona v podobˇe NPT (Nested/Extended Page Tables). MMU pˇrevád´ı Virtuáln´ı adresu na fyzickou a fyzickou adresu na strojovou pˇri plnˇen´ı TLB tabulky. Pro zv´ yˇsen´ı v´ ykonnosti NPT je dobré pouˇz´ıvat velké str´ anku (large/huge page). Zmenˇs´ı se t´ım poˇcet uloˇzen´ ych stránek v TLB. Nev´ yhoda velk´ ych str´ anek je menˇs´ı efektivita vyuˇzit´ı pamˇet’ového prostoru. Opr´ avnˇ en´ı pˇ r´ıstupu Oprávnˇen´ı pˇr´ıstupu se v chr´ anˇeném reˇzimu dˇel´ı do 4 u ´rovn´ı tzv. Ring 0 - 3, které zobrazuje obrázek 2.6. Ring s menˇs´ım poˇradov´ ym ˇc´ıslem má vˇzdy vˇetˇs´ı oprávnˇen´ı. To znamená ˇze 10

´ ring 0 m´ a nejvyˇsˇs´ı opr´ avnˇen´ı. Uroveˇ n oprávnˇen´ı urˇcuje jaké zdroje (pamˇet’, disky a jin´ y hardware) a do jaké u ´rovnˇe bude moci proces pˇristupovat. Pro pˇr´ıstup do u ´rovnˇe s vyˇsˇs´ım oprávnˇen´ım se pouˇz´ıv´ a speci´ aln´ı br´ any nebo vol´ an´ı.

Obr´ azek 2.6: Standardn´ı vyuˇzit´ı u ´rovn´ı oprávnˇen´ı Bohuˇzel systémy ˇcasto nevyuˇz´ıvaj´ı vˇsechny u ´rovnˇe oprávnˇen´ı, jak je vidˇet na obrázku. Téhle vlastnosti operaˇcn´ıch systém˚ u vyuˇz´ıvá paravirtualizace. U paravirtualizace se kernel pˇresune o u ´roveˇ n v´ yˇs do ˇcasto volného ringu 1. Hypervizor se zavede m´ısto p˚ uvodn´ıho kernelu do ringu 0. Tato situace je graficky znázornˇena na obrázku 2.7. T´ımto je zajiˇstˇeno, ˇze jádro nebude m´ıt pˇr´ım´ı pˇr´ıstup k hardwaru. Bohuˇzel kernel nen´ı (nebyl) standardnˇe uzp˚ usoben pro bˇeh v ringu 1. Proto se mus´ı jádro upravit, aby bylo schopno volat hypervizor pro pˇr´ıstup k hardwaru.

Obr´ azek 2.7: Vyuˇzit´ı u ´rovn´ı oprávnˇen´ı pˇri paravirtualizaci Pro plnou virtualizaci je potˇreba rozˇs´ıˇren´ı procesoru napˇr. AMD-V a Intel VT. Tyto rozˇs´ıˇren´ı vytvoˇr´ı Ring -1, ve kterém se spust´ı hypervizor a nad t´ımto hypervizorem je moˇzné spustit neupraven´ y systém, coˇz je ilustrováno na obrázku 2.8.

11

Obr´ azek 2.8: Vyuˇzit´ı u ´rovn´ı oprávnˇen´ı pˇri plné virtualizaci

2.2.4

ˇ alovatelnost Sk´

Pojem ˇsk´ alovatelnost se rozum´ı schopnost virtualizaˇcn´ıho nástroje reagovat na vzr˚ ustaj´ıc´ı nároky virtu´ aln´ıho stroje. Napˇr´ıklad moˇznosti v migraci na jiné fyzické stroje, pˇr´ıpadnˇe jiné virtualizaˇcn´ı n´ astroje, pˇrid´ aván´ı pamˇeti a procesor˚ u za chodu atd.

2.2.5

Robustnost

Jde o zhodnocen´ı celého ˇreˇsen´ı ze systémového pohledu. Jak se dan´ y virtualizaˇcn´ı nástroj chová, jaké jsou jeho moˇznosti nasazen´ı v reálném prostˇred´ı. Tato definice robustnosti byla sestavena na z´ akladˇe konzultace s odborn´ıkem na virtualizaci z firmy Red Hat.

2.2.6

Migrace

Migrace je pˇrenos aktu´ aln´ıho stavu virtualizovaného systému z jednoho virtuáln´ıho stroje na jin´ y. Stav virtu´ aln´ıho systému je obsah operaˇcn´ı pamˇeti plus nˇejaké drobnosti potˇrebné pro spr´ avnou inicializaci hardwaru virtuáln´ıho stroje, na kter´ y se virtuáln´ı systém migruje. Migrace se dˇel´ı na skupinu offline a skupinu live migration. Offline Pˇri Offline migraci se pˇren´ aˇsen´ y systém zastav´ı, jeho se stav uloˇz´ı na disk nebo jin´ ym zp˚ usobem pˇresune do nového virtuáln´ıho stroje. Po ukonˇcen´ı pˇrenosu, nebo naˇcten´ı stavu virtuáln´ıho systému, z disku se nov´ y virtuáln´ı stroj spust´ı. Nev´ yhoda tohoto zp˚ usobu migrace je nutnost odstavit virtualizovan´ y systém. Zástupcem offline migrace je KVM. Live migration Live migration je takzvan´ a migrace za ˇzivota (za plného vˇedom´ı). Jestliˇze virtualizaˇcn´ı nástroj podporuje tuto vymoˇzenost, je moˇzné za chodu pˇrenést bˇeˇz´ıc´ı systém, aniˇz by pˇripojen´ y klient nˇeco poznal (napˇr´ıklad u webového serveru). Napˇr´ıklad KVM umoˇzn ˇuje live migration. Migrace je ˇreˇsena pomoc´ı pˇrenosu pamˇeti pˇres s´ıt’ pomoc´ı protokol TCP a jiné. Migrovan´ y virtu´ aln´ı stroj mus´ı m´ıt identick´ y hardware jako c´ılov´ y stroj.

12

Uved’me nyn´ı pˇr´ıklad postupu migrace u KVM, ˇclenˇeny po jednotliv´ ych kroc´ıch migrace: 1. Nastaven´ı • Je nutné nastartovat systém, na kter´ y se má provést migrace, poté zapnout logov´ an´ı dirty page (neboli stránky pamˇeti zmˇenˇené od posledn´ı synchronizace) a dalˇs´ı. 2. Pˇresun pamˇet’i • Zdrojov´ y virtualizovan´ y systém je stále v provozu a klienti mohou pˇristupovat. • Nastav´ı se limitace pˇrenosu dat. • Pˇri prvn´ım pˇresunu se pˇrenese celá pamˇet’ virtuáln´ıho stroje. • Pˇresouvan´ y virtu´ aln´ı stroj loguje dirty page. v jeho systému a pˇresouvá zmˇeny do c´ılového virtu´ aln´ıho systému. 3. Zastaven´ı pˇresouvaného systému • Pˇri zastaven´ı se uloˇz´ı vˇsechny rozpracované soubory na pevn´ y disk, aby c´ılov´ y systém mˇel pˇr´ıstupn´ a vˇsechna potˇrebná data. 4. Pˇresun stavu virtu´ aln´ıho stroje • Pˇresun prob´ıh´ a bez limitace rychlosti. • Pˇresouvaj´ı se stavy virtuáln´ıho hardwaru a posledn´ı dirty pages. 5. Spuˇstˇen´ı c´ılového virtu´ aln´ıho systému • C´ılov´ y systém pomoc´ı s´ıt’ového rozhran´ı broadcastem oznám´ı, kde se nacház´ı.

2.2.7

Balloon driver

Pomoc´ı balloon driveru je moˇzné za chodu virtuáln´ıho stroje regulovat jeho zabranou fyzickou pamˇet’ virtu´ aln´ıho systému. Pˇridáván´ı pamˇeti pomoc´ı balloon driveru je hojnˇe pouˇz´ıvan´ a metoda. Vˇetˇsina n´ıˇze popisovan´ ych virtualizaˇcn´ıch nástroj˚ u tuto moˇznost podporuje. Driver se jmenuje balloon, protoˇze se ˇcasto pˇrirovnává k balónu (operaˇcn´ı pamˇeti hostitelského systému) a vzduchu v nˇem (zabrané operaˇcn´ı pamˇeti virtualizovan´ ych systém˚ u). Pˇri pˇretlaku je ho nutné vyfouknout a pˇri podtlaku do sebe nechá vstoupit vzduch bez odporu. Metoda spoˇc´ıv´ a v ovl´ ad´ an´ı pamˇet’ového managementu virtualizovan´ ych poˇc´ıtaˇc˚ u, aby bylo moˇzné co moˇzn´ a nejefektivnˇeji vyuˇz´ıt operaˇcn´ı pamˇet’ hostitelského systému, a t´ım urychlit bˇeh vˇsech virtualizovan´ ych klient˚ u. Do klient˚ u se nainstaluje tzv. balloon driver, kter´ y vytvoˇr´ı spojen´ı mezi hostitelsk´ ym systémem a virtualizovan´ ymi systémy. Tento kan´ al umoˇzn ˇuje hostitelskému systému poslat virtualizovan´ ym systém˚ um informaci o zaplnˇen´ı pamˇeti. V pˇr´ıpadˇe, ˇze je pamˇet’ prázdná, klient˚ um je dovoleno naˇc´ıst do pamˇeti swapované str´ anky, ale v pˇr´ıpadˇe pˇreplnˇen´ı pamˇeti, hostitelsk´ y systém klienty donut´ı odswapovat nepotˇrebn´ a data na klientsk´ y swapovac´ı disk.

13

Kapitola 3

Testovan´ e virtualizaˇ cn´ı n´ astroje V této kapitole budou pˇredstaveny testované virtualizaˇcn´ı nástroje. U kaˇzdého shrneme pouˇzité virtualizaˇcn´ı metody, robustnost, ˇskálovatelnost a moˇznosti uˇzivatelského rozhran´ı. V´ ykonnost virtualizaˇcn´ıch n´ astroj˚ u bude uvedena v kapitole 5, nazvané Testy virtualizaˇcn´ıch nástroj˚ u. 1. QEMU 2. KVM 3. Xen 4. VMware 5. VirtualBox

3.1

QEMU

QEMU [3] patˇr´ı do rodiny emulaˇcn´ıch virtualizaˇcn´ıch nástroj˚ u.

3.1.1

Virtualizaˇ cn´ı technologie

V porovn´ an´ı s ostatn´ımi emulaˇcn´ımi nástroji je QEMU rychl´ y. Pracuje na principu dynamického pˇrekladu instrukc´ı. Proto je jednoduˇse portovateln´ y na novou hostitelskou platformu a jednoduˇse se do nˇej implementuje podpora pro nové procesory (architektury). QEMU pracuje ve dvou reˇzimech: 1. Pln´ a emulace systému. V tomto reˇzimu QEMU plnˇe emuluje cel´ y systém napˇr. PC, vˇcetnˇe jednoho nebo v´ıce procesor˚ u a dalˇs´ıch potˇrebn´ ych periféri´ı. 2. Uˇzivatelsk´ y m´ od emulace. V tomto reˇzimu QEMU spust´ı proces kompilovan´ y pro jednu architekturu CPU na jiné architektuˇre CPU. Je moˇzné ho pouˇz´ıt pro spuˇstˇen´ı Windows API ve Wine a jiné. Z obr´ azku 3.1 je zˇrejmé, QEMU ˇze bˇeˇz´ı ˇcistˇe v uˇzivatelském reˇzimu. Z toho plyne, ˇze nepotˇrebuje ˇz´ adné jaderné ovladaˇce. D´ıky tˇemto vlastnostem je vhodn´ y pro testov´ an´ı softwaru pro nedostupné procesory. Nev´ yhoda tohoto pˇr´ıstupu plyne z jeho pomalosti.

14

Obr´ azek 3.1: Zaˇrazen´ı QEMU do systému Dosahuje pr˚ umˇernˇe 10%-20% v´ ykonu nativn´ıho stroje. Proto je pro virtualizaci server˚ u takˇrka nepouˇziteln´ y. Tuto nev´ yhodu se snaˇz´ı odstranit jaderné moduly kqemu a QVM86, ty umoˇzn ˇuj´ı instrukce odpov´ıdaj´ıc´ıho virtu´ aln´ıho CPU spouˇstˇet pˇr´ımo na hostitelském CPU napˇr. x86 guest na x86 host. Kqemu je vyuˇzit ve Win4Lin a QVM86 je uˇz´ıván ve VirtualBoxu. V´ ykon kqemu a QVM86 se bl´ıˇz´ı v´ ykonu reálného poˇc´ıtaˇce.

3.1.2

Uˇ zivatelsk´ e rozhran´ı

Co se t´ yˇce uˇzivatelského rozhran´ı se QEMU ˇrad´ı sp´ıˇse ke klasick´ ym linuxov´ ym program˚ um, kde je ovl´ ad´ an´ı ˇreˇseno pomoc´ı pˇr´ıkazové ˇrádky a grafické rozˇs´ıˇren´ı je necháno na nˇejak´ y frontend napˇr. Qemu Launcher. O grafick´ y v´ ystup virtuáln´ıho poˇc´ıtaˇce se stará bud’ VNC (Virtual Network Computing), nebo std-vga importovaná z Bochs. 1 VNC rozhran´ı se d´ as v´ yhodou pouˇz´ıt zobrazen´ı grafické plochy vzdáleného serveru.

3.1.3


ˇ alovatelnost ˇcistého QEMU bez akcelerac´ı nemá v´ Sk´ yznam rozeb´ırat, protoˇze QEMU je pomalé. I pˇresto QEMU umoˇzn ˇuje migraci. Podporuje jak offline tak live migraci. Upravené QEMU rozhran´ı pouˇz´ıv´ a KVM. Migrace je bl´ıˇze popsána v odstavci migrace 2.2.6.

3.1.4

Robustnost

Qemu je sp´ıˇse emul´ ator neˇz virtualizaˇcn´ı nástroj, proto je pˇr´ıliˇs pomal´ y na nasazen´ı v provozn´ım prostˇred´ı.

1

Neumoˇzn ˇuje pˇr´ıstup k virtu´ aln´ı stroji pomoc´ı vzd´ alené plochy ˇci pˇrepos´ıl´ an´ı X. Naproti tomu zajiˇst’uje vˇetˇs´ı rozliˇsen´ı.

15

3.2

KVM – Kernel Virtual Machine

Jiˇz z n´ azvu vypl´ yv´ a, ˇze jde o virtualizaci implementovanou pˇr´ımo v kernelu. Plné virtualizace dosahuje pomoc´ı hardwarové podpory AMD-V nebo INTEL-VT. KVM vyuˇz´ıvá jako rozhran´ı jemnˇe upraven´ y QEMU emulátor.

3.2.1


´ Uprava spoˇc´ıv´ a v moˇznosti pˇripojit QEMU emulátor na KVM rozhran´ı kernelu (jádra systému). V´ yhodou KVM v˚ uˇci QEMU je rychlost a oproti paravirtualizaci umoˇzn ˇuje bˇeh nemodifikovan´ ych systém˚ u Linux,Windows atd. Zaˇclenˇen´ı KVM do systému je zobrazeno na schématu 3.2.

Obr´ azek 3.2: Zaˇrazen´ı KVM do systému Obecnˇe plat´ı, ˇze emulace hardwaru nen´ı vˇzdy to pravé. D˚ usledkem emulace je ˇcasto velk´ a ztráta v´ ykonu. Proto KVM umoˇzn ˇuje i paravirtualizaci hardwaru pomoc´ı virtio popsaného na obr´ azku 3.3. Virtio jsou frontend moduly zabudované v jádˇre hosta, pomoci nichˇz se naváˇze pˇr´ımo na backend moduly hardwaru v jádˇre hostitele a t´ım znaˇcnˇe urychl´ı pr´ aci hardwaru. Nev´ yhoda tohoto pˇr´ıstupu spoˇc´ıvá v nutnosti nainstalovat do virtualizovaného systému spr´ avné ovladaˇce. D´ıky paravirtualizaci hardwaru se rychlost s´ıt’ového pˇrenosu z emulovan´ ych 361Mb/s vzroste na 805Mb/s paravirtualizovan´ ych a zpoˇzdˇen´ı klesne z 800µs na 300µs, coˇz je dobr´ y v´ ysledek.

3.2.2


Virtualizaˇcn´ı n´ astroj KVM lze ovládat z pˇr´ıkazové ˇrádky pˇres upravené QEMU rozhran´ı, nebo grafické rozhran´ı virtManageru. VirtManager je grafické rozhran´ı nad knihovnou libvirt, kter´ a zajiˇst’uje napojen´ı grafického rozhran´ı a ovládán´ı KVM. Qemu má v˚ uˇci virtManageru v´ yhodu detailnˇejˇs´ıho nastaven´ı. KVM spuˇstˇené pomoc´ı qemu pˇres sdl rozhran´ı, umoˇzn ˇuje pˇrepnut´ı do konzoly ovládaj´ıc´ı virtuáln´ı stroj. Ve virtuáln´ı konzole je moˇzné pˇristupovat k low-end nastaven´ım virtuáln´ıho stroje, od zastaven´ı pˇres pˇridáván´ı hardware za chodu aˇz po live migraci. 16

Obr´ azek 3.3: Zp˚ usob paravirtualizace zaˇr´ızen´ı v KVM. [1]

3.2.3


Co se t´ yˇce ˇsk´ alovatelnosti je na tom virtualizaˇcn´ı nástroj KVM dobˇre. Podporuje snapshoty, offline i live migraci, pˇridáván´ı a odeb´ırán´ı zaˇr´ızen´ı za chodu a jiné. V novˇejˇs´ıch verz´ıch, pˇresnˇeji od verze 62, um´ı KVM za chodu pˇridávat ˇci odeb´ırat procesory pˇridˇelené virtuáln´ımu systému. Pˇrid´ av´ an´ı pamˇeti a odeb´ırán´ı pamˇeti je ˇreˇseno pomoc´ı balloon driver, kter´ y je pops´ an v kapitole 2.2.7. Postup migrace je popsán u definice pojmu migrace 2.2.6

3.2.4

Robustnost

Z pohledu robustnosti si KVM také nevede ˇspatnˇe. Sice jeho uˇzivatelské rozhran´ı pˇr´ıvˇetivost´ı neopl´ yv´ a, ale pro zbˇehlé linuxové uˇzivatele to nebude pˇredstavovat ˇzádn´ y problém. KVM je integrov´ ano pˇr´ımo do kaˇzdého novˇejˇs´ıho kernelu (od verze 2.6.20), takˇze jeho pouˇzit´ı je bezproblémové. Na rozd´ıl od Xenu takˇrka ˇzádn´ ym zp˚ usobem neovlivˇ nuje bˇeh norm´ aln´ıho operaˇcn´ıho systému, coˇz je hlavnˇe pro obyˇcejné uˇzivatele obrovská v´ yhoda. Grafické rozhran´ı KVM lze tunelovat pˇres SSH X nebo pˇr´ımo pomoc´ı VNC. KVM je z pohledu uˇzivatele velice pˇr´ıjemn´ y virtualizaˇcn´ı nástroj, je zadarmo a jak jiˇz bylo ˇreˇceno takˇrka neovlivˇ nuje chod hostitelského systému. Pro firemn´ı vyuˇzit´ı je tento nástroj asi jeˇstˇe moc mlad´ y, i kdyˇz s trochou dobré v˚ ule by mohl nahradit témˇeˇr jak´ ykoliv z testovan´ ych virtualizaˇcn´ıch n´ astroj˚ u.

3.3

Xen

Jedná se o virtualizaˇcn´ı n´ astroj zaloˇzen´ y na paravirtualizaci, d´ıky ˇcemuˇz z´ıskal velk´ y v´ ykon za cenu u ´pravy virtualizovaného systému.

3.3.1


S pˇr´ıchodem podpory virtualizace pomoc´ı instrukc´ı procesoru i Xen umoˇzn ˇuje plnou virtualizaci. Diky tomuto rozˇs´ıˇren´ı je moˇzné na Xenu rozjet i Windows a jiné systémy bez nutnosti u ´pravy operaˇcn´ıho systému. Zaˇclenˇen´ı Xenu do operaˇcn´ıho systému je zobrazeno na obr´ azku 3.4

17

Obr´ azek 3.4: Zaˇrazen´ı virtualizaˇcn´ıho nástroje Xen do systému V paravirtualizaˇ cn´ım reˇzimu se hypervizor zavede do tvz. ringu 0, kde by mˇel b´ yt normálnˇe zaveden kernel. Kernel systému se pak zavede do vyˇsˇs´ıho ringu 1. D´ıky tomuto se kernel mus´ı pro pˇr´ıstup k hardwaru dotazovat hypervizor. Protoˇze, klasick´ y kernel nen´ı na dotazy vybaven mus´ı se pˇredem upravit. Kernel a pod n´ım spuˇstˇené aplikace se naz´ yvaj´ı domain. Grafick´ y popis paravirtualizace v podán´ı Xenu je zobrazen na obrázku 3.5

Obr´ azek 3.5: Um´ıstˇen´ı Xenu ve vrstvách chránˇeného reˇzimu pˇri paravirtualizaci

V plnˇ e virtualizovan´ em reˇzimu, kdy je nutné zajistit bˇeh closesource klientu napˇr. Windows atd., se vyuˇzije hardwarové rozˇs´ıˇren´ı AMD-V ˇci Intel VT. Rozˇs´ıˇren´ı vytváˇr´ı tzv. ring -1. V tomto ringu se spust´ı hypervizor, kter´ y m˚ uˇze jednoduˇse odchytávat poˇzadavky nemodifikovan´ ych systém˚ u. Nemodifikované systémy bˇeˇz´ı klasicky od ringu 0 do ringu 3, 18

jak je zobrazeno na obr´ azku 2.8 Domain0 je hlavn´ı doména, která jako jediná má pˇr´ıstup pˇr´ımo k fyzickému zaˇr´ızen´ı i pˇresto mus´ı b´ yt upraven´ a. V domain0 se nav´ıc spouˇst´ı xen daemon (xend). Tento démon umoˇzn ˇuje ovl´ ad´ an´ı samotného xenu (hypervizoru) napˇr. nastavován´ı mnoˇzstv´ı pamˇeti pˇridˇelené klient˚ um aj. Ostatn´ı dom´ eny DomainU jsou virtuáln´ı poˇc´ıtaˇce. Od verze 3.0 Xen umoˇzn ˇuje i plnou virtualizaci pomoc´ı virtualizace hardwaru pˇrevzaté z QEMU. Pro plnou virtualizaci je nutné m´ıt podporu pomoc´ı procesoru.

3.3.2


Xen m´ a stejnˇe jako KVM hlavn´ı rozhran´ı realizováno pomoc´ı pˇr´ıkazové ˇrádky a virtManageru popˇr´ıpadˇe dalˇs´ıch rozhran´ı. Vzdálen´ y pˇr´ıstup k virtuáln´ım systém˚ um je realizov´ an pomoc´ı VNC, bohuˇzel ne v pˇr´ıliˇs povedené formˇe. Po instalaci systému je v´ yhodnˇejˇs´ı pˇrej´ıt na vzd´ alenou spr´ avu realizovanou pomoc´ı nainstalovaného systému.

3.3.3


V oblasti ˇsk´ alovatelnosti se Xen opravdu nenechá zahanbit. Umoˇzn ˇuje migraci offline i live migraci. V pˇr´ıpadˇe nutnosti je bez problém˚ u moˇzné mˇenit poˇcet pˇridˇelen´ ych procesor˚ u i velikost pˇridˇelené pamˇeti. Vytv´ aˇren´ı a práce se snapshoty je skoro samozˇrejmost´ı.

3.3.4

Robustnost

V pˇr´ıpadˇe ˇze nevlastn´ıme nˇejakou enterprise verzi je Xen stejnˇe jako KVM uˇzivatelsky ménˇe pˇr´ıvˇetiv´ y. Podstatn´ a nev´ yhoda Xenu je v nutnosti instalovat a spouˇstˇet i hostitelsk´ y systém pod hypervizorem. To pˇrináˇs´ı ˇradu nev´ yhod i pˇr´ıjemn´ ych vlastnost´ı. Mezi základn´ı nev´ yhody patˇr´ı ˇcast´ a nekompatibilita ovladaˇc˚ u hardwaru s Xen domain0. Protoˇze ovladˇce Xenu typu domain0 nejsou pˇr´ımo obsaˇzeny v kernelu, je nutné pro hostitelsk´ y systém pouˇz´ıvat pouze kernel pro kter´ y byl vydán patch. V´ yhodou ovlivnˇen´ı celého hostitelského systému je moˇznost zamaskovat pˇred reáln´ ym systémem fyzické zaˇr´ızen´ı a poté ho pˇr´ımo namapovat do virtu´ aln´ıho systému. Pro nasazen´ı do ostrého provozu je Xen vybaven vˇs´ım potˇrebn´ ym, a proto je ho moˇzné doporuˇcit hlavnˇe pro firemn´ıho aplikace. Pro normáln´ı uˇzivatelé je Xen sp´ıˇse pˇr´ıtˇeˇz´ı neˇz uˇziteˇcn´ y virtualizaˇcn´ı nástroj, a to hlavnˇe kv˚ uli ovlivnˇen´ı hostitelského systému.

19

3.4

VMware

Komerˇcn´ı sada virtualizaˇcn´ıch n´ astroj˚ u vyuˇz´ıvaj´ıc´ıch pro sv˚ uj bˇeh dynamick´ y pˇreklad a pˇr´ımé spouˇstˇen´ı k´ odu. Zahrnuje v sobˇe nástroje zamˇeˇrené pro v´ yvojáˇre, IT profesionály a bˇeˇzné uˇzivatele VMware Workstation, tak i pro servery VMware ESX Server. Dalˇs´ı informace je moˇzné nalézt na str´ ank´ ach firmy VMware [5].

3.4.1


VMware Workstation zajiˇst’uje jak plnou virtualizaci, tak experimentáln´ı podporu paravirtualizace pro linuxové systémy. Po instalaci VMware tools je moˇzné uˇz´ıvat interakci mezi hostitelsk´ ym systémem a virtu´ aln´ım strojem. Napˇr´ıklad copy/paste. Zaˇclenˇen´ı do systému je popsané na obr´ azku 3.6.

Obr´ azek 3.6: VMware workstation, server, player VMware ESX Server bˇeˇz´ı jako Bare-metal architektura, proto nepotˇrebuje pro sv˚ uj bˇeh hostitelsk´ y operaˇcn´ı systém, protoˇze VMware ESX Server je operaˇcn´ım systémem. Server obsahuje hypervizor, kter´ y zajiˇst’uje vysok´ y v´ ykon virtuáln´ıch stroj˚ u. Pro jeho instalaci je nutné m´ıt procesor, kter´ y podporuje plnou virtualizaci. Zaˇclenˇen´ı do systému je znázornˇeno na obr´ azku 3.7 VMware nab´ız´ı i dva volnˇe pouˇzitelné nástroje VMware Server a VMware Player. Volné nástroje jsou sice volnˇe ke staˇzen´ı, ale je to vykoupeno menˇs´ım v´ ykonem hlavnˇe v IO operac´ıch s diskem, s´ıt´ı atd. I pˇresto jsou velmi kvalitnˇe zpracované a na základn´ı práci a testován´ı postaˇcuj´ı.

3.4.2


Uˇzivatelské rozhran´ı je na rozd´ıl od pˇredeˇsl´ ych nástroj˚ u takˇrka dokonalé. Jen pomoc´ı klik´ an´ı ’ myˇsi je moˇzné udˇelat skoro cokoliv co virtualizaˇcn´ı nástroj umoˇzn ˇuje, at uˇz se jedn´ a o VMware Server, Player nebo Workstation zamˇeˇrené na uˇzivatele, nebo VMware ESX Server pro firmy. D´ ale podporuje rozˇs´ıˇren´ı pracovn´ı plochy virtuáln´ıho stroje o dalˇs´ı obrazovku.

20

Obr´ azek 3.7: VMware ESX server

3.4.3


Pokud uvaˇzujeme komerˇcn´ı verze, jakou je napˇr. VMware ESX Server, je na tom VMware se ˇskálovatelnost´ı v´ ybornˇe. Pro migrován´ı má speciáln´ı nástroj zvan´ y VMotion, kter´ y um´ı stejnˇe jako u jin´ ych virtualizaˇcn´ıch nástroj˚ u migrovat spuˇstˇen´ y virtuáln´ı systém on live. VMotion zajiˇst’uje migrov´ an´ı virtuáln´ıho stoje v pˇr´ıpadˇe, ˇze pevné disky virtualizovaného systému jsou pˇr´ıstupny ve vˇsech stroj´ıch u ´ˇcastn´ıc´ıch se migrace. Pro migraci disku m´ a VMware dalˇs´ı n´ astroj nazvan´ y VMFS (Virtual Machine File System), kter´ y takˇrka za bˇehu migruje pevné disky. Dalˇs´ı v tomto pˇr´ıpadˇe jsou snapshoty, které um´ı VMware pˇres pˇekné grafické menu spravovat. Pˇrid´ av´ an´ı a odeb´ırán´ı hardwaru za bˇehu je u VMwaru problém aspoˇ n v n´ astroj´ıch zamˇeˇren´ ych na uˇzivatele (VMware Workstation), ˇci volnˇe dostupn´ ych nástroj´ıch (VMware Server). Jediné, co je moˇzné mˇenit za bˇehu virtualizovaného systému (v VMware Wokrstation a Server) je pˇripojen´ı k vnˇejˇs´ı s´ıti a v´ ymˇenná zaˇr´ızen´ı.

3.4.4

Robustnost

VMware se d´ a povaˇzovat za velice robustn´ı a propracovan´ y nástroj. Pokud máte dostatek penˇez nen´ı problémem témˇeˇr ˇzádná administrativn´ı operace, jakou si vymysl´ıte. Pokud hovoˇr´ıme o VMwaru Workstation, nebo free verz´ıch, je instalace jednoduchá. Jedin´ y problém nastane v pˇr´ıpadˇe, ˇze máte novˇejˇs´ı kernel, do kterého nen´ı moˇzné pˇriloˇzené moduly nainstlovat. Tento problém ˇreˇs´ı patch tˇret´ı strany. Po instalaci témˇeˇr nepoznáte, ˇze se systém zmˇenil. VMware si pˇrid´ a nˇekolik driver˚ u a vˇetˇsinou podle voleb instalace vytvoˇr´ı ’ bridge a virtu´ aln´ı s´ıt ovou kartu, pˇres kterou pˇripojuje virtualizované systémy do hostitelského systému. Vzhledem k uveden´ ym skuteˇcnostem je moˇzné VMware doporuˇcit jak pro firemn´ı, tak soukromé uˇzit´ı. Ani jeden z nástroj˚ u by nemˇel zákazn´ıka zklamat. Jedin´ y problém je cena produkt˚ u od VMware. VMware sice nab´ız´ı free verze, ale ty jsou v´ ykonnostnˇe limitov´ any, jak bude ukázáno na testech.

21

3.5

VirtualBox

Virtualizaˇcn´ı n´ astroj s uˇzivatelsky pˇr´ıjemn´ ym rozhran´ım, zamˇeˇren´ y na bˇeˇzné uˇzivatele.

3.5.1


Virtualbox je zaloˇzen´ y na QEMU. Pro z´ıskán´ı rychlosti vycház´ı z upraveného jaderného modulu QVM86. Snaˇz´ı se spouˇstˇet vˇsechen kód pˇr´ımo na fyzickém procesoru a rekompilaci vyuˇz´ıv´ a jen ve v´ yjimeˇcn´ ych situac´ıch. Avˇsak rekompilace nen´ı nejvˇetˇs´ı problém, t´ım je mnoˇzstv´ı chyb generovan´ ych napˇr. pˇri pˇr´ıstupu k IO z ring 3 nebo spouˇstˇen´ı ring 0 aplikac´ı (kernel) v ring 1, kv˚ uli privilegovan´ ym instrukc´ım, které se v ringu 1 nedaj´ı spustit. V tˇechto pˇr´ıpadech mus´ı pˇrij´ıt na ˇradu emulace. K odstranˇen´ı tˇechto problém˚ u se pouˇz´ıvá Patch Ma” nager“ (PATM) a Code Scanning and Analysis Manager“ (CSAM). Pˇred spuˇstˇen´ım kódu ” standardnˇe bˇeˇz´ıc´ıho v ring 0 se nejprve provede rekurzivn´ı scan k vyhledán´ı problematick´ ych instrukc´ı a poté se nahrad´ı in-situ(bez potˇreby dalˇs´ı pamˇeti) skokem na hypervizor, kde je pˇripraven k´ od, kter´ y jiˇz chybu nevyvolá. Pˇri kaˇzdé chybˇe se zkouˇs´ı vytvoˇrit patch, aby se jiˇz pˇri dalˇs´ım vol´ an´ı ˇc´ asti k´ odu chyba neopakovala. Zaˇclenˇen´ı do systému je realizováno zp˚ usobem popsan´ ym na obr´ azku 3.8

Obrázek 3.8: VirtualBox

3.5.2


Virtualbox m´ a pˇekné a jednoduché klikac´ı uˇzivatelské rozhran´ı. I naprost´ y zaˇcáteˇcn´ık si spust´ı sv˚ uj virtu´ aln´ı systém. Protoˇze je virtualBox m´ıˇren na uˇzivatelské pouˇzit´ı, pˇricház´ı v tomto ohledu se zaj´ımav´ ymi vylepˇsen´ımi, jako je napˇr´ıklad bezeˇsv´ y mód. V bezeˇsvém módu se vˇse, aˇz na pozad´ı pracovn´ı plochy virtualizovaného systému, zobraz´ı na plochu hostitelského systému. To umoˇzn´ı m´ıt na jednom monitoru spuˇstˇené dva plnˇe funkˇcn´ı systémy bez toho, aby se v´ yraznˇe ovlivˇ novaly. Doporuˇcuji vyzkouˇset. Virtualbox má i ovládan´ı pˇr´ıkazovou ˇr´ adkou, pomoc´ı n´ıˇz jde dˇelat ˇrada vˇec´ı, které by v grafického rozhran´ı nebyly v˚ ubec moˇzné. Pro spouˇstˇen´ı virtuáln´ıho poˇc´ıtaˇce z jiného poˇc´ıtaˇce je vyuˇz´ıván RDP (Remote desktop protokol). RDP protokol je podporován ve Windows, Linuxech (rdesktop) a jin´ ych systémech. Pro vzd´ alen´ y pˇr´ıstup je RDP vhodnˇejˇs´ı neˇz VNC, protoˇze i pˇri menˇs´ım datovém toku jsou reakce na povely uˇzivatele takˇrka okamˇzité.

22

3.5.3


Vzhledem k zamˇeˇren´ı VirtualBox v ohledu ˇskálovatelnosti pˇr´ıliˇs nevyniká. Jedinou vymoˇzenost, kterou z´ıskal, je pr´ ace se snapshoty.

3.5.4

Robustnost

VirtualBox se vydal smˇerem uˇzivatelské pˇr´ıvˇetivosti a jednoduchosti pouˇz´ıván´ı. Pˇri instalaci si do j´ adra nainstaluje pouze jeden driver. Podstatnou nev´ yhodou je moˇznost virtualizovat jen x86 procesory a maximálnˇe 2GB pamˇeti. K virtualboxu je moˇzné pˇristupovat ze vzd´ aleného poˇc´ıtaˇce. Do firemn´ıho prostˇred´ı, kde je potˇreba spolehlivost a variabilita, bych virtualbox v ˇz´ adném pˇr´ıpadˇe nedoporuˇcoval. VirtualBox je ideáln´ı pro uˇzivatele, kteˇr´ı potˇrebuj´ı na svém poˇc´ıtaˇci nainstalovat dalˇs´ı operaˇcn´ı systém s pomˇernˇe rychlou odezvou a pokroˇcilejˇs´ımi grafick´ ymi funkcemi.

23

Kapitola 4

Metodika testov´ an´ı Na zaˇc´ atku kapitoly jsou rozebr´ any kategorie, ve kter´ ych budou virtualizaˇcn´ı nástroje testovány. D´ ale je zde pops´ an program vyvinut´ y pro testován´ı paraleln´ıho bˇehu virtuáln´ıch systém˚ u a pro usnadnˇen´ı samotného pr˚ ubˇehu testován´ı. V posledn´ı ˇcásti této kapitoly jsou popsány benchmarky vybrané pro testován´ı.

4.1

Co testovat a jak testovat?

Jak se rozhodnout, kter´ y virtualizaˇcn´ı nástroj je ten nejlepˇs´ı? Vzhledem k problém˚ um, napˇr´ıklad mal´ a efektivita a v´ ykon IO operac´ı, ˇci pˇreplnˇen´ı TLB tabulky a dalˇs´ıch, rozebran´ ych v kapitole 2.2.3, se pˇri virtualizaci zamˇeˇr´ıme právˇe na nˇe. Bohuˇzel ne vˇzdy tyto testy budou objektivn´ı v˚ uˇci re´ alnému nasazen´ı virtualizaˇcn´ıch systém˚ u. Nˇekdy se m˚ uˇze st´ at, ˇze virtualizaˇcn´ı n´ astroj v testech propadne, ale v reálném nasazen´ı bude ostatn´ı nástroje pˇrekon´ avat. Konkrétn´ı popis oblast´ı testován´ı bude následovat.

4.1.1

CPU

Efektivita zpracov´ an´ı k´ odu je pˇri virtualizaci jeden z hlavn´ıch faktor˚ u, i kdyˇz ne ve vˇsech pˇr´ıpadech. Napˇr´ıklad QEMU, kde je na u ´kor v´ ykonu moˇzno emulovat skoro jak´ ykoliv procesor. Testovat lze pomoc´ı operac´ı, které ˇrádnˇe zat´ıˇz´ı procesor, ale ostatn´ı ˇcásti virtuáln´ıho stroje zat´ıˇz´ı jen minim´ alnˇe. Pro tyto u ´ˇcely je dobré vyuˇz´ıt testy, které jsou volnˇe dostupné na internetu, napˇr´ıklad Povray. Povray sice nen´ı program urˇcen´ y pˇr´ımo pro testován´ı, ale obsahuje i testovac´ı m´ od.

4.1.2

IO operace a zat´ıˇ zen´ı procesoru pˇ ri tˇ echto operac´ıch

Dá se ˇr´ıct, ˇze kaˇzd´ y virtualizaˇcn´ı nástroj má IO operace ˇreˇsené jin´ ym zp˚ usobem, at’ uˇz se jedná o KVM ˇci VMware a jiné. Otázka zn´ı, jak mˇeˇrit efektivitu IO operac´ı. Pro tento u ´ˇcel byl v r´ amci této pr´ ace vyvinut testovac´ı nástroj, kter´ y umoˇzn ˇuje mˇeˇrit zat´ıˇzen´ı testovaného systému a z´ aroveˇ n zat´ıˇzen´ı systému, na kterém bˇeˇz´ı virtualizovan´ y systém. Testovac´ı nástroj je pops´ an v n´ asleduj´ıc´ı kapitole 4.2. Disk Pro bˇeh systému je nutné m´ıt i efektivn´ı pˇr´ıstup k dat˚ um. Bohuˇzel pˇri plné virtualizaci je nutné emulovat i hardware nutn´ y pro pˇr´ıstup k disku. Pro srovnán´ı zvol´ıme virtualizaˇcn´ı n´ astroj KVM, ve kterém nen´ı problém pˇrej´ıt mezi reˇzimem plné virtualizace a 24

paravirtualizace disk˚ u. Pro testován´ı pouˇzijeme virtualizaˇcn´ı nástroj bonnie++. Bonnie++ nám umoˇzn´ı otestovat sekvenˇcn´ı i náhodn´ y pˇr´ıstup k disku a souˇcasnˇe ukáˇze zat´ıˇzen´ı CPU pˇri testovac´ıch operac´ıch. Network Jestliˇze chceme vyuˇz´ıt virtuáln´ı stroj jako server napˇr. pro webové sluˇzby, bude nás zaj´ımat rychlost a efektivita s´ıt’ov´ ych zaˇr´ızen´ı. I v tomto pˇr´ıpadˇe pro ukázán´ı rozd´ılu mezi plnou virtualizac´ı a paravirtualizac´ı pouˇzijeme virtualizaˇcn´ı nástroj KVM. V KVM je zmˇena virtualizace s´ıt’ov´ ych zaˇr´ızen´ı jen otázkou u ´pravy startovac´ıho skriptu. Pro testov´ an´ı prostupnosti s´ıtˇe pouˇzijeme testovac´ı nástroj netperf. Grafika Bylo by kr´ asné, kdyby se dala na virtuáln´ıch stroj´ıch provozovat i 3D grafika. Je to sice moˇzné, ale zat´ım je to ˇreˇseno jen pomoc´ı VGML [4], které umoˇzn´ı podporu openGL ve verzi 1.5. Tato moˇznost je dostupná jen pro operaˇcn´ı systém Linux, FreeBSD, OpenSolaris, protoˇze je nutné vyuˇz´ıt speciáln´ı ovladaˇc v klientském i hostitelském systému. Tyto testy vynech´ ame, protoˇze problematika je teprve v poˇcátku v´ yvoje.

4.1.3

Syst´ em

Je sice dobré otestovat kaˇzdou ˇc´ ast systému zvláˇst’, ale nen´ı to dostaˇcuj´ıc´ı ˇreˇsen´ı. Z tohoto d˚ uvodu je nutné pˇristoupit i ke komplexn´ım test˚ um. Pro tento u ´ˇcel je ideáln´ı nástroj lmbench, kter´ y v sobˇe obsahuje ˇradu syntetick´ ych test˚ u. Napˇr´ıklad test lat ctx nástroj pro testován´ı doby nutné k pˇrepnut´ı kontextu a dalˇs´ı.

4.1.4

Komplexn´ı testy

Komplexn´ımi testy je moˇzné otestovat systém jako celek, to znamená pamˇet’ové operace, diskové operace, s´ıt’ové operace a v´ ykon ˇci efektivita zpracováván´ı kódu. Syntetické testy ˇ ˇcasto neukazuj´ı v´ ykon systému jako celku, ale jen jeho konkrétn´ıch ˇcást´ı. Casto se m˚ uˇze stát, ˇze systém m´ a po ˇc´ astech velk´ y v´ ykon, ale jakmile se spoj´ı v´ıce ˇcinnost´ı dohromady zaˇcne se hroutit. Pro tyto testy byly vybrány testy serveru Apache a MYSQL serveru pˇr´ıpadnˇe jejich kombinac´ı. Pˇri pouˇzit´ı Apache serveru je vyuˇzit procesor a pamˇet’, disk i s´ıt’ové rozhran´ı. MYSQL server zase zajist´ı zátˇeˇz disku, pamˇeti, procesoru. Zat´ıˇzen´ım obou tˇechto server˚ u najednou pomoc´ı benchmarku ab, kter´ y je standardnˇe obsaˇzen v instalaci apache serveru, bylo dosaˇzeno nejvˇetˇs´ıho reálného zat´ıˇzen´ı. Pˇres benchmark ab se dotazovalo na php str´ anku, kter´ a obsahovala php kód, pomoc´ı nˇehoˇz se pˇristupovalo na MYSQL server. Server MYSQL obsahuje s´ am o sobˇe také benchmark, kter´ y otestuje vˇsemoˇzné SQL operace, jako je vytv´ aˇren´ı a maz´ an´ı tabulek, záznam˚ u atd.

4.1.5

Architektura procesor˚ u

Chod virtualizovan´ ych systém˚ u nezávis´ı jen na virtualizaˇcn´ım nástroji, ale podstatnou mˇerou se o efektivitu virtualizace zasluhuje i architektura hardwaru, na kterém se virtualizace prov´ ad´ı. Procesory jako takové je obt´ıˇzné porovnat, proto je nutné otestovat v´ ykon systému jen relativnˇe. To znamená, zjistit v´ ykon reálného systému, na kterém je virtualizovan´ y systém spuˇstˇen. Pro zjiˇstˇen´ı v´ ykonu hostitelského systému byly pouˇzity stejné testy, jako pro zjiˇst’ov´ an´ı v´ ykonu virtualizovan´ ych systém˚ u.

25

4.2

Testovac´ı program

Testovac´ı program byl v r´ amci této práce navrˇzen za u ´ˇcelem testován´ı efektivity virtualizaˇcn´ıch n´ astroj˚ u. Je naprogramován ve skriptovac´ım jazyce Python. Zdrojové kódy je moˇzné nalézt na pˇriloˇzeném DVD v adresáˇri benchmark. Volbou Pythonu je zajiˇstˇena pˇrenositelnost a jednoduchost psan´ı kódu. Aplikace je navrˇzena jako Klient/Server. Komunikace je zajiˇstˇena pˇres TCP/IP spojen´ı. TCP/IP komunikace byla zvolena, protoˇze bylo nutné zajistit pˇrenositelnost i mezi virtualizaˇcn´ımi nástroji. Obˇe ˇcásti jsou ovládány pomoc´ı pˇr´ıkazové ˇr´ adky. Celé testov´ an´ı ˇr´ıd´ı serverov´ a strana, která obsahuje kontrolu potˇrebn´ ych program˚ u pro testován´ı, zad´ an´ı test˚ u a ˇr´ıd´ı poˇrad´ı provádˇen´ı test˚ u. Testy je moˇzné spustit sériovˇe, nebo paralelnˇe. Pro kaˇzdého klienta se vytvoˇr´ı samostatné vlákno. Pˇri spuˇstˇen´ı testu na klientovi se vytvoˇr´ı dalˇs´ı vl´ akno, které nezávisle na ˇcinnosti serveru monitoruje zat´ıˇzen´ı poˇc´ıtaˇce, na kterém bˇeˇz´ı server. Po ukonˇcen´ı testu klient poˇsle serveru v´ ystup z testu. V tuto chv´ıli server ukonˇc´ı monitorovac´ı vl´ akno a sejme v´ ystup. Pro kaˇzdého klienta se pro uklád´ an´ı v´ ysledk˚ u vytvoˇr´ı speci´ aln´ı soubor, jehoˇz jméno je urˇceno parametrem zadan´ ym pˇri spuˇstˇen´ı klientské ˇc´ asti programu.

Obr´ azek 4.1: Ukázka paraleln´ıho spuˇstˇen´ı benchmarku Jedin´ a podstatn´ a slabina testovac´ıho progamu je v urˇcen´ı zátˇeˇze hostitelského systému, kdy pˇri velice kr´ atk´ ych testech, v urˇcit´ ych pˇr´ıpadech neodpov´ıdá namˇeˇrená hodnota re´ alnému zat´ıˇzen´ı CPU.

4.2.1

Paraleln´ı bˇ eh

Pˇri paraleln´ım spuˇstˇen´ı server ˇceká na pˇripojen´ı zadaného poˇctu klient˚ u, aby byla zajiˇstˇena synchronizace test˚ u. To je uk´ az´ ano na obrázku 4.1. V pˇr´ıpadˇe, ˇze by nˇekter´ y z test˚ u byl spuˇstˇen na rychlejˇs´ım stroji, je zajiˇstˇena synchronizace zaˇcátk˚ u test˚ u na vˇsech testovan´ ych stroj´ıch. Paraleln´ı prov´ adˇen´ı test˚ u bylo navrˇzeno pro test zahlcen´ı hostitelského systému velk´ ym poˇctem virtu´ aln´ıch systém˚ u. Zahlcen´ı hostitelského systému je nutné pro zjiˇstˇen´ı

26

efektivity pˇrep´ınan´ı kontext˚ u virtuáln´ıch systém˚ u. Tento problém je popsán v odstavci správa pamˇeti 2.2.3.

4.2.2

S´ eriov´ y bˇ eh

Pˇr´ı sériovém spuˇstˇen´ı serveru se na server m˚ uˇze pˇripojit urˇcené mnoˇzstv´ı klient˚ u a server je postupnˇe odstartuje. Uk´ azka sériovˇe spuˇstˇeného benchmarku je 4.2.

Obr´ azek 4.2: Ukázka sériového spuˇstˇen´ı benchmarku

27

4.2.3

V´ ystup programu

V´ ystup programu je ˇciteln´ y z obrázku 4.3. Obsahuje tyto ˇcásti: • pˇr´ıkaz, kter´ y byl posl´ an na klienta, • v´ ystup prov´ adˇeného benchmarku, • ˇcas a zat´ıˇzen´ı procesoru na stranˇe klienta, • informace i zat´ıˇzen´ı na stranˇe serveru.

Obr´ azek 4.3: Ukázka v´ ystupu z programu

4.3

Spouˇ stˇ en´ e benchmarky

V této kapitole bude rozebr´ an u ´ˇcel benchmarku volan´ ych z testovac´ıho programu popsaného v pˇredchoz´ı kapitole 4.2. Pro testován´ı byly vybrány volnˇe dostupné, ˇci integrované benchmarky, u kter´ ych nen´ı problém otestovat témˇeˇr jak´ ykoliv systém.

4.3.1

lmbench

Lmbench je komplexn´ı n´ astroj uzp˚ usoben´ y pro testován´ı základn´ıch systémov´ ych operac´ı a hardwaru. Skl´ ad´ a se ze série micro benchmark˚ u. Je zamˇeˇren´ y na tˇri základn´ı skupiny: latenci, pˇrenosové p´ asmo a ostatn´ı. Budou zde probrány benchmarky pouˇzité v testech. Dalˇs´ı podrobn´ y popis je moˇzné nalézt v manuálov´ ych stránkách nebo na internetu [2]. Latence Virtualizovan´ y systém m´ a mezi sebou a reáln´ ym svˇetem urˇcitou vrstvu softwaru, kter´ a ’ zajiˇst uje virtualizaci. Tato vrstva s nejvˇetˇs´ı pravdˇepodobnost´ı zp˚ usob´ı zpoˇzdˇen´ı. Z tohoto d˚ uvodu bude dobré toto zpoˇzdˇen´ı otestovat. Seznam pouˇzit´ ych benchmark˚ u je zde:

28

• lat ctx je benchmark testuj´ıc´ı zpoˇzdˇen´ı pˇri pˇrep´ınán´ı kontext˚ u. Jako vstupn´ı parametry pro spuˇstˇen´ı m´ a velikost a mnoˇzstv´ı proces˚ u, mezi nimiˇz se má pˇrep´ınat kontext. V´ ystup testu je uveden v mikrosekundách. • lat proc zjist´ı zpoˇzdˇen´ı v mikrosekundách pˇri vytváˇren´ı procedur a proces˚ u pomoc´ı fork a exec. • lat pagefault je benchmark vracej´ıc´ı ˇcas v mikrosekundách, kter´ y je tˇreba pro naˇcten´ı str´ anky pamˇeti odloˇzené pˇri swapován´ı na pevn´ y disk. pˇ renosov´ e p´ asmo U velk´ ych datov´ ych pˇrenos˚ u, které mus´ı ˇreˇsit procesor, m˚ uˇze doj´ıt k pˇret´ıˇzen´ı procesoru, nebo jiné kritické ˇc´ asti a zp˚ usobit omezen´ı datového toku. U virtualizace toto tvrzen´ı plat´ı dvojnásobnˇe, protoˇze pˇr´ıstup k hardwaru je ˇcasto jeˇstˇe odst´ınˇen softwarovou vrstvou. • bw mem je testovac´ı n´ astroj na testován´ı rychlosti pˇr´ıstupu k pamˇeti. V´ ystup je uveden v MB/s. • bw file rd je benchmark zjiˇst’uj´ıc´ı rychlost ˇcten´ı dat ze souborového systému v MB/s. • bw pipe je n´ astroj na zjiˇstˇen´ı rychlosti pˇrenosu pomoc´ı pipe, jehoˇz v´ ystup je uvádˇen v MB/s. Ostatn´ı Ostatn´ı benchmarky obsahuj´ı r˚ uzné nástroje, napˇr´ıklad náhradu za program dd (z operaˇcn´ıho systému linux) nazvanou lmdd.

4.3.2

povray

Povray je program prim´ arnˇe urˇcen´ y pro renderován´ı scén napˇr. pomoc´ı raytracingu a ostatn´ıch metod. Ale vzhledem k tomu, ˇze povray vyuˇz´ıvá procesor na 100% a ostatn´ı zdroje systému témˇeˇr nevyuˇz´ıv´ a, je to ideáln´ı nástroj pro testován´ı procesorového v´ ykonu v reálné zátˇeˇzi. Pro spuˇstˇen´ı povray v benchmark reˇzimu staˇc´ı pˇridat jako parametr –benchmark.

4.3.3

bonnie++

Bonnie++ je benchmark vyvinut´ y pro testován´ı rychlosti a efektivnosti diskov´ ych operac´ı. Zahrnuje v sobˇe sekvenˇcn´ı a n´ ahodné testy pro ˇcten´ı a zápis na disk. Tyto testy prov´ ad´ı po znac´ıch, po bloc´ıch a r˚ uzn´ ymi pˇrepisy. Dále otestuje rychlost vytváˇren´ı objektu ve filesystému.

4.3.4

apache

Apache byl zvolen, protoˇze je hojnˇe pouˇz´ıvan´ y webov´ y server a obsahuje integrovanou testovac´ı utilitu. Testovac´ı utilita se jmenuje ab. Utilita pracuje na principu kladen´ı dotaz˚ u na poˇzadovan´ y server. Apache je velice komplexn´ı server, proto i touto jednoduchou utilitou jde testovat velké mnoˇzstv´ı typ˚ u zátˇeˇze webového serveru. Pˇri samotném testován´ı je pak apache serverem moˇzné zat´ıˇzit s´ıt’ové, diskové a pamˇet’ové rozhran´ı, v neposedn´ı ˇradˇe i procesor. 29

4.3.5

MYSQL

MYSQL obsahuje utilitu na testován´ı zátˇeˇze SQL serveru. Tato utilita se naz´ yvá sql-bench. Nejedn´ a se ani tak o utilitu, ale sp´ıˇse o soubor benchmark˚ u zamˇeˇren´ ych na konkrétn´ı záleˇzitosti. Vzhledem k tomu, ˇze netestujeme MYSQL server jako takov´ y, n´ ybrˇz ho pouˇz´ıv´ ame jen jako test na v´ ykon celého systému, pro spuˇstˇen´ı pouˇzijeme obecnˇe nakonfigurovan´ y benchmark run-all-tests.

4.3.6

apache + MYSQL

Spojen´ım obou tˇechto server˚ u dostaneme test, kter´ y simuluje takˇrka reálné zat´ıˇzen´ı celého systému. Testov´ an´ı prob´ıh´ a opˇet pomoc´ı utility ab, kterou se dotazujeme apache serveru na php str´ anku, jejiˇz obsahem je dotaz na MYSQL databázi. V tomto pˇr´ıpadˇe uˇz jde o komplexn´ı test, kter´ y by mohl ukázat, jak na tom jsou virtualizaˇcn´ı nástroje v reálném prostˇred´ı.

30

Kapitola 5

Testy virtualizaˇ cn´ıch n´ astroj˚ u V této kapitole budou uvedeny v´ ysledky test˚ u popsané v pˇredeˇslé kapitole 4, provedené na virtualizaˇcn´ıch n´ astroj´ıch popsan´ ych v kapitole 3, jako je KVM verze 65, VirtualBox 1.56, VMware Server 1.0.5, Xen 3.1.0. V´ ysledky test˚ u jsou uvedeny vˇzdy od nejlepˇs´ıho na levé stranˇe aˇz po nejhorˇs´ı na stranˇe pravé.

5.1

Porovn´ an´ı v´ ykonnosti a efektivity virtualizaˇ cn´ıch n´ astroj˚ u

V této ˇc´ asti bude porovn´ an v´ ykon v´ yˇse popsan´ ych virtualizaˇcn´ıch nástroj˚ u. Bude zde srovnán´ı v´ ykonnosti v s´ıt’ov´ ych aplikac´ıch. Dále zde bude porovnán v´ ykon operac´ı souborového systému, konkrétnˇe sekvenˇcn´ı i náhodné ˇcten´ı a zápis. Virtualizaˇcn´ı nástroje zde budou srovn´ any i podle v´ ykonnosti celého systému. Pro tuto ˇcást testu budou pouˇzity testy provádˇené na procesoru Intel Xeon 2x1,6GHz. Pro testován´ı byl pouˇzit Linux, distribuce Fedora8, do kterého byl nainstalován kernel 2.6.25. Kernel 2.6.25 má plnˇe implementovan´ y nov´ y pl´ anovaˇc CFQ (Completely Fair Queuing) a integrovanou podporu virtio popsané v kapitole 3.2.1. Pro virtualizaˇcn´ı nástroj Xen bylo nutné pˇri paravirtualizaci pouˇz´ıt Kernel 2.6.21. V´ ysledky zat´ıˇzen´ı procesoru mohou pˇresáhnout 100%, to je zp˚ usobeno pouˇzit´ım dvou jádrového procesoru a programu vyhodnocuj´ıc´ıho zat´ıˇzen´ı procesoru, uvádˇeného jako souˇcet zat´ıˇzen´ı vˇsech procesor˚ u. I kdyˇz tento zp˚ usob vyjádˇren´ı m˚ uˇze ze zaˇcátku p˚ usobit zmateˇcnˇe, je z nˇej v´ıce patrné, kolik procesor˚ u se daného testu u ´ˇcastnilo.

5.1.1

S´ıt’ov´ e operace

V tˇechto testech je testov´ an pˇr´ıstup smˇerem od klientsk´ ych virtuáln´ıch stroj˚ u do hostitelského systému. Tento postup byl zvolen, protoˇze je mˇeˇren´ı nezávislé na ciz´ım provozu na s´ıti a ukazuje maxim´ aln´ı v´ ykon s´ıt’ového rozhran´ı. Pro kontrolu, zda hostitelsk´ y systém ’ neomezuje s´ıt ov´ y pˇrenos, byl vˇzdy ovˇeˇren i samotn´ y hostitelsk´ y systém. V tomto pˇr´ıpadˇe byl na hostitelském systému namˇeˇren tok 8195 Mb/s pˇri zat´ıˇzen´ı procesoru 102%. Z toho vypl´ yv´ a, ˇze prov´ adˇené testy ani v nejmenˇs´ım nedosáhnou maximáln´ıho s´ıt’ového toku hostitele. V grafech je zobrazena i efektivita. Efektivita je vyjádˇrena jako pomˇer datového toku a zat´ıˇzen´ı procesoru. Testy zobrazené na obr´ azku 5.1 ukazuj´ı pˇrevahu virtualizaˇcn´ıho nástroje Xen v reˇzimu paravirtualizace, kdy vˇsechny ostatn´ı nástroje daleko pˇredˇcil, jeˇstˇe ke vˇsemu s menˇs´ım zat´ıˇzen´ım procesoru. Na druhém m´ıstˇe skonˇcilo KVM, které pro s´ıt’ov´ y provoz pouˇz´ıvalo paravirtualizované drivery. Ostatn´ı virtuáln´ı stroje mˇely nainstalované drivery z pˇriloˇzen´ ych virtuáln´ıch CD. 31

Obr´ azek 5.1: Porovnán´ı v´ ykonnosti s´ıt’ov´ ych operac´ı

5.1.2

Diskov´ e operace

Do této sekce se daj´ı zaˇradit v´ ysledky benchmarku bonnie++ i microbenchmarku lmdd obsaˇzen´ y v bal´ıku benchmark˚ u lmbench. V podán´ı lmdd jde jen o test zápisu na disk. Zápis je prov´ adˇen po bloc´ıch o velikosti 1MB. V´ ysledky testu jsou uvedeny v grafu 5.2.

Obr´ azek 5.2: lmdd porovnán´ı v´ ykonu blokového zápisu na disk Benchmark lmdd by jako benchmark diskového provozu nestaˇcil, proto bylo nutné pouˇz´ıt i benchmark bonnie++. Z v´ ysledk˚ u bonnie++, které jsou uvedeny v grafu 5.3, je sice moˇzné vyˇc´ıst v´ ykonnost, ale s urˇcen´ım efektivity m˚ uˇze b´ yt problém. Proto bylo nutné zavést dalˇs´ı veliˇcinu vyj´ adˇrenou pomˇerem pr˚ umˇerné rychlosti a zat´ıˇzen´ım procesoru.

32

Obr´ azek 5.3: V´ ysledky testu bonnie++ U diskov´ ych operac´ı bylo pro zmˇenu prvn´ı KVM. KVM vyhrálo hlavnˇe d´ıky sekvenˇcn´ım ’ operac´ım, at uˇz se jedn´ a o ˇcten´ı, zápis, nebo pˇrepis. Jediná v´ yrazná slabost KVM je jeho pomalost v z´ apisu po znac´ıch. V pˇr´ıpadˇe, ˇze by se do hodnocen´ı poˇc´ıtala i efektivita, zv´ıtˇezil by opˇet Xen, protoˇze pˇri o trochu menˇs´ım v´ ykonu diskov´ ych operac´ı byl efektivnˇejˇs´ı. Na posledn´ım m´ıstˇe se um´ıstil VMware server, jehoˇz efektivita je v˚ uˇci KVM jen ˇctvrtinová.

5.1.3

Syst´ emov´ e microbenchmarky lmbench

Po otestov´ an´ı IO operac´ı zb´ yv´ a otestovat systémové operace. Lmbench je pro to ideáln´ı nástroj, jak jiˇz bylo naps´ ano v´ yˇse v kapitole 4.3.1. Nejprve bylo provedeno testován´ı zpoˇzdˇen´ı, následnˇe pak testy datového toku. Zpoˇ zdˇ en´ı Prvn´ı test je pˇrep´ın´ an´ı kontext˚ u pomoc´ı lat ctx. V grafu 5.4 je z testu patrné, ˇze opˇet zv´ıtˇezil Xen, zat´ımco nejh˚ uˇre, podle pr˚ umˇeru namˇeˇren´ ych hodnot, dopadl VirtualBox. Pˇresto pˇri velkém mnoˇzstv´ı pˇrep´ınan´ ych kontext˚ u je na posledn´ım m´ıstˇe Xen HVM. Dalˇs´ı nepˇr´ıjemnou z´ aleˇzitost´ı je pagefault obzvláˇstˇe u virtuáln´ıch systém˚ u, kdy se odloˇzená str´ anka mus´ı naˇc´ıtat z virtuáln´ıho disku, coˇz je jeˇstˇe pomalejˇs´ı, neˇz u normáln´ıho systému. Graf 5.5 ukazuje jak si virtualizaˇcn´ı nástroje vedou. Dále byla testov´ ana rychlost vytváˇren´ı procedur a proces˚ u. Z grafu 5.5 je patrné, ˇze pˇrekvapivˇe jeden z nejhorˇs´ıch v´ ysledk˚ u mˇel KVM spoleˇcnˇe s VirtualBoxem.

33

Obr´ azek 5.4: Latence pˇrep´ınán´ı kontext˚ u

Obr´ azek 5.5: Zpoˇzdˇen´ı pˇri pagefault, vytváˇren´ı procesu atd.. Pˇ renosov´ e p´ asmo V této ˇc´ asti budou virtualizaˇcn´ı nástroje srovnány z pohledu jejich datové prostupnosti vyj´ımaje diskov´ ych a s´ıt’ov´ ych operac´ı, jeˇz byly otestovány v´ yˇse 5.1.1. P˚ ujde hlavnˇe o prostupnost pamˇeti, prostupnost rozhran´ı pro ˇcten´ı z disku, ale ne pˇr´ımo o ˇcten´ı z disku. D´ ale bude otestov´ ana propustnost obl´ıbeného linuxového nástroje pipe. Pokud se jedn´ a o datov´ a rozhran´ı vˇetˇsinou paravirtualizovan´ y Xen nemá takˇrka konkurenci. To je patrné z obr´ azku 5.6. Zaj´ımav´ yu ´kaz vznikl na grafu bw pipe, kde d´ıky své rychlosti a menˇs´ı chybˇe mˇeˇren´ı pˇredbˇehl nativn´ı systém.

34

Obr´ azek 5.6: pˇrenosové pásmo systémov´ ych rozhran´ı

5.1.4

Komplexn´ı testy

V této ˇc´ asti bude testov´ an systém jako celek. Pro tento test byl vybrán program ab, kter´ y je instalov´ an jako souˇc´ ast apache serveru.

Obr´ azek 5.7: Poˇcet vyˇr´ızen´ ych dotaz˚ u a zat´ıˇzen´ı procesoru Jak je viditelné z graf˚ u 5.7, na prvn´ım m´ıstˇe se um´ıstil paravirtualizovan´ y Xen, coˇz se dalo pˇredpokl´ adat z pˇredchoz´ıch test˚ u. Na dalˇs´ıch dvou m´ıstech se um´ıstili KVM a Xen HVM. Nejh˚ uˇre se um´ıstil VirtualBox.

35

5.1.5

Shrnut´ı porovn´ an´ı virtualizaˇ cn´ıch n´ astroj˚ u

Co se v´ ykonnosti t´ yˇce, na prvn´ım m´ıstˇe se um´ıstil Xen, protoˇze mˇel nejlepˇs´ı v´ ysledek v 14 z 16 test˚ u. Na druhém m´ıstˇe se um´ıstil KVM s paravirtualizovan´ ym ovladaˇcem disku a s´ıt’ové karty a na tˇret´ım Xen HVM. Jak je patrné z test˚ u, v dneˇsn´ı dobˇe je paravirtualizace nejv´ ykonnˇejˇs´ım ˇreˇsen´ım, ale jen do doby, kdy pˇrijde Hybridn´ı virtualizace, která by mˇela paravirtualizaci pˇrekonat.

5.2

Porovn´ an´ı efektivity vyuˇ zit´ı v´ yce procesor˚ u v smp

Porovn´ an´ı efektivity procesor˚ u bylo testováno na nástroji KVM. KVM bylo vybráno, protoˇze dopadl nejlépe z plnˇe virtualizovan´ ych nástroj˚ u, a také kv˚ uli jeho jednoduché konfiguraci a správˇe virtu´ aln´ıch systém˚ u. Testy byly provádˇené na virtualizovaném systému, kter´ y obsahoval paravirtualizované disky a s´ıt’ová rozhran´ı. Virtuáln´ı systémy byly testovány stejn´ ym zp˚ usobem jako v minulé ˇc´ asti. Aby se otestoval symetrick´ y multiprocesing, byly testy v paraleln´ım reˇzimu. Poˇcet paraleln´ıch bˇeh˚ u odpov´ıdal poˇctu pˇridˇelen´ ych fyzick´ ych procesor˚ u. Nˇekteré testy nemˇely ˇz´ adnou vypov´ıdac´ı hodnotu (z v´ ysledk˚ u nebylo nic poznat), proto byly vypuˇstˇeny. Dalˇs´ı testy byly vypuˇstˇeny z ˇcasov´ ych d˚ uvod˚ u. Pˇr´ıkladem za vˇsechny je netperf, jehoˇz v´ ykon zmˇena poˇctu procesor˚ u v˚ ubec neovlivnila. Tyto testy byly mˇeˇreny na poˇc´ıtaˇci, kter´ y obsahoval dva 4 j´ adrové procesory Intel Xeon na frekvenci 2.6GHz.

5.2.1


Na testech latence z grafu 5.8 nen´ı nic zvláˇstn´ıho, jediné co stoj´ı za zm´ınku je nedokonalost nástroje KVM s osmi pˇridˇelen´ ymi procesory. V grafech je vidˇet obrovsk´ y nár˚ ust zpoˇzdˇen´ı, kter´ y neodpov´ıd´ a zdvojn´ asoben´ı zátˇeˇze procesoru. 1

Obr´ azek 5.8: Efektivita pˇrep´ınán´ı kontext˚ u Velkou latenci je moˇzné vysvˇetlit i pˇreplnˇen´ım tlb tabulky v procesoru, která musela 1

Zajimavé je sledovat v´ ysledky test˚ u spuˇstˇen´ ych na nativn´ıch procesorech. Jestliˇze nen´ı zat´ıˇzeno vˇsech 8 procesor˚ u je n´ ar˚ ust v´ ykonu odpov´ıdaj´ıc´ı pˇredpoklad˚ um. V pˇr´ıpadˇe z´ atˇeˇze vˇsech 8 procesor˚ u se d´ a vypozorovat aˇz nˇekolikan´ asobn´ y n´ ar˚ ust v´ ykonu. Jediné vysvˇetlen´ı, které mˇe napad´ a je bud’ nˇejak´ a optimalizaˇcn´ı technika v procesorech intel, nebo vˇsechny procesory zpracov´ avaj´ı jedin´ y program. V pˇr´ıpadˇe ˇc´ıslo dvˇe procesor nen´ı obtˇeˇzov´ an jin´ ymi procesy a proto nemus´ı ˇcekat na sbˇernici a jiné ˇca ´sti poˇc´ıtaˇce.

36

udrˇzovat velké mnoˇzstv´ı informac´ı o pamˇeti mapované virtuáln´ımi systémy. Tento problém by mohla vyˇreˇsit dalˇs´ı generace virtualizace, která je obsaˇzená v procesorech od AMD s kódov´ ym oznaˇcen´ım j´ adra barcelona. Barcelona, jak uˇz bylo zm´ınˇeno v pˇredchoz´ıch kapitolách 2.2.3, podporuje tzv. nested paging. U test˚ u datového toku, jak je vidˇet v grafu 5.9, si KVM vede o pozn´ an´ı lépe a efektivita pˇrenosu pomoc´ı pipe je dokonce lepˇs´ı jak u nativn´ıho systému.

Obr´ azek 5.9: Efektivita vyuˇzit´ı v´ıce procesor˚ u Efektivita je opˇet vyj´ adˇrena jako pomˇer datového toku a zátˇeˇze procesoru v %. Pˇrekvapivˇe nejlepˇs´ı efektivitu pˇrep´ın´ an´ı kontext˚ u v˚ uˇci nativn´ımu systému má virtualizovan´ y systém, kterému byly pˇridˇeleny 4 procesory. Je to zp˚ usobeno poklesem v´ ykonu v nativn´ım systému a pˇrekvapiv´ ym udrˇzen´ım v´ ykonnosti ve virtuáln´ım stroji.

5.2.2

Shrnut´ı test˚ u smp ve virtu´ aln´ıch syst´ emech

V pˇr´ıpadˇe, ˇze je potˇreba, aby virtuáln´ı systém umoˇzn ˇoval zpracovávat velké datové toky, je dobré virtu´ aln´ımu systému pˇridˇelit vˇetˇs´ı mnoˇzstv´ı procesor˚ u. Naproti tomu v pˇr´ıpadˇe, kdy nám jde o zpoˇzdˇen´ı systému, nemá pˇridˇelován´ı velkého mnoˇzstv´ı procesor˚ u v´ yznam. Nev´ yhodou virtu´ aln´ıch systém˚ u je jejich nároˇcnost na TLB. Kaˇzd´ y virtuáln´ı systém m´ a své mapov´ an´ı do fyzické pamˇeti a t´ım pˇret´ıˇz´ı TLB. Vyˇreˇsit tento problém je moˇzné pomoc´ı nov´ ych generac´ı virtualizac´ı, které vnáˇs´ı do procesor˚ u dalˇs´ı prvek virtualizace, a to lepˇs´ı podporu virtualizace pamˇeti, pˇr´ıpadnˇe pouˇzit´ım hugepage. Hugepage hostitelskému systému umoˇzn´ı vytvoˇrit vˇetˇs´ı pamˇet’ové segmenty, ˇc´ımˇz se zmenˇs´ı jejich poˇcet a uvoln´ı se tolik potˇrebn´ y prostor v TLB.

37

5.3

V´ ykon a efektivita provozu v´ıce virtu´ aln´ıch syst´ em˚ u najednou

V této ˇc´ asti bude porovn´ ana v´ ykonnost a efektivita spuˇstˇen´ı jednoho aˇz 6 virtuáln´ıch systém˚ u na jednom fyzickém. Testy byly provádˇeny na sestavˇe obsahuj´ıc´ı procesor Intel Xeon s dvˇema j´ adry o frekvenci 1.6GHz a 8GB RAM. Byla vybrána sestava se dvˇema procesory i pˇres to, ˇze byla k dispozici sestava s osmi jádry, protoˇze na sestavˇe s ménˇe procesory je lépe patrné pˇret´ıˇzen´ı. Testy byly provádˇené na virtualizaˇcn´ım nástroji KVM, které obsahovalo paravirtualizované disky a s´ıt’ová rozhran´ı.

5.3.1

S´ıt’ov´ e operace

V´ ykon s´ıt’ov´ ych operac´ı byl testován v˚ uˇci hostitelskému systému, aby se zamezilo vlivu okol´ı a bylo moˇzné dos´ ahnout maxim´ aln´ıho v´ ykonu.

Obr´ azek 5.10: Efektivita a propustnost s´ıt’ového rozhran´ı Z test˚ u uvedeného v grafu 5.10 je zˇrejmá stabilita v´ ykonu s´ıt’ov´ ych operac´ı. Sice na u ´kor efektivity, ale to jen minim´ alnˇe. Pˇri spuˇstˇen´ı v´ıce virtuáln´ıch systém˚ u je moˇzné dosáhnout dokonce vˇetˇs´ıho datového toku.

5.3.2


Prvn´ı z kategorie test˚ u zab´ yvaj´ıc´ı se zpoˇzdˇen´ım je opˇet lat ctx, jehoˇz v´ ysledky jsou uvedeny v grafu 5.11. Pˇri provozov´ an´ı jedné aˇz tˇr´ı virtuáln´ıch systém˚ u souˇcasnˇe nen´ı s pˇrep´ınán´ım kontext˚ u problém, problém opˇet nastává pˇri alokaci velkého mnoˇzstv´ı pamˇeti, kde uˇz se TLB tabulka um´ıstˇen´ a v procesoru dostává do problém˚ u. Procesor je nucen tabulky mapov´ an´ı z virtu´ aln´ı pamˇeti na fyzickou a z fyzické na strojovou pamˇet’ naˇc´ıtat pˇr´ımo ze strojové operaˇcn´ı pamˇeti. Zpoˇ zdˇ en´ı Obecnˇe u test˚ u t´ ykaj´ıc´ıch se latence nen´ı problém provozovat 3-4 plnˇe vyt´ıˇzené virtuáln´ı systémy na jednom dvou j´ adrovém procesoru.

38

Obr´ azek 5.11: Latence pˇrep´ınán´ı kontextu Pˇ renosov´ e p´ asmo I z test˚ u propustnosti pamˇeti, uveden´ ych v grafu 5.12 nen´ı s testovanou sestavou problém provozovat 3-4 plnˇe vyt´ıˇzené virtuáln´ı systémy. Pˇri zvˇetˇsován´ı poˇctu virtuáln´ıch systém˚ u se mus´ı dˇelit o pamˇet’ovou prostupnost a klesá efektivita.

Obr´ azek 5.12: Propustnost pamˇet´ı

Diskov´ e operace Rychlost diskov´ ych operac´ı byla mˇeˇrena jen zbˇeˇznˇe. Proto byla vyuˇzita utilita lmdd, kter´ a je schopna otestovat z´ apis na disk. Mˇeˇren´ı ale poskytlo zaj´ımavé v´ ysledky, jak je uvedeno v grafu 5.13. Pˇri z´ apisu jednoho virtu´ aln´ıho systému na disk dosahuje sv´ ych standardn´ıch 57MB/s z moˇzn´ ych 160MB/s. Po spuˇstˇen´ı druhého virtuáln´ıho stroje bylo provedeno bud’ chybné mˇeˇren´ı nebo doˇslo k nˇejaké v´ yjimeˇcné situaci v systému, proto tento test nebudeme brát v u ´vahu. Zaj´ımavé to zaˇc´ın´ a b´ yt pˇri spuˇstˇen´ı tˇret´ıho virtuáln´ıho systému. Celková propustnost

39

Obr´ azek 5.13: Prostupnost blokového ˇcten´ı z disku zápisu na disk je r´ azem 135MB/ s, coˇz uˇz je skoro srovnatelné s nativn´ım systémem. Pˇri zvyˇsov´ an´ı poˇctu virtu´ aln´ıch systém˚ u propustnost s menˇs´ım kol´ısán´ım nadále roste. Skoro to vypad´ a, jako by mˇelo KVM chybn´ y virtuáln´ı ovladaˇc, nebo bylo umˇele limitováno.

5.3.3

Komplexn´ı testy

Komplexn´ı testy systému jen potvrdily to co napov´ıdaly pˇredeˇslé syntetické testy. Speciálnˇe u apache serveru je v´ yhodnˇejˇs´ı na jednom fyzickém systému provozovat v´ıce virtuáln´ıch systém˚ u.

Obr´ azek 5.14: Apache server benchmark ab Optim´ aln´ı vyuˇzit´ı serveru s dvoujádrov´ ym procesorem je 2-3 virtuáln´ı systémy s webov´ ym serverem, coˇz je zˇrejmé z graf˚ u 5.14.

5.3.4

Shrnut´ı v´ ysledk˚ u test˚ u virtualizace v´ıce virtu´ aln´ıch syst´ em˚ u na jednom fyzick´ em stroji

Jestliˇze chceme efektivnˇe vyuˇz´ıt server pomoc´ı virtualizace, je témˇeˇr vˇzdy v´ yhodnˇejˇs´ı spustit v´ıce virtu´ aln´ıch systém˚ u na jednom fyzickém, a to i za cenu toho, ˇze jednotlivé virtuáln´ı 40

stoje budou pomalejˇs´ı. V pˇr´ıpadˇe, ˇze bychom chtˇeli provozovat jen jeden virtuáln´ı systém, ˇcasto ztrat´ıme podstatnou ˇc´ ast v´ ykonu.

5.4

Porovn´ an´ı pln´ e virtualizace a paravirtualizace u KVM

V této ˇc´ asti bude porovn´ an v´ ykon KVM s plnˇe emulovan´ ym hardwarem a KVM pro jehoˇz ’ diskové a s´ıt ové operace je pouˇzit paravirtualizovan´ y hardware. V tomto pˇr´ıpadˇe taktéˇz na virtualizaˇcn´ım n´ astroji KVM. KVM bylo testováno na AMD AthlonX2 jádra o frekvenci 2.5GHz a operaˇcn´ı pamˇeti o velikosti 8GB. Pˇri tomto porovnán´ı bude postupováno trochu jin´ ym zp˚ usobem, protoˇze jsou porovnávány jen tˇri v´ ysledky. Nebudou zde uvedeny grafy, ale jen souhrnné v´ ysledky test˚ u uvedené v tabulce 5.15, které by mˇely b´ yt jen prost´ ym pohledem rozliˇsitelné.

5.4.1

V´ ysledky proveden´ ych test˚ u

Po prohlédnut´ı test˚ u uveden´ ych v tabulkách v obrázku 5.15 je zˇrejmé, ˇze paravirtualizovan´ y ’ s´ıt ov´ y ovladaˇc funguje naprosto bez problému, dosahuje dvakrát vˇetˇs´ıho v´ ykonu a pˇritom vyuˇz´ıv´ a procesor stejnˇe jak plnˇe virtualizovan´ y s´ıt’ov´ y ovladaˇc. V diskov´ ych operac´ıch testovan´ ych pomoc´ı bonnie++ dosahuje paravirtualizovan´ y pˇr´ıstup takˇrka stejn´ ych v´ ysledk˚ u jako plnˇe virtualizovan´ y systém. Jedin´ y podstatn´ y rozd´ıl je v sekvenˇcn´ım ˇcten´ı, kde paravirtualizovan´ y pˇr´ıstup na disk dosahuje o 1/3 vˇetˇs´ı v´ ykon. Podstatná v´ yhoda je v efektivitˇe IO operac´ı, kde jsou paravirtualizovaná zaˇr´ızen´ı 2x efektivnˇejˇs´ı at’ uˇz jde o rychlost nebo spotˇrebu procesorového ˇcasu. V sekci micro benchmarku z lmbench, systém s paravirtualizovan´ ym zaˇr´ızen´ım dopadl témˇeˇr srovnatelnˇe s plnˇe virtualizovan´ ym systémem, coˇz se dalo oˇcekávat, protoˇze j´ adro virtu´ aln´ıho systému bˇeˇz´ı v reˇzimu plné virtualizace. Propad v´ ykonu paravirtualizovaného KVM v syntetick´ ych benchmarc´ıch si nedovedu rozumˇe vysvˇetlit.

5.5

N´ astroje potˇ rebn´ e pro proveden´ı vlastn´ıch test˚ u

Pro vlastn´ı testov´ an´ı je na DVD v adresáˇri image pˇribalen i obraz disku virtualizovaného operaˇcn´ıho systému Fedora8. Obrazy diku jsou uloˇzeny ve formátu raw pro zajiˇstˇen´ı jednoduché pˇrenositelnosti mezi virtualizaˇcn´ımi nástroji. Soubor fedora.img nese systém s plnˇe virtualizovan´ ym hardwarem, kter´ y je vhodn´ y pro pˇrevod do jiného virtualizaˇcn´ıho nástroje a obraz fedoraio.raw obsahuje systém, do kterého byly pˇridány virtio moduly, které zajiˇst’uj´ı paravirtualizovan´ y chod vybraného hardwaru pod virtualizaˇcn´ım nástojem KVM. Na DVD jsou jeˇstˇe v adres´ aˇri tools pˇribalené virtualizaˇcn´ı nástroje KVM, VMware Server, VirtualBox. N´ astroj Xen na DVD nen´ı, protoˇze jeho instalace pˇr´ıliˇs zasahuje do systému a je lepˇs´ı ho nainstalovat s bal´ıˇcku distribuce. V´ ysledky test˚ u jsou uvedeny v souboru s názvem test.xls

5.6

Ostatn´ı testy uveden´ e na internetu

V této ˇc´ asti budou shrnuty dalˇs´ı testy uvedené na internetu. Prvn´ı z uveden´ ych, Linux KVM Virtualization Performance, je moˇzné nalézt na stránkách serveru Phoronix, kter´ y se z velké ˇcásti zab´ yv´ a problematikou Linuxu. V jednom ve svém ˇclánku na stránce http://www. phoronix.com/scan.php?page=article&item=623&num=1 porovnává QEMU + kqemu, Xen 3.0.3 a KVM Linux 2.6.20-rc3. V´ ysledky test˚ u uvedené v ˇclánku odpov´ıdaj´ı v´ ysledk˚ um

41

uveden´ ym v této pr´ aci. Za zm´ınku stoj´ı snad jen zlepˇsen´ı v´ ykonu KVM pˇri pamˇet’ov´ ych operac´ıch, oproti verzi KVM uvedené na stránkách. Dalˇs´ı test je uveden v ˇclánku na stránce http://www.linuxinsight.com/finally-user-friendly-virtualization-for-linux. html. V tomto ˇcl´ anku byly srovnány virtualizaˇcn´ı nástroje zaloˇzené na QEMU, jako je KVM, samotné QEMU a QEMU + kqemu. Testy vyˇsly taktéˇz podle pˇredpoklad˚ u, kde KVM skonˇcilo na prvn´ım m´ıstˇe, na druhém QEMU + kqemu a na posledn´ım samotné QEMU. Dalˇs´ı str´ anka, kter´ a je k dosaˇzen´ı na odkazu http://www.cmg.org/measureit/ issues/mit41/m_41_1.html, neukazuje ani tak v´ ysledky test˚ u, ale ukazuje, jak je boj o prvn´ı pˇr´ıˇcky virtualizaˇcn´ıch n´ astroj˚ u siln´ y. V ˇclánku jsou srovnány Xen a VMware ESX Server 2x v jednom testu, kaˇzd´ y od jiné firmy a pokaˇzdé s jin´ ym v´ ysledkem. Firmám asi stoj´ı za to, zfalˇsovat v´ ysledky test˚ u.

42

Obrázek 5.15: V´ ysledky test˚ u KVM s emulovan´ ym a KVM s paravirtualizovan´ ym hardwarem

43

Kapitola 6

Z´ avˇ er V této pr´ aci jsem se snaˇzil o shrnut´ı d˚ uleˇzit´ ych pojm˚ u t´ ykaj´ıc´ı se virtualizace na platformˇe x86 a metod´ ach virtualizace vybran´ ych virtualizaˇcn´ıch nástroj˚ u. Vybrané nástroje byly otestov´ any, a pokud to bylo moˇzné, navzájem porovnány. Testy byly provádˇeny ve spolupr´ aci s firmou Red Hat, která zajistila potˇrebné hardwarové vybaven´ı nutné pro testován´ı. Virtualizaˇcn´ı n´ astroje byly porovnávány v následuj´ıc´ı oblastech: v´ ypoˇcetn´ı v´ ykon a efektivita prov´ adˇen´ı z´ akladn´ıch i komplexn´ıch systémov´ ych operac´ı, moˇznosti ˇskálovatelnosti a robustnosti, nebylo opomenuto ani na srovnán´ı moˇznost´ı administrace a pˇr´ıvˇetivost uˇzivatelského rozhran´ı. V´ ysledky test˚ u jsou vˇzdy uvedeny pˇr´ımo v m´ıstˇe, kde je daná problematika testov´ ana, aby bylo zˇrejmé jak´ ym zp˚ usobem, a proˇc se k dan´ ym v´ ysledk˚ um doˇslo. Testov´ an´ı bylo rozˇs´ıˇreno o porovnán´ı v´ ykonnosti paravirtualizace a plné virtualizace u virtualizaˇcn´ıho n´ astroje KVM. Dále je moˇzné pr´ aci rozˇs´ıˇrit o dalˇs´ı virtualizaˇcn´ı nástroje, popˇr´ıpadˇe dalˇs´ı architektury poˇc´ıtaˇc˚ u umoˇzn ˇuj´ıc´ıch virtualizaci. V budoucnu by bylo moˇzné v práci pokraˇcovat, otestovat a srovnat nové virtualizaˇcn´ı n´ astroje pomoc´ı dalˇs´ıch, lépe c´ılen´ ych testovac´ıch nástroj˚ u.

44

Literatura [1] WWW str´ anky. Kvm homepage. http://kvm.qumranet.com/kvmwiki. [2] WWW str´ anky. manualove stranky lmbench. http://www.bitmover.com/lmbench/lmbench.8.html. [3] WWW str´ anky. Qemu documentation. http://fabrice.bellard.free.fr/qemu/qemu-doc.html#SEC1. [4] WWW str´ anky. vmgl homepage. http://www.cs.toronto.edu/ andreslc/xen-gl/. [5] WWW str´ anky. Vmware homepage. http://www.vmware.com. [6] WWW str´ anky. Wikipedie internetová encyklopedie. http://en.wikipedia.org/wiki/Virtualization.

45

PLATFOREM V LINUXU FAKULTA INFORMANÍCH TECHNOLOGIÍ BRNO UNIVERSITY OF TECHNOLOGY FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF INTELLIGENT SYSTEMS

Recommend Documents