Optimalizace. Elektronická skripta předmětu A4B33OPT. Toto je verze ze dne 28. ledna Katedra kybernetiky Fakulta elektrotechnická

Optimalizace Elektronická skripta pˇredmˇetu A4B33OPT. Text je pr˚ ubˇehu semestru doplˇ nován a vylepˇsován. Toto je verze ze dne 28. ledna 2016. Tomáˇs Werner

Katedra kybernetiky Fakulta elektrotechnická ˇ e vysoké uˇcen´ı technické Cesk´

Obsah 1 Formulace optimalizaˇ cn´ıch u ´ loh 1.1 Matematické znaˇcen´ı . . . . . . . . . . . . . . . . . . 1.1.1 Mnoˇziny . . . . . . . . . . . . . . . . . . . . . 1.1.2 Zobrazen´ı . . . . . . . . . . . . . . . . . . . . 1.1.3 Funkce a zobrazen´ı v´ıce reálných promˇenných 1.1.4 Extrémy funkce na mnoˇzinˇe . . . . . . . . . . 1.2 Obecná u ´loha spojité optimalizace . . . . . . . . . . . 1.3 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Maticov´ a algebra 2.1 Operace s maticemi . . . . . . . . . . . . . . . . 2.2 Transpozice a symetrie . . . . . . . . . . . . . . 2.3 Hodnost a inverze . . . . . . . . . . . . . . . . . 2.4 Determinant . . . . . . . . . . . . . . . . . . . . 2.5 Matice s jedn´ım sloupcem nebo jedn´ım ˇrádkem 2.6 Matice sestavené z blok˚ u . . . . . . . . . . . . . 2.7 Hrubé chyby pˇri práci s maticemi . . . . . . . . 2.8 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

6 6 6 7 7 8 9 10

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

12 12 13 13 14 14 15 16 17

3 Linearita 3.1 Lineárn´ı podprostory . . . . . . . . . . . . . . . . . . . . . 3.2 Lineárn´ı zobrazen´ı . . . . . . . . . . . . . . . . . . . . . . 3.2.1 Prostor obraz˚ u . . . . . . . . . . . . . . . . . . . . 3.2.2 Nulový prostor . . . . . . . . . . . . . . . . . . . . 3.2.3 Nˇekteré vˇety o prostoru obraz˚ u a nulovém prostoru 3.3 Afinn´ı podprostor a zobrazen´ı . . . . . . . . . . . . . . . . 3.4 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

21 21 22 23 24 24 25 27

4 Ortogonalita 4.1 Standardn´ı skalárn´ı souˇcin . . . . . . . . . . . . 4.2 Ortogonáln´ı vektory a podprostory . . . . . . . ˇ ri podprostory definované matic´ı . . 4.2.1 Ctyˇ 4.3 Matice s ortonormáln´ımi sloupci . . . . . . . . . 4.4 QR rozklad . . . . . . . . . . . . . . . . . . . . 4.4.1 (⋆) Gramm-Schmidtova ortonormalizace 4.5 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

30 30 30 31 31 33 34 34

2

. . . . . . . .

. . . . . . .

. . . . . . . .

. . . . . . .

. . . . . . . .

. . . . . . .

. . . . . . . .

. . . . . . .

. . . . . . . .

. . . . . . .

. . . . . . .

5 Nehomogenn´ı line´ arn´ı soustavy 5.1 Pˇribliˇzné ˇreˇsen´ı ve smyslu nejmenˇs´ıch ˇctverc˚ u . . . . . . . ˇ sen´ı pomoc´ı QR rozkladu . . . . . . . . . . . . . 5.1.1 Reˇ 5.1.2 V´ıce o ortogonáln´ı projekci . . . . . . . . . . . . . . 5.1.3 Pˇr´ıklad pouˇzit´ı: lineárn´ı regrese . . . . . . . . . . . 5.1.4 Statistické od˚ uvodnˇen´ı kritéria nejmenˇs´ıch ˇctverc˚ u. ˇ 5.2 Reˇsen´ı s nejmenˇs´ı normou . . . . . . . . . . . . . . . . . . 5.2.1 Pseudoinverze obecné matice s plnou hodnost´ı . . . 5.3 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

37 37 39 39 40 41 42 43 43

6 Kvadratick´ e funkce 6.1 Vlastn´ı ˇc´ısla a vektory . . 6.1.1 Spektráln´ı rozklad 6.2 Kvadratická forma . . . . 6.3 Kvadratická funkce . . . . 6.3.1 Kvadrika . . . . . . 6.4 Cviˇcen´ı . . . . . . . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

47 47 48 49 51 52 52

7 Rozklad podle singul´ arn´ıch ˇ c´ısel (SVD) 7.1 SVD ze spektráln´ıho rozkladu . . . . . . . . 7.2 Nejbliˇzˇs´ı matice niˇzˇs´ı hodnosti . . . . . . . . 7.3 Prokládán´ı bod˚ u podprostorem . . . . . . . 7.3.1 Zobecnˇen´ı na afinn´ı podprostor . . . 7.4 Pˇribliˇzné ˇreˇsen´ı homogenn´ı lineárn´ı soustavy 7.5 (⋆) Pseudoinverze obecné matice . . . . . . . 7.6 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

56 57 58 59 60 61 61 62

8 Neline´ arn´ı funkce a zobrazen´ı 8.1 Spojitost . . . . . . . . . . . . . . . . 8.2 Parciáln´ı derivace . . . . . . . . . . . 8.3 Totáln´ı derivace . . . . . . . . . . . . 8.3.1 Derivace sloˇzeného zobrazen´ı . 8.3.2 Derivace maticových výraz˚ u . 8.4 Smˇerová derivace . . . . . . . . . . . 8.5 Gradient . . . . . . . . . . . . . . . . 8.6 Parciáln´ı derivace druhého ˇrádu . . . 8.7 Taylor˚ uv polynom . . . . . . . . . . . 8.8 Cviˇcen´ı . . . . . . . . . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

64 65 65 66 67 69 70 71 72 73 74

. . . . . . . .

76 76 77 77 79 80 81 82 84

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . . . . .

. . . . . . . . . .

9 Analytick´ e podm´ınky na lok´ aln´ı extr´ emy 9.1 Vlastnosti bodu vzhledem k podmnoˇzinˇe Rn . 9.2 Lokáln´ı extrémy . . . . . . . . . . . . . . . . . 9.3 Volné lokáln´ı extrémy . . . . . . . . . . . . . . 9.4 Lokáln´ı extrémy vázané rovnostmi . . . . . . . 9.4.1 Teˇcný a ortogonáln´ı prostor k povrchu 9.4.2 Podm´ınky prvn´ıho ˇrádu . . . . . . . . 9.4.3 (⋆) Podm´ınky druhého ˇrádu . . . . . . 9.5 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . . . 3

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

10 Iteraˇ cn´ı algoritmy na voln´ e lok´ aln´ı extr´ emy 10.1 Sestupné metody . . . . . . . . . . . . . . . . . . . . . 10.2 Gradientn´ı metoda . . . . . . . . . . . . . . . . . . . . 10.2.1 (⋆) Závislost na lineárn´ı transformaci souˇradnic 10.3 Newtonova metoda . . . . . . . . . . . . . . . . . . . . 10.3.1 Pouˇzit´ı na soustavy nelineárn´ıch rovnic . . . . . 10.3.2 Pouˇzit´ı na minimalizaci funkce . . . . . . . . . . 10.4 Nelineárn´ı metoda nejmenˇs´ıch ˇctverc˚ u. . . . . . . . . . 10.4.1 Gauss-Newtonova metoda . . . . . . . . . . . . 10.4.2 Rozd´ıl proti Newtonovˇe metodˇe . . . . . . . . . 10.4.3 Levenberg-Marquardtova metoda . . . . . . . . 10.5 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Line´ arn´ı programov´ an´ı 11.1 Speciáln´ı tvary u ´loh LP . . . . . . . . . . . . 11.1.1 Po ˇcástech afinn´ı funkce . . . . . . . 11.2 Nˇekteré aplikace LP . . . . . . . . . . . . . 11.2.1 Optimáln´ı výrobn´ı program . . . . . 11.2.2 Smˇeˇsovac´ı (dietn´ı) problém . . . . . . 11.2.3 Dopravn´ı problém . . . . . . . . . . . 11.3 Pouˇzit´ı na nehomogenn´ı lineárn´ı soustavy . . 11.3.1 Vektorové normy . . . . . . . . . . . 11.3.2 Pˇribliˇzné ˇreˇsen´ı pˇreurˇcených soustav 11.3.3 Lineárn´ı regrese . . . . . . . . . . . . 11.4 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

88 88 89 89 89 90 91 92 92 94 94 94

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

96 97 98 99 99 100 100 101 101 102 102 104

12 Konvexn´ı mnoˇ ziny a polyedry ˇ ri kombinace a ˇctyˇri obaly . . . . . . . . . . . . . . . . . . . 12.1 Ctyˇ 12.2 Operace zachovávaj´ıc´ı konvexitu mnoˇzin . . . . . . . . . . . . . 12.3 Konvexn´ı polyedry . . . . . . . . . . . . . . . . . . . . . . . . . 12.3.1 Stˇeny konvexn´ıho polyedru . . . . . . . . . . . . . . . . . 12.3.2 Jak byste vypsali vˇsechny vrcholy konvexn´ıho polyedru? 12.3.3 Dvˇe reprezentace konvexn´ıho polyedru . . . . . . . . . . 12.4 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

108 109 109 110 111 112 112 113

. . . . . . . . . .

115 116 116 117 118 118 118 119 121 122 124

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

13 Simplexov´ a metoda 13.1 Stavebn´ı kameny algoritmu . . . . . . . . . . . . . . . . . . 13.1.1 Pˇrechod k sousedn´ı standardn´ı bázi . . . . . . . . . 13.1.2 Kdy je sousedn´ı bázové ˇreˇsen´ı pˇr´ıpustné? . . . . . . 13.1.3 Co kdyˇz je celý sloupec nekladný? . . . . . . . . . . 13.1.4 Ekvivalentn´ı u ´pravy u ´ˇcelového ˇrádku . . . . . . . . 13.1.5 Co udˇelá pˇrechod k sousedn´ı bázi s u ´ˇcelovou funkc´ı? 13.2 Základn´ı algoritmus . . . . . . . . . . . . . . . . . . . . . . 13.3 Inicializace algoritmu . . . . . . . . . . . . . . . . . . . . . 13.3.1 Dvoufázová simplexová metoda . . . . . . . . . . . 13.4 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

. . . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

14 Konvexn´ı funkce 14.1 Konvexita diferencovatelných funkc´ı . . . . 14.2 Vztah konvexn´ı funkce a konvexn´ı mnoˇziny 14.3 Operace zachovávaj´ıc´ı konvexitu funkc´ı . . 14.4 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

126 128 129 130 133

15 Konvexn´ı optimalizaˇ cn´ı u ´ lohy 15.1 Ekvivalentn´ı transformace u ´lohy . . . . . . . . . . . . . . . . . . . . . . 15.2 Tˇr´ıdy konvexn´ıch optimalizaˇcn´ıch u ´loh . . . . . . . . . . . . . . . . . . 15.2.1 Lineárn´ı programován´ı (LP) . . . . . . . . . . . . . . . . . . . . 15.2.2 Kvadratické programován´ı (QP) . . . . . . . . . . . . . . . . . . 15.2.3 Kvadratické programován´ı s kvadratickými omezen´ımi (QCQP) 15.2.4 Programován´ı na kuˇzelu druhého ˇrádu (SOCP) . . . . . . . . . 15.2.5 Semidefinitn´ı programován´ı (SDP) . . . . . . . . . . . . . . . . 15.3 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

135 136 137 137 138 139 139 140 140

16 Dualita v line´ arn´ım programov´ an´ı 16.1 Konstrukce duáln´ı u ´lohy . . . . . . . . . . . . . . . 16.2 Vˇety o dualitˇe . . . . . . . . . . . . . . . . . . . . . 16.3 Pˇr´ıklady na konstrukci a interpretaci duáln´ıch u ´loh 16.4 Cviˇcen´ı . . . . . . . . . . . . . . . . . . . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

143 143 144 147 150

. . . .

151 151 152 153 154

17 Lagrangeova dualita 17.1 Minimaxn´ı nerovnost . . . 17.2 Lagrangeova duáln´ı u ´loha 17.3 Silná dualita . . . . . . . . 17.4 Pˇr´ıklady . . . . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

5

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . .

. . . .

. . . .

. . . .

Kapitola 1 Formulace optimalizaˇ cn´ıch u ´ loh 1.1

Matematick´ e znaˇ cen´ı

Pokud potkáte ve skriptech slovo vysázené tuˇ cnˇ e, jde o novˇe definovaný pojem, který máte pochopit a zapamatovat si. Slova vysázená kurz´ıvou znamenaj´ı bud’ zd˚ uraznˇen´ı, nebo nový avˇsak vˇseobecnˇe známý pojem. Odstavce, vˇety, d˚ ukazy, pˇr´ıklady a cviˇcen´ı oznaˇcené hvˇezdiˇckou (⋆) jsou rozˇsiˇruj´ıc´ı (a tedy obt´ıˇznˇejˇs´ı) a nen´ı nezbytné umˇet je ke zkouˇsce. Zopakujme nejdˇr´ıve matematické znaˇcen´ı, které se pouˇz´ıvá v celých skriptech a které by ˇctenáˇr mˇel bezpeˇcnˇe ovládat.

1.1.1

Mnoˇ ziny

Názvy mnoˇzin budeme psát velkými sklonˇenými p´ısmeny, napˇr. A nebo X. Budeme pouˇz´ıvat standardn´ı mnoˇzinové znaˇcen´ı: {a1 , . . . , an } a∈A A⊆B A=B { a ∈ A | ϕ(a) } A∪B A∩B A\B (a1 , . . . , an ) A×B An ∅

mnoˇzina s prvky a1 , . . . , an prvek a patˇr´ı do mnoˇziny A (neboli a je prvkem A) mnoˇzina A je podmnoˇzinou mnoˇziny B, tj. kaˇzdý prvek z A patˇr´ı do B mnoˇzina A je rovna mnoˇzinˇe B, plat´ı zároveˇ nA⊆B aB⊆A mnoˇzina prvk˚ u a z mnoˇziny A, které splˇ nuj´ı logický výrok ϕ(a) sjednocen´ı mnoˇzin, mnoˇzina { a | a ∈ A nebo a ∈ B } pr˚ unik mnoˇzin, mnoˇzina { a | a ∈ A, a ∈ B } rozd´ıl mnoˇzin, mnoˇzina { a | a ∈ A, a ∈ / B} uspoˇrádaná n-tice prvk˚ u a1 , . . . , an kartézský souˇcin mnoˇzin, mnoˇzina { (a, b) | a ∈ A, b ∈ B } kartézský souˇcin n stejných mnoˇzin, An = A × · · · × A (n-krát) prázdná mnoˇzina

ˇ ıselné mnoˇziny budeme znaˇcit takto: C´

6

N Z Q R R+ R++ [x1 , x2 ] (x1 , x2 ) [x1 , x2 ) C

1.1.2

mnoˇzina pˇrirozených ˇc´ısel mnoˇzina celých ˇc´ısel mnoˇzina racionáln´ıch ˇc´ısel mnoˇzina reálných ˇc´ısel mnoˇzina nezáporných reálných ˇc´ısel { x ∈ R | x ≥ 0 } mnoˇzina kladných reálných ˇc´ısel { x ∈ R | x > 0 } uzavˇrený reálný interval { x ∈ R | x1 ≤ x ≤ x2 } otevˇrený reálný interval { x ∈ R | x1 < x < x2 } polouzavˇrený reálný interval { x ∈ R | x1 ≤ x < x2 } mnoˇzina komplexn´ıch ˇc´ısel

Zobrazen´ı

Zobrazen´ı z mnoˇziny A do mnoˇziny B znaˇc´ıme f: A → B

(1.1)

f

nku’, která kaˇznebo (ménˇe ˇcasto) A → B. Zobrazen´ı si m˚ uˇzeme pˇredstavit1 jako ‘ˇcernou skˇr´ıˇ dému prvku a ∈ A pˇriˇrad´ı právˇe jeden prvek b = f (a) ∈ B. I kdyˇz ‘zobrazen´ı’ (mapping, map) znamená pˇresnˇe totéˇz jako ‘funkce’ (function), slovo ‘funkce’ se obvykle pouˇz´ıvá pouze pro zobrazen´ı do ˇc´ıselných mnoˇzin (tedy B = R, Z, C apod.). Zobrazen´ı se nazývá: • injektivn´ı (neboli prosté) pokud kaˇzdý vzor má jiný obraz, tj. f (a) = f (a′ ) ⇒ a = a′ ; • surjektivn´ı (neboli A na B) pokud kaˇzdý obraz má aspoˇ n jeden vzor, tj. f (A) = B, tj. pro kaˇzdé b ∈ B existuje a ∈ A tak, ˇze b = f (a);

• bijektivn´ı (neboli vzájemnˇe jednoznaˇcné) pokud je zároveˇ n injektivn´ı a surjektivn´ı. ′ Obraz mnoˇziny A ⊆ A v zobrazen´ı f : A → B znaˇc´ıme f (A′ ) = { f (a) | a ∈ A′ }.

(1.2)

Napˇr. je-li A′ = {1, 3, 4, −1} ⊆ Z a zobrazen´ı f : Z → Z je definované pˇredpisem f (a) = a2 , je f (A′ ) = {1, 9, 16}. Je-li A′ = { a ∈ A | ϕ(a) } a f : A → B, pouˇz´ıváme zkratku f (A′ ) = { f (a) | a ∈ A, ϕ(a) } = { b ∈ B | b = f (a), a ∈ A, ϕ(a) }

(1.3)

nebo pouze { f (a) | ϕ(a) }, pokud je A jasné z kontextu. Napˇr. { x2 | x ∈ R, −1 < x < 1 } je polouzavˇrený interval [0, 1). f

g

Mˇejme dvˇe zobrazen´ı f : A → B a g: B → C, neboli A → B → C. Sloˇzen´ı zobrazen´ı f a g je zobrazen´ı g ◦ f : A → C definované jako (g ◦ f )(a) = g(f (a)) pro kaˇzdé a ∈ A.

1.1.3

Funkce a zobrazen´ı v´ıce re´ aln´ ych promˇ enn´ ych

Uspoˇrádané n-tici x = (x1 , . . . , xn ) ∈ Rn reálných ˇc´ısel ˇr´ıkáme (n-rozmˇerný) vektor. Zápis f: Rn → Rm 1

(1.4)

Pˇresná definice je n´ asleduj´ıc´ı: zobrazen´ı f : A → B je podmnoˇzina kartézského souˇcinu A × B (tedy relace) taková, ˇze (a, b) ∈ f a (a, b′ ) ∈ f implikuje b = b′ .

7

oznaˇcuje zobrazen´ı, které vektoru x ∈ Rn pˇriˇrad´ı vektor

f(x) = f (x1 , . . . , xn ) = (f1 (x), . . . , fm (x)) = (f1 (x1 , . . . , xn ), . . . , fm (x1 , . . . , xn )) ∈ Rm ,

kde f1 , . . . , fm : Rn → R jsou sloˇzky zobrazen´ı. P´ıˇseme také f = (f1 , . . . , fm ). Obrázek ilustruje zobrazen´ı f : R3 → R2 :

x1 x2 x3

f1 (x1 ; x2 ; x3 )

f

f2 (x1 ; x2 ; x3 )

Pro m = 1 jsou hodnotami zobrazen´ı skaláry a budeme psát jeho jméno kurz´ıvou, f . Pro m > 1 jsou hodnotami zobrazen´ı vektory a proto jméno budeme psát tuˇcnˇe, f. I kdyˇz slova ‘funkce’ a ‘zobrazen´ı’ znamenaj´ı jedno a to samé, je ˇcasto zvykem pro m = 1 mluvit o funkci a pro m > 1 o zobrazen´ı.

1.1.4

Extr´ emy funkce na mnoˇ zinˇ e

Necht’ Y ⊆ R. Prvek y ∈ Y nazveme nejmenˇs´ı prvek (neboli minimum) mnoˇziny Y , jestliˇze y ≤ y ′ pro vˇsechna y ′ ∈ Y . Nejmenˇs´ı prvek znaˇc´ıme min Y.

Ne kaˇzdá mnoˇzina Y ⊆ R má nejmenˇs´ı prvek (napˇr. interval (0, 1] ho nemá). Na druhou stranu je jasné, ˇze Y nem˚ uˇze m´ıt v´ıce neˇz jeden minimáln´ı prvek. Mˇejme nyn´ı funkci f : X → R, kde X je libovolná mnoˇzina. Oznaˇcme Y = f (X) = { f (x) | x ∈ X } ⊆ R

obraz mnoˇziny X funkc´ı f . Pokud mnoˇzina Y má nejmenˇs´ı prvek, definujeme min f (x) = min{ f (x) | x ∈ X } = min Y x∈X

a hovoˇr´ıme o minimu funkce f na mnoˇzinˇe X. V tom pˇr´ıpadˇe existuje nejménˇe jeden prvek ˇ ıkáme, ˇze funkce nabývá minimum v bodˇe x. Pro podmnoˇzinu x ∈ X tak, ˇze f (x) = min Y . R´ mnoˇziny X, ve kterých se minimum nabývá, se pouˇz´ıvá symbol ‘argument minima’ argmin f (x) = { x ∈ X | f (x) = min Y }. x∈X

Podobnˇe definujeme maximum funkce na mnoˇzinˇe. Minima a maxima funkce se souhrnnˇe nazývaj´ı jej´ı extrémy nebo optima. Jednoduˇseji m˚ uˇzeme ˇr´ıci, funkce f : X → R nabývá svého minima na mnoˇzinˇe X v bodˇe x ∈ X, jestliˇze f (x) ≤ f (x′ ) pro vˇsechny x′ ∈ X. Tato definice ovˇsem zamlˇcuje vztah k minimáln´ımu prvku mnoˇziny Y ⊆ R.

Pˇ r´ıklad 1.1. • min |x − 1| = min{ |x − 1| | x ∈ R } = min R+ = 0, argmin |x − 1| = {1} x∈R

x∈R

• Necht’ f (x) = max{|x|, 1}. Pak argmin f (x) = [−1, 1]. x∈R

5

5

i=1

i=1

• Necht’ (a1 , a2 , . . . , a5 ) = (1, 2, 3, 2, 3). Pak2 max ai = 3, argmax ai = {3, 5}. 2

5

M´ısto max ai se ˇcastˇeji p´ıˇse max ai . Pouˇz´ıv´ ame prvn´ı zp˚ usob v analogii se standardn´ım znaˇcen´ım i=1

i=1,...,5

5 X i=1

8

ai .

1.2

Obecn´ au ´ loha spojit´ e optimalizace

Optimalizaˇcn´ı u ´lohy se formuluj´ı jako hledán´ı minima dané reálné funkce f : X → R na dané mnoˇzinˇe X. Tato formulace je velmi obecná, nebot’ mnoˇzina X m˚ uˇze být zcela libovolná. Existuj´ı tˇri ˇsiroké kategorie u ´loh: • Pokud je mnoˇzina X koneˇcná (i kdyˇz tˇreba velmi velká), mluv´ıme o kombinatorické optimalizaci . Jej´ı prvky mohou být napˇr. cesty v grafu, konfigurace Rubikovy kostky, nebo textové ˇretˇezce koneˇcné délky. Pˇr´ıkladem je nalezen´ı nejkratˇs´ı cesty v grafu nebo problém obchodn´ıho cestuj´ıc´ıho. • Pokud mnoˇzina X obsahuje reálná ˇc´ısla ˇci reálné vektory (tedy X ⊆ Rn ), mluv´ıme o spojité optimalizaci . Pˇr´ıkladem je u ´loha lineárn´ıho programován´ı. • Pokud mnoˇzina X obsahuje reálné funkce, mluv´ıme o variaˇcn´ım poˇctu. Pˇr´ıkladem je nalézt rovinnou kˇrivku, která pˇri dané délce obep´ıná co nejvˇetˇs´ı obsah. Tento kurs se zabývá spojitou optimalizac´ı. V obecné u ´loze spojité optimalizace je X ⊆ Rn mnoˇzina ˇreˇsen´ı (x1 , . . . , xn ) ∈ Rn soustavy m nerovnic a l rovnic gi (x1 , . . . , xn ) ≤ 0, i = 1, . . . , m hi (x1 , . . . , xn ) = 0, i = 1, . . . , l

(1.5a) (1.5b)

pro dané funkce g1 , . . . , gm , h1 , . . . , hl : Rn → R. Ve vektorovém znaˇcen´ı p´ıˇseme X = { x ∈ Rn | g(x) ≤ 0, h(x) = 0 }, kde g: Rn → Rm , h: Rn → Rl a 0 znaˇc´ı nulové vektory pˇr´ısluˇsné dimenze. Ve shodˇe s oznaˇcen´ım (1.3) se hledán´ı minima funkce f : Rn → R na mnoˇzinˇe X m˚ uˇze zapsat jako min{ f (x) | x ∈ Rn , g(x) ≤ 0, h(x) = 0 },

(1.6)

To je zvykem zapisovat také takto: min

f (x1 , . . . , xn )

za podm´ınek gi (x1 , . . . , xn ) ≤ 0, i = 1, . . . , m hi (x1 , . . . , xn ) = 0, i = 1, . . . , l.

(1.7)

Pˇ r´ıklad 1.2. Pastevec vlastn´ı 100 metr˚ u pletiva a chce z nˇej udˇelat ohradu pro ovce o co nejvˇetˇs´ım obsahu. Ohrada bude m´ıt tvar obdéln´ıka, z nˇehoˇz tˇri strany budou tvoˇreny plotem a zbylá strana ˇrekou (ovce neumˇej´ı plavat). ˇ s´ıme u Oznaˇcme strany obdéln´ıka x, y. Reˇ ´lohu max xy za podm´ınek 2x + y = 100 x, y ≥ 0 neboli max{ xy | x ≥ 0, y ≥ 0, 2x + y = 100 }. Zde máme n = 2, m = 2, l = 1.

9

Tuto u ´lohu dokáˇzeme snadno vyˇreˇsit. Z omezen´ı 2x + y = 100 máme y = 100 − 2x, tedy m´ısto p˚ uvodn´ı u ´lohy m˚ uˇzeme ˇreˇsit ekvivalentn´ı u ´lohu bez omezen´ı min x(100 − 2x). x∈R

Minimum kvadratické funkce x(100 − 2x) snadno najdeme prostˇredky analýzy funkc´ı jedné promˇenné. Nabývá se v bodˇe x = 25, tedy y = 100 − 2x = 50. Tyto hodnoty jsou kladné, tedy podm´ınky x, y ≥ 0 jsou automaticky splnˇeny a nemuseli jsme je explicitnˇe uvaˇzovat. Pˇ r´ıklad 1.3. Hledejme dvojici nejbliˇzˇs´ıch bod˚ u v rovinˇe, z nichˇz jeden je na kruˇznici se stˇredem v poˇcátku a jednotkovým polomˇerem a druhý je ve ˇctverci se stˇredem v bodˇe (2, 2) a jednotkovou ´ stranou. Ulohu lze samozˇrejmˇe ˇreˇsit snadno u ´vahou. Napiˇsme ji ale ve tvaru (1.7). 2 2 Bod (x1 , x2 ) na kruˇznici splˇ nuje x1 +x2 = 1. Bod (x3 , x4 ) ve ˇctverci splˇ nuje − 12 ≤ x3 −2 ≤ 12 , − 12 ≤ x4 − 2 ≤ 12 . Máme n = 4, m = 4, l = 1, a X = { (x1 , x2 , x3 , x4 ) | x21 + x22 − 1 = 0, ˇ s´ıme u Reˇ ´lohu min

3 2

p

− x3 ≤ 0, x3 −

5 2

≤ 0,

3 2

− x4 ≤ 0, x4 −

5 2

≤ 0 }.

(x1 − x3 )2 + (x2 − x4 )2

za podm´ınek x21 + x22 − 1 3 − x3 2 x3 − 52 3 − x4 2 x4 − 52

= ≤ ≤ ≤ ≤

0 0 0 0 0

V matematické analýze se ˇreˇsen´ım u ´lohy (1.7) ˇr´ıká extrémy funkce f vázané podm´ınkami (1.5). Pokud omezen´ı chyb´ı, mluv´ı se o volných extrémech funkce f . V matematické optimalizaci se vˇzilo ponˇekud odliˇsné názvoslov´ı: • Funkce f se nazývá u ´ˇcelová (také pokutová, cenová, kriteriáln´ı) funkce. • Prvky mnoˇziny X se nazývaj´ı pˇr´ıpustná ˇreˇsen´ı, coˇz je vlastnˇe protimluv, protoˇze nemus´ı být ˇreˇsen´ımi u ´lohy (1.7). Prvk˚ um mnoˇziny argminx∈X f (x) se pak ˇr´ıká optimáln´ı ˇreˇsen´ı.

• Rovnice a nerovnice (1.5) se nazývaj´ı omezuj´ıc´ı podm´ınky, krátce omezen´ı.

• Omezen´ı (1.5a) pˇr´ıp. (1.5b) se nazývaj´ı omezen´ı typu nerovnosti pˇr´ıp. typu rovnosti. Pokud omezen´ı chyb´ı (m = l = 0), jedná se o optimalizaci bez omezen´ı. • Pokud je mnoˇzina X pˇr´ıpustných ˇreˇsen´ı prázdná (omezen´ı si odporuj´ı), u ´loha se nazývá nepˇr´ıpustná . • Pokud se u ´ˇcelová funkce pˇri splnˇených omezen´ıch m˚ uˇze zlepˇsovat nade vˇsechny meze, u ´loha se nazývá neomezená .

1.3

Cviˇ cen´ı

1.1. Vyˇreˇste následuj´ıc´ı u ´lohy, pˇriˇcemˇz slovn´ı u ´lohy nejdˇr´ıve formulujte ve tvaru (1.7). Staˇc´ı vám k tomu zdravý rozum a derivace funkc´ı jedné promˇenné. a) min{ x2 + y 2 | x > 0, y > 0, xy ≥ 1 } b) min{ (x − 2)2 + (y − 1)2 | x2 ≤ 1, y 2 ≤ 1 } 10

c) Máte vyrobit pap´ırovou krabici o objemu 72 litr˚ u, jej´ıˇz délka je dvojnásobek jej´ı ˇs´ıˇrky. Jaké budou jej´ı rozmˇery, má-li se na n´ı spotˇrebovat co nejménˇe pap´ıru? Tlouˇst’ka stˇen je zanedbatelná. d) Jaké má rozmˇery válec s jednotkovým objemem a nejmenˇs´ım povrchem? e) Najdˇete rozmˇery p˚ ullitru, na jehoˇz výrobu je tˇreba co nejménˇe skla. Tlouˇst’ka stˇen je zanedbatelná. f) Najdˇete obsah nejvˇetˇs´ıho obdéln´ıka vepsaného do kruˇznice s polomˇerem 1. g) Obdéln´ık v rovinˇe má jeden roh v poˇcátku a druhý na kˇrivce y = x2 + x−2 , pˇriˇcemˇz jeho strany jsou rovnobˇeˇzné se souˇradnicovými osami. Pro jaké x bude jeho obsah minimáln´ı? M˚ uˇze být jeho obsah libovolnˇe veliký? h) Najdˇete bod v rovinˇe na parabole s rovnic´ı y = x2 nejbl´ıˇze bodu (3, 0). i) Hektarová oblast obdéln´ıkového tvaru se má obehnat ze tˇr´ı stran ˇzivým plotem, který stoj´ı 1000 korun na metr, a ze zbývaj´ıc´ı strany obyˇcejným plotem, který stoj´ı 500 korun na metr. Jaké budou rozmˇery oblasti pˇri nejmenˇs´ı cenˇe plotu? j) x, y jsou ˇc´ısla v intervalu [1, 5] takové, ˇze jej´ıch souˇcet je 6. Najdˇete tato ˇc´ısla tak, aby xy 2 bylo (a) co nejmenˇs´ı a (b) co nejvˇetˇs´ı. k) Hledá se n-tice ˇc´ısel x1 , . . . , xn ∈ {−1, +1} tak, ˇze jejich souˇcin je kladný a jejich souˇcet minimáln´ı. Jako výsledek napiˇste (co nejjednoduˇsˇs´ı) vzorec, který udává hodnotu tohoto minimáln´ıho souˇctu pro obecné n. l) Potkan´ı biatlon. Potkan stoj´ı na bˇrehu kruhového jez´ırka o polomˇeru 1 a potˇrebuje se dostat na protilehlý bod bˇrehu. Potkan plave rychlost´ı v1 a bˇeˇz´ı rychlost´ı v2 . Chce se do c´ıle dostat co nejrychleji, pˇriˇcemˇz m˚ uˇze bˇeˇzet, plavat, nebo zvolit kombinaci oboj´ıho. Jakou dráhu zvol´ı? Strategie potkana m˚ uˇze být r˚ uzná pro r˚ uzné hodnoty v1 a v2 , vyˇreˇste pro vˇsechny kombinace tˇechto hodnot. 1.2. Naˇcrtnˇete následuj´ıc´ı mnoˇziny (promˇenné x, y patˇr´ı do R): a) b) c) d) e) f) g) h) i) j) k) l) m)

[−1, 0] × {1} Z×Z R×Z (R × Z) ∪ (Z × R) { (x, y) | x2 + y 2 = 1 } × R { (x, y) | x > 0, y > 0, xy = 1 } { (x, y) | min{x, y} = 1 } { 1/x | x ≥ 1 } { 1/x | |x| ≥ 1 } 2 { e−x | x ∈ R } { x + y | x2 + y 2 < 1 } { x − y | x2 + y 2 = 1 } { x + y | |x| ≥ 1, |y| ≥ 1 }

11

Kapitola 2 Maticov´ a algebra Reálná matice rozmˇeru m × n je zobrazen´ı {1, . . . , m} × {1, . . . , n} → R. Toto zobrazen´ı zapisujeme tabulkou   a11 · · · a1n  ..  , .. A = [aij ] =  ... . .  am1 · · · amn kde aij jsou prvky matice. Mnoˇzinu vˇsech reálných matic rozmˇeru m × n znaˇc´ıme Rm×n . Budeme pouˇz´ıvat tyto názvy: • Pro m = n se matice nazývá ˇ ctvercov´ a a pro m 6= n obd´ eln´ıkov´ a, pˇriˇcemˇz pro m < n je ˇ sirok´ a a pro m > n je u ´ zk´ a.

• Diagon´ aln´ı prvky matice jsou prvky a11 , . . . , app , kde p = min{m, n}. Matice je diagon´ aln´ı, kdyˇz vˇsechny nediagonáln´ı prvky jsou nulové (plat´ı pro ˇctvercové i obdéln´ıkové matice). Pokud A je ˇctvercová diagonáln´ı (m = n), znaˇc´ıme A = diag(a11 , a22 , . . . , ann ). • Nulov´ a matice má vˇsechny prvky nulové. Znaˇc´ıme ji 0m×n (pokud jsou rozmˇery jasné z kontextu, pak pouze 0). • Jednotkov´ a matice je ˇctvercová diagonáln´ı, jej´ıˇz diagonáln´ı prvky jsou jedniˇcky. Znaˇc´ıme ji In (pokud jsou rozmˇery jasné z kontextu, pak pouze I).

2.1

Operace s maticemi

Na matic´ıch jsou definovány následuj´ıc´ı operace: • Souˇcin skaláru1 α ∈ R a matice A ∈ Rm×n je matice αA = [αaij ] ∈ Rm×n . • Souˇcet matic A, B ∈ Rm×n je matice A + B = [aij + bij ] ∈ Rm×n .

• Maticov´ y souˇ cin matic A ∈ Rm×p a B ∈ Rp×n je matice C = AB ∈ Rm×n s prvky cij =

p X

aik bkj .

(2.1)

k=1

Vˇsimnˇete si, ˇze násobit lze jen matice, které maj´ı vnitˇrn´ı rozmˇer (p) stejný. 1 Slovo skal´ ar v algebˇre re´ aln´ ych matic oznaˇcuje reálné ˇc´ıslo. Pˇresnˇeji, pohl´ıˇz´ıme-li na mnoˇzinu vˇsech matic rozmˇeru m × n jako na lineárn´ı prostor, jedná se o skaláry tohoto lineárn´ıho prostoru.

12

Vlastnosti maticového souˇcinu: • (AB)C = A(BC)

• (A + B)C = AC + BC a A(B + C) = AB + AC • AIn = A = Im A

• (αA)B = A(αB) = α(AB)

Obecnˇe neplat´ı AB = BA (ˇctvercové matice obecnˇe nekomutuj´ı). Poznamenejme, ˇze výraz αA nelze povaˇzovat za maticový souˇcin ’matice’ α rozmˇeru 1 × 1 a matice A, protoˇze vnitˇrn´ı rozmˇer matic by byl obecnˇe r˚ uzný. Tedy násoben´ı matice skalárem je jiná operace, neˇz maticový souˇcin.

2.2

Transpozice a symetrie

Transpozici matice A = [aij ] ∈ Rm×n znaˇc´ıme AT = [aji ] ∈ Rn×m . Vlastnosti transpozice: • (αA)T = αAT • (AT )T = A

• (A + B)T = AT + BT

• (AB)T = BT AT ˇ Ctvercov´ a matice se nazývá • symetrick´ a, kdyˇz AT = A, tj. aij = aji ,

• antisymetrick´ a, kdyˇz AT = −A, tj. aij = −aji (z ˇcehoˇz nutnˇe plyne aii = 0).

2.3

Hodnost a inverze

Hodnost matice je velikost nejvˇetˇs´ı podmnoˇziny jej´ıch lineárnˇe nezávislých sloupc˚ u. Jinými slovy, je to dimenze lineárn´ıho obalu sloupc˚ u matice. Hodnost znaˇc´ıme rank A. Plat´ı (a nen´ı to snadné dokázat) rank A = rank AT , (2.2) tedy m´ısto pomoc´ı sloupc˚ u lze hodnost ekvivalentnˇe definovat pomoc´ı ˇrádk˚ u. Z toho plyne, pro kaˇzdou matici je vˇzdy rank A ≤ min{m, n}. (2.3) ˇ Pokud rank A = min{m, n}, ˇr´ıkáme, ˇza matice má plnou hodnost. Ctvercov´ a matice s plnou hodnost´ı se nazývá regul´ arn´ı, jinak je singul´ arn´ı. Uved’me jeˇstˇe tvrzen´ı o hodnosti souˇcinu matic, které dokáˇzeme pozdˇeji v §3.2.1: rank(AB) ≤ min{rank A, rank B}.

(2.4)

Pokud matice A ∈ Rn×m a B ∈ Rm×n splˇ nuj´ı AB = In ,

(2.5)

matice B se nazývá prav´ a inverze matice A a matice A se nazývá lev´ a inverze matice B. Pravá ˇci levá inverze nemus´ı existovat nebo nemus´ı být jediná. 13

Pravá inverze ˇctvercové matice existuje právˇe tehdy, kdyˇz tato matice je regulárn´ı. Proto se regulárn´ı matici ˇr´ıká také invertovateln´ a. V tom pˇr´ıpadˇe je jediná a je rovna levé inverzi. Pak mluv´ıme pouze o inverzi matice a znaˇc´ıme ji A−1 . Vlastnosti inverze: • AA−1 = I = A−1 A • (A−1 )−1 = A

• (AB)−1 = B−1 A−1

• (αA)−1 = α−1 A−1

• (AT )−1 = (A−1 )T , coˇz krátce znaˇc´ıme A−T .

2.4

Determinant

Determinant je funkce Rn×n → R (tedy pˇriˇrazuje ˇctvercové matici skalár) definovaná jako det A =

X

sgn σ

n Y

ai σ(i) ,

(2.6)

i=1

σ

kde sˇc´ıtáme pˇres vˇsechny permutace n prvk˚ u σ: {1, . . . , n} → {1, . . . , n}, pˇriˇcemˇz sgn σ oznaˇcuje znaménko permutace. Nˇekteré vlastnosti determinantu: • Determinant je multilineárn´ı funkce sloupc˚ u matice, tj. je lineárn´ı funkc´ı libovolného sloupce, jsou-li vˇsechny ostatn´ı sloupce konstantn´ı. • Determinant je alternuj´ıc´ı funkce sloupc˚ u matice, tj. prohozen´ı dvou sousedn´ıch sloupc˚ u zmˇen´ı znaménko determinantu. • det I = 1

• det A = 0 právˇe tehdy, kdyˇz A je singulárn´ı • det AT = det A

• det(AB) = (det A)(det B)

• det A−1 = (det A)−1 (plyne z pˇredchoz´ıho pro B = A−1 )

2.5

Matice s jedn´ım sloupcem nebo jedn´ım ˇ r´ adkem

Matice s jediným sloupcem (tedy prvek Rn×1 ) se také nazývá sloupcov´ y vektor2 . Matice s 1×m jediným ˇrádkem (tedy prvek R ) se také nazývá ˇ r´ adkov´ y vektor. n×1 Lineárn´ı prostor R vˇsech matic s jediným sloupcem je ‘skoro stejný’ (isomorfn´ı) jako lineárn´ı prostor Rn vˇsech uspoˇrádaných n-tic (x1 , . . . , xn ). Proto je zvykem tyto prostory ztotoˇznit a bez upozornˇen´ı pˇrecházet mezi obˇema významy. Prvk˚ um   x1  ..  x = (x1 , . . . , xn ) =  .  ∈ Rn {z } | xn uspoˇr´ adan´ a n-tice | {z } matice n × 1

2

V lineárn´ı algebˇre má slovo vektor obecnˇejˇs´ı v´ yznam neˇz v maticové algebˇre: znamen´ a prvek lineárn´ıho prostoru (kter´ y se nˇekdy také naz´ yvá vektorový prostor ).

14

tohoto prostoru budeme ˇr´ıkat krátce vektory. Jinak ˇreˇceno, slovem vektor (bez pˇr´ıvlastku) budeme rozumˇet sloupcový vektor nebo také uspoˇránou n-tici ˇc´ısel3 . Vˇsimnˇeme si pˇr´ıpad˚ u, kdy se v maticovém souˇcinu vyskytuj´ı vektory: • Pro matici A ∈ Rm×n a vektor x ∈ Rn , výraz Ax je maticový souˇcin matice m × n a matice n × 1, coˇz je (sloupcový) vektor délky m.

• Pro matici A ∈ Rm×n a vektor x ∈ Rm , výraz xT A je maticový souˇcin matice 1 × m a matice m × n, coˇz je ˇrádkový vektor délky n.

• Pro x, y ∈ Rn je xT y = x1 y1 + · · · + xn yn je maticový souˇcin ˇrádkového vektoru xT a sloupcového vektoru y, jehoˇz výsledkem je skalár. Je to standardn´ı skalárn´ı souˇcin vektor˚ u x a y (viz §4.1).

• Pro x, y ∈ Rn je xyT matice m × n, které se nˇekdy ˇr´ıká vnˇejˇs´ı souˇcin vektor˚ u x a y. Symbol 1n = (1, . . . , 1) ∈ Rn znaˇc´ı (sloupcový) vektor s jedniˇckovými sloˇzkami. Pokud n plyne z kontextu, p´ıˇseme jen 1. Pˇr´ıklad: pro x ∈ Rn je 1T x = x1 + · · · + xn . Symbol ei = (0, . . . , 0, 1, 0, . . . , 0) ∈ Rn (jedniˇcka na i-tém m´ıstˇe) znaˇc´ı i-tý (sloupcový) vektor standarn´ı báze. Dimenze n vektoru je urˇcena kontextem. Pˇr´ıklad: pro x ∈ Rn je eTi x = xi .

2.6

Matice sestaven´ e z blok˚ u

Matici je moˇzno sestavit z nˇekolika jej´ıch podmatic (zvaných téˇz bloky), napˇr. A B A A I A B , , , . C D B 0 D

(2.7)

Rozmˇery jednotlivých blok˚ u mus´ı být sluˇcitelné, napˇr. v prvn´ım pˇr´ıkladu mus´ı m´ıt matice A, B stejný poˇcet ˇrádk˚ u a matice A, C stejný poˇcet sloupc˚ u. V posledn´ım pˇr´ıkladu jsou rozmˇery jednotkové matice I a nulové matice 0 urˇceny rozmˇery matic A a D. Pˇri násoben´ı matic sestavených z blok˚ u je uˇziteˇcné pravidlo, ˇze lze formálnˇe uˇz´ıt obvyklý postup pro násoben´ı matic, pouze m´ısto prvk˚ u matice si pˇredstav´ıme bloky. Pˇ r´ıklad 2.1. Jsou-li a, b, c, d, x, y skaláry, máme ax + by a b x . = cx + dy c d y Jsou-li A, B, C, D, X, Y matice vhodných rozmˇer˚ u, máme tedy (ovˇeˇrte dle vzorce (2.1)!) A B X AX + BY = . C D Y CX + DY ˇ Pˇ r´ıklad 2.2. Casto je uˇziteˇcné vn´ımat matici A ∈ Rm×n jako matici sestavenou z blok˚ u A = a1 · · · an , 3

Totéˇz bychom samozˇrejmˇe mohli udˇelat s ˇrádky (a nˇekdo to tak i dˇelá, napˇr. poˇc´ıtaˇcov´ı grafici).

15

kde sloupcové vektory a1 , . . . , an ∈ Rm jsou sloupce matice A. Matici lze také vn´ımat jako sestavenou z blok˚ u   aT1  ..  A =  . , aTm

kde ˇrádkové vektory aT1 , . . . , aTm jsou ˇrádky matice A, pˇriˇcemˇz a1 , . . . , am ∈ Rn . Vyjádˇr´ıme-li matici A pomoc´ı ˇrádk˚ u a matici B pomoc´ı sloupc˚ u, je       aT1 b1 · · · aT1 bn aT1 B aT1      ..  . .. AB =  ...  b1 · · · bn = Ab1 · · · Abn =  ...  =  ... . .  T T T T am b1 · · · am bn am B am

Vyjádˇr´ıme-li matici A pomoc´ı sloupc˚ u a matici B pomoc´ı ˇrádk˚ u, je   bT  .1  AB = a1 · · · ap  ..  = a1 bT1 + · · · + ap bTp . bTp

2.7

(2.8)

(2.9)

Hrub´ e chyby pˇ ri pr´ aci s maticemi

Pˇri manipulaci s maticovými výrazy a rovnicemi dˇelaj´ı studenti nˇekdy hrubé chyby, kterých se lze pˇri alespoˇ n minimáln´ı pozornosti vyvarovat. Uved’me typické pˇr´ıklady tˇechto chyb.

V´ yraz je nesmysln´ y kv˚ uli rozmˇ er˚ um matic Jako prvn´ı pˇr´ıklad uved’me chyby, kdy výraz nemá smysl kv˚ uli rozmˇer˚ um matic a vektor˚ u. Prvn´ı typ tˇechto chyb poruˇsuje syntaktická pravidla, napˇr.: • Pokud A ∈ R2×3 a B ∈ R3×3 , tak následuj´ıc´ı výrazy jsou chybné: A + B,

A = B,

[A B],

AT B,

A−1 ,

det A,

A2 .

A . B Ve druhém typu tˇechto chyb student nap´ıˇse výraz nebo udˇelá závˇer, který neodporuje syntaxi ale nedává smysl kv˚ uli sémantice (významu), napˇr.: • Inverze ˇctvercové, ale evidentnˇe singulárn´ı matice. Napˇr. (wwT )−1 , kde w ∈ R3 . • Zcela odstraˇsuj´ıc´ı pˇr´ıklad je pouˇzit´ı ‘zlomku’ pro matice, napˇr.

• Pˇredpoklad existence levé inverze ˇsiroké matice nebo pravé inverze u ´zké matice. Napˇr. T 5×3 nap´ıˇseme QQ = I, kde Q ∈ R .

• Tvrzen´ı rank A = 5, kde A ∈ R3×5 . Je chybné, protoˇze kaˇzdá pˇetice vektor˚ u z R3 je lineárnˇe závislá.

Pˇ r´ıklad 2.3. Vid´ıme-li výraz (AT B)−1 , mus´ı nám okamˇzitˇe hlavou probˇehnout tyto u ´vahy o m×n k×p rozmˇerech matic A ∈ R aB∈R : • Abychom se vyhnuli syntaktické chybˇe v násoben´ı, mus´ı být m = k. 16

• Jelikoˇz souˇcin AT B je rozmˇeru n × p, mus´ı být n = p, abychom se vyhnuli syntaktické chybˇe pˇri inverzi. Ted’ tedy v´ıme, ˇze obˇe matice mus´ı m´ıt stejný rozmˇer. ´zká nebo B ˇsiroká, AT B by byla • Z nerovnosti (2.4) je jasné, ˇze pokud by AT byla u singulárn´ı a dostali bychom sémantickou chybu. Abychom se j´ı vyhnuli, mus´ı být obˇe matice bud’ ˇctvercové nebo u ´zké, m ≥ n. T −1 Závˇer: Aby výraz (A B) mˇel smysl, je nutné, aby matice A, B mˇely stejný rozmˇer a byly ˇctvercové nebo u ´zké.

Pouˇ zit´ı neexistuj´ıc´ıch maticov´ ych identit Pro manipulaci s maticovými výrazy je uˇziteˇcné m´ıt v pamˇeti zásobu maticových identit. Ovˇsem nesm´ı být chybné. Typické pˇr´ıklady: • (AB)T = AT BT (pokud v maticovém souˇcinu AT BT je vnitˇrn´ı rozmˇer r˚ uzný, je to také syntaktická chyba) • (AB)−1 = A−1 B−1 (pro neˇctvercové matice je to také syntaktická chyba, pro ˇctvercové ale singulárn´ı matice je to také sémantická chyba) • (A + B)2 = A2 + 2AB + B2 . Tato identita se op´ırá o velice uˇziteˇcnou (avˇsak neexistuj´ıc´ı) identitu AB = BA. Správnˇe je (A + B)2 = A2 + AB + BA + B2 .

Neekvivalentn´ı u ´ pravy (ne)rovnic Zde student udˇelá chybný u ´sudek pˇri neekvivalentn´ı u ´pravˇe rovnice ˇci nerovnice. Ekvivalentn´ı a neekvivalentn´ı u ´pravy skalárn´ıch rovnic známe jiˇz ze základn´ı ˇskoly. Napˇr. operace ‘odmocni rovnici’ je neekvivalentn´ı, nebot’ sice a = b implikuje a2 = b2 , ale a2 = b2 neimplikuje a = b. Pˇr´ıklady: ´ • Usudek, ˇze aT x = aT y implikuje x = y (nen´ı pravda, ani kdyˇz vektor a je nenulový). ´ • Usudek, ˇze pokud A ∈ R3×5 a AX = AY, pak plat´ı X = Y (nen´ı pravda, protoˇze A nemá levou inverzi, tedy lineárnˇe nezávislé sloupce). ´ • Usudek, ˇze AT A = BT B implikuje A = B (nen´ı pravda dokonce ani pro skaláry).

Dalˇ s´ı n´ apady pro pr´ aci s maticemi • Pod výrazy s maticemi a vektory si malujte obdéln´ıˇcky s rozmˇery matic, abyste mˇeli jasnou pˇredstavu o jejich rozmˇerech. • Vid´ıte-li maticovou rovnici ˇci soustavu rovnic, spoˇc´ıtejte si skalárn´ı rovnice a neznámé. ´ • Pracujte nejen s pap´ırem, ale i s Matlabem. Upravy maticových výraz˚ u lze ˇcasto ovˇeˇrit T T T na náhodných matic´ıch. Napˇr. chceme-li ovˇeˇrit rovnost (AB) = B A , zkus´ıme napˇr. A=randn(5,3); B=randn(3,6); (A*B)’-B’*A’. Samozˇrejmˇe to nen´ı d˚ ukaz.

2.8

Cviˇ cen´ı

2.1. Vyˇreˇste tyto rovnice pro neznámou matici X (pˇredpokládejte, ˇze kaˇzdá potˇrebná inverze existuje):

17

a) AX + B = A2 X b) X − A = XB c) 2X − AX + 2A = 0

ˇ s´ıme soustavu rovnic { bi = Xai , i = 1, . . . , k } pro neznámou matici X ∈ Rm×n . Jaké 2.2. Reˇ mus´ı být k, aby soustava mˇela stejný poˇcet (skalárn´ıch) rovnic jako neznámých? Za jaké podm´ınky má soustava jediné ˇreˇsen´ı? 2.3. Vyˇreˇste soustavu rovnic { Ax = b, x = AT y }, kde x, y jsou neznámé vektory a matice A je ˇsiroká s plnou hodnost´ı. Najdˇete jen vztah pro x, vztah pro y nás nezaj´ımá. Ovˇeˇrte v Matlabu pro náhodné zadán´ı, které z´ıskáte pˇr´ıkazy A=randn(m,n); b=randn(m,1). 2.4. Mˇejme soustavu rovnic pro neznámé x a y: Ax + By = a Cx + Dy = b a) Vyjádˇrete soustavu ve tvaru Pu = q. b) Je-li a, x ∈ Rm , b, y ∈ Rn , ukaˇzte, ˇze x = (A − BD−1 C)−1 (a − BD−1 b). Jakou to má výpoˇcetn´ı výhodu oproti poˇc´ıtán´ı u pˇr´ımo ze soustavy Pu = q? 2.5. V následuj´ıc´ıch soustavách rovnic malá p´ısmena znaˇc´ı vektory a velká matice. Jaké jsou nejobecnˇejˇs´ı rozmˇery matic a vektor˚ u, aby rovnice byly syntakticky správnˇe? Jaký je poˇcet rovnic a neznámých v kaˇzdé soustavˇe? Které z tˇechto soustav rovnic jsou lineárn´ı? a) b) c) d) e)

Ax = b, neznámá x. xT Ax = 1, neznámá x. aT Xb = 0, neznámá X. AX + XAT = C, neznámá X { XT Y = A, XYT = B }, neznámé X, Y

2.6. Zobrazen´ı vec : Rm×n → Rmn (‘vektorizace’ matice, v Matlabu oznaˇceno A(:)) je definováno tak, ˇze vec A je matice A pˇrerovnaná po sloupc´ıch do vektoru. Kronecker˚ uv souˇcin matic (v Matlabu kron(A,B)) je definován jako   a11 B · · · a1n B  ..  . .. A ⊗ B =  ... . .  am1 B · · · amn B Pro libovolné matice (s kompatibiln´ımi velikostmi) plat´ı

vec(ABC) = (CT ⊗ A) vec B.

(2.10)

Pouˇzijte tohoto vzorce pro pˇreveden´ı následuj´ıc´ıch soustav rovnic s neznámou matic´ı X do tvaru Pu = q s neznámým vektorem u. Pˇredpokládejte, ˇze poˇcet rovnic je rovný poˇctu neznámých. Pˇredpokládejte, ˇze matice a vektory maj´ı nejobecnˇejˇs´ı moˇzné rozmˇery, aby to dávalo smysl. a) { bTi Xai = 0, i = 1, . . . , k } b) AX + XAT = C 18

2.7. Souˇcet diagonáln´ıch prvk˚ u ˇctvercové matice se nazývá jej´ı stopa. a) Dokaˇzte, ˇze matice AB a BA maj´ı stejnou stopu. b) Dokaˇzte, ˇze rovnice AB − BA = I nemá ˇreˇsen´ı pro ˇzádné A, B. 2.8. Komutátorem dvou matic rozum´ıme matici [A, B] = AB−BA. Dokaˇzte, ˇze plat´ı Jacobiho identita [A, [B, C]] + [B, [C, A]] + [C, [A, B]] = 0. 2.9. Dokaˇzte Sherman-Morrison˚ uv vzorec (A je ˇctvercová regulárn´ı a vT A−1 u 6= 1): uvT A−1 T −1 −1 I+ (A − uv ) = A . 1 − vT A−1 u 2.10. Dokaˇzte, ˇze (AB)−1 = B−1 A−1 . 2.11. Dokaˇzte, ˇze pro kaˇzdou ˇctvercovou matici A a) A + AT je symetrická b) A − AT je antisymetrická c) existuje symetrická B a antisymetrická C tak, ˇze A = B + C, pˇriˇcemˇz B, C jsou dány jednoznaˇcnˇe. d) AT A je symetrická 2.12. Dokaˇzte, ˇze pro kaˇzdé A ∈ Rm×n a B ∈ Rn×m má matice I − BA B L= 2A − ABA AB − I vlastnost L2 = I (kde L2 je zkratka pro LL). Matice s touto vlastnost´ı se nazývá involuce. 2.13. Kdy je diagonáln´ı matice regulárn´ı? Co je inverz´ı diagonáln´ı matice? 2.14. Ukaˇzte, ˇze diagonáln´ı matice komutuj´ı (tj. AB = BA). 2.15. Dokaˇzte, ˇze pokud je I − A regulárn´ı, pak A(I − A)−1 = (I − A)−1 A. 2.16. Dokaˇzte, ˇze pokud A, B a A + B jsou regulárn´ı, pak

A(A + B)−1 B = B(A + B)−1 A = (A−1 + B−1 )−1 . 2.17. (⋆) Necht’ ˇctvercové matice A, B, C, D jsou takové, ˇze ABT a CDT jsou symetrické a plat´ı ADT − BCT = I. Dokaˇzte, ˇze AT D − CT B = I.

N´ apovˇ eda a ˇ reˇ sen´ı 2.1.a) X = (A2 − A)−1 B = (A − I)−1 A−1 B 2.1.b) X = A(I − B)−1

2.1.c) X = 2(A − 2I)−1 A = (A/2 − I)−1 A 2.2.

Neznám´ ych je m × n, rovnic je m × k, tedy mus´ı b´ yt n = k. Pro jediné ˇreˇsen´ı mus´ı b´ yt vektory ai line´ arnˇe nez´ avislé.

x = AT (AAT )−1 b A B a x 2.4.a) P = ,q= ,u= C D b y 2.3.

19

2.5.a) Rovnic je m, nezn´ am´ ych n, kde A ∈ Rm×n . Je line´ arn´ı.

2.5.b) Rovnice je jedna, nezn´ am´ ych je n, kde x ∈ Rn . Nen´ı line´ arn´ı.

2.5.c) Rovnice je jedna, nezn´ am´ ych je mn, kde X ∈ Rm×n . Je line´ arn´ı.

2.5.d) Vˇsechny tˇri matice A, C, X mus´ı b´ yt ˇctvercové velikosti n × n. Rovnic i nezn´ am´ ych je n2 . 2.5.e) Rovnic je m2 + n2 , nezn´ am´ ych je 2mn, kde X, Y ∈ Rm×n . Nen´ı line´ arn´ı.

20

Kapitola 3 Linearita Mnoˇzina Rm×n matic pevného rozmˇeru m × n spolu s operacemi + (sˇc´ıtán´ı matic) a · (násoben´ı matice skalárem) tvoˇr´ı lineárn´ı prostor nad tˇelesem reálných ˇc´ısel. Speciáln´ım pˇr´ıpadem je lineárn´ı prostor Rn×1 jednosloupcových matic neboli, po ztotoˇznˇen´ı popsaném v §2.5, lineárn´ı prostor Rn vˇsech n-tic reálných ˇc´ısel. Zopakujte si z lineárn´ı algebry pojem lineárn´ıho prostoru!

3.1

Line´ arn´ı podprostory

Line´ arn´ı kombinace vektor˚ u x1 , . . . , xk ∈ Rn je vektor α1 x1 + · · · + αk xk

(3.1)

pro nˇejaké skaláry α1 , . . . , αk ∈ R. Vektory jsou line´ arnˇ e nez´ avisl´ e, kdyˇz plat´ı implikace α1 x1 + · · · + αk xk = 0

=⇒

α1 = · · · = αk = 0.

(3.2)

V opaˇcném pˇr´ıpadˇe jsou line´ arnˇ e z´ avisl´ e. Line´ arn´ı obal vektor˚ u x1 , . . . , xk je mnoˇzina span{x1 , . . . , xk } = { α1 x1 + · · · + αk xk | α1 , . . . , αk ∈ R } vˇsech jejich lineárn´ıch kombinac´ı (zde pˇredpokládáme, ˇze vektor˚ u je koneˇcný poˇcet). n Mnoˇzina X ⊆ R se nazývá line´ arn´ı podprostor (ˇcastˇeji jen podprostor) lineárn´ıho prostoru Rn , pokud libovolná lineárn´ı kombinace libovolných vektor˚ u z X leˇz´ı v X (ˇr´ıkáme, ˇze mnoˇzina X je uzavˇrená v˚ uˇci lineárn´ım kombinac´ım). B´ aze lineárn´ıho podprostoru X ⊆ Rn je lineárnˇe nezávislá mnoˇzina vektor˚ u, jej´ıˇz lineárn´ı obal je X. Netriviáln´ı podprostor Rn má nekoneˇcný poˇcet báz´ı, kaˇzdá báze má vˇsak stejný poˇcet vektor˚ u. Tento poˇcet je dimenz´ı lineárn´ıho podprostoru, kterou znaˇc´ıme dim X. Definujeme1 span ∅ = {0}. Z toho plyne, ˇze nejmenˇs´ı moˇzný lineárn´ı podprostor je 0. Pˇ r´ıklad 3.1. Mnoˇzina X = span{(1, 2, 3)} = { α(1, 2, 3) | α ∈ R } ⊆ R3 je podprostor R3 dimenze 1. Je to pˇr´ımka procházej´ıc´ı poˇcátkem. Jej´ı báze je napˇr. mnoˇzina {(1, 2, 3)}, jiná báze je mnoˇzina {(2, 4, 6)}.

Pˇ r´ıklad 3.2. Mnoˇzina X = span{(1, 2, 3, 0), (0, 1, 2, −1), (0, 2, 4, −2)} ⊆ R4 je podprostor R4 dimenze 2. Vˇsimnˇete si, ˇze vektory jsou lineárnˇe závislé. Báze podprostoru X je napˇr. mnoˇzina {(1, 2, 3, 0), (0, 1, 2, −1)}.

P Plyne z toho, ˇze (3.1) je rovno 0 pro a suma i∈∅ ai je definována jako Pk = 0. To plat´ı proto, ˇze prázdn´ nula, protoˇze pˇrirozenˇe chceme, aby b + i∈∅ ai = b pro libovolné b (podobnˇe pro vektory). 1

21

Pˇ r´ıklad 3.3. Vˇsechny moˇzné podprostory prostoru R3 jsou tyto: poˇcátek 0 (dimenze 0), vˇsechny pˇr´ımky procházej´ıc´ı poˇcátkem (dimenze 1), vˇsechny roviny procházej´ıc´ı poˇcátkem (dimenze 2), a koneˇcnˇe celý prostor R3 (dimenze 3). Pˇ r´ıklad 3.4. Mnoˇzina X = { (1 + α, α) | α ∈ R } ⊆ R2 (pˇr´ımka neprocházej´ıc´ı poˇcátkem) nen´ı podprostor R2 , protoˇze napˇr. (1, 0) ∈ X ale 2(1, 0) = (2, 0) ∈ / X.

3.2

Line´ arn´ı zobrazen´ı

Zobrazen´ı f: Rn → Rm nazveme line´ arn´ı, pokud pro kaˇzdé x1 , . . . , xk ∈ Rn a α1 , . . . , αk ∈ R plat´ı f (α1 x1 + · · · + αk xk ) = α1 f(x1 ) + · · · + αk f(xk ), (3.3) tedy pokud ‘zobrazen´ı lineárn´ı kombinace je rovno lineárn´ı kombinaci zobrazen´ı’. Lze ukázat, ˇze zobrazen´ı je lineárn´ı právˇe tehdy, existuje-li matice A ∈ Rm×n taková, ˇze f (x) = Ax.

(3.4)

D˚ ukaz jedné implikace je snadný: zobrazen´ı (3.4) je lineárn´ı, nebot’ f (α1 x1 + · · · + αk xk ) = A(α1 x1 + · · · + αk xk ) = α1 Ax1 + · · · + αk Axk = α1 f(x1 ) + · · · + αk f(xk ), ukaz obrácené implikace vynecháme, ale coˇz plyne z vlastnost´ı maticového souˇcinu (viz §2.1). D˚ ˇ ıkáme také nen´ı obt´ıˇzný. Lze nav´ıc ukázat, ˇze matice A je zobrazen´ım f urˇcena jednoznaˇcnˇe. R´ proto, ˇze matice A reprezentuje lineárn´ı zobrazen´ı f . Pˇ r´ıklad 3.5. Zobrazen´ı f: R2 → R3 definované jako f (x1 , x2 ) = (x1 + x2 , x1 − x2 , 2x1 ) je lineárn´ı. To bychom dokázali ovˇeˇren´ım podm´ınky (3.3). Ovˇsem je to patrné na prvn´ı pohled, protoˇze jej lze vyjádˇrit ve tvaru (3.4):     x1 + x2 1 1 x f(x1 , x2 ) = 1 −1 1 = x1 − x2  = (x1 + x2 , x1 − x2 , 2x1 ). x2 2x1 2 0 Pokud m = 1, lineárn´ı zobrazen´ı je funkce f : Rn → R tvaru f (x) = aT x = a1 x1 + · · · + an xn ,

(3.5)

kde a ∈ Rn . Této funkci se téˇz ˇr´ıká lineárn´ı forma. Pod´ıvejme se bl´ıˇze na vzorec (3.4). Výraz Ax je maticový souˇcin matice m × n matic´ı n × 1 (viz §2.5). Oznaˇc´ıme-li y = Ax, je tedy podle (2.1) yi =

n X

aij xj

j=1

neboli

y1 = a11 x1 + · · · + a1n xn .. . ym = am1 x1 + · · · + amn xn . 22

(3.6)

Dále, vyjádˇr´ıme-li matici A pomoc´ı sloupc˚ u, máme   x  .1  Ax = a1 · · · an  ..  = x1 a1 + · · · + xn an , xn

(3.7)

tedy vektor Ax je lineárn´ı kombinace sloupc˚ u matice. Naopak, vyjádˇr´ıme-li matici A pomoc´ı ˇrádk˚ u, máme     aT1 x aT1     (3.8) Ax =  ...  x =  ...  , T T am x am tedy sloˇzky vektoru Ax jsou skalárn´ı souˇciny ˇrádk˚ u matice a vektoru x. Vˇsimnˇete si, ˇze (3.7) a (3.8) jsou speciáln´ı pˇr´ıpady (2.8) a (2.9) z Pˇr´ıkladu 2.2. Sloˇzen´ı lineárn´ıch zobrazen´ı je opˇet lineárn´ı zobrazen´ı. Pro f(x) = Ax a g(y) = By máme (g ◦ f )(x) = g(f (x)) = B(Ax) = (BA)x, tedy BA je matice sloˇzeného zobrazen´ı g ◦ f . Tedy matice sloˇzeného zobrazen´ı je souˇcinem matic jednotlivých zobrazen´ı. Toto je hlavn´ı d˚ uvod, proˇc je rozumné definovat maticové násoben´ı jako (2.1): násoben´ı matic odpov´ıdá skládán´ı lineárn´ıch zobrazen´ı reprezentovanými tˇemito maticemi.

3.2.1

Prostor obraz˚ u

S lineárn´ım zobrazen´ım jsou spjaty dva lineárn´ı podprostory, prostor obraz˚ u a nulový prostor (jádro). Je-li zobrazen´ı reprezentováno matic´ı jako f (x) = Ax, hovoˇr´ıme o prostoru obraz˚ ua m×n nulovém prostoru matice A ∈ R . Prostor obraz˚ u matice A (neboli prostor obraz˚ u zobrazen´ı f ) je mnoˇzina rng A = { Ax | x ∈ Rn } ⊆ Rm .

(3.9)

Interpretace prostoru obraz˚ u: n • Je to mnoˇzina f (R ) vˇsech hodnot, jichˇz m˚ uˇze zobrazen´ı f nabýt.

• Je to mnoˇzina vˇsech vektor˚ u y, pro které má lineárn´ı soustava Ax = y ˇreˇsen´ı.

• Podle (3.7) je to lineárn´ı obal sloupc˚ u matice A. Tedy je to lineárn´ı podprostor Rm . Z definice hodnosti je jasné, ˇze dim rng A = rank A. (3.10) Vˇ eta 3.1. Následuj´ıc´ı tvrzen´ı jsou ekvivalentn´ı: 1. rng A = Rm 2. rank A = m ˇ adky matice A jsou lineárnˇe nezávislé. 3. R´ 4. Soustava Ax = y má ˇreˇsen´ı pro kaˇzdé y. 5. Zobrazen´ı f je surjektivn´ı (viz §1.1.2).

6. Matice A má pravou inverzi, tj. existuje B tak, ˇze AB = I. 23

D˚ ukaz. • Ekvivalence 1 ⇔ 2 ⇔ 3 ⇔ 4 ⇔ 5 snadno plynou z definice hodnosti a z (3.10).

• Implikace 4 ⇒ 6 plat´ı, nebot’ soustava Abi = ei má ˇreˇsen´ı bi pro kaˇzdé i (kde ei resp. bi je i-tý sloupec matice I resp. B). Pro d˚ ukaz 6 ⇒ 4 poloˇz´ıme x = By.

3.2.2

Nulov´ y prostor

Nulov´ y prostor matice A (také se nazývá jádro zobrazen´ı f ) je mnoˇzina null A = { x ∈ Rn | Ax = 0 } ⊆ Rn .

(3.11)

Interpretace nulového prostoru: • Je to mnoˇzina vˇsech vektor˚ u, které se zobraz´ı na nulový vektor.

• Podle (3.8) je to mnoˇzina vˇsech vektor˚ u, které jsou kolmé na kaˇzdý ˇrádek matice A. Z toho je vidˇet, ˇze je to lineárn´ı podprostor Rn .

Vˇ eta 3.2. Následuj´ıc´ı tvrzen´ı jsou ekvivalentn´ı: 1. null A = {0} (tj. nulový prostor je triviáln´ı). 2. rank A = n

3. Sloupce matice A jsou lineárnˇe nezávislé. 4. Zobrazen´ı f je injektivn´ı (viz §1.1.2).

5. Matice A má levou inverzi, tj. existuje B tak, ˇze BA = I. D˚ ukaz. • Ekvivalence 1 ⇔ 3 plyne z definice lineárn´ı nezávislosti (3.2), tj. Ax = 0 ⇒ x = 0. • Ekvivalence 2 ⇔ 3 plyne z definice hodnosti.

• Tvrzen´ı 4 ˇr´ıká, ˇze pro kaˇzdé x, y je Ax = Ay ⇒ x = y, neboli A(x − y) = 0 ⇒ x − y = 0. To dokazuje 1 ⇔ 4.

• Tvrzen´ı 5 je ekvivalentn´ı tomu, ˇze matice AT má pravou inverzi, tj. AT BT = I. Tedy 3 ⇔ 5 plyne z Vˇety 3.1.

3.2.3

Nˇ ekter´ e vˇ ety o prostoru obraz˚ u a nulov´ em prostoru

Následuj´ıc´ı vˇeta je základn´ı, jej´ı d˚ ukaz lze naj´ıt v kaˇzdé uˇcebnici lineárn´ı algebry. Vˇ eta 3.3. Pro kaˇzdou matici A ∈ Rm×n plat´ı dim rng A + dim null A = n.

(3.12)

ˇ ıslo dim rng A = rank A je dimenze podprostoru vˇsech hodnot, Neformáln´ı interpretace: C´ ˇ ıslo dim null A je dimenze podprostoru vstupn´ıch které se mohou objevit na výstupu zobrazen´ı. C´ hodnot, které zobrazen´ı ’smáˇckne’ do nulového vektoru. Vˇeta 3.3 ˇr´ıká, ˇze kaˇzdá dimenze na vstupu se bud’ ’smáˇckne’ do nulového vektoru nebo se objev´ı na výstupu. Dokaˇzme nyn´ı snadná tvrzen´ı o prostoru obraz˚ u a nulovém prostoru souˇcinu matic. 24

Vˇ eta 3.4. Pro libovolné matice A, B plat´ı:

ˇrádky B jsou lineárnˇe nezávislé sloupce B jsou lineárnˇe nezávislé

rng(AB) ⊆ rng A =⇒ rng(AB) = rng A null(BA) ⊇ null A =⇒ null(BA) = null A

(3.13a) (3.13b) (3.13c) (3.13d)

D˚ ukaz. • Inkluze (3.13a) ˇr´ıká, ˇze jestliˇze soustava z = ABx má ˇreˇsen´ı, pak i soustava z = Ay má ˇreˇsen´ı. To ale plat´ı, protoˇze m˚ uˇzeme poloˇzit y = Bx. • Rovnost (3.13b) pak plyne z implikace 3 ⇒ 4 ve Vˇetˇe 3.1.

• Inkluze (3.13c) plat´ı, protoˇze Ax = 0 implikuje BAx = 0 (po vynásoben´ı matic´ı B zleva). • Rovnost (3.13d) plat´ı, nebot’ null B = {0}, coˇz je implikace 3 ⇒ 1 ve Vˇetˇe 3.2.

Jako d˚ usledek dostaneme sl´ıbený d˚ ukaz nerovnosti (2.4). Z inkluze (3.13a) a rovnosti (3.10) máme rank(AB) ≤ rank A. Ovˇsem d´ıky (2.2) máme také rank(AB) = rank((AB)T ) = rank(BT AT ) ≤ rank(BT ) = rank B. Dáno dohromady, máme rank(AB) ≤ min{rank A, rank B}. Dále uvedeme pomˇernˇe pˇrekvapivou vˇetu, kterou budeme potˇrebovat pozdˇeji. Vˇ eta 3.5. Pro libovolnou matici A plat´ı rng(AAT ) = rng A T

(3.14a) T

null(AA ) = null A .

(3.14b)

D˚ ukaz. Dle (3.13c) je null(AAT ) ⊇ null AT . Ale je také null(AAT ) ⊆ null AT , nebot’ AAT x = 0

=⇒

xT AAT x = (AT x)T (AT x) = 0

=⇒

AT x = 0.

Zde druhá implikace plat´ı proto, ˇze pro libovolný vektor y máme yT y = 0 ⇒ y = 0 (napiˇste si souˇcin yT y ve sloˇzkách!). Tedy jsme dokázali (3.14b). Z (3.14b) a (3.12) máme dim rng(AAT ) = rank(AAT ) = rank A = dim rng A. Z (3.13a) máme rng(AAT ) ⊆ rng A. Ale pokud je podprostor podmnoˇzinou jiného podprostoru a oba maj´ı stejnou dimenzi, mus´ı být stejné. To je jasné: libovolná báze rng(AAT ) leˇz´ı také v rng A, a protoˇze oba podprostory maj´ı stejnou dimenzi, je to také báze rng A.

3.3

Afinn´ı podprostor a zobrazen´ı

Afinn´ı kombinace vektor˚ u x1 , . . . , xk ∈ Rn je lineárn´ı kombinace (3.1), ve které koeficienty kombinace splˇ nuj´ı α1 + · · · + αk = 1. Afinn´ı obal vektor˚ u x1 , . . . , xk je mnoˇzina vˇsech jejich 2 afinn´ıch kombinac´ı. Afinn´ı podprostor lineárn´ıho prostoru Rn je mnoˇzina A ⊆ Rn , která je uzavˇrená v˚ uˇci afinn´ım kombinac´ım (tedy kaˇzdá afinn´ı kombinace vektor˚ u z A leˇz´ı v A). 2

Vˇsimnˇete si, ˇze zde definujeme afinn´ı podprostor lineárn´ıho prostoru, ale uˇz ne afinn´ı prostor sám o sobˇe. Definice afinn´ıho prostoru bez odkazu k nˇejakému lineárn´ımu prostoru existuje, ale neuvád´ıme ji.

25

Pˇ r´ıklad 3.6. Mˇejme dva lineárnˇe nezávislé vektory x, y ∈ R2 . Jejich lineárn´ı obal je mnoˇzina span{x, y} = { αx + βy | α, β ∈ R }, tedy rovina procházej´ıc´ı tˇemito dvˇema body a poˇcátkem 0, tedy celý R2 . Jejich afinn´ı obal je mnoˇzina aff{x, y} = { αx + βy | α, β ∈ R, α + β = 1 } = { αx + (1 − α)y | α ∈ R }, coˇz je pˇr´ımka procházej´ıc´ı body x, y. Na obrázku jsou vektory αx+(1−α)y pro r˚ uzné hodnoty α:

= 1:5

=1

= 0:5

=0

=

0:5

y

x 0

Podobnˇe, lineárn´ı obal dvou lineárnˇe nezávislých vektor˚ u z R3 je rovina procházej´ıc´ı tˇemito dvˇema body a poˇcátkem 0, avˇsak jejich afinn´ı obal je pˇr´ımka procházej´ıc´ı tˇemito dvˇema body. Afinn´ı obal tˇr´ı lineárnˇe nezávislých bod˚ u v R3 je rovina procházej´ıc´ı tˇemito tˇremi body. Pro mnoˇzinu X ⊆ Rn a vektor y ∈ Rn oznaˇcme X + y = { x + y | x ∈ X }.

(3.15)

Vˇ eta 3.6. • Je-li A afinn´ı podprostor Rn a x0 ∈ A, pak mnoˇzina A − x0 je lineárn´ı podprostor Rn .

• Je-li X lineárn´ı podprostor Rn a x0 ∈ Rn , pak mnoˇzina X + x0 je afinn´ı podprostor Rn .

D˚ ukaz. Dokáˇzeme jen prvn´ı tvrzen´ı, druhé se dokáˇze podobnˇe. Chceme dokázat, ˇze libovolná lineárn´ı kombinace vektor˚ u z mnoˇziny A − x0 leˇz´ı v A − x0 . To znamená, ˇze pro x1 , . . . , xk ∈ A a α1 , . . . , αk ∈ R mus´ı být α1 (x1 − x0 ) + · · · + αk (xk − x0 ) ∈ A − x0 , tedy α1 (x1 − x0 ) + · · · + αk (xk − x0 ) + x0 = α1 x1 + · · · + αk xk + (1 − α1 − · · · − αk )x0 ∈ A. To je ale pravda, nebot’ α1 + · · · + αk + (1 − α1 − · · · − αk ) = 1 a tedy posledn´ı výraz je afinn´ı kombinace vektor˚ u z A, která podle pˇredpokladu leˇz´ı v A. Vˇeta ukazuje, ˇze afinn´ı podprostor nen´ı nic jiného neˇz ‘posunutý’ lineárn´ı podprostor (tedy nemus´ı procházet poˇcátkem, na rozd´ıl of lineárn´ıho podprostoru). Dimenze afinn´ıho podprostoru je dimenze tohoto lineárn´ıho podprostoru. Afinn´ımu podprostoru Rn dimenze 0, 1, 2 a n − 1 se ˇr´ıká po ˇradˇe bod, pˇ r´ımka, rovina a nadrovina. n m Zobrazen´ı f: R → R nazveme afinn´ı, pokud (3.3) plat´ı pro vˇsechna α1 + · · · + αk = 1, tedy zobrazen´ı afinn´ı kombinace je rovno afinn´ı kombinaci zobrazen´ı. Lze ukázat (proved’te!), ˇze zobrazen´ı f: Rn → Rm je afinn´ı právˇe tehdy, kdyˇz existuje matice A ∈ Rm×n a vektor b ∈ Rm tak, ˇze f (x) = Ax + b. (3.16) 26

Pˇ r´ıklad 3.7. Zobrazen´ı f : R2 → R3 definované jako f (x1 , x2 ) = (x1 + x2 + 1, x1 − x2 , 2x1 ) je afinn´ı. To bychom mohli dokázat ovˇeˇren´ım podm´ınek (3.3) pro α1 + · · · + αk = 1. Ale je to patrné i z toho, ˇze zobrazen´ı lze vyjádˇrit ve tvaru (3.16):     1 1 1 x1    f (x1 , x2 ) = 1 −1 + 0 . x2 2 0 0 Pro m = 1 je zobrazen´ı (3.16) afinn´ı funkce 3 f : Rn → R a má tvar f (x) = aT x + b = a1 x1 + · · · + an xn + b,

(3.17)

kde a ∈ Rn a b ∈ R.

3.4

Cviˇ cen´ı

3.1. Rozhodnˇete, zda následuj´ıc´ı mnoˇziny tvoˇr´ı lineárn´ı nebo afinn´ı podprostor Rn a pˇr´ıpadnˇe urˇcete jeho dimenzi: a) b) c) d) e)

{ x ∈ Rn | aT x = 0 } pro dané a ∈ Rn { x ∈ Rn | aT x = b } pro dané a ∈ Rn , b ∈ R { x ∈ Rn | xT x = 1 } { x ∈ Rn | axT = I } pro dané a ∈ Rn P x ∈ Rn ni=1 xi = 0

3.2. Je dáno zobrazen´ı f(x) = x × y, kde y ∈ R3 je pevný vektor a × oznaˇcuje vektorový souˇcin. Jde tedy o zobrazen´ı R3 → R3 . Je toto zobrazen´ı lineárn´ı? Pokud ano, najdˇete ˇ matici A tak, aby f(x) = Ax. Cemu je rovno AT ? Jakou hodnost má A? 3.3. Máme zobrazen´ı f: R2 → R3 definované jako f (x, y) = (x + y, 2x − 1, x − y). Je toto zobrazen´ı lineárn´ı? Pokud ano, napiˇste ho ve formˇe (3.4). Je toto zobrazen´ı afinn´ı? Pokud ano, napiˇste ho ve formˇe (3.16). Obˇe odpovˇedi dokaˇzte z definic. 3.4. Dokaˇzte, ˇze a) mnoˇzina ˇreˇsen´ı homogenn´ı lineárn´ı soustavy Ax = 0 je lineárn´ı podprostor, b) mnoˇzina ˇreˇsen´ı nehomogenn´ı lineárn´ı soustavy Ax = b (b 6= 0) je afinn´ı podprostor. 3.5. Najdˇete bázi prostoru obraz˚ u a bázi nulového prostoru následuj´ıc´ıch lineárn´ıch zobrazen´ı: a) f(x1 , x2 , x3 ) = (x1 − x2 , x2 − x3 + 2x1 ) b) f(x1 , x2 ) = (2x1 + x2 , x1 − x2 , 2x2 + x1 ) 3.6. Máte matice A a B se stejným poˇctem ˇrádk˚ u. Jak byste ovˇeˇrili, zda rng A = rng B, um´ıte-li spoˇc´ıtat hodnost libovolné matice? 3.7. Které z tˇechto výrok˚ u jsou pravdivé? Kaˇzdý výrok dokaˇzte nebo najdˇete protipˇr´ıklad. Nˇekteré výroky mohou platit jen pro urˇcité rozmˇery matic – najdˇete tedy co nejobecnˇejˇs´ı podm´ınky na rozmˇery matic, aby výroky byly pravdivé. 3

V lineárn´ı algebˇre znamen´ a slovo ‘line´ arn´ı’ nˇeco jiného neˇz v matematické anal´ yze. Napˇr. funkci jedné promˇenné f (x) = ax + b znáte ze z´ akladn´ı ˇskoly jako lineárn´ı, v lineárn´ı algebˇre vˇsak lineárn´ı nen´ı – je afinn´ı. Ovˇsem soustavˇe rovnic Ax = b se ˇr´ık´ a ‘line´ arn´ı’ i v lineárn´ı algebˇre.

27

a) b) c) d)

Pokud AB má plnou hodnost, pak A a B maj´ı plnou hodnost. Pokud A a B maj´ı plnou hodnost, pak AB má plnou hodnost. Pokud A a B maj´ı triviáln´ı nulový prostor, pak AB má triviáln´ı nulový prostor. (⋆) Pokud A a B jsou u ´zké s plnou hodnost´ı a plat´ı AT B = 0, pak matice [A B] je u ´zká s plnou hodnost´ ı. A 0 má plnou hodnost, pak A i B maj´ı plnou hodnost. e) (⋆) Pokud matice 0 B

3.8. Necht’ X je lineárn´ı podprostor Rn a f: Rn → Rm je lineárn´ı zobrazen´ı. Je mnoˇzina f(X) lineárn´ı podprostor Rm ? Odpovˇed’ dokaˇzte. 3.9. Najdi afinn´ı zobrazen´ı f : R2 → R2 které zobraz´ı troj´ uheln´ık s vrcholy p1 , p2 , p3 ∈ R2 na troj´ uheln´ık s vrcholy q1 , q2 , q3 ∈ R2 . Zobrazen´ı má zobrazit bod p1 do bodu q1 atd. Obecnˇeji, máme k dvojic bod˚ u (p1 , q1 ), . . . , (pk , qk ), kde pi ∈ Rn a qi ∈ Rm . Kolik dvojic potˇrebujeme, aby existovalo jediné afinn´ı zobrazen´ı f tak, ˇze f (pi ) = qi , i = 1, . . . , k?

3.10. Zjisti, zda existuje lineárn´ı funkce f splˇ nuj´ıc´ı tyto podm´ınky: a) f (1, 2) = 2, f (3, 4) = 3. b) f (1, 2) = 2, f (3, 4) = 3, f (5, 6) = 4. c) f (1, 0, 1) = −1, f (0, 1, 2) = 1, f (1, 1, 3) = 2. 3.11. K dané matici A hledáme libovolný nenulový vektor x takový, ˇze Ax = 0. a) Navrhnˇete verzi Gaussovy eliminaˇcn´ı metody, která takové x najde, pˇr´ıp. pozná, ˇze takové x neexistuje. b) Na základˇe toho navrhnˇete algoritmus, který najde bázi nulového prostoru matice A.

N´ apovˇ eda a ˇ reˇ sen´ı 3.1.a) Lineárn´ı podprostor, dimenze n − 1 pro a 6= 0 a n pro a = 0.

3.1.b) Afinn´ı podprostor dimenze n − 1 pro a 6= 0 a n pro a = 0, b = 0. Pro a = 0, b 6= 0 je mnoˇzina pr´ azdn´ a (tedy nen´ı afinn´ı podprostor). 3.1.c) Nen´ı line´ arn´ı ani afinn´ı podprostor (je to sféra). 3.1.d) Pro n = 1 je mnoˇzinou jedin´ y bod, tedy afinn´ı podprostor prostoru R. Pro n > 1 je mnoˇzina je pr´ azdn´ a (tedy nen´ı afinn´ı podprostor), protoˇze soustava axT = I nem´ a ˇreˇsen´ı pro ˇzádné a, x (moˇzn´ y d˚ ukaz: je rank I = n, ale rank(axT ) ≤ 1).

3.1.e) Lineárn´ı podprostor dimenze n − 1.   0 y3 −y2 0 y1  je antisymetrická hodnosti 2. 3.2. Je line´ arn´ı, A = −y3 y2 −y1 0     0 1 1 x     . 3.3. Je afinn´ı. Je f (x) = Ax + b, kde A = 2 0 b = (0, −1, 0) = −1 , x = (x, y) = y 0 1 −1

3.5.a) rng A = R2 a tedy b´ aze rng A je napˇr. I2 . Báze null A je napˇr. (1, 1, 3). 3.5.b) Báze rng A je napˇr. (2, 1, 1), (1, −1, 2). Báze null A je napˇr. (0, 0).

3.6.

rng A = rng B je ekvivalentn´ı rank A = rank[A B] = rank B.

28

3.9.

Reˇs´ıme soustavu qi = Api + b, i = 1, . . . , k, pro A, b.

3.10.a) Je f (x1 , x2 ) = a1 x1 + a2 x2 . Reˇs´ıme soustavu a1 + 2a2 = 2, 3a1 + 4a2 = 3. Tato soustava m´ a ˇreˇsen´ı, tedy line´ arn´ı funkce existuje. 3.10.b) Ano. 3.10.c) Ne. 3.11.b) Hledejte vektory b´ aze jeden po druhém.

29

Kapitola 4 Ortogonalita 4.1

Standardn´ı skal´ arn´ı souˇ cin

Prostor Rn je pˇrirozenˇe vybaven standardn´ım skal´ arn´ım souˇ cinem xT y = x1 y1 + · · · + xn yn . Skalárn´ı souˇcin splˇ nuje Cauchy-Schwarzovu nerovnost (xT y)2 ≤ (xT x)(yT y). Standardn´ı skalárn´ı souˇcin indukuje eukleidovskou normu1 √ kxk2 = xT x = (x21 + · · · + x2n )1/2 , Norma splˇ nuje troj´ uheln´ıkovou nerovnost kx + yk2 ≤ kxk2 + kyk2 , která snadno plyne z Cauchyovy-Schwarzovy nerovnosti (umocnˇete a roznásobte). Norma mˇeˇr´ı délku vektoru x. ´ Uhel ϕ dvojice vektor˚ u se spoˇc´ıtá jako cos ϕ =

xT y . kxk2 kyk2

Eukleidovská norma indukuje eukleidovskou metriku d(x, y) = kx − yk2 , která mˇeˇr´ı vzdálenost bod˚ u x a y. Protoˇze pro n = 3 takto definované pojmy délky, u ´hlu a vzdálenosti dobˇre modeluj´ı prostor, ve kterém ˇzijeme, prostoru Rn se standardn´ım skalárn´ım souˇcinem se ˇcasto ˇr´ıká Eukleidovsk´ y prostor.

4.2

Ortogon´ aln´ı vektory a podprostory

Dva vektory nazveme ortogon´ aln´ı (kolmé), pokud xT y = 0, znaˇc´ıme také x ⊥ y. Vektor y ∈ Rn je ortogon´ aln´ı na podprostor X ⊆ Rn (coˇz znaˇc´ıme y ⊥ X), je-li x ⊥ y pro kaˇzdé x ∈ X. Pro testován´ı této podm´ınky staˇc´ı ovˇeˇrit, ˇze y je kolmý na kaˇzdý bázový vektor podprostoru X. Opravdu, plat´ı-li xTi y = 0 pro kaˇzdé i = 1, . . . , k, pak plat´ı také (α1 x1 + · · · + αk xk )T y = 0. 1

Pro eukleidovskou normu pouˇz´ıv´ ame symbol k · k2 m´ısto pouhého k · k, nebot’ pozdˇeji potkáme i jiné normy.

30

Podprostory X, Y ⊆ Rn jsou ortogon´ aln´ı (znaˇc´ıme X ⊥ Y ), je-li x ⊥ y pro kaˇzdé x ∈ X a y ∈ Y . To lze napsat i jako y ⊥ X pro kaˇzdé y ∈ Y . Ortogon´ aln´ı doplnˇ ek podprostoru X ⊆ Rn je mnoˇzina X ⊥ = { y ∈ Rn | y ⊥ X }

(4.1)

vˇsech vektor˚ u z Rn kolmých na podprostor X. Pˇ r´ıklad 4.1. Dvˇe na sebe kolmé pˇr´ımky v R3 procházej´ıc´ı poˇcátkem jsou ortogonáln´ı podprostory, nejsou ale ortogonáln´ı doplnˇek jeden druhého. Ortogonáln´ı doplnˇek k pˇr´ımce v R3 procházej´ıc´ı poˇcátkem je rovina procházej´ıc´ı poˇcátkem, která je na tuto pˇr´ımku kolmá. Pˇ r´ıklad 4.2. Mˇejme podprostor X = span{(1, 2, 3), (0, 1, −1)}. Jeho ortogonáln´ı doplnˇek X ⊥ je mnoˇzina vˇsech vektor˚ u (x1 , x2 , x3 ) splˇ nuj´ıc´ıch soustavu rovnic x1 + 2x2 + 3x3 = 0 x2 − x3 = 0.

Nˇekteré vlastnosti ortogonáln´ıho doplˇ nku: • (X ⊥ )⊥ = X. Z toho plyne, ˇze pokud X ⊥ = Y , pak také Y ⊥ = X. Tedy podprostory X, Y jsou ortogonáln´ım doplˇ nkem jeden druhého. • dim X + dim(X ⊥ ) = n

4.2.1

ˇ ri podprostory definovan´ Ctyˇ e matic´ı

Kaˇzdá matice A ∈ Rm×n generuje ˇctyˇri z´ akladn´ı podprostory: n m • rng A = { Ax | x ∈ R } ⊆ R je lineárn´ı obal sloupc˚ u A,

• null A = { x ∈ Rn | Ax = 0 } ⊆ Rn je mnoˇzina vˇsech vektor˚ u kolmých na ˇrádky A,

• rng(AT ) = { AT x | x ∈ Rm } ⊆ Rn je lineárn´ı obal ˇrádk˚ u A,

• null(AT ) = { x ∈ Rm | AT x = 0 } ⊆ Rm je mnoˇzina vˇsech vektor˚ u kolmých na sloupce A. (viz rovnosti (3.7) a (3.8)). Tyto podprostory jsou svázány vztahy (rng A)⊥ = null(AT ).

(4.2a)

(null A)⊥ = rng(AT ),

(4.2b)

Tyto vztahy okamˇzitˇe plynou z definice ortogonáln´ıho doplˇ nku. Staˇc´ı si uvˇedomit (dokaˇzte!), ˇze y ⊥ span{x1 , . . . , xk } plat´ı právˇe tehdy, kdyˇz y ⊥ xi pro kaˇzdé i = 1, . . . , k. Tedy jsou-li napˇr. a1 , . . . , an sloupce matice A, je (rng A)⊥ = { y ∈ Rm | y ⊥ span{a1 , . . . , an } } = { y ∈ Rm | aT1 y = · · · = aTn y = 0 } = null(AT ).

4.3

Matice s ortonorm´ aln´ımi sloupci

Vektor u nazveme normalizovan´ y, pokud má jednotkovou délku (kuk2 = 1 = uT u). Mnoˇzinu vektor˚ u {u1 , . . . , un } nazveme ortonorm´ aln´ı, pokud kaˇzdý vektor z této mnoˇziny je normalizovaný a kaˇzdá dvojice vektor˚ u z této mnoˇziny je ortogonáln´ı, tedy ( 0 kdyˇz i 6= j, (4.3) uTi uj = 1 kdyˇz i = j. 31

Ortonormáln´ı mnoˇzina vektor˚ u je lineárnˇe nezávislá. Pro d˚ ukaz vynásobme levou stranu implikace (3.2) skalárnˇe vektorem ui , coˇz dá 0 = uTi 0 = α1 uTi u1 + · · · + αn uTi un = αi uTi ui = αi . tedy αi = 0. Kdyˇz toto udˇeláme pro kaˇzdé i, máme α1 = · · · = αn = 0. Necht’ sloupce matice U ∈ Rm×n tvoˇr´ı ortonormáln´ı mnoˇzinu vektor˚ u. Protoˇze ortonormáln´ı vektory jsou lineárnˇe nezávislé, je nutnˇe m ≥ n. Podm´ınku ortonormality (4.3) sloupc˚ u matice U lze psát struˇcnˇe jako UT U = In . (4.4) Lineárn´ı zobrazen´ı f(x) = Ux (zobrazen´ı z Rn do Rm ) zachovává skalárn´ı souˇcin, nebot’ f(x)T f (y) = (Ux)T (Uy) = xT UT Uy = xT y. Pro x = y dostaneme, ˇze se zachovává také eukleidovská norma, kf (x)k2 = kUxk2 = kxk2 . Tedy zobrazen´ı f zachovává délky a u ´hly. Taková zobrazen´ı se nazývaj´ı isometrie. Pokud je matice U ˇctvercová (m = n), následuj´ıc´ı podm´ınky jsou ekvivalentn´ı: UT U = I

⇐⇒

UT = U−1

⇐⇒

UUT = I.

(4.5)

D˚ ukaz nen´ı tˇeˇzký. Protoˇze sloupce U jsou ortonormáln´ı, jsou lineárnˇe nezávislé a U je regulárn´ı. Vynásoben´ım levé rovnice matic´ı U−1 zprava z´ıskáme prostˇredn´ı rovnici. Vynásoben´ım prostˇredn´ı rovnice matic´ı U zleva z´ıskáme pravou rovnici. Zbylé implikace dokáˇzeme analogicky. Ekvivalence (4.5) ˇr´ıká, ˇze má-li ˇctvercová matice ortonormáln´ı sloupce, má ortonormáln´ı i ˇ ˇrádky. Dále ˇr´ıká, ˇze inverze takové matice se spoˇc´ıtá jednoduˇse transpozic´ı. Ctvercov´ e matici splˇ nuj´ıc´ı podm´ınky (4.5) se ˇr´ıká ortogon´ aln´ı matice. Zd˚ uraznˇeme, ˇze pokud U je obdéln´ıková s ortonormáln´ımi sloupci, neplat´ı UUT = I. Dále, pokud má U ortogonáln´ı (ne vˇsak ortonormáln´ı) sloupce, nemus´ı m´ıt ortogonáln´ı ˇrádky2 . Necht’ U je ortogonáln´ı matice. Vezmeme-li determinant obou stran rovnice UT U = I, máme det(UT U) = det(UT ) det U = (det U)2 = 1. Tedy det U m˚ uˇze nabývat dvou hodnot: • Pokud det U = 1, matici se ˇr´ıká speci´ aln´ı ortogon´ aln´ı nebo také rotaˇ cn´ı, protoˇze n zobrazen´ı f(x) = Ux (coˇz je zobrazen´ı z R do sebe) znamená otoˇcen´ı vektoru x okolo poˇcátku. Kaˇzdou rotaci v prostoru Rn lze jednoznaˇcnˇe reprezentovat rotaˇcn´ı matic´ı. • Pokud det U = −1, zobrazen´ı f je sloˇzen´ım otoˇcen´ı a zrcadlen´ı (reflexe) kolem nadroviny procházej´ıc´ı poˇcátkem. Pˇ r´ıklad 4.3. Vˇsechny rotaˇcn´ı matice 2 × 2 lze napsat jako cos ϕ − sin ϕ U= sin ϕ cos ϕ pro nˇejaké ϕ. Násoben´ı vektoru touto matic´ı odpov´ıdá otoˇcen´ı vektoru v rovinˇe o u ´hel ϕ. T T Zkontrolujte si, ˇze U U = I = UU a det U = 1. 2

To je moˇzná d˚ uvod, proˇc se ˇctvercové matici s ortonormáln´ımi sloupci (tedy i ˇrádky) neˇr´ık´ a ‘ortonorm´ aln´ı’, ale ‘ortogon´ aln´ı’. Obdéln´ıková matice s ortonormáln´ımi sloupci a ˇctvercová matice s ortogonáln´ımi (ne vˇsak ortonormáln´ımi) sloupci zvláˇstn´ı jména nemaj´ı.

32

Pˇ r´ıklad 4.4. Zrcadlen´ı (neboli reflexe) v R2 kolem pˇr´ımky procházej´ıc´ı poˇcátkem a smˇernic´ı tan(ϕ/2) je reprezentováno ortogonáln´ı matic´ı cos ϕ sin ϕ U= . sin ϕ − cos ϕ Pˇ r´ıklad 4.5. Permutaˇ cn´ı matice je ˇctvercová matice, jej´ıˇz sloupce jsou permutované vektory standardn´ı báze. Napˇr.   0 1 0 e3 e1 e2 = 0 0 1 . 1 0 0

Permutaˇcn´ı matice je ortogonáln´ı (dokaˇzte!) a jej´ı determinant je rovný znaménku permutace.

4.4

QR rozklad

Matice A je horn´ı troj´ uheln´ıkov´ a, pokud aij = 0 pro kaˇzdé i > j (neboli pod hlavn´ı diagonálou jsou nuly) a je doln´ı troj´ uheln´ıkov´ a, pokud aij = 0 pro kaˇzdé i < j (neboli nad hlavn´ı diagonálou jsou nuly). Horn´ı/doln´ı troj´ uheln´ıková matice nemus´ı být ˇctvercová. Vˇ eta 4.1. Kaˇzdou matici A ∈ Rm×n lze rozloˇzit na souˇcin A = QR,

(4.6)

kde matice Q ∈ Rm×m je ortogonáln´ı a matice R ∈ Rm×n je horn´ı troj´ uheln´ıková. Pokud A je obdéln´ıková u ´zká (m > n), má matice R posledn´ıch m − n ˇrádk˚ u nulových (viz definice doln´ı troj´ uheln´ıkové matice) a tedy R1 = Q1 R1 (4.7) A = QR = Q1 Q2 0

kde Q1 ∈ Rm×n , Q2 ∈ Rm×(n−m) , R1 ∈ Rn×n . Rozkladu A = Q1 R1 se ˇr´ıká redukovaný QR rozklad a rozkladu (4.6) plný QR rozklad. V Matlabu je plný QR rozklad implementován pˇr´ıkazem [Q,R]=qr(A) a redukovaný pˇr´ıkazem [Q,R]=qr(A,0). Zkoumejte tyto pˇr´ıkazy pomoc´ı help qr! Zaj´ımavé vlastnosti QR rozkladu: • Jelikoˇz sloupce Q jsou lineárnˇe nezávislé, podle (3.13d) je null A = null R. Z rovnosti (3.12) pak máme rank A = rank R. • Pokud A má lineárnˇe nezávislé sloupce, vztah rank A = rank R znamená, ˇze R1 je regulárn´ı. Podle (3.13b) je tedy rng A = rng Q1 . Vid´ıme, ˇze v tomto pˇr´ıpadˇe lze redukovaný QR rozklad chápat jako nalezen´ı ortonormáln´ı báze podprostoru rng A. • Jelikoˇz Q je ortogonáln´ı a Q1 , Q2 maj´ı ortonormáln´ı sloupce, je (rng Q1 )⊥ = rng Q2 . ˇ s´ıme-li QR rozklad má mnoho aplikac´ı. Typické je jeho uˇzit´ı na ˇreˇsen´ı lineárn´ıch soustav. Reˇ T soustavu Ax = b, rozloˇz´ıme A = QR a vynásob´ıme soustavu zleva Q , coˇz dá Rx = QT b.

(4.8)

Toto je ekvivalentn´ı u ´prava, nebot’ Q je regulárn´ı. Ale protoˇze je R troj´ uheln´ıková, soustavu jsme velmi zjednoduˇsili. Napˇr. pokud je A ˇctvercová regulárn´ı, jediné ˇreˇsen´ı soustavy (4.8) lze levnˇe naj´ıt zpˇetnou substituc´ı. 33

4.4.1

(⋆) Gramm-Schmidtova ortonormalizace

Gramm-Schmidtova ortonormalizace je algoritmus, který pro dané lineárnˇe nezávislé vektory a1 , . . . , an ∈ Rm najde vektory q1 , . . . , qn ∈ Rm takové, ˇze • q1 , . . . , qn jsou ortonormáln´ı,

• pro kaˇzdé k = 1, . . . , n plat´ı span{q1 , . . . , qk } = span{a1 , . . . , ak }. Myˇslenka algoritmu je následuj´ıc´ı. Pˇredpokládejme, ˇze jiˇz máme vektory q1 , . . . , qk−1. K vektoru ak pˇriˇcteme takovou lineárn´ı kombinaci vektor˚ u q1 , . . . , qk−1 , aby výsledek byl na vˇsechny z nich ortogonáln´ı. Poté tento vektor normalizujeme. Tedy q′k

= ak −

k−1 X

rjk qj ,

q′k . kq′k k2

qk =

j=1

(4.9)

Jak najdeme koeficienty rjk ? Z iterace (4.9) vyplývá, ˇze ak =

k−1 X

rjk qj + rkk qk =

j=1

k X

rjk qj ,

(4.10)

j=1

kde jsme oznaˇcili kq′k k2 = rkk . Vztah (4.10) nám dovoluje spoˇc´ıtat koeficienty rjk z poˇzadavku na ortonormalitu vektor˚ u q1 , . . . , qk . Jeho vynásoben´ım vektorem qi (pro libovolné i) dostaneme rik = qTi ak .

(4.11)

Algoritmus provede iteraci (4.9) pro k = 1, . . . , n. Zde je bˇeh algoritmu pro n = 3: q′1 = a1 ,

q1 = q′1 /kq′1 k2

q′2 = a2 − (qT1 a1 )q1 ,

q′3 = a3 − (qT1 a1 )q1 − (qT2 a2 )q2 ,

q2 = q′2 /kq′2 k2

q3 = q′3 /kq′3 k2

Vˇsimnˇete si, ˇze výraz (qTj aj )qj je ortogonáln´ı projekce vektoru aj do jednotkového vektoru qj (viz §5.1.2). Vˇsechny rovnosti (4.10) lze napsat v maticovém tvaru A = QR, kde vektory a1 , . . . , an jsou sloupce matice A, vektory q1 , . . . , qn jsou sloupce matice Q, a matice R = [rik ] je horn´ı troj´ uheln´ıková. Vynásoben´ım rovnosti A = QR zleva matic´ı QT dostaneme QT A = R, coˇz jsou (dle (2.8)) rovnosti (4.11). Vylepˇsenou formu Gramm-Schmidtovy ortonormalizace lze pouˇz´ıt pro poˇc´ıtán´ı QR rozkladu (ˇc´ımˇz bychom tedy dokázali Vˇetu 4.1). Vylepˇsen´ı jednak zmenˇs´ı zaokrouhlovac´ı chyby a jednak dovol´ı lineárn´ı závislost sloupc˚ u A.

4.5

Cviˇ cen´ı

4.1. Najdˇete bázi ortogonáln´ıho doplˇ nku prostoru span{(0, 1, 1), (1, 2, 3)}. 4.2. Najdˇete ortonormáln´ı bázi podprostoru span{ (1, 1, 1, −1), (2, −1, −1, 1), (−1, 2, 2, 1) } pomoc´ı QR rozkladu (pouˇzijte Matlab). 4.3. Dokaˇzte, ˇze souˇcin ortogonáln´ıch matic je ortogonáln´ı matice. 34

4.4. Pro jaké n je matice diag(−1n ) (tedy diagonáln´ı matice se samými m´ınus jedniˇckami na diagonále) rotaˇcn´ı? 4.5. Poˇcet nezávislých parametr˚ u (stupˇ n˚ u volnosti) ortogonáln´ı matice n × n se z´ıská jako 2 rozd´ıl poˇctu prvk˚ u matice (n ) a poˇctu nezávislých rovnic v podm´ınce UT U = I. Neformálnˇe ˇreˇceno udává, kolika ‘knofl´ıky’ m˚ uˇzeme nezávisle ‘kroutit’ pˇri rotaci v n-rozmˇerném prostoru. Jaké je toto ˇc´ıslo pro n = 2, 3, 4? Najdˇete vzorec pro obecné n. 4.6. Zobrazen´ı F: Rn×n → Rn×n je dané vzorcem F(A) = (I − A)(I + A)−1 . Pˇredpokládejte, ˇze A je taková, ˇze I + A je regulárn´ı. Dokaˇzte, ˇze: a) b) c) d) e)

Pro kaˇzdou A je (I − A)(I + A) = (I + A)(I − A). Pro kaˇzdou A je (I − A)(I + A)−1 = (I + A)−1 (I − A). Pro kaˇzdou antisymetrickou A je F(A) ortogonáln´ı. Pro kaˇzdou ortogonáln´ı A je F(A) antisymetrická. Zobrazen´ı F je inverz´ı sama sebe, tedy F(F(A)) = A pro kaˇzdé A.

Pˇred d˚ ukazy na pap´ıˇre se pˇresvˇedˇcte v Matlabu, ˇze tvrzen´ı plat´ı pro náhodné matice. 4.7. Pokud kxk2 = kyk2 , dokaˇzte, ˇze (x + y) ⊥ (x − y). V prostoru R2 nakreslete vektory x + y a x − y.

4.8. Mˇejme vektory x1 = (1, −1, 0, 2), x2 = (1, 1, 1, 0), x3 = (−1, −1, 2, 0). Ovˇeˇrte, ˇze vektory jsou vzájemnˇe ortogonáln´ı. Najdˇete nenulový vektor x4 , který je ortogonáln´ı na vektory x1 , x2 , x3 . 4.9. Najdˇete dva ortogonáln´ı vektory x, y takové, ˇze span{x, y} = span{(0, 1, 1), (1, 2, 3)}.   −1 2 2 1 4.10. Spoˇctˇete co nejjednoduˇsˇs´ım zp˚ usobem inverzi matice  2 −1 2. 3 2 2 −1

4.11. Necht’ X, Y jsou podprostory Rn . Definujme X + Y = { x + y | x ∈ X, y ∈ Y }. Dokaˇzte: a) X ⊆ Y =⇒ X ⊥ ⊇ Y ⊥ b) X + Y = span{x1 , . . . , xk , y1 , . . . , yl } kde {x1 , . . . , xk } je báze podprostoru X a {y1 , . . . , yl } je báze podprostoru Y c) (⋆) (X + Y )⊥ = X ⊥ ∩ Y ⊥ d) (X ∩ Y )⊥ = X ⊥ + Y ⊥ 4.12. Jak byste levnˇe spoˇc´ıtali absolutn´ı hodnotu determinantu matice z jej´ıho QR rozkladu? 4.13. Máme ortogonáln´ı matici U = U1 U2 sloˇzenou ze dvou blok˚ u U1 a U2 . Dokaˇzte, ˇze a) UT1 U1 = I, UT2 U2 = I b) rng U1 = (rng U2 )⊥ c) U1 UT1 + U2 UT2 = I

N´ apovˇ eda a ˇ reˇ sen´ı 4.1. 4.2. 4.4.

Napˇr. (1, 1, −1)

√ √ Báze je { (1, 1, 1, −1)/2, (3, −1, −1, 1)/ 12, (0, 1, 1, 2)/ 6 }

Mus´ı b´ yt det diag(−1n ) = (−1)n > 0, tedy pro sudá n.

35

4.5.

n 2

= n(n − 1)/2

4.8.

x4 = (−1, 1, 0, 1).

4.9.

Zvol´ıme y = (1, 2, 3) − rx, kde r ∈ R spoˇc´ıtáme z xT y = 0. Tedy r = duchu Gramm-Smidtovy ortogonalizace.)

4.10. Nen´ı matice n´ ahodou ortogon´ aln´ı? 4.11.c) Plyne z (b). 4.11.d) Plyne z (c) s pouˇzit´ım (X ⊥ )⊥ = X.

36

5 2

a y = (1, − 12 , 21 ). (V

Kapitola 5 Nehomogenn´ı line´ arn´ı soustavy Mˇejme soustavu m lineárn´ıch rovnic o n neznámých Ax = b,

(5.1)

kde A ∈ Rm×n , x ∈ Rn , b ∈ Rm . Soustava má (aspoˇ n jedno) ˇreˇsen´ı právˇe tehdy, kdyˇz b ∈ rng A (tedy b je lineárn´ı kombinac´ı sloupc˚ u A), coˇz lze psát také jako rank[A b] = rank A (Frobeniova vˇeta). Pokud je mnoˇzina ˇreˇsen´ı soustavy neprázdná, je to afinn´ı podprostor Rn (viz Cviˇcen´ı 3.4). Soustava je homogenn´ı pokud b = 0 a nehomogenn´ı pokud b 6= 0. V této kapitole se zamˇeˇr´ıme pouze na nehomogenn´ı soustavy. Rozliˇsme tˇri pˇr´ıpady: • Soustava nemá ˇreˇsen´ı. To nastane právˇe tehdy, kdyˇz b ∈ / rng A. Taková soustava se ˇcasto nazývá pˇ reurˇ cen´ a. V tom pˇr´ıpadˇe m˚ uˇzeme cht´ıt ˇreˇsit soustavu pˇribliˇznˇe, coˇz je tématem §5.1. • Soustava má právˇe jedno ˇreˇsen´ı. To nastane právˇe tehdy, kdyˇz b ∈ rng A a matice A má lineárnˇe nezávislé sloupce (tedy jej´ı nulový prostor je triviáln´ı).

• Soustava má nekoneˇcnˇe mnoho ˇreˇsen´ı. To nastane právˇe tehdy, kdyˇz b ∈ rng A a matice A má lineárnˇe závislé sloupce. Taková soustava se ˇcasto nazývá nedourˇ cen´ a. V tom pˇr´ıpadˇe m˚ uˇzeme cht´ıt z mnoˇziny ˇreˇsen´ı vybrat jediné, coˇz je tématem §5.2.

5.1

Pˇ ribliˇ zn´ eˇ reˇsen´ı ve smyslu nejmenˇs´ıch ˇ ctverc˚ u

uˇzeme znaˇcit Ax ≈ b). Hledejme Pokud soustava (5.1) nemá ˇreˇsen´ı, ˇreˇsme ji pˇribliˇznˇe (coˇz m˚ takové x, aby eukleidovská norma vektoru r = b−Ax zbytk˚ u (neboli rezidu´ı) byla co nejmenˇs´ı. ´ Uloha se nezmˇen´ı (proˇc?), kdyˇz m´ısto eukleidovské normy budeme minimalizovat jej´ı ˇctverec 2 krk22 = rT r = r12 + · · · + rm . Tedy ˇreˇs´ıme u ´lohu min kAx − bk22 .

x∈Rn

(5.2)

Protoˇze minimalizujeme souˇcet ˇctverc˚ u rezidu´ı, mluv´ıme o pˇribliˇzném ˇreˇsen´ı soustavy ve smyslu nejmenˇ s´ıch ˇ ctverc˚ u (least squares solution). Pˇ r´ıklad 5.1. Soustava tˇrech rovnic o dvou neznámých x + 2y = 6 −x + y = 3 x+ y=4 37

je pˇreurˇcená. Jej´ı pˇribliˇzné ˇreˇsen´ı ve smyslu nejmenˇs´ıch ˇctverc˚ u znamená naj´ıt taková ˇc´ısla x, y, 2 2 která minimalizuj´ı ˇc´ıslo (x + 2y − 6) + (−x + y − 3) + (x + y − 4)2 . Pˇ r´ıklad 5.2. Hledejme pˇr´ıˇcku (nejkratˇs´ı spojnici) dvou mimobˇeˇzných pˇr´ımek v prostoru Rn . Necht’ i-tá pˇr´ımka je zadána dvˇema body, které na n´ı leˇz´ı, oznaˇcme je pi , qi ∈ Rn pro i = 1, 2. ˇ s´ıme pˇreurˇcenou soustavu Chceme tuto u ´lohu zformulovat ve tvaru (5.2). Reˇ p1 + t1 (q1 − p1 ) ≈ p2 + t2 (q2 − p2 ) n rovnic a 2 neznámých ve smyslu nejmenˇs´ıch ˇctverc˚ u, tedy ˇreˇs´ıme u ´lohu min k(p1 + t1 (q1 − p1 )) − (p2 + t2 (q2 − p2 ))k22 . t1 ,t2

To jde napsat jako (5.2), kde A = q1 − p1 p2 − q2 ∈ Rn×2 ,

t x = 1 ∈ R2 , t2

b = p2 − p1 ∈ Rn .

´ ´vahou. Pokud kAx − bk2 (tedy vzdálenost bod˚ u Ax a b) Ulohu (5.2) vyˇreˇs´ıme následuj´ıc´ı u má být minimáln´ı, mus´ı být vektor b − Ax kolmý na prostor rng A, tedy na kaˇzdý sloupec matice A. Obrázek ukazuje situaci:

X?

Ax = Pb 0

b

X = rng A

b Ax = (I P)b

Tuto podm´ınku lze zapsat jako AT (Ax − b) = 0, tedy AT Ax = AT b.

(5.3)

Soustava (5.3) se proto nazývá norm´ aln´ı rovnice (normála = kolmice). Je to soustava n rovnic o n neznámých. Soustava (5.3) má ˇreˇsen´ı pro libovolné A a b. To je sice intuitivnˇe zˇrejmé z naˇs´ı geometrické u ´vahy, ovˇsem nen´ı to d˚ ukaz. D˚ ukaz plyne z rovnosti (3.14a), nebot’ AT b ∈ rng(AT ) = rng(AT A), kde rng(AT A) = rng(AT ) je rovnost (3.14a) pouˇzitá na matici AT . Dle rovnosti (3.14a) je matice AT A regulárn´ı právˇe tehdy, kdyˇz matice A má hodnost n (tedy lineárnˇe nezávislé sloupce). V tom pˇr´ıpadˇe m˚ uˇzeme soustavu (5.3) ˇreˇsit pomoc´ı inverze. + ˇ Reˇsen´ım je vektor x = A b, kde A+ = (AT A)−1 AT .

(5.4)

Matice (5.4) se nazývá pseudoinverze u ´ zk´ e matice A. Je to jedna z levých inverz´ı matice A, nebot’ A+ A = (AT A)−1 AT A = I. Má-li matice A lineárnˇe závislé sloupce, vzorec (5.4) nelze pouˇz´ıt. V tom pˇr´ıpadˇe soustava (5.3), a tedy i u ´loha (5.2), maj´ı nekoneˇcnˇe mnoho (afinn´ı podprostor) ˇreˇsen´ı (pozor, to je nˇeco jiného, neˇz ˇze soustava (5.1) má nekoneˇcnˇe mnoho ˇreˇsen´ı!). 38

5.1.1

ˇ sen´ı pomoc´ı QR rozkladu Reˇ

I kdyˇz má matice A lineárnˇe nezávislé sloupce, ˇreˇsen´ı pomoc´ı pseudoinverze (5.4) nemus´ı být vhodné pro numerické výpoˇcty, kdy nezbytnˇe pouˇz´ıváme aritmetiku s koneˇcnou pˇresnost´ı. ˇ sme soustavu Ax = b pro Pˇ r´ıklad 5.3. Reˇ 3 6 , A= 1 2.01

9 . b= 3.01

Matice A je regulárn´ı. Dejme tomu, ˇze pouˇz´ıváme aritmetiku s pohyblivou ˇrádovou ˇcárkou s pˇresnost´ı na 3 platné cifry. Gaussova eliminace najde pˇresné ˇreˇsen´ı soustavy x = (1, 1). Pokud ovˇsem v této aritmetice zformulujeme normáln´ı rovnici AT Ax = AT b, dostaneme 30 10 20 T T . , A b= A A= 60.1 20 40 I kdyˇz v pˇresné aritmetice je matice AT A regulárn´ı, v naˇs´ı pˇribliˇzné aritmetice doˇslo v souˇcinu AT A doˇslo k zaokrouhlen´ı a výsledná matice je singulárn´ı. Tedy soustava AT Ax = AT b nemá ˇreˇsen´ı. Numericky vhodnˇejˇs´ı zp˚ usob je ˇreˇsit normáln´ı rovnici bez explicitn´ıho výpoˇctu souˇcinu AT A. To lze udˇelat pomoc´ı redukovaného QR rozkladu A = QR. Po dosazen´ı do normáln´ı rovnice máme RT QT QRx = RT QT b. Po uˇzit´ı QT Q = I a násoben´ı matic´ı R−T zleva (coˇz je ekvivalentn´ı operace) máme Rx = QT b. (5.5) To je formálnˇe stejný vzorec jako (4.8), rozd´ıl je ale v tom, ˇze v (4.8) jsme pouˇzili plný QR rozklad, zat´ımco zde redukovaný. Tedy soustava (5.5) nen´ı ekvivalentn´ı p˚ uvodn´ı soustavˇe Ax = b (protoˇze Q nen´ı ˇctvercová). V Matlabu je ˇreˇsen´ı nehomogenn´ı lineárn´ı soustavy implementováno v operátoru \ (zpˇetné lom´ıtko). Pokud je soustava pˇreurˇcená, výsledkem je pˇribliˇzné ˇreˇsen´ı ve smyslu nejmenˇs´ıch ˇctverc˚ u, pˇriˇcemˇz pouˇzitý algoritmus pouˇz´ıvá QR rozklad. Pochopte vˇsechny funkce operátor˚ u lom´ıtko a zpˇetné lom´ıtko pomoc´ı studia pˇr´ıkaz˚ u help mrdivide a help mldivide!

5.1.2

V´ıce o ortogon´ aln´ı projekci

Rozviˇ nme geometrickou u ´vahu, pomoc´ı niˇz jsme odvodili normáln´ı rovnici. Pokud x je ˇreˇsen´ı normáln´ı rovnice, vektor Ax je ortogonáln´ı projekc´ı vektoru b na podprostor X = rng A (viz obrázek výˇse). Pokud A má lineárnˇe nezávislé sloupce (tj. tyto sloupce tvoˇr´ı bázi podprostoru X), z (5.4) máme Ax = Pb, kde P = AA+ = A(AT A)−1 AT ∈ Rm×m .

(5.6)

Dostali jsme d˚ uleˇzitý výsledek: ortogonáln´ı projekce vektoru na podprostor X je lineárn´ı zobrazen´ı reprezentované matic´ı P. Proto se tato matice ˇcasto nazývá projektor. Speciáln´ı pˇr´ıpady: • Pokud X je reprezentován ortonormáln´ı báz´ı, tedy AT A = I, výraz (5.6) se zjednoduˇs´ı na P = AAT . Pˇripomeˇ nme (viz §4.3), ˇze obdéln´ıková matice A s ortonormáln´ımi sloupci nemus´ı m´ıt ortonormáln´ı ˇrádky, neboli AT A = I neimplikuje AAT = I. Nab´ızela se otázka, co je tedy matice AAT . Zde jste dostali odpovˇed’! 39

• Speciáln´ım pˇr´ıpadem ortogonáln´ı projekce je pˇr´ıpad dim X = 1, tedy projekce na pˇr´ımku. Necht’ X = span{a}, kde pˇredpokládáme kak2 = 1. Pak P = aaT . Vzoreˇcek Pb = aaT b = (aT b)a

(5.7)

umˇet vektoru b na normalizovaný vektor a máte znát ze stˇredn´ı ˇskoly: skalárn´ı pro1 pr˚ souˇcin aT b je délka pr˚ umˇetu a (aT b)a je vektor o této délce ve smˇeru vektoru a. Z naˇs´ı geometrické u ´vahy dále snadno vid´ıme, co je prostorem obraz˚ u a nulovým prostorem m projektoru. Libovolný vektor z R se prom´ıtne na podprostor X. Libovolný vektor kolmý na X se prom´ıtne do nulového vektoru 0. Tedy rng P = X = rng A, ⊥

(5.8a) ⊥

null P = X = (rng A) .

(5.8b)

Z obrázku je dále patrno, ˇze vektor b − Ax = b − Pb = (I − P)b je ortogonáln´ı projekc´ı vektoru b na X ⊥ . Tedy projektor na X ⊥ je matice I − P. Projekce na X ⊥ má pˇrirozenou u ´lohu v problému (5.2): hodnota jeho minima je kb − Axk22 = kb − Pbk22 = k(I − P)bk22 . Pozn´ amka. Obecnou projekc´ı se v lineárn´ı algebˇre rozum´ı kaˇzdé lineárn´ı zobrazen´ı f (y) = Py, které splˇ nuje f(f (y)) = f(y), tedy PP = P2 = P. To vyjadˇruje pochopitelný poˇzadavek, ˇze kdyˇz jednou vektor prom´ıtneme, tak dalˇs´ı prom´ıtnut´ı na stejný podprostor ho jiˇz nezmˇen´ı. Projekce obecnˇe nemus´ı být ortogonáln´ı, m˚ uˇze být ˇsikmá – pak prom´ıtáme ’ve smˇeru’ podprostoru null P na podprostor rng P. Projekce je ortogonáln´ı, kdyˇz2 null P ⊥ rng P. To nastane právˇe tehdy, kdyˇz kromˇe P2 = P plat´ı nav´ıc PT = P (d˚ ukaz tohoto tvrzen´ı vynecháme). Zkontrolujte si, ˇze projektor definovaný vzorcem (5.6) splˇ nuje P2 = P = PT !

5.1.3

Pˇ r´ıklad pouˇ zit´ı: line´ arn´ı regrese

Regrese je modelován´ı závislosti promˇenné y ∈ R na promˇenné t ∈ T regresn´ı funkc´ı y = f (t, x), která je známa aˇz na parametry x ∈ Rn . Je dán soubor dvojic (ti , yi ), i = 1, . . . , m, kde mˇeˇren´ı ´ yi ∈ R jsou zat´ıˇzena chybou. Ukolem je naj´ıt parametry x, aby yi ≈ f (ti , x) pro vˇsechna i. Minimalizujeme souˇcet ˇctverc˚ u rezidu´ı, tedy ˇreˇs´ıme u ´lohu minn

x∈R

m X i=1

(yi − f (ti , x))2 .

(5.9)

Zvolme regresn´ı funkci tak, aby pro kaˇzdé t byla lineárn´ı funkc´ı parametr˚ u x. V to pˇr´ıpadˇe mluv´ıme o line´ arn´ı regresi. Taková funkce je lineárn´ı kombinac´ı f (t, x) = x1 ϕ1 (t) + · · · + xn ϕn (t) = ϕ(t)T x

(5.10)

Z´ avorka ve v´ yrazu (aT b)a je nutná, protoˇze souˇcin v´ yraz˚ u aT b a a nen´ı maticov´ y souˇcin, ale n´ asoben´ı T vektoru skalárem. V´ yraz bez z´ avorky a ba by byl syntakticky chybn´ y, protoˇze matice b a a nelze vynásobit. Biz poznámka v §2.1. 2 Pro obecnou ˇctvercovou matici samozˇrejmˇe neplat´ı, ˇze jej´ı nulov´ y prostor a prostor obraz˚ u jsou navz´ ajem ortogonáln´ı, t´ım ménˇe ortogonáln´ım doplˇ nkem. Neplést se vztahy (4.2)! 1

40

nˇejakých daných funkc´ı3 ϕj : T → R. Pak m X (yi − f (ti , x))2 = ky − Axk22 , i=1

kde y = (y1 , . . . , ym ) a prvky matice A ∈ Rm×n jsou aij = ϕj (ti ) (odvod’te!). Tedy vyjádˇrili jsme u ´lohu (5.9) ve tvaru (5.2). Pˇ r´ıklad 5.4. Polynomiáln´ı regrese 4 . Necht’ T = R a ϕj (t) = tj−1 . Pak regresn´ı funkce je polynom stupnˇe n − 1, f (t, x) = x1 + x2 t + x3 t2 + · · · + xn tn−1 . Matice

 1 t1 t21 · · · t1n−1 1 t2 t2 · · · tn−1  2 2   A=  ..   . 2 n−1 1 tm tm · · · tm 

je známá jako Vandermondova matice. P 2 ˇ Speci´ a lnˇ e pro n = 1 u ´ loha (5.9) je min sen´ım je aritmetický pr˚ umˇer x = x i (yi − x) . Reˇ P m 1 eˇrte!). i=1 yi (ovˇ m

5.1.4

Statistick´ e od˚ uvodnˇ en´ı krit´ eria nejmenˇ s´ıch ˇ ctverc˚ u

Moˇzná se ptáte, proˇc se má nalezen´ı pˇribliˇzného reˇsen´ı pˇreurˇcené soustavy formulovat zrovna jako (5.2). Nyn´ı podáme statistický d˚ uvod, odkud se kritérium nejmenˇs´ıch ˇctverc˚ u vzalo. Odhadujme skryté parametry x nˇejakého systému z mˇeˇren´ı y na systému. Budiˇz vázány známou lineárn´ı závislost´ı y = Ax. Mˇeˇren´ı jsou zat´ıˇzena chybami, které jsou zp˚ usobeny ˇsumem senzor˚ u, nepˇresnostmi mˇeˇren´ı, nedokonalou znalost´ı modelu, apod. Tedy y = Ax + r,

(5.11)

kde r = (r1 , . . . , rm ) jsou náhodné promˇenné modeluj´ıc´ı chyby eˇren´ı y = (y1 , . . . , ym ). Metoda Pm mˇ 2 2 nejmenˇs´ıch ˇctverc˚ u ˇr´ıká, ˇze máme minimalizovat krk2 = i=1 ri , ale neˇr´ıká proˇc. D˚ uvod odvod´ıme statistickou u ´vahou. Metoda ˇcin´ı dva pˇredpoklady: • Náhodné promˇenné ri maj´ı normáln´ı (neboli Gaussovo) rozdˇelen´ı s nulovou stˇredn´ı hodnotou a smˇerodatnou odchylkou σ, s hustotou pravdˇepodobnosti 2

2

p(ri ) = c e−ri /(2σ ) , √ −1 je normalizaˇcn´ı konstanta. kde c = σ 2π

• Náhodné promˇenné r1 , . . . , rm jsou na sobˇe nezávislé. Tedy sdruˇzená hustota pravdˇepodobnosti je rovna souˇcinu p(r) = p(r1 , . . . , rm ) =

m Y i=1

3

p(ri ) =

m Y

2

2

c e−ri /(2σ ) .

(5.12)

i=1

Funkce ϕj se ˇcasto naz´ yvaj´ı b´ azové funkce, a to i tehdy (coˇz je protimluv), kdyˇz jsou lineárnˇe z´ avislé. Nedejte se zm´ ast t´ım, ˇze polynom nen´ı lineárn´ı funkce a pˇresto jde o lineárn´ı regresi. D˚ uleˇzité je, ˇze regresn´ı funkce (5.10) je lineárn´ı v parametrech x. 4

41

Dále pouˇzijeme princip maxima vˇerohodnosti . Ten ˇr´ıká, ˇze parametry x se maj´ı naj´ıt tak, aby p(r) = p(y − Ax) bylo maximáln´ı. Je pohodlnˇejˇs´ı minimalizovat záporný logaritmus − log p(r1 , . . . , rm ) = −

m X

log p(ri ) =

i=1

Jelikoˇz σ je konstanta, je to totéˇz jako minimalizovat

5.2

ˇ sen´ı s nejmenˇs´ı normou Reˇ

P

m 2 X ri − log c . 2 2σ i=1

2 i ri .

Pˇredpokládejme nyn´ı, ˇze soustava (5.1) je nedourˇcená, neboli má nekoneˇcnˇe mnoho ˇreˇsen´ı. Necht’ x′ je libovolný vektor splˇ nuj´ıc´ı Ax′ = b (tzv. partikul´ arn´ı ˇ reˇ sen´ı soustavy). Protoˇze ′ pro kaˇzdé x ∈ null A je A(x + x) = Ax′ = b, mnoˇzinu ˇreˇsen´ı soustavy lze psát parametricky jako { x ∈ Rn | Ax = b } = { x′ + x | x ∈ null A } = x′ + null A. (5.13)

Mnoˇzina (5.13) je afinn´ı podprostor prostoru Rm , je to lineárn´ı podprostor null A prostoru Rn posunutý o vektor x′ (viz §3.3). Je ˇcasto uˇziteˇcné z této mnoˇziny ˇreˇsen´ı vybrat jediné podle nˇejakého kritéria. Pˇrirozeným kritériem je minimalizovat euklidovskou normu (tedy vzdálenost od poˇcátku) ˇreˇsen´ı, coˇz vede na u ´lohu min{ kxk22 | x ∈ Rn , Ax = b }. (5.14) M´ısto normy kxk2 opˇet minimalizujeme jej´ı ˇctverec. Tato u ´loha je známa jako ˇreˇsen´ı nehomogenn´ı lineárn´ı soustavy s nejmenˇ s´ı normou (least norm solution). Podotknˇeme, ˇze nˇekdy je vhodné pouˇz´ıt jiná kritéria neˇz nejmenˇs´ı eukleidovskou normu, viz napˇr. Cviˇcen´ı 9.25. Pˇ r´ıklad 5.5. Soustava dvou rovnic o tˇrech neznámých x + 2y + z = 1 −x + y + 2z = 2 je nedourˇcená, tj. má nekoneˇcnˇe mnoho ˇreˇsen´ı. Mnoˇzina ˇreˇsen´ı je (x0 , y0 , z0 ) + null A = (1, −1, 2) + span{(1, −1, 1)} = { (1 + α, −1 − α, 2 + α) | α ∈ R }. Jej´ı ˇreˇsen´ı s nejmenˇs´ı normou je takové ˇreˇsen´ı, které minimalizuje ˇc´ıslo x2 + y 2 + z 2 .

´ u, to se ale nauUloha (5.14) by se pohodlnˇe ˇreˇsila metodou Lagrangeových multiplikátor˚ ˇc´ıme aˇz v pozdˇejˇs´ı kapitole. Nyn´ı ji vyˇreˇs´ıme geometrickou u ´vahou. Tato u ´vaha bude naopak rozcviˇckou pro pozdˇejˇs´ı odvozen´ı metody Lagrangeových multiplikátor˚ u v §9.4. { x | Ax = b }

x′

x

null A = { x | Ax = 0 }

0

42

Vektory x a x′ jsou dvˇe r˚ uzná ˇreˇsen´ı soustavy, ale pouze x má nejmenˇs´ı normu. Z obrázku je vidˇet, ˇze ˇreˇsen´ı x má nejmenˇs´ı normu právˇe tehdy, kdyˇz vektor x je kolmý na nulový prostor matice A. Tedy x ∈ (null A)⊥ = rng(AT ), kde posledn´ı rovnost je (4.2b). To znamená, ˇze x je lineárn´ı kombinac´ı ˇrádk˚ u A. To znamená, ˇze existuje vektor λ ∈ Rm takový, ˇze x = AT λ. Pro vyˇreˇsen´ı u ´lohy (5.14) tedy mus´ıme vyˇreˇsit soustavu rovnic AT λ = x, Ax = b.

(5.15a) (5.15b)

To je soustava m + n rovnic o m + n neznámých (x, λ). Vyˇreˇsme tuto soustavu. Dosad´ıme x do druhé rovnice, AAT λ = b. Pˇredpokládejme, ˇze matice AAT má plnou hodnost, coˇz dle rovnosti (3.14a) nastane právˇe tehdy, kdyˇz matice A má hodnost m (tedy lineárnˇe nezávislé ˇrádky). Potom λ = (AAT )−1 b. Dosazen´ım do prvn´ı rovnice dostaneme x = A+ b, kde A+ = AT (AAT )−1 .

(5.16)

se nazývá pseudoinverze ˇ sirok´ e matice A. Je to jedna z pravých inverz´ı matice A (ovˇeˇrte!). Vˇsimnˇete si, ˇze u ´lohu (5.14) lze také vn´ımat jako hledán´ı vzdálenosti afinn´ıho podprostoru ˇ X = { x ∈ Rn | Ax = b } od poˇcátku 0. Ctverec této vzdálenosti je roven optimáln´ı hodnotˇe u ´lohy (5.14), tedy d(X, 0)2 = (A+ b)T (A+ b) = bT (AAT )−T AAT (AAT )−1 b = bT (AAT )−1 b.

5.2.1

(5.17)

Pseudoinverze obecn´ e matice s plnou hodnost´ı

nme: má-li matice A Pseudoinverzi u ´zké matice jsme definovali dˇr´ıve vzorcem (5.4). Nyn´ı shrˇ plnou hodnost (tedy min{m, n}), definujeme jej´ı pseudoinverzi jako ( (AT A)−1 AT kdyˇz m ≥ n, (5.18) A+ = AT (AAT )−1 kdyˇz m ≤ n. Vektor x = A+ b je v prvn´ım pˇr´ıpadˇe ˇreˇsen´ı soustavy Ax = b ve smyslu nejmenˇs´ıch ˇctverc˚ u, ve druhém pˇr´ıpadˇe ˇreˇsen´ı soustavy s nejmenˇs´ı normou. Pokud m = n, je v obou pˇr´ıpadech A+ = A−1 (ovˇeˇrte!). V pˇr´ıpadˇe, ˇze A nemá plnou hodnost, vzorec (5.18) nelze pouˇz´ıt a pseudoinverzi definujeme jinak. K tomu se vrát´ıme pozdˇeji v §7.5.

5.3

Cviˇ cen´ı

5.1. Máme soustavu Ax = b, kde A ∈ Rm×n a b 6= 0. Jsou tyto výroky pravdivé? Odpovˇedi dokaˇzte. a) Pokud m < n, pak soustava má vˇzdy ˇreˇsen´ı. b) Pokud m > n, pak soustava nemá nikdy ˇreˇsen´ı. c) Pokud m < n a A má plnou hodnost, pak soustava má vˇzdy nekoneˇcnˇe mnoho ˇreˇsen´ı.

43

5.2. Vyˇreˇste (moˇzno pouˇz´ıt poˇc´ıtaˇc) soustavu     1 1 0 −1    x1 1 1 2 1      1 1 −3 x2 = 1 x3 1 0 1 1

pˇribliˇznˇe ve smyslu nejmenˇs´ıch ˇctverc˚ u pomoc´ı (a) pseudoinverze, (b) QR rozkladu.

5.3. Formulujte jako pˇribliˇzné ˇreˇsen´ı soustavy Pu = q ve smyslu nejmenˇs´ıch ˇctverc˚ u, tedy jako u ´lohu minu kPu − qk22 . Jako výsledek napiˇste matice P, q, u. Vzorem je Pˇr´ıklad 5.2. a) Hledá se bod x ∈ Rm , kterýP minimalizuje souˇcet ˇctverc˚ u vzdálenost´ı k daným bod˚ um n m 2 a1 , . . . , an ∈ R P , tj. výraz i=1 kai − xk2 . Dokaˇzte nav´ıc, ˇze minimum se nabývá v tˇeˇziˇsti x = n1 ni=1 ai . b) Jsou dány a, s, y ∈ Rn . Hledá se vzdálenost bodu y od pˇr´ımky { a + ts | t ∈ R }. c) Máme mnoˇzinu m pˇr´ımek v Rn , kde i-tá pˇr´ımka je mnoˇzina { ai + tsi | t ∈ R } pro dané ai , si ∈ Rn . Hledá se bod y ∈ Rn , jehoˇz souˇcet ˇctverc˚ u vzdálenost´ı k pˇr´ımkám je minimáln´ı. d) Máme m nadrovin v prostoru Rn , kde i-tá nadrovina má rovnici aTi x = bi pro dané ai ∈ Rn a bi ∈ R. Hledá se bod y ∈ Rn , který minimalizuje souˇcet ˇctverc˚ u vzdálenost´ı od jednotlivých nadrovin. e) V prknu je n dˇer o souˇradnic´ıch x1 , . . . , xn ∈ R, vˇsechny v jedné pˇr´ımce. Namˇeˇr´ıme metrem vzdálenosti dij = xj − xi pro vybrané dvojice (i, j) ∈ E, kde mnoˇzina E ⊆ {1, . . . , n} × {1, . . . , n} je dána. Pˇritom dvojice jsou vybrané tak, ˇze vˇzdy xj > xi . Ze vzdálenost´ı dij chceme spoˇc´ıtat souˇradnice x1 , . . . , xn . Odpovˇezte dále na otázky: 1. Kolik ˇreˇsen´ı má soustava Pu = q? Dokaˇzte algebraicky a objasnˇete fyzikáln´ı význam. 2. Jsou sloupce P lineárnˇe nezávislé? Diskutujte obˇe otázky pro pˇr´ıpad, ˇze mˇeˇren´ı jsou pˇresná, a pro pˇr´ıpad, ˇze mˇeˇren´ı jsou zat´ıˇzená nepˇresnostmi. 5.4. V problému váˇzených nejmenˇs´ıch ˇctverc˚ u chceme naj´ıt x = (x1 , . . . , xn ) ∈ Rn minimalizuj´ıc´ı funkci X 2 m n X f (x) = wi aij xj − bi i=1

j=1

kde wi jsou nezáporné váhy. Napiˇste funkci v maticovém tvaru, k ˇcemuˇz zaved’te diagonáln´ı matici W = diag(w1 , . . . , wm ). Napiˇste normáln´ı rovnici a pseudoinverzi pro tento pˇr´ıpad.

5.5. Máme vektory u = (2, 1, −3) a v = (1, −1, 1). Najdi ortogonáln´ı projekci vektoru (2, 0, 1) na podprostor (a) span{u}, (b) (span{u})⊥ , (c) span{u, v}, (d) (span{u, v})⊥ . 5.6. Necht’ X = span{ (− 53 , 0, 45 , 0), (0, 0, 0, 1), ( 45 , 0, 53 , 0) }. Najdi projektory na podprostor X a podprostor X ⊥ .   1 2 0 5.7. Máme A = 2 4 1. Najdi ortogonáln´ı projekci vektoru (1, 1, 1) na podprostory (a) 1 2 0 rng A, (b) null A, (c) rng(AT ), (d) null(AT ). 44

5.8. Nulový prostor projektoru je typicky netriviáln´ı, tedy projektor P je singulárn´ı matice. Kdy je P regulárn´ı? Jaká je v tom pˇr´ıpadˇe matice A ve vzorci (5.6) a podprostor X = rng A? Jaký je geometrický význam této situace? 5.9. (⋆) Pro kak2 = 1 je H = I − 2aaT známa jako Householderova matice. Transformace Hx je zrcadlen´ı vektoru x kolem nadroviny s normálovým vektorem a, proto se H také nˇekdy nazývá elementárn´ı reflektor. a) b) c) d)

Odvod’te vzorec H = I − 2aaT podobnou u ´vahou, jako jsme odvodili projekor. T T Ukaˇzte, ˇze H = H a H H = I (tj. matice je symetrická a ortogonáln´ı). Ukaˇzte, ˇze det H = −1. Co je Ha? Co je Hx, kdyˇz aT x = 0? Ukaˇzte algebraicky a od˚ uvodnˇete geometricky.

5.10. (⋆) RQ rozklad rozloˇz´ı matici A = RQ, kde R je horn´ı troj´ uheln´ıková a Q je ortogonáln´ı. Jak byste spoˇc´ıtali RQ rozklad z QR rozkladu? 5.11. (⋆) Matice A se nazývá normáln´ı, pokud AT A = AAT . Pˇr´ıkladem je symetrické matice (ale ne kaˇzdá normáln´ı matice je symetrická). Dokaˇzte, ˇze pro normáln´ı matice plat´ı rng A ⊥ null A. 5.12. Dokaˇzte následuj´ıc´ı vlastnosti pseudoinverze ze vztahu (5.18) pro libovolné matice plné hodnosti: a) b) c) d) e) f)

A+ = A−1 kdyˇz A je ˇctvercová (A+ )+ = A (AT )+ = (A+ )T AA+ A = A, A+ AA+ = A+ , (AA+ )T = AA+ , (A+ A)T = A+ A AT = AT AA+ = A+ AAT (AT A)+ = A+ (AT )+ , (AAT )+ = (AT )+ A+

5.13. Uvaˇzujme projektor (5.6). Báze podprostoru X, na který prom´ıtáme, je tvoˇrena sloupci matice A. Projektor P se nesm´ı zmˇenit, vezmeme-li jinou bázi podprostoru. R˚ uzné báze ˜ podprostoru jsou dány sloupci matice A = AC pro r˚ uzné regulárn´ı matice C ∈ Rn×n (tedy ˜ A ˜ T A) ˜ −1 A ˜ T = A(AT A)−1 AT . C je matice pˇrechodu k jiné bázi). Ovˇeˇrte, ˇze vskutku A( 5.14. Jaké bude ˇreˇsen´ı normáln´ıch rovnic (5.3) v pˇr´ıpadˇe, ˇze b ⊥ rng A? Vyˇreˇste geometrickou u ´vahou a pak zkuste dokázat algebraicky. 5.15. Hledáme vektor x, který minimalizuje kAx − bk22 + µkxk22 . Pˇreved’te na tvar (5.2). 5.16. Ze Cviˇcen´ı 4.13 v´ıme, ˇze pro ortogonáln´ı matici U = U1 U2 plat´ı U1 UT1 + U2 UT2 = I. Jakou má tento vzorec souvislost s projekc´ı na podprostory rng U1 a rng U2 ?

5.17. Vztahy (5.8) jsme odvodili geometrickou u ´vahou. Dokaˇzte je algebraicky.

5.18. Pomoc´ı (5.17) odvod’te vzoreˇcek pro vzdálenost nadroviny aT x = b od poˇcátku, který máte znát ze stˇredn´ı ˇskoly.

N´ apovˇ eda a ˇ reˇ sen´ı 5.1.a) Neplat´ı. Pˇr´ıklad: m = 1, n = 2, A = 0 0 , b = 1. 5.1.b) Neplat´ı. 5.1.c) Plat´ı.

45

5.2.

(x1 , x2 , x3 ) = (2, 1, 0)/3

5.3.c) Minimalizujte pˇres promˇenné y, t1 , . . . , tm . 5.3.d) Nejprve si vzpomeˇ nte ˇci odvod’te, jak se spoˇc´ıt´ a vzdálenost bodu y od nadroviny aT x = b. 5.4. 5.5. 5.6.

f (x) = (Ax − b)T W(Ax − b).

(a) (2, 1, −3)/14, (b) (26, −1, 17)/14, (c) (62, −35, 17)/38, (d) (14, 35, 21)/38 Nejsou n´ ahodou vektory ortonormáln´ı?

5.6.

Projektor na X je P = diag(1, 0, 1, 1). Projektor na X ⊥ je P = diag(0, 1, 0, 0).

5.7.

(a) (1, 1, 1), (b) (0.4, −0.2, 0), (c) (0.6, 1.2, 1), (d) (0, 0, 0)

5.8.

A je regul´ arn´ı, tedy X = Rm . Projektor je identita.

5.11. Vych´ azejte z rovnosti (3.14a). 5.14. x = 0 5.17. Pouˇzijte (3.13) a (4.2). 5.18. |b|/kak2

46

Kapitola 6 Kvadratick´ e funkce Ze základn´ı ˇskoly znáte polynomy jedné promˇenné, co jsou ale polynomy v´ıce promˇenných? Monom k-tého stupnˇe n promˇenných je výraz xk11 · · · xnkn , kde ak1 ...kn ∈ R, k1 , . . . , kn ∈ {0, 1, . . . , k}, k1 +· · ·+kn = k. Polynom n promˇenných je lineárn´ı kombinace monom˚ u, pˇriˇcemˇz stupeˇ n polynomu je stupeˇ n jeho monomu nejvyˇsˇs´ıho stupnˇe. Napˇr. funkce f (x, y) = x2 y + xy − 2x + 1 (6.1) je polynom dvou promˇenných tˇret´ıho stupnˇe, kde napˇr. x2 y je monom tˇret´ıho stupnˇe a xy je monom druhého stupnˇe. Polynom je homogenn´ı, pokud stupnˇe vˇsech jeho monom˚ u jsou stejné. Polynom (6.1) nen´ı homogenn´ı, ale napˇr. f (x, y) = x2 y − 5y 3 je homogenn´ı stupnˇe tˇri. Vid´ıme, ˇze afinn´ı funkce (3.17) je jen jiný název pro polynom prvn´ıho stupnˇe a lineárn´ı funkce (3.5) (také zvaná lineárn´ı forma) je jiný název pro homogenn´ı polynom prvn´ıho stupnˇe. Polynom druhého stupnˇe se nazývá kvadratická funkce a homogenn´ı polynom druhého stupnˇe um kvadratických forem a funkc´ı. kvadratick´ a forma 1 . C´ılem této kapitoly je porozumˇet extrém˚

6.1

Vlastn´ı ˇ c´ısla a vektory

Necht’ pro ˇctvercovou matici A ∈ Rn×n , nenulový vektor v ∈ Cn a skalár λ ∈ C plat´ı Av = λv.

(6.2)

Pak λ se nazývá vlastn´ı ˇ c´ıslo matice a v vlastn´ı vektor matice pˇr´ısluˇsný vlastn´ımu ˇc´ıslu λ. Vlastn´ı ˇc´ısla a vektory mohou být obecnˇe komplexn´ı. Rovnici (6.2) lze pˇrepsat jako (A − λI)v = 0. (6.3) To je soustava homogenn´ıch lineárn´ıch rovnic pro v, která má netriviáln´ı ˇreˇsen´ı právˇe tehdy, kdyˇz matice A − λI je singulárn´ı. Tedy vlastn´ı ˇc´ısla jsou koˇreny polynomu pA (λ) = det(A − λI), 1

(6.4)

N´ azvoslov´ı nen´ı zcela konzistentn´ı, coˇz je opˇet d´ ano t´ım, ˇze nˇekterá jména poch´ azej´ı z lineárn´ı algebry a nˇekterá z matematické anal´ yzy.

47

který se nazývá charakteristick´ y polynom matice A. Vlastn´ı vektory pˇr´ısluˇsné vlastn´ımu ˇc´ıslu λ pak spoˇc´ıtáme ze soustavy (6.3). Vlastn´ı vektor nen´ı svým vlastn´ım ˇc´ıslem urˇcen jednoznaˇcnˇe, vlastn´ı vektory pˇr´ısluˇsné vlastn´ımu ˇc´ıslu λ tvoˇr´ı celý podprostor null(A − λI) (kromˇe poˇcátku 0). 1 2 . Charakteristická rovnice je Pˇ r´ıklad 6.1. Najdˇete vlastn´ı ˇc´ısla matice A = 3 4 1−λ 2 det(A − λI) = det = (1 − λ)(4 − λ) − 3 · 2 = λ2 − 5λ − 2 = 0. 3 4−λ

√ Tato kvadratická rovnice má dva koˇreny λ = (5 ± 33)/2. To jsou vlastn´ı ˇc´ısla matice A. Vlastn´ı vektory pˇr´ısluˇsné kaˇzdému λ najdeme ˇreˇsen´ım homogenn´ı lineárn´ı soustavy 1−λ 2 v = 0. 3 4−λ Z definice determinantu (2.6) plyne (promyslete!), ˇze charakteristický polynom má stupeˇ n n. Podle základn´ı vˇety algebry má tedy n komplexn´ıch koˇren˚ u, z nichˇz nˇekteré mohou být násobné. Oznaˇc´ıme-li koˇreny λ1 , . . . , λn , plat´ı pA (λ) =

n Y i=1

(λi − λ).

V tomoto smyslu má matice právˇe n vlastn´ıch ˇc´ısel, z nichˇz nˇekterá mohou být stejná. Tomuto seznamu vlastn´ıch ˇc´ısel se nˇekdy ˇr´ıká spektrum matice. Necht’ λ1 , . . . , λn jsou vlastn´ı ˇc´ısla matice a v1 , . . . , vn jsou jim pˇr´ısluˇsné vlastn´ı vektory. Rovnice (6.2) lze pro nˇe napsat jako jedinou maticovou rovnici (rozmyslete!) AV = VΛ,

(6.5)

kde diagonáln´ı matice Λ = diag(λ1 , . . . , λn ) má na diagonále vlastn´ı ˇc´ısla a sloupce ˇctvercové matice V = [v1 · · · vn ] jsou vlastn´ı vektory. Vlastn´ı vektory mohou být lineárnˇe závislé. Tato otázka nen´ı jednoduchá a podrobnˇe ji zde ˇ diskutovat nebudeme. Rekneme jen, ˇze existuje dobrý d˚ uvod vlastn´ı vektory vybrat tak, aby hodnost matice V byla nejvˇetˇs´ı moˇzná. Jak se poˇc´ıtaj´ı vlastn´ı ˇc´ısla a vektory? Charakteristický polynom je hlavnˇe teoeretický nástroj a pˇr´ımé hledán´ı jeho koˇren˚ u nen´ı vhodné pro numerický výpoˇcet2 . Pro vˇetˇs´ı matice se pouˇz´ıvaj´ı numerické iteraˇcn´ı algoritmy, pˇriˇcemˇz pro matice r˚ uzného typu jsou vhodné r˚ uzné algoritmy. Matlabská funkce [V,D]=eig(A) spoˇc´ıtá matice V a Λ splˇ nuj´ıc´ı (6.5).

6.1.1

Spektr´ aln´ı rozklad

Pokud je V regulárn´ı (tj. existuje n lineárnˇe nezávislých vlastn´ıch vektor˚ u), je invertovatelná a (6.5) lze psát jako A = VΛV−1 . (6.6) 2

Naopak, hled´ an´ı koˇren˚ u libovolného polynomu lze pˇrevést na hled´ an´ı vlastn´ıch ˇc´ısel matice, kter´ a se naz´ yvá doprovodn´ a matice (companion matrix) polynomu.

48

Vztahu (6.6) se pak ˇr´ıká rozklad matice podle vlastn´ıch ˇ c´ısel nebo spektr´ aln´ı rozklad. V tom pˇr´ıpadˇe je matice A podobná diagonáln´ı matici (neboli diagonalizovateln´ a), protoˇze z (6.6) plyne V−1 AV = Λ. Je známo nˇekolik vlastnost´ı matic, které postaˇcuj´ı pro diagonalizovatelnost. Nejznámˇejˇs´ı z nich je symetrie. Vˇ eta 6.1. Necht’ matice A ∈ Rn×n je symetrická. Pak vˇsechna jej´ı vlastn´ı ˇc´ısla jsou reálná a existuje ortonormáln´ı mnoˇzina n jej´ıch vlastn´ıch vektor˚ u. Této vˇetˇe se nˇekdy ˇr´ıká spektr´ aln´ı vˇ eta. Podle n´ı pro kaˇzdou symetrickou A je v (6.5) matice Λ reálná a V m˚ uˇze být zvolena jako ortogonáln´ı (V−1 = VT ). Tedy T

A = VΛV =

n X

λi vi vTi .

(6.7)

i=1

Zároveˇ n jsme vpravo uvedli i druhou formu rozkladu (zkontrolujte, ˇze druhá rovnost v (6.7) plat´ı!), která je nˇekdy vhodnˇejˇs´ı neˇz maticová forma VΛVT . Vˇsimnˇete si, ˇze vi vTi jsou matice hodnosti 1. Vlastn´ı ˇc´ısla a vektory jsou rozsáhlé téma, které jsme zde zdaleka nevyˇcerpali. To ale nen´ı ani tˇreba, protoˇze dále budeme poˇrebovat jen spektráln´ı rozklad symetrické matice.

6.2

Kvadratick´ a forma

Kvadratick´ a forma je homogenn´ı polynom f : Rn → R druhého stupnˇe. Je pohodlné ji zapsat v maticovém tvaru n n X X T aij xi xj (6.8) f (x) = x Ax = i=1 j=1

pro nˇejakou matici A ∈ Rn×n .

Pˇ r´ıklad 6.2. Pˇr´ıkladem kvadratické formy dvou promˇenných je funkce 2 −1 x 2 2 . f (x, y) = 2x − 2xy + y = x y −1 1 y

Kaˇzdou ˇctvercovou matici m˚ uˇzeme psát jako souˇcet symetrické a antisymetrické matice: A = 12 (A + AT ) + 12 (A − AT ) | {z } | {z } symetrick´ a

(viz Cviˇcen´ı 2.11). Ale

antisymetrick´ a

xT Ax = 12 xT (A + AT )x + 21 xT (A − AT )x, | {z } 0

nebot’ xT (A − AT )x = xT Ax − xT AT x = xT Ax − (xT Ax)T = 0, kde jsme pouˇzili skuteˇcnost, ˇze transpozice skaláru je tentýˇz skalár. Tedy kdyˇz A nen´ı symetrická, m˚ uˇzeme ji nahradit jej´ı symetrickou ˇca´st´ı a kvadratická forma se nezmˇen´ı. Dále proto budeme pˇredpokládat, ˇze A je symetrická. 49

Definice 6.1. Symetrická matice A je • pozitivnˇ e [negativnˇ e] semidefinitn´ı, kdyˇz pro kaˇzdé x plat´ı xT Ax ≥ 0 [xT Ax ≤ 0] • pozitivnˇ e [negativnˇ e] definitn´ı, kdyˇz pro kaˇzdé x 6= 0 plat´ı xT Ax > 0 [xT Ax < 0]

• indefinitn´ı, kdyˇz existuje x a y tak, ˇze xT Ax > 0 a yT Ay < 0.

Matice m˚ uˇze m´ıt i nˇekolik tˇechto vlastnost´ı najednou. Napˇr. pozitivnˇe definitn´ı matice je zároveˇ n pozitivnˇe semidefinitn´ı. Nulová matice je zároveˇ n pozitivnˇe i negativnˇe semidefinitn´ı. I kdyˇz definice dává smysl pro libovolné ˇctvercové matice, je zvykem hovoˇrit o tˇechto vlastnostech jen pro symetrické matice. Nˇekdy se tyto vlastnosti definuj´ı ne pro matici, ale abstraktnˇeji pro kvadratickou formu. Z Definice 6.1 je jasné, má-li kvadratická forma extrém a pˇr´ıpadnˇe jaký: • Je-li A pozitivnˇe [negativnˇe] semidefinitn´ı, pak v poˇcátku se nabývá minimum [maximum]. • Je-li A pozitivnˇe [negativnˇe] definitn´ı, pak v poˇcátku se nabývá ostré minimum [maximum].

• Je-li A indefinitn´ı, pak kvadratická forma nemá minimum ani maximum. Tato tvrzen´ı je snadné dokázat. Je-li A pozitivnˇe semidefinitn´ı, kvadratická forma nem˚ uˇze být záporná a zároveˇ n pro x = 0 je nulová, proto v bodˇe x = 0 (i kdyˇz moˇzná i jinde) nabývá svého minima. Je-li A indefinitn´ı a napˇr. xT Ax > 0, bod x nem˚ uˇze být maximum, protoˇze T T (2x) A(2x) > x Ax, a nem˚ uˇze to být minimum, protoˇze pro nˇejaké y je yT Ay < 0. Vˇ eta 6.2. Symetrická matice je • pozitivnˇe [negativnˇe] semidefinitn´ı, právˇe kdyˇz má vˇsechna vlastn´ı ˇc´ısla nezáporná [nekladná] • pozitivnˇe [negativnˇe] definitn´ı, právˇe kdyˇz má vˇsechna vlastn´ı ˇc´ısla kladná [záporná]

• indefinitn´ı, právˇe kdyˇz má alespoˇ n jedno kladné a alespoˇ n jedno záporné vlastn´ı ˇc´ıslo.

D˚ ukaz. Z rozkladu podle vlastn´ıch ˇc´ısel (6.7) máme xT Ax = xT VΛVT x = yT Λy = λ1 y12 + · · · + λn yn2 ,

(6.9)

kde y = VT x. Substituce x = Vy tedy diagonalizovala matici kvadratické formy. Protoˇze V je regulárn´ı, definitnost matice A je stejná jako definitnost matice Λ. Ale protoˇze Λ je diagonáln´ı, jej´ı definitnost je okamˇzitˇe patrná ze znamének ˇc´ısel λi . Napˇr. výraz (6.9) je nezáporný pro kaˇzdé y právˇe tehdy, kdyˇz vˇsechna λi jsou nezáporná. Oznaˇc´ıme-li g(y) = yT Λy, máme f (x) = g(VT x). Protoˇze matice V je ortogonáln´ı, transformace y = VT x je isometrie, tedy funkce f a g se liˇs´ı jen otoˇcen´ım (pˇr´ıp. zrcadlen´ım) v prostoru vzor˚ u. Pro pˇr´ıpad dvou promˇenných (n = 2) si grafy diagonáln´ı formy g snadno pˇredstav´ıme. Jsou-li obˇe vlastn´ı ˇc´ısla kladná, funkce g vypadá jako ‘dol´ık’. Jsou-li obˇe vlastn´ı ˇc´ısla záporná, funkce g vypadá jako ‘kopec’. Maj´ı-li vlastn´ı ˇc´ısla opaˇcná znaménka, tvarem je ‘sedlo’:

50

2

0

1

1.8

−0.2

0.8

1.6

−0.4

0.6

1.4

−0.6

0.4

1.2

−0.8

1

−1

0

0.8

−1.2

−0.2

0.6

−1.4

−0.4

0.4

−1.6

−0.6

0.2

−1.8

−0.8

0 1

−2 1 1

0.5

−1 1 1

0.5

0.5

0

0.2

0 −0.5

−0.5 −1

−1

g(y1 , y2) = y12 + y22

6.3

0.5

0

0 −0.5

−0.5 −1

1

0.5

0.5

0

0 −0.5

−0.5 −1

−1

g(y1 , y2) = −y12 − y22

−1

g(y1, y2 ) = y12 − y22

Kvadratick´ a funkce

Kvadratická funkce je polynom (ne nutnˇe homogenn´ı) druhého stupnˇe. Lze jej psát v maticovém tvaru f (x) = xT Ax + bT x + c, (6.10) kde AT = A 6= 0. Oproti kvadratické formˇe tedy pˇribyly lineárn´ı a konstantn´ı ˇcleny. Vˇsimnˇete si, ˇze pro n = 1 je (6.10) známá kvadratická funkce jedné promˇenné f (x) = ax2 + bx + c. Jak nalézt extrémy kvadratické funkce? Extrémy lze hledat mechanicky pomoc´ı derivac´ı, to vˇsak ukáˇzeme aˇz v pozdˇejˇs´ı kapitole. Jiný zp˚ usob je pˇrevést kvadratickou funkci na kvadratickou formu posunut´ım poˇcátku. Tento zp˚ usob pop´ıˇseme nyn´ı. Nˇekdy lze naj´ıt vektor x0 ∈ Rn a skalár y0 takové, ˇze xT Ax + bT x + c = (x − x0 )T A(x − x0 ) + y0 .

(6.11)

Výraz na pravé stranˇe je kvadratická forma s poˇcátkem posunutým do bodu x0 , plus konstanta. Této u ´pravˇe se ˇr´ıká doplnˇ en´ı na ˇ ctverec. Znáte ji pro pˇr´ıpad n = 1, nebot’ tak se na základn´ı ˇskole odvozuje vzorec pro koˇreny kvadratické rovnice jedné promˇenné. Spoˇctˇeme x0 , y0 z daných A, b, c. Roznásoben´ım pravé strany dostaneme (x − x0 )T A(x − x0 ) + y0 = xT Ax − xT Ax0 − xT0 Ax + xT0 Ax0 + y0 = xT Ax − 2xT0 Ax + xT0 Ax0 + y0 .

Porovnán´ım ˇclen˚ u stejného stupnˇe máme b = −2Ax0 , c=

xT0 Ax0

+ y0 ,

(6.12a) (6.12b)

z ˇcehoˇz spoˇc´ıtáme x0 a y0 . Pokud soustava (6.12a) nen´ı ˇreˇsitelná, doplnˇen´ı na ˇctverec nen´ı moˇzné. Pokud je doplnˇen´ı na ˇctverec moˇzné, vyˇsetˇren´ı extrém˚ u kvadratické funkce se neliˇs´ı od vyˇsetˇren´ı extrém˚ u kvadratické formy, protoˇze rozd´ıl je jen v posunut´ı x0 . Pokud doplnˇen´ı na ˇctverec moˇzné nen´ı, kvadratická funkce extrém nemá. Pˇ r´ıklad 6.3. Máme kvadratickou funkci T T x 0 2 −1 x x + 3. + f (x, y) = 2x − 2xy + y − 2y + 3 = y −2 −1 1 y y 2

2

51

Jej´ı doplnˇen´ı na ˇctverec je

x−1 f (x, y) = 2(x − 1) − 2(x − 1)(y − 2) + (y − 2) + 1 = y−2 2

2

T

2 −1 −1 1

x−1 + 1, y−2

tedy máme x0 = (1, 2), y0 = 1. Jelikoˇz matice A je pozitivnˇe definitn´ı (ovˇeˇrte!), má kvadratická funkce minimum v bodˇe x0 . Pˇ r´ıklad 6.4. Kvadratická funkce T T x 0 1 0 x x + f (x, y) = x − y = y −1 0 0 y y 2

doplnit na ˇctverec nejde. Funkce tedy nemá na R2 extrém.

ˇ sme znovu u Pˇ r´ıklad 6.5. Reˇ ´lohu (5.2). Hledáme minimum kvadratické funkce kAx − bk22 = (Ax − b)T (Ax − b)

= (xT AT − bT ) (Ax − b)

= xT AT Ax − xT AT b − bT Ax + bT b

= xT AT Ax − 2bT Ax + bT b,

(6.13)

kde jsme pouˇzili skuteˇcnost, ˇze skalár je roven své transpozici a tedy bT Ax = (bT Ax)T = xT AT b. Extrém této kvadratické funkce m˚ uˇzeme naj´ıt doplnˇen´ım na ˇctverec (viz §6.3). SouT stava (6.12a) bude m´ıt tvar A Ax0 = AT b (pozor: A, b znamená nˇeco jiného v (6.13) a n je jasné, ˇze matice AT A je poziv (6.12a)), tedy dostali jsme normáln´ı rovnici (5.3). Zároveˇ tivnˇe semidefinitn´ı, nebot’ pro kaˇzdé x ∈ Rn máme xT AT Ax = (Ax)T Ax = kAxk22 ≥ 0. Tedy v bodˇe x0 bude minimum.

6.3.1

(6.14)

Kvadrika

Vrstevnice kvadratické funkce se nazývá kvadrika (quadric, quadric surface). Tedy kvadrika je mnoˇzina { x ∈ Rn | xT Ax + bT x + c = 0 }. (6.15) Pro n = 2 se kvadrika nazývá kuˇ zeloseˇ cka (conic). D˚ uleˇzitým speciáln´ım pˇr´ıpadem kvadriky je elipsoidn´ı povrch3 , coˇz je mnoˇzina { x ∈ Rn | xT Ax = 1 } pro A pozitivnˇe definitn´ı.

6.4

Cviˇ cen´ı

6.1. Spoˇc´ıtejte vlastn´ı ˇc´ısla a vlastn´ı vektory matic

1 2 1 2 . , 1 0 −1 −3

3 Nˇekdy se naz´ yvá téˇz elipsoid , ale n´ azvoslov´ı nen´ı jednoznaˇcné a nˇekteˇr´ı autoˇri elipsoidem rozum´ı mnoˇzinu { x ∈ Rn | xT Ax ≤ 1 }. Rozd´ıl je stejn´ y jako mezi sférou a koul´ı.

52

  2 0 3 6.2. Napiˇste rovnici, jej´ımiˇz koˇreny jsou vlastn´ı ˇc´ısla matice 0 −2 −1. 3 −1 2

6.3. Najdˇete vˇsechna vlastn´ı ˇc´ısla a vlastn´ı vektory (a) nulové, (b) jednotkové, (c) diagonáln´ı matice. Najdˇete vlastn´ı ˇc´ısla troj´ uheln´ıkové matice. 6.4. Známe vlastn´ı ˇc´ısla a vektory matice A. Jaké jsou vlastn´ı ˇc´ısla a vektory matice A + αI? 6.5. Máme kvadratickou formu dvou promˇenných f (x, y) = 3x2 + 2xy + 3y 2. x se symetrickou A. a) Napiˇste ji ve tvaru f (x, y) = x y A y u x 2 2 b) Najdˇete a, b ∈ R a ortogonáln´ı U tak, ˇze f (x, y) = au + bv , kde =U . v y c) Nakreslete mnoˇzinu bod˚ u (u, v) splˇ nuj´ıc´ıch au2 + bv 2 = 1. d) Transformujte tuto mnoˇzinu do souˇradnic (x, y) a nakreslete. 6.6. Kvadratickou funkci f (x, y) = 2x2 + 2xy − 3y 2 − x + 2y napiˇste ve tvaru (6.10) se symetrickou A. 6.7. Je mnoˇzina { (x, y) ∈ R2 | x2 − 3xy + y 2 = 1 } elipsa nebo hyperbola? Od˚ uvodnˇete.

6.8. Je známo, ˇze libovolnou rotaci ve tˇr´ırozmˇerném prostoru lze realizovat jako rotaci kolem jisté pˇr´ımky (jdouc´ı poˇcátkem) o jistý u ´hel. Geometrickou u ´vahou (tj. bez poˇc´ıtán´ı) zjistˇete co nejv´ıce o vlastn´ıch ˇc´ıslech a vektorech rotaˇcn´ı matice rozmˇeru 3 × 3.

6.9. Ukaˇzte, ˇze je-li A = VΛVT spektráln´ı rozklad symetrické matice A, plat´ı An = VΛn VT . 6.10. (⋆) Ukaˇzte, ˇze dvˇe ˇctvercové matice komutuj´ı, právˇe kdyˇz maj´ı stejné vlastn´ı vektory. 6.11. (⋆) Necht’ A ∈ Rm×n a B ∈ Rn×m . Ukaˇzte, ˇze nenulová vlastn´ı ˇc´ısla matic AB a BA jsou stejná. 6.12. Pro dané matice urˇcete, zda jsou pozitivnˇe/negativnˇe (semi)definitn´ı nebo indefinitn´ı: 1 0 0 1 2 1 1 2 . , , , 0 0 1 0 1 2 2 1 6.13. Zjistˇete, zda maj´ı následuj´ıc´ı kvadratické funkce extrém a pokud ano, extrém najdˇete a urˇcete jeho druh (minimum nebo maximum). Pouˇzijte doplnˇen´ı na ˇctverec. a) f (x, y) = x2 + 4xy − 2y 2 + 3x − 6y + 5 1 −1 x + 2 −1 x b) f (x) = xT −1 2 1 −3 . Která z následuj´ıc´ıch tvrzen´ı jsou pravdivá? 6.14. Mˇejme matici A = 2 −4 a) Výraz xT Ax je nezáporný pro kaˇzdé x ∈ R2 . b) Výraz xT Ax je nekladný pro kaˇzdé x ∈ R2 . c) Funkce f (x) = xT Ax má v bodˇe x = 0 extrém. 6.15. (⋆) Napiˇste v Matlabu funkci ellipse(Q), která vykresl´ı elipsu s rovnic´ı xT Ax = 1 pro pozitivnˇe definitn´ı A. Zamyslete se, jak byste postupovali pˇri návrhu funkce conic(Q), která vykresl´ı kuˇzeloseˇcku xT Ax = 1 pro A libovolné definitnosti (nezapomeˇ nte, ˇze obecná kuˇzeloseˇcka m˚ uˇze být neomezená, tedy je nutno ji oˇr´ıznout do daného obdéln´ıku). 53

6.16. Dokaˇzte, ˇze matice AT A je pozitivnˇe semidefinitn´ı pro kaˇzdou matici A. 6.17. Dokaˇzte, ˇze matice AT A + µI je pozitivnˇe definitn´ı pro kaˇzdou matici A a kaˇzdé µ > 0. 6.18. Dokaˇzte, ˇze (ˇctvercová symetrická) matice je pozitivnˇe definitn´ı právˇe tehdy, kdyˇz jej´ı inverze je pozitivnˇe definitn´ı. Dokaˇzte to nejdˇr´ıve s pouˇzit´ım spektráln´ıho rozkladu a pak bez pouˇzit´ı spektráln´ıho rozkladu. 6.19. Mus´ı m´ıt pozitivnˇe semidefinitn´ı matice na diagonále nezáporné prvky? Odpovˇed’ dokaˇzte. 6.20. (⋆) Pozitivnˇe semidefinitn´ı symetrické matice lze vn´ımat jako zobecnˇen´ı nezáporných ˇc´ısel. Proto se nˇekdy pozitivn´ı semidefinitnost znaˇc´ı A 0. Zápis A B je pak zkratkou A − B 0. Na základˇe této analogie bychom oˇcekávali, ˇze: a) b) c) d) e)

Pokud Pokud Pokud Pokud Pokud

A B a C D, potom A + C B + D. A 0 a α ≥ 0, potom αA 0. A 0, potom A2 0. A 0 a B 0, potom AB 0. A 0 a B 0, potom ABA 0.

Které z tˇechto tvrzen´ı plat´ı? Dokaˇzte nebo najdˇete protipˇr´ıklady. 6.21. Dokaˇzte, ˇze relace z pˇredchoz´ıho cviˇcen´ı je ˇcásteˇcné uspoˇrádán´ı, tj. reflex´ıvn´ı, tranzitivn´ı a antisymetrická relace na mnoˇzinˇe symetrických matic n × n. 6.22. Jsou-li λi vlastn´ı ˇc´ısla matice A, dokaˇzte λ1 × · · · × λn = det A pro a) libovolnou diagonalizovatelnou matici, b) (⋆) pro libovolnou ˇctvercovou matici. 6.23. V §5.1.2 jsme definovali projekci jako matici P splˇ nuj´ıc´ı P2 = P. Geometrickou u ´vahou (tedy bez poˇc´ıtán´ı) najdˇete aspoˇ n jedno vlastn´ı ˇc´ıslo a pˇr´ısluˇsný vlastn´ı vektor projekce. 6.24. Dokaˇzte, ˇze pro symetrickou matici A je výraz min x6=0

xT Ax = min xT Ax xT x xT x=1

(6.16)

roven nejmenˇs´ımu vlastn´ımu ˇc´ıslu matice A. 6.25. (⋆) Geometrickou u ´vahou najdˇete aspoˇ n dva vlastn´ı vektory a pˇr´ısluˇsná vlastn´ı ˇc´ısla Householderovy matice ze Cviˇcen´ı 5.9. 6.26. Pro libovolnou matici A plat´ı, ˇze nenulová vlastn´ı ˇc´ısla matic AT A a AAT jsou stejná. Dokaˇzte.

N´ apovˇ eda a ˇ reˇ sen´ı 6.4.

Vlastn´ı ˇc´ısla se zmenˇs´ı o α. Vlastn´ı vektory jsou stejné. 3 1 6.5.a) A = 1 3 −1 1 1 6.5.b) a = 2, b = 4, U = √2 1 1 2 1 6.6. A = , b = −1 2 , c = 0 1 −3

54

6.7.

Hyperbola.

6.12. indefinitn´ı, pozitivnˇe definitn´ı, indefinitn´ı, pozitivnˇe semidefinitn´ı 6.13.a) Nemá extrém (m´ a sedlo v bodˇe (2, 74 )). 6.13.b) Má minimum v bodˇe −(3, 1)/2. ˇ adné tvrzen´ı neplat´ı. Nápovˇeda: je matice symetrická? 6.14. Z´ 6.19. Mus´ı. 6.22.a) Pouˇzijte spektráln´ı rozklad A = V−1 ΛV. 6.24. Spektráln´ım rozkladem pˇreved’te na problém min yT Λy. yT y=1

6.26. Vyn´ asobte rovnici AT Av = λv zleva matic´ı A.

55

Kapitola 7 Rozklad podle singul´ arn´ıch ˇ c´ısel (SVD) Vˇ eta 7.1. Kaˇzdou matici A ∈ Rm×n lze rozloˇzit jako A = USVT

(7.1)

kde matice S ∈ Rm×n je diagonáln´ı a U ∈ Rm×m a V ∈ Rn×n jsou ortogonáln´ı. Diagonáln´ı prvky matice S se nazývaj´ı singul´ arn´ı ˇ c´ısla matice A a budeme je znaˇcit s1 , . . . , sp , kde p = min{m, n}. Je zvykem je sestupnˇe seˇradit, s1 ≥ · · · ≥ sp ≥ 0, coˇz lze vˇzdy zajistit permutac´ı sloupc˚ u U a V. Sloupce matice U pˇr´ıp. V se nazývaj´ı levé pˇr´ıp. arn´ıch pravé singul´ arn´ı vektory matice A. Rozklad (7.1) se nazývá rozklad podle singul´ ˇ c´ısel (Singular Value Decomposition, SVD). Necht’ r = rank S je poˇcet nenulových singulárn´ıch ˇc´ısel. Z rovnosti (3.13b) (pouˇzité na výraz (7.1) a na jeho transpozici) je rank A = rank S = r. Piˇsme (7.1) jako " #" # S1 0 VT1 = U1 S1 VT1 (7.2) A = U1 U2 | {z } 0 0 VT2 U | {z } | {z } S

VT

kde S1 = diag(s1 , . . . , sr ) ∈ Rr×r je ˇctvercová diagonáln´ı matice, na jej´ıˇz diagonále jsou vˇsechna nenulová singulárn´ı ˇc´ısla. Velikosti blok˚ u U1 , U2 , V1 , V2 a nulových blok˚ u jsou urˇceny velikost´ı matice S1 (pokud nˇejaký blok má jeden rozmˇer nulový, povaˇzujeme ho za prázdný). Rozklad A = U1 S1 VT1 se nazývá redukovan´ e SVD. Redukované SVD se tedy z plného SVD (7.1) z´ıská tak, ˇze matici S oˇr´ızneme na ˇctvercovou r ×r, z matice U vynecháme posledn´ıch m−r sloupc˚ u a z matice V vynecháme posledn´ıch n−r sloupc˚ u. Plné SVD se z redukovaného SVD z´ıská tak, ˇze u ´zké matice U1 a V1 dopln´ıme pˇridán´ım sloupc˚ u na ˇctvercové ortogonáln´ı, a ˇctvercovou matici S dopln´ıme nulami na obdéln´ıkovou stejného rozmˇeru jako A. Pˇ r´ıklad 7.1. Zde je pˇr´ıklad plného a redukovaného SVD matice 2 × 3: √  √  √ 1/ 2 √ 1/ √2 0 √ √ 5 0 0  1/√2 1/ √2 3 2 2 = A= 1/ 18 −1/ 18 4/ 18 = USVT 2 3 −2 1/ 2 −1/ 2 0 3 0 2/3 −2/3 1/3 √ √ √ √ 5 0 1/√ 2 1/ √2 0 1/√2 1/ √2 √ = U1 S1 VT1 = 1/ 2 −1/ 2 0 3 1/ 18 −1/ 18 4/ 18 56

Vztah (7.1) ˇr´ıká, ˇze kaˇzdé lineárn´ı zobrazen´ı je sloˇzen´ım tˇr´ı jednoduˇsˇs´ıch lineárn´ıch zobrazen´ı, a to isometrie VT , diagonáln´ıho zobrazen´ı S a isometrie U. Lineárn´ı zobrazen´ı reprezentované diagonáln´ı matic´ı je jednoduˇse protaˇzen´ı nebo zkrácen´ı podél souˇradnicových os, pˇr´ıpadnˇe (pokud je matice ˇsiroká) vynechán´ı nˇekterých souˇradnic nebo (pokud je matice u ´zká) pˇridán´ı nulových souˇradnic.

x

VT isometrie

VT x

SVT x

S

U

USVT x = Ax

isometrie

prota zen /zkr a en pod el os vyne h an /p rid an sou radni

V ˇreˇci báz´ı to znamená, ˇze pro kaˇzdé lineárn´ı zobrazen´ı lze naj´ıt takové ortonormáln´ı báze prostoru vzor˚ u a prostoru obraz˚ u, ˇze vzhledem k tˇemto báz´ım je zobrazen´ı diagonáln´ı. SVD najde ortonormáln´ı báze vˇsech ˇctyˇr podprostor˚ u generovaných matic´ı (viz §4.2.1): rng U1 = rng A,

(7.3a)

rng V1 = rng(AT ), T

rng U2 = null(A ), rng V2 = null A.

(7.3b) (7.3c) (7.3d)

Rovnost (7.3a) plyne ze (3.13b), nebot’ rng A = rng(U1 S1 VT1 ) = rng(U1 S1 ) = rng U1 . Rovnost (7.3b) plyne z (7.3a), nebot’ AT = (U1 S1 V1 )T = V1 ST1 UT1 = V1 S1 UT1 . Rovnosti (7.3c) a (7.3d) nyn´ı plynou z (4.2) a Cviˇcen´ı 4.13.

7.1

SVD ze spektr´ aln´ıho rozkladu

Dokaˇzme nyn´ı Vˇetu 7.1. D˚ ukaz. Protoˇze matice AT A je symetrická, ze spektráln´ıho rozkladu (6.7) máme Λ1 0 VT1 T T , (7.4) A A = VΛV = V1 V2 0 0 VT2 kde V = V1 V2 ∈ Rn×n je ortogonáln´ı a Λ1 ∈ Rr×r je diagonáln´ı regulárn´ı (má na diagonále nenulová vlastn´ı ˇc´ısla matice AT A). Matice AT A je pozitivnˇe semidefinitn´ı (Cviˇcen´ı 6.16), tedy Λ má kladné diagonáln´ı prvky. Poloˇzme 1/2

S1 = Λ1 , U1 = AV1 S−1 1 , 1/2

kde Λ1

(7.5a) (7.5b)

√ √ 1/2 1/2 = diag( λ1 , . . . , λn ), takˇze Λ1 Λ1 = Λ1 . Ovˇeˇr´ıme T T −1 −1 T T −1 −1 −1 UT1 U1 = S−1 1 V1 A AV 1 S1 = S1 V 1 V1 Λ1 V1 V 1 S1 = S1 Λ1 S1 = I,

U1 S1 VT1

=

T AV1 S−1 1 S1 V1

=

AV1 VT1

= A.

Matici U2 zvol´ıme libovolnˇe tak, aby U = U1 U2 byla ortogonáln´ı. 57

(7.6a) (7.6b)

Rovnost (7.6b) je oˇcividná, pokud V1 je ˇctvercová a tedy V1 VT1 = I. Tato rovnost ale plat´ı, i kdyˇz V1 nen´ı ˇctvercová (tedy je obdéln´ıková u ´zká). To ukáˇzeme napˇr. takto. Vynásob´ımeli (7.4) matic´ı VT zleva a V zprava, dostaneme T Λ1 0 V1 T . (7.7) A A V 1 V2 = 0 0 VT2

Roznásoben´ım levé strany z´ıskáme (AV2 )T AV2 = 0, tedy (dle (3.14a)) AV2 = 0. Dále je V1 VT1 + V2 VT2 = I (Cviˇcen´ı 4.13). Nyn´ı AV1 VT1 = A(I − V2 VT2 ) = A − AV2 VT2 = A.

D˚ ukaz ukazuje, ˇze SVD lze spoˇc´ıtat ze spektráln´ıho rozkladu matice1 AT A. Tento zp˚ usob ale nen´ı numericky nejvhodnˇejˇs´ı, protoˇze výpoˇcet souˇcinu AT A m˚ uˇze vést ke zbyteˇcným zaokrouhlovac´ım chybám (viz §5.1.1). Na SVD se proto pouˇz´ıvaj´ı algoritmy, které se explicitn´ımu výpoˇctu AT A vyhýbaj´ı2 . Matlabský pˇr´ıkaz [U,S,V]=svd(A) poˇc´ıtá plné SVD. Redukované SVD nen´ı pˇr´ımo implementované, dostaneme jej ale z pˇr´ıkazu [U,S,V]=svd(A,’econ’), který vrát´ı U ∈ Rm×p , S ∈ Rp×p a V ∈ Rn×p . Pozn´ amka o numerick´ e line´ arn´ı algebˇ re. Potkali jsme jiˇz tˇri rozklady matic: QR, spektráln´ı rozklad, SVD. Je jeˇstˇe nˇekolik jiných zaj´ımavých rozklad˚ u. Návrh numerických algoritm˚ u operace s maticemi, ˇreˇsen´ı soustav lineárn´ıch rovnic a rozklady matic vektor˚ u je pˇredmˇetem numerické lineárn´ı algebry. Existuj´ı volnˇe dostupné softwarové bal´ıky na numerickou lineárn´ı algebru, napˇr. LAPACK a BLAS. Matlab je postaven na bal´ıku LAPACK.

7.2

Nejbliˇ zˇs´ı matice niˇ zˇs´ı hodnosti

Frobeniova norma matice A ∈ Rm×n je ˇc´ıslo X 1/2 X 1/2 m X n n 2 2 kAkF = aij = kaj k2 i=1 j=1

(7.8)

j=1

kde a1 , . . . , an jsou sloupce matice A. Zjevnˇe kAkF = kAT kF . Podobnˇe jako eukleidovská norma vektoru, Frobeniova norma se nezmˇen´ı transformac´ı ˇrádk˚ u nebo sloupc˚ u matice isometri´ı, neboli UT U = I, VT V = I

=⇒

kAkF = kUAkF = kAVT kF = kUAVT kF .

(7.9)

To snadno plyne (promyslete!) z (7.8). ˇ sme nyn´ı u Reˇ ´lohu, ve které chceme k dané matici A ∈ Rm×n hodnosti r naj´ıt nejbliˇzˇs´ı (ve smyslu Frobeniovy normy) matici A′ dané niˇzˇs´ı hodnosti r ′ ≤ r. Tedy ˇreˇs´ıme u ´lohu min{ kA − A′ kF | A′ ∈ Rm×n , rank A′ = r ′ }.

(7.10)

ˇ sen´ı je dáno následuj´ıc´ı vˇetou, kterou uvád´ıme bez d˚ Reˇ ukazu. V d˚ ukazu bychom mohli pouˇz´ıt spektr´ aln´ı rozklad matice AAT m´ısto AT A (srov. Cviˇcen´ı 6.26). Na druhou stranu, pokud n´ am moˇzné sn´ıˇzen´ı pˇresnosti neohroz´ı, poˇc´ıtán´ı SVD spektr´ aln´ım rozkladem m˚ uˇze b´ yt rychlejˇs´ı. Napˇr. pokud je m ≫ n a potˇrebujeme spoˇc´ıtat jen matice V a S (a nepotˇrebujeme U), spektr´ aln´ı rozklad matice AT A bude typicky rychlejˇs´ı, protoˇze velikost této matice je malá (n × n). 1

2

58

Vˇ eta 7.2 (Eckart-Young). Necht’ A = USVT je SVD matice A. Necht’ S′ je diagonáln´ı matice, která vznikne vynulován´ım r − r ′ nejmenˇs´ıch nenulových diagonáln´ıch prvk˚ u matice S (tj. s′i = si pro i ≤ r ′ a s′i = 0 pro i > r ′ ). Pak A′ = US′ VT je ˇreˇsen´ım u ´lohy (7.10). Vˇetu lze formulovat i jinak. Rozklad (7.1) lze napsat jako sumu T

A = USV =

r X

si ui vTi ,

(7.11)

i=1

kde u1 , . . . , um jsou sloupce matice U a v1 , . . . , vn jsou sloupce matice V. Vˇsimnˇete si, ˇze ui vTi ∈ Rm×n je matice hodnosti 1 (viz §2.5). Matice A′ se z´ıská tak, ˇze z této sumy vezmeme jen prvn´ıch r ′ ˇclen˚ u: r r′ X X ′ ′ T ′ T A = US V = si u i v i = si ui vTi . i=1

i=1

′

Je-li A optimáln´ı ˇreˇsen´ı u ´lohy (7.10), máme

kA−A′ kF = kUSVT −US′ VT kF = kU(S−S′ )VT kF = kS−S′ kF = (s2r′ +1 +· · ·+s2r )1/2 . (7.12) V tomto smyslu singulárn´ı ˇc´ısla ˇr´ıkaj´ı, jak je matice daleko od nejbliˇzˇs´ı matice niˇzˇs´ı hodnosti.

7.3

Prokl´ ad´ an´ı bod˚ u podprostorem

Hledejme (lineárn´ı) podprostor X ⊆ Rm dané dimenze r ′ , který minimalizuje souˇcet ˇctverc˚ u 3 m vzdálenost´ı k daným bod˚ um a1 , . . . , an ∈ R . Tuto u ´lohu nelze nijak pˇrevést na u ´lohu nejmenˇs´ıch ˇctverc˚ u z §5.1. Avˇsak lze ji ˇreˇsit pomoc´ı Vˇety 7.2. Máme r = rank A = dim span{a1 , . . . , an }, r ′ = rank A′ = dim span{a′1 , . . . , a′n }, kde aj jsou sloupce matice A a a′j jsou sloupce matice A′ . Pˇredpokládáme r ′ ≤ r. Dále je kA − A′ k2F =

n X j=1

kaj − a′j k22 .

Tedy X = span{a′1 , . . . , a′n } = rng A′ je takový podprostor dimenze r ′ , ˇze souˇcet ˇctverc˚ u kolmých vzdálenost´ı bod˚ u a1 , . . . , an k tomuto podprostoru je minimáln´ı: X = span{a′1 , . . . , a′4 }

a′3

a4

a′4 a2 a′ a′1 2

a3

0

a1 3

Ve statistice se této u ´loze ˇr´ık´ a rozvoj podle hlavn´ıch komponent (principal component analysis, PCA) nebo Karhunen-Loew˚ uv rozvoj .

59

Obvykle nepotˇrebujeme naj´ıt body a′j , ale pouze bázi podprostoru X. Ortonormáln´ı bázi X snadno z´ıskáme pomoc´ı vztah˚ u (7.3). Protoˇze pouze prvn´ıch r ′ singulárn´ıch ˇc´ısel matice A′ je nenulových, báze podprostoru X = rng A′ je mnoˇzina prvn´ıch r ′ sloupc˚ u matice U v rozkladu T ⊤ A = USV . Nˇekdy m˚ uˇze být výhodnˇejˇs´ı hledat ortogonáln´ı doplnˇek X = null(A′ )T hledaného podprostoru, jehoˇz báze je posledn´ıch m − r ′ sloupc˚ u matice U. Pˇ r´ıklad 7.2. Máme dáno n bod˚ u a1 , . . . , an v prostoru R3 . Necht’ a1 · · · an = USVT je plné SVD matice, jej´ıˇz sloupce jsou tyto body. Oznaˇcme u1 , u2 , u3 sloupce matice U ∈ R3×3 . Hledejme pˇr´ımku procházej´ıc´ı poˇcátkem takovou, aby souˇcet ˇctverc˚ u kolmých vzdálenost´ı bod˚ u k této pˇr´ımce byl co nejmenˇs´ı. Tato pˇr´ımka je mnoˇzina span{u1 } = { αu1 | α ∈ R } = { x ∈ R3 | uT2 x = uT3 x = 0 } = (span{u2 , u3 })⊥ .

Hledejme rovinu procházej´ıc´ı poˇcátkem takovou, aby souˇcet ˇctverc˚ u kolmých vzdálenost´ı bod˚ u k této rovinˇe byl co nejmenˇs´ı. Tato rovina je mnoˇzina span{u1 , u2 } = { α1 u1 + α2 u2 | α1 , α2 ∈ R } = { x ∈ R3 | uT3 x = 0 } = (span{u3 })⊥ .

7.3.1

Zobecnˇ en´ı na afinn´ı podprostor

Zobecnˇeme nyn´ı u ´lohu: m´ısto lineárn´ıho podprostoru hledáme afinn´ı podprostor dimenze r ′ , který minimalizuje souˇcet ˇctverc˚ u kolmých vzdálenost´ı od bod˚ u a1 , . . . , an . Tento afinn´ı podprostor lze psát jako X = b + span{a′1 , . . . , a′n } pro nˇejaké posunut´ı b ∈ Rm (viz §3.3):

¯′ a ¯ a

a2

a′1

b

X = b + span{a′1 , . . . , a′4 }

a′3

a4

a′4

a3

a′2

0

a1

Souˇcet ˇctverc˚ u kolmých vzdálenost´ı k X je (promyslete z obrázku!) n X kaj − a′j − bk22 = kA − A′ − b1T k2F .

(7.13)

j=1

Hledáme b ∈ Rm a A′ ∈ Rm×n , které minimalizuj´ı (7.13) za podm´ınky rank A′ = r ′ . Pokud A′ je pevné, minimalizaci výrazu (7.13) pˇres promˇennou b lze snadno vyˇreˇsit explicitnˇe (viz Cviˇcen´ı 5.3.a): minimum se nabývá v bodˇe n 1X ¯−a ¯′, b= (aj − a′j ) = a n j=1 kde

¯′ = n1 (a′1 + · · · + a′n ) ¯ = n1 (a1 + · · · + an ), a a ¯ ′ ∈ span{a′1 , . . . , a′n }, plat´ı a ¯ = b+a ¯′ ∈ X (toto znaˇc´ı tˇeˇziˇstˇe bod˚ u ai resp. a′i . Protoˇze vˇsak a ¯ , a¯′ , b v obrázku!). Tedy jsme dokázali, ˇze optimáln´ı afinn´ı promyslete, najdˇete si vektory a ¯ bod˚ podprostor X procház´ı tˇeˇziˇstˇem a u a1 , . . . , an . Nyn´ı je ˇreˇsen´ı jasné: staˇc´ı nejprve posunout body a1 , . . . , an tak, aby jejich tˇeˇziˇstˇe leˇzelo v poˇcátku, a potom naj´ıt lineárn´ı podprostor, který minimalizuje souˇcet ˇctverc˚ u vzdálenost´ı k posunutým bod˚ um. 60

7.4

Pˇ ribliˇ zn´ eˇ reˇsen´ı homogenn´ı line´ arn´ı soustavy

ˇ sme homogenn´ı lineárn´ı soustavu Reˇ Ax = 0

(7.14)

pro A ∈ Rm×n . Mnoˇzinou ˇreˇsen´ı je mnoˇzina null A, coˇz je lineárn´ı podprostor Rn dimenze d = n − rank A (viz (3.12)). Jedno z ˇreˇsen´ı je vˇzdy x = 0 (tzv. triviáln´ı ˇreˇsen´ı). M˚ uˇze být homogenn´ı soustava ‘pˇreurˇcená’ ? Pˇreuˇcenost soustavy m˚ uˇzeme definovat tak, ˇze dimenze d prostoru ˇreˇsen´ı je niˇzˇs´ı, neˇz nˇejaká pˇredem daná dimenze d′ > d. Speciáln´ı pˇr´ıpad ˇ sme je, kdyˇz má soustava pouze triviáln´ı ˇreˇsen´ı (d = 0), ale my chceme ˇreˇsen´ı netriviáln´ı. Reˇ soustavu pˇribliˇznˇe tak, ˇze co nejménˇe zmˇen´ıme matici A, aby prostor ˇreˇsen´ı mˇel kýˇzenou dimenzi d′ . Neboli nejprve najdeme matici A′ s hodnost´ı n − d′ nejbliˇzˇs´ı matici A (dle Vˇety 7.2) a potom vyˇreˇs´ıme soustavu A′ x = 0. Vztah k nehomogenn´ımu pˇ r´ıpadu. V §5.1 jsme formulovali pˇribliˇzné ˇreˇsen´ı nehomogenn´ı uˇze se zdát, ˇze tato formulace (b 6= 0) soustavy Ax = b jako u ´lohu minx∈Rn kAx − bk2 . M˚ je u ´plnˇe odliˇsná od formulace pˇribliˇzného ˇreˇsen´ı homogenn´ı soustavy, kterou jsme uvedli zde. Ale tak tomu nen´ı. Formulujme pˇribliˇzné ˇreˇsen´ı nehomogenn´ı soustavy takto: pokud soustava Ax = b nemá ˇreˇsen´ı, zmˇen ˇme vektor b co nejménˇe tak, aby soustava ˇreˇsen´ı mˇela. Pˇresnˇeji, hledáme vektor b′ tak, aby pro nˇejaké x platilo Ax = b′ a pˇritom ˇc´ıslo kb − b′ k2 bylo co nejmenˇs´ı. Tuto u ´lohu lze napsat jako min{ kb − b′ k2 | Ax = b′ , x ∈ Rn , b′ ∈ Rm }. Zde minimalizujeme pˇres promˇenné x a b′ (nevad´ı, ˇze x se nevyskytuje v u ´ˇcelové funkci). Tato u ´loha jde zjednoduˇsit (rozmyslete!): dosad´ıme b′ = Ax do u ´ˇcelové funkce kb − b′ k2 , ˇc´ımˇz nme: dostaneme minx∈Rn kAx − bk2 . Shrˇ • V pˇribliˇzném ˇreˇsen´ı nehomogenn´ı soustavy Ax = b chceme zmˇenit vektor b co nejménˇe tak, aby soustava mˇela ˇreˇsen´ı. • V pˇribliˇzném ˇreˇsen´ı homogenn´ı soustavy Ax = 0 chceme zmˇenit matici A co nejménˇe tak, aby soustava mˇela prostor ˇreˇsen´ı dané dimenze.

7.5

(⋆) Pseudoinverze obecn´ e matice

Vrat’ne se nyn´ı k nehomogenn´ı lineárn´ı soustavˇe, Ax = b pro A ∈ Rm×n . Tuto soustavu m˚ uˇzeme pohodlnˇe ˇreˇsit pomoc´ı SVD. Protoˇze U má ortonormáln´ı sloupce, vynásoben´ı soustavy Ax = USVT x = b matic´ı UT zleva dá SVT x = UT b, tedy Sy = c kde y = VT x a c = UT b. Snadno najdeme ˇreˇsen´ı y této soustavy, nebot’ S je diagonáln´ı. Pak spoˇc´ıtáme x ze soustavy y = VT x. Pokud je V ˇctvercová (coˇz bude bud’ u plného SVD libovolné matice nebo u redukovaného SVD u ´zké matice s plnou hodnost´ı), máme pˇr´ımo x = Vy. Tuto myˇslenku nyn´ı rozvineme. V §5 jsme oddˇelenˇe diskutovali pˇr´ıpady, kdy soustava má ˇzádné, jedno, nebo nekoneˇcnˇe mnoho ˇreˇsen´ı. Ted’ vˇsechny tyto pˇr´ıpady spoj´ıme do jediné obecné formulace o n ′ 2 2 (7.15) min kxk2 x ∈ argmin kAx − bk2 . x′ ∈Rn

61

To znamená, ˇze hledáme vektor x, pro který je norma kAx − bk2 vektoru residu´ı minimáln´ı; pokud je vˇsak takových vektor˚ u vice, vybereme z nich takový, který má nejmenˇs´ı normu kxk2 .

Vˇ eta 7.3. Necht’ A = U1 S1 VT1 je redukované SVD matice A. Pak ˇreˇsen´ım u ´lohy (7.15) je x = A+ b, kde T A+ = V1 S−1 (7.16) 1 U1 . D˚ ukaz (⋆). Necht’ SVD matice A je dáno vzorcem (7.2). Plat´ı: kAx − bk22 = kUSVT x − bk22

= kUT (USVT x − b)k22

nebot’ kUT zk2 = kzk2 pro kaˇzdé z

= kSVT x − UT bk22 = kSy − ck22

2

S1 0 y1 c

= − 1 0 0 y2 c2 2

2

S1 y1 − c1

=

−c2 2

nebot’ UT U = I

= kS1 y1 − c1 k22 + kc2 k22 ,

kde jsme oznaˇcili

(7.17) c UT1 b = 1 = c. U b= T c2 U2 b

y VT1 x = 1 = y, V x= T y2 V2 x

T

T

(7.18)

ˇ Ceho jsme dosáhli? Ukázali jsme, ˇze výraz kAx−bk22 je roven výrazu (7.17). Ale ten se mnohem snadnˇeji minimalizuje, protoˇze matice S1 je diagonáln´ı a regulárn´ı. Minimum výrazu (7.17) tedy nastane pro y1 = S−1 ze pak bude S1 y1 = c1 . Protoˇze S1 je ˇctvercová diagonáln´ı, jej´ı 1 c1 , protoˇ −1 −1 inverze je jednoduˇse S−1 = diag(s 1 1 , . . . , sr ). Výraz (7.17) nezávis´ı na vektoru y2 , který tedy m˚ uˇzeme zvolit libovolnˇe. Zvolme jej tak, aby vektor y mˇel nejmenˇs´ı normu. To oˇcividnˇe nastane pro y2 = 0. Protoˇze kyk2 = kVT xk2 = kxk2 (plyne z ortogonality V), bude m´ıt také x nejmenˇs´ı normu. ˇ sen´ı u Reˇ ´lohy (7.15) z´ıskáme zpˇetným dosazen´ım z (7.18): S−1 y1 c 1 −1 T + 1 = V1 S−1 = V1 V2 x = Vy = V1 V2 1 c1 = V1 S1 U1 b = A b. 0 y2 Vˇsimnˇete si, ˇze zat´ımco v d˚ ukazu jsme potˇrebovali plné SVD, ve vzorci (7.16) vystupuje pouze redukované SVD. Matice U2 a V2 byly tˇreba jen pro d˚ ukaz. Matice (7.16) se nazývá pseudoinverze obecn´ e matice, pˇresnˇeji Moore-Penroseova pseudoinverze. Pokud A je ˇctvercová regulárn´ı, (7.16) pˇrejde v obyˇcejnou inverzi A−1 . Pokud A je obdéln´ıková s plnou hodnost´ı, (7.16) souhlas´ı se vzorci (5.4), (5.16) a (5.18). Ovˇeˇrte tato tvrzen´ı jako cviˇcen´ı!

7.6

Cviˇ cen´ı

7.1. Jsou dány matice A=

1 14 −16 −4 , 13 22 15 −2

U=

1 −3 4 , 4 3 5

62

  −1 2 2 1 2 V =  2 −1 3 2 2 −1

Spoˇc´ıtejte matici B hodnosti jedna takovou, ˇze kA − BkF je minimáln´ı (kde k · kF znaˇc´ı Frobeniovu normu). Bez uˇzit´ı poˇc´ıtaˇce spoˇc´ıtejte hodnotu kA − BkF pro tuto matici B.

7.2. Jsou dány ˇctyˇri body a1 = (3, −3, 4), a2 = (−2, −3, −2), a3 = (1, 0, −1), a4 = (3, 1, 0) v R3 . Najdˇete mnoˇzinu X ⊆ R3 , která minimalizuje souˇcet ˇctverc˚ u kolmých vzdálenost´ı bod˚ u k mnoˇzinˇe X, kde X je a) pˇr´ımka procházej´ıc´ı poˇcátkem, b) rovina procházej´ıc´ı poˇcátkem, c) pˇr´ımka která m˚ uˇze ale nemus´ı procházet poˇcátkem. M˚ uˇzete pouˇz´ıt poˇc´ıtaˇc.

7.3. S pouˇzit´ım SVD najdˇete bázi ortogonáln´ıho doplˇ nku podprostoru span{ (1, 1, 1, −1), (2, −1, −1, 1), (−1, 2, 2, 1) }. M˚ uˇzete pouˇz´ıt poˇc´ıtaˇc.

u pomoc´ı SVD. 7.4. (⋆) Vyˇreˇste soustavu ze Cviˇcen´ı 5.2 pˇribliˇznˇe ve smyslu nejmenˇs´ıch ˇctverc˚ M˚ uˇzete pouˇz´ıt poˇc´ıtaˇc.

7.5. (⋆) Dokaˇzte vlastnosti pseudoinverze ze Cviˇcen´ı 5.12 pomoc´ı vztahu (7.16) pro libovolné (ˇctvercové ˇci obdéln´ıkové) matice z libovolnou hodnost´ı. 7.6. Známe spektráln´ı rozklad symetrické matice. Jak byste jednoduˇse nalezli SVD této matice? 7.7. Moˇzná jste si jiˇz dˇr´ıve poloˇzili otázku, jaký je vhodný algoritmus na nalezen´ı báze nulového prostoru dané matice. Cviˇcen´ı 3.11 naznaˇcilo jeden zp˚ usob. V Matlabu se ovˇsem báze nulového prostoru najde snadno funkc´ı null. Vypiˇste si implementaci této funkce matlabským pˇr´ıkazem edit null a najdˇete souvislost se vzorci (7.3).


kA − BkF = 1

7.2.a) X = span{(0.6912, −0.2181, 0.6889)} (Uvˇedomte si ale, ˇze b´ aze vaˇseho podprostoru m˚ uˇze b´ yt jiná neˇz zde uveden´ a.) 7.2.b) X = span{(0.6912, −0.2181, 0.6889), (−0.3771, −0.9221, 0.0864)}

7.2.c) X = (1.25, −1.25, 0.25) + span{(0.6599, 0.0280, 0.7508)} 7.3.

Pouˇzijte (7.3c) a (rng U1 )⊥ = rng U2 . Hledaná b´ aze bude tˇret´ı sloupec U aˇz na skalárn´ı n´ asobek, tedy napˇr. (0, −1, 1, 0).

63

Kapitola 8 Neline´ arn´ı funkce a zobrazen´ı V pˇredchoz´ıch kapitolách jsme potkali lineárn´ı a afinn´ı zobrazen´ı a kvadratické funkce. V této kapitole si ˇrekneme v´ıce o nelineárn´ıch funkc´ıch f : Rn → R a zobrazen´ıch f : Rn → Rm (zopakujte si znaˇcen´ı funkc´ı a zobrazen´ı z §1.1.3). Pˇredpokládáme pˇritom, ˇze student zná analýzu funkce jedné promˇenné a pojem parciáln´ı derivace. Dále budeme pˇredpokládat, ˇze definiˇc√ n´ı obor funkc´ı a zobrazen´ı je celé Rn . Tomu tak nen´ı vˇzdy, napˇr. definiˇcn´ı obor funkce f (x) = 1 − x2 je interval [−1, 1] ⊂ R. Tento pˇredpoklad ale zjednoduˇs´ı výklad a pro ˇctenáˇre vˇzdy bude snadné látku zobecnit pro jiný definiˇcn´ı obor. Pro funkci f : Rn → R uˇz´ıváme tyto pojmy: • Graf funkce f je mnoˇzina { (x, y) ∈ Rn+1 | x ∈ Rn , y = f (x) }. • Vrstevnice funkce f výˇsky y je mnoˇzina { x ∈ Rn | f (x) = y }. Obrázek ukazuje pˇr´ıklady grafu a vrtevnic funkc´ı dvou promˇenných na obdéln´ıku [−1, 1]2 :

5

1

4

0.8

3

0.6

2

0.4

1

0.2

2 1.5 1

0

0

−1

−0.2

−2

−0.4

0.5 0 −0.5 −1

−3

−0.6

−4

−0.8

−5 1

−1 1 1

0.5

−2 1 1

0.5

0.5

0

−1.5

0 −0.5

−0.5 −1

1 0.5

0

0

0 −0.5

0.5

0.5

−0.5 −1

−1

−0.5 −1

−1

f (x, y) = x2 − y 2

f (x, y) = −2x + 3y

0 −0.5 −1

f (x, y) = 3x − x3 − 3xy 2

Pˇ r´ıklad 8.1. Pˇr´ıklady funkc´ı a zobrazen´ı v´ıce promˇenných: 1. f : R2 → R, f (x, y) = x2 − y 2

2. f : Rn → R, f (x) = x1 (i kdyˇz x2 , . . . , xn chyb´ı, f se rozum´ı jako funkce n promˇenných) 3. f : Rn → R, f (x) = aT x = a1 x1 + · · · + an xn (lineárn´ı funkce)

4. f : Rn → R, f (x) = aT x + b = a1 x1 + · · · + an xn + b (afinn´ı funkce) 5. f : Rn → R, f (x) = e−x

Tx

(nenormalizované Gaussovo rozdˇelen´ı)

n

6. f : Rn → R, f (x) = max xi i=1

2

7. f : R → R , f (t) = (cos t, sin t) (parametrizace kruˇznice, mnoˇzina f([0, 2π)) je kruˇznice) 8. f : R → R3 , f (t) = (cos t, sin t, at) (parametrizace ˇsroubovice neboli helixu) 64

9. f : Rn → Rn , f(x) = x (identické zobrazen´ı neboli identita)

10. f : Rn → Rm , f (x) = Ax (lineárn´ı zobrazen´ı)

11. f : Rn → Rm , f (x) = Ax + b (afinn´ı zobrazen´ı)

12. f : R2 → R3 , f(u, v) = ( (R + r cos v) cos u, (R + r cos v) sin u, r sin v ) (parametrizace toru neboli anuloidu, mnoˇzina f([0, 2π) × [0, 2π)) je torus)

13. Pˇri technice image morphing se obrázek napˇr. obliˇceje zdeformuje na obrázek jiného obliˇceje. Morphing je realizován zobrazen´ım R2 → R2 . 14. Elektrické pole pˇriˇrad´ı kaˇzdému bodu v R3 vektor z R3 .

8.1

Spojitost

Neformálnˇe ˇreˇceno, zobrazen´ı f : Rn → Rm je spojit´ e v bodˇe x ∈ Rn , jestliˇze bod˚ um bl´ızkým k x pˇriˇrazuje body bl´ızké k f (x). Abychom tuto vˇetu formalizovali, potˇrebovali bychom limitu funkce v´ıce promˇenných, jejiˇz znalost u ˇctenáˇre nepˇredpokládáme. Uvedeme proto pouze postaˇcuj´ıc´ı (avˇsak nikoliv nutnou) podm´ınku pro spojitost, která nám v praxi postaˇc´ı. Pˇritom pˇredpokládáme, ˇze ˇctenáˇr dokáˇze ovˇeˇrit spojitost funkc´ı jedné promˇenné. Vˇ eta 8.1. 1. Necht’ funkce f : R → R je spojitá v bodˇe x. Necht’ k ∈ {1, . . . , n} a necht’ funkce g: Rn → R je dána jako g(x1 , . . . , xn ) = f (xk ) (tedy g závis´ı jen na promˇenné xk ). Pak funkce g je spojitá v kaˇzdém bodˇe (x1 , . . . , xn ) takovém, ˇze xk = x. 2. Necht’ funkce f, g: Rn → R jsou spojité v bodˇe x. Pak funkce f + g, f − g a f g jsou spojité v bodˇe x. Pokud g(x) 6= 0, je funkce f /g spojitá v bodˇe x.

3. Necht’ g: Rn → R je spojitá v bodˇe x a f : R → R je spojitá v bodˇe y = g(x). Pak sloˇzená funkce f ◦ g: Rn → R je spojitá v bodˇe x.

4. Necht’ funkce f1 , . . . , fm : Rn → R jsou spojité v bodˇe x. Pak zobrazen´ı f: Rn → Rm definované jako f (x) = (f1 (x), . . . , fm (x)) je spojité v bodˇe x. Pˇ r´ıklad 8.2. Z vˇety snadno ukáˇzeme, ˇze napˇr. funkce dvou promˇenných f (x, y) = sin(x + y 2)

(8.1)

je spojitá. Podle 1 je x spojitá funkce dvou promˇenných (x, y). Podobnˇe, y 2 je spojitá funkce promˇenných (x, y). Podle 2 je proto funkce x + y 2 spojitá. Protoˇze funkce sin je spojitá, podle 3 je funkce sin(x + y 2 ) spojitá. Takto jsme ‘rekurzivnˇe’ dokázali spojitost celé funkce.

8.2

Parci´ aln´ı derivace

Parciáln´ı derivaci funkce f : Rn → R podle xi znaˇc´ıme jedn´ım ze symbol˚ u ∂y ∂f (x) = fxi (x) = , ∂xi ∂xi kde posledn´ı znaˇcen´ı pˇredpokládá, ˇze jsme psali y = f (x). Spoˇc´ıtáme ji tak, ˇze vˇsechny promˇenné xj , j 6= i, povaˇzujeme za konstanty a zderivujeme funkci podle jediné promˇenné xi . 65

Pˇ r´ıklad 8.3. Parciáln´ı derivace funkce (8.1) jsou ∂f (x, y) = fx (x, y) = cos(x + y 2 ), ∂x ∂f (x, y) = fy (x, y) = 2y cos(x + y 2). ∂y

8.3

(8.2a) (8.2b)

Tot´ aln´ı derivace

Zopakujme definici derivace funkce jedné promˇenné f : R → R v bodˇe x. Existuje-li limita df (x) f (y) − f (x) = f ′ (x) = lim , y→x dx y−x

(8.3)

funkce se nazývá diferencovatelná v bodˇe x a hodnota limity se nazývá jej´ı derivace funkce f v bodˇe x. Pokud je funkce v bodˇe x diferencovatelná, lze ji v bl´ızkosti bodu x ‘dobˇre’ aproximovat afinn´ı funkc´ı f (y) ≈ f (x) + f ′ (x)(y − x). (8.4) Viz obrázek: f (y) f (x) + f (x)(y − x) ′

f (x)

x

y

Jak se dá pojem diferencovatelnosti a derivace zobecnit na zobrazen´ı f: Rn → Rm ? Toho nelze dosáhnout zobecnˇen´ım limity (8.3), ale je lépe vycházet ze vzorce (8.4). Zkusme zobrazen´ı v bl´ızkosti bodu x aproximovat jako f(y) ≈ f(x) + f ′ (x)(y − x),

(8.5)

kde symbol f ′ (x) oznaˇcuje matici rozmˇeru m × n, o které ale zat´ım nev´ıme nic. Je-li x pevné, pravá strana výrazu (8.5) je afinn´ı zobrazen´ı v promˇenné y (porovnejte s (3.4): pravou stranu (8.5) lze psát jako Ay + b, kde A = f ′ (x) a b = f(x) − f ′ (x)x). Zobrazen´ı je diferencovateln´ ev bodˇe x, jestliˇze je v okol´ı tohoto bodu ‘podobné’ afinn´ımu zobrazen´ı, neboli existuje matice f ′ (x) taková, ˇze chyba aproximace f (y) −f (x) −f ′ (x)(y −x) je ‘malá’ pro ‘malé’ y −x. Abychom tuto podm´ınku formulovali pˇresnˇe, potˇrebovali bychom limitu funkce v´ıce promˇenných, jej´ıˇz znalost u ˇctenáˇre nepˇredpokládáme. Ponecháme proto pojem ‘diferencovatelné zobrazen´ı’ nedefinovaný a definujeme pouze o nˇeco silnˇejˇs´ı vlastnost, která nám v tomto kurzu postaˇc´ı. Definice 8.1. Zobrazen´ı f : Rn → Rm je v bodˇe x spojitˇ e diferencovateln´ e, jestliˇze v bodˇe x existuj´ı vˇsechny parciáln´ı derivace ∂fi (x)/∂xj a jsou v tomto bodˇe spojité. Vˇ eta 8.2. Je-li zobrazen´ı v bodˇe spojitˇe diferencovatelné, je v tomto bodˇe diferencovatelné. 66

Pˇ r´ıklad 8.4. Obˇe parciáln´ı derivace (8.2) funkce (8.1) jsou spojité funkce na celém R2 (nebot’ splˇ nuj´ı pˇredpoklady Vˇety 8.1). Proto je funkce (8.1) spojitˇe diferencovatelná (a tedy diferencovatelná) na celém R2 . Zd˚ uraznˇeme, ˇze pouhá existence vˇsech parciáln´ıch derivac´ı pro diferencovatelnost nestaˇc´ı. Pˇ r´ıklad 8.5. Necht’ je funkce f : R2 → R definována jako ( 1 kdyˇz x = 0 nebo y = 0, f (x, y) = 0 kdyˇz x 6= 0 a y 6= 0. Je ∂f (x, y) = ∂x

( 0 neexistuje

kdyˇz x 6= 0 nebo y = 0, kdyˇz x = 0 a y 6= 0

a podobnˇe pro ∂f (x, y)/∂x. V bodˇe (0, 0) tedy existuj´ı obˇe parciáln´ı derivace (obˇe jsou rovny nule). Lze ukázat, ˇze v bodˇe (0, 0) funkce nen´ı diferencovatelná. To nepˇrekvap´ı, nebot’ funkce se v okol´ı tohoto bodu afinn´ı funkci v˚ ubec nepodobá. V pˇr´ıpadˇe, ˇze je zobrazen´ı f je v bodˇe x diferencovatelné, má matice f ′ (x) pˇrirozený tvar: jej´ı sloˇzky jsou parciáln´ı derivace vˇsech sloˇzek zobrazen´ı podle vˇsech promˇenných:  ∂f1 (x)  · · · ∂f∂x1 (x) ∂x1 n df (x)  ..  . .. = f ′ (x) =  ... (8.6) . .  dx ∂fm (x) ∂fm (x) · · · ∂xn ∂x1

aln´ı derivace1 (nebo krátce jen derivace) zobrazen´ı f v bodˇe x. Z Matice (8.6) se nazývá tot´ historických d˚ uvod˚ u se j´ı ˇr´ıká také Jacobiho matice. Speciáln´ı pˇr´ıpady: • Pro f : R → R je f ′ (x) skalár a splývá s obyˇcejnou derivac´ı (8.3). • Pro f: R → Rm je f ′ (x) sloupcový vektor, jehoˇz sloˇzky jsou obyˇcejné derivace sloˇzek f . • Pro f : Rn → R je f ′ (x) ˇrádkový vektor.

8.3.1

Derivace sloˇ zen´ eho zobrazen´ı

Známé ‘ˇretˇezové pravidlo’ pro derivaci sloˇzených funkc´ı jedné promˇenné lze pˇrirozeným zp˚ usobem rozˇs´ıˇrit na zobrazen´ı. D˚ ukaz následuj´ıc´ı vˇety nen´ı krátký a nebudeme ho uvádˇet. Vˇ eta 8.3. Necht’ f: Rn → Rm a g: Rm → Rl jsou diferencovatelná zobrazen´ı. Derivace sloˇzeného zobrazen´ı g ◦ f: Rn → Rl je (g ◦ f )′ (x) =

dg(f (x)) = g′ (f(x)) f ′ (x). dx

1

(8.7)

Nˇekdy se m´ısto pojmu ‘totáln´ı derivace’ pouˇz´ıv´ a pojem ‘totáln´ı diferenci´ al’. Tyto pojmy jsou si podobné ale ne identické: tot´ aln´ı derivace je matice a tot´ aln´ı diferenci´ al je line´ arn´ı zobrazen´ı reprezentované touto matic´ı.

67

Dimenze z´ uˇcastnˇených prostor˚ u lze pˇrehlednˇe znázornit diagramem (viz §1.1.2) g

f

Rn → Rm → Rl . Pokud p´ıˇseme u = f (x) a y = g(u), pravidlo lze psát také v Leibnizovˇe znaˇcen´ı jako dy du dy = , dx du dx

(8.8)

coˇz se dobˇre pamatuje, protoˇze du se ‘jakoby vykrát´ı’ (coˇz ale nen´ı d˚ ukaz!). Zd˚ uraznˇeme, ˇze tato rovnost je násoben´ı matic. Výraz na levé stranˇe je matice l ×n, prvn´ı výraz na pravé stranˇe je matice l × m a druhý výraz na pravé stranˇe je matice m × n. Pro l = m = n = 1 dostaneme ˇretˇezové pravidlo pro derivaci sloˇzen´ı funkc´ı jedné promˇenné. Pravidlo se dá zjevným zp˚ usobem rozˇs´ıˇrit na sloˇzen´ı v´ıce neˇz dvou zobrazen´ı: Jacobiho matice sloˇzeného zobrazen´ı je souˇcinem Jacobiho matic jednotlivých zobrazen´ı. Pˇ r´ıklad 8.6. Necht’ g(u, v) je diferencovatelná funkce dvou promˇenných. Urˇceme derivaci funkce z = h(x, y) = g(x + y, xy) podle vektoru (x, y), tedy jej´ı parciáln´ı derivace podle x a y. g f Máme R2 → R2 → R, kde f (x, y) = (u, v) = (x + y, xy). Viz obrázek: x y

u f

v

g

z

Derivace zobrazen´ı g podle vektoru (u, v) je matice 1 × 2 (ˇrádkový vektor) i h ∂g(u,v) ∂g(u,v) ′ g (u, v) g (u, v) = . g (u, v) = u v ∂u ∂v

Derivace zobrazen´ı f podle vektoru (x, y) je matice 2 × 2 # " ∂(x+y) ∂(x+y) df (x, y) 1 1 ′ ∂x ∂y f (x, y) = . = = ∂(xy) ∂(xy) y x d(x, y) ∂x ∂y

Derivace zobrazen´ı h = g ◦ f: R2 → R podle vektoru (x, y) je matice 1 × 2 (ˇrádkový vektor) dg(f(x, y)) dh(x, y) = = g ′(u, v)f ′ (x, y) d(x, y) d(x, y) 1 1 = gu (u, v) gv (u, v) y x = gu (u, v) + ygv (u, v) gu (u, v) + xgv (u, v) ,

kde u = x + y a v = xy.

2 +(xy)2

Pˇ r´ıklad 8.7. Ukaˇzme dva zp˚ usoby, jak naj´ıt parciáln´ı derivaci fx funkce f (x, y) = e(x+y) • Povaˇzujeme y za konstantu a derivujeme f jako funkci jedné promˇenné x: 2 +(xy)2

fx = [2(x + y) + 2(xy)y]e(x+y)

68

2 +(xy)2

= 2(x + y + xy 2 )e(x+y)

.

:

• Poloˇz´ıme u = x + y, v = xy, f (u, v) = eu fu = 2ueu máme fx = fu + yfv = 2ueu

2 +v 2

2 +v 2

2 +v 2

,

+ y(2v)eu

. Z Pˇr´ıkladu 8.6 máme fx = fu + yfv . Jelikoˇz fv = 2veu

2 +v 2

2 +v 2

, 2 +(xy)2

= 2(x + y + xy 2 )e(x+y)

.

Pˇ r´ıklad 8.8. Máme diferencovatelnou funkci g: R2 → R a chceme spoˇc´ıtat derivaci funkce g(t + t2 , sin t) podle t. g f Máme R → R2 → R, kde f(t) = (u, v) = (t + t2 , sin t). Je 1 + 2t dg(t + t2 , sin t) ′ ′ = gu (u, v)(1 + 2t) + gv (u, v) cos t. = g (u, v)f (t) = gu (u, v) gv (u, v) cos t dt

8.3.2

Derivace maticov´ ych v´ yraz˚ u

Jsou-li funkce nebo zobrazen´ı zadány výrazem obsahuj´ıc´ım vektory a matice, derivaci lze vˇzdy spoˇc´ıtat ‘hrubou silou’ tak, ˇze výraz rozep´ıˇseme do sloˇzek a spoˇc´ıtáme parciáln´ı derivace kaˇzdé sloˇzky podle kaˇzdé promˇenné. Pˇr´ısnˇe vzato, u ´kol jsme t´ım splnili. Je ovˇsem výhodné tento výsledek zjednoduˇsit tak, ˇze pro nˇej najdeme maticový výraz. Pˇ r´ıklad 8.9. Odvod’me derivaci zobrazen´ı f: Rn → Rm daného vzorcem f(x) = Ax + b, kde A ∈ Rm×n a b ∈ Rm . Máme f1 (x) = a11 x1 + · · · + a1n xn + b1 .. . fm (x) = am1 x1 + · · · + amn xn + bm . Ale ∂fi (x)/∂xj = aij , tedy dle (8.6) je f ′ (x) = A. Tomu se nediv´ıme, nebot’ zobrazen´ı f je afinn´ı, tedy jeho afinn´ı aproximace (8.5) mus´ı být to samé afinn´ı zobrazen´ı. Oporavdu: pravá strana výrazu (8.5) je rovna Ay + b (zkontrolujte!). Pˇ r´ıklad 8.10. Poˇc´ıtejme derivaci zobrazen´ı g(Ax + b) podle x, kde g: Rl → Rm , A ∈ Rl×n , g f b ∈ Rl . V ˇretˇezovém pravidle máme Rn → Rl → Rm , kde f(x) = Ax + b. Je f ′ (x) = A, tedy dg(Ax + b) = g′ (Ax + b)A. dx

Pˇ r´ıklad 8.11. Odvod’me derivaci kvadratické formy f (x) = xT Ax, kde A je libovolná (ne nutnˇe symetrická) matice velikosti n × n. Nap´ıˇseme si funkci f podrobnˇe: xT Ax = a11 x21 + a21 x2 x1 + · · · + an1 xn x1 + a12 x1 x2 + a22 x22 + · · · + an2 xn x1 + .. . a1n x1 xn + a2n x2 xn + · · · + ann x2n . 69

Z tohoto výrazu po troˇse snahy vid´ıme, ˇze ∂f (x) = 2a11 x1 + (a21 + a12 )x2 + · · · + (an1 + a1n )xn ∂x1 a podobnˇe pro derivace podle ostatn´ıch promˇenných. Ale tyto parciáln´ı derivace lze uspoˇrádat do ˇrádkového vektoru h i ∂f (x) ∂f (x) ′ f (x) = ∂x1 · · · ∂xn = xT (A + AT ). Následuj´ıc´ı tabulka uvád´ı derivace ˇcasto potkávaných zobrazen´ı. Odvod’te je jako cviˇcen´ı! f(x) x Ax xT x xT Ax xT a = aT x kxk2 g(x)T g(x) g(x)T h(x)

8.4

f ′ (x) I A 2xT xT (A + AT ) aT xT /kxk2 2g(x)T g′ (x) g(x)T h′ (x) + h(x)T g′ (x)

poznámka f: Rn → Rn A ∈ Rm×n , f: Rn → Rm f: Rn → R A ∈ Rn×n , f : Rn → R a ∈ Rn , f : Rn → R f: Rn → R g: Rn → Rm , f: Rn → R g: Rn → Rm , h: Rn → Rm , f : Rn → R

Smˇ erov´ a derivace

ˇ Rez zobrazen´ı f: Rn → Rm v bodˇe x ∈ Rn ve smˇeru2 v ∈ Rn je zobrazen´ı ϕ: R → Rm dané jako ϕ(α) = f (x + αv). (8.9) Smˇ erov´ a derivace3 zobrazen´ı f v bodˇe x ve smˇeru v je ˇc´ıslo ϕ(α) − ϕ(0) f (x + αv) − f(x) = lim , α→0 α→0 α α

(ϕ′1 (0), . . . , ϕ′m (0)) = lim

(8.10)

kde ϕ′1 (0) oznaˇcuje derivaci i-té sloˇzky zobrazen´ı ϕ v bodˇe α = 0. Pojem smˇerové derivace se geometricky snadnˇeji pˇredstav´ı pro pˇr´ıpad m = 1, tedy pro funkci f : Rn → R. Obrázek ilustruje situaci pro funkci f : R2 → R:

x

3

2

1

v x + v f

Parciáln´ı derivace funkce f : Rn → R nen´ı nic jiného neˇz jej´ı smˇerová derivace ve smˇeru i-tého vektoru standardn´ı báze ei = (0, . . . , 0, 1, 0, . . . , 0) (jedniˇcka na i-tém m´ıstˇe). 2

Nˇekdy se ˇrez a smˇerová derivace uvaˇzuj´ı jen pro normalizované smˇery v, tj. kvk2 = 1. My ale dovolujeme libovoln´ y vektor v. 3 Pˇresnˇeji jde o oboustrannou smˇerovou derivaci. Jednostrannou smˇerovou derivaci bychom dostali, kdybychom m´ısto oboustranné limity (8.10) vzali jednostrannou limitu zprava.

70

Vˇ eta 8.4. Necht’ zobrazen´ı f: Rn → Rm je diferencovatelné v bodˇe x. Pak jeho smˇerová derivace v bodˇe x ve smˇeru v je rovna f ′ (x)v. D˚ ukaz. Zobrazen´ı y = ϕ(α) = f (x + αv) je sloˇzen´ım dvou zobrazen´ı y = f (u) a u = x + αv. u=x+αv

y=f (x)

Máme diagram R −−−−−→ Rn −−−−→ Rm . Máme du/dα = v. Podle ˇretˇezového pravidla je ϕ′ (α) =

dy du df(u) dy = = v. dα du dα du

Pro α = 0 je u = x, ˇc´ımˇz je vˇeta dokázána.

Vˇeta 8.4 ˇr´ıká, ˇze je-li zobrazen´ı f diferencovatelné, je jeho smˇerová derivace (v pevném bodˇe x) lineárn´ı zobrazen´ı smˇeru v reprezentované Jacobiho matic´ı f ′ (x). Zd˚ uraznˇeme, ˇze nic takového neplat´ı, pokud zobrazen´ı f nen´ı diferencovatelné. Pˇ r´ıklad 8.12. Spoˇc´ıtejme smˇerovou derivaci funkce f (x, y) = sin(x + y 2) v bodˇe (x, y) ve smˇeru (u, v). Podle definice je ϕ(α) = sin(x + αu + (y + αv)2), ϕ′ (α) = (u + 2v(y + αv)) cos(x + αu + (y + αv)2), ϕ′ (0) = (u + 2vy) cos(x + y 2).

(8.11)

Podle Vˇety 8.4 je smˇerová derivace rovna ufx (x, y) + vfy (x, y) = u cos(x + y 2 ) + 2vy cos(x + y 2 ), coˇz je stejné jako (8.11).

8.5

Gradient

Transpozici totáln´ı derivace funkce f : Rn → R se ˇr´ıká gradient a znaˇc´ı se  ∂f (x)  ∂x1

  f ′ (x)T =  ...  = ∇f (x) ∂f (x) ∂xn

(∇ ˇcteme ‘nabla’). Jelikoˇz f ′ (x) je ˇrádkový vektor, je gradient sloupcový vektor4 . Zkoumejme smˇerovou derivaci v pevném bodˇe x pro r˚ uzné normalizované smˇery v (tedy kvk2 = 1). Tato derivace je rovna f ′ (x)v = ∇f (x)T v, coˇz je skalárn´ı souˇcin gradientu v bodˇe x a vektoru v. Je jasné (ale promyslete!), ˇze: • Smˇerová derivace je nejvˇetˇs´ı ve smˇeru v = ∇f (x)/k∇f (x)k2 , tedy kdyˇz je v rovnobˇeˇzný s gradientem a stejnˇe orientovaný. Tedy smˇer gradientu je smˇer nejvˇetˇs´ıho r˚ ustu funkce. • Velikost gradientu k∇f (x)k2 je strmost funkce ve smˇeru nejvˇetˇs´ıho r˚ ustu. 4

Zaveden´ı nového slova pro transpozici derivace se zdá zbyteˇcné – nicménˇe d˚ uvod je v tom, ˇze tot´ aln´ı diferenci´ al je line´ arn´ı funkce, kdeˇzto gradient je vektor. Literatura bohuˇzel nen´ı jednotná v rozliˇsován´ı gradientu a (totáln´ı) derivace funkce. Nˇekdy se oboj´ı ztotoˇzn ˇuje a znaˇc´ı ∇f (x). To ale vede k nekonzistenci se znaˇcen´ım pouˇz´ıvan´ ym v lineárn´ı algebˇre, protoˇze derivace funkce Rn → R pak nen´ı speci´ aln´ım pˇr´ıpadem derivace zobrazen´ı Rn → Rm (tedy Jacobiho matice) pro m = 1, coˇz je ˇrádkov´ y vektor.

71

• Smˇerová derivace ve smˇeru kolmém na gradient je nulová. Dále lze ukázat (viz diskuze v §9.4.1), ˇze gradient je vˇzdy kolmý k vrstevnici . Obrázek ukazuje tˇri vrstevnice funkce f : R2 → R a jej´ı gradienty v nˇekolika bodech:

3

8.6

2

x

1

rf (x)

f

Parci´ aln´ı derivace druh´ eho ˇ r´ adu

Zderivujeme-li funkci f : Rn → R nejdˇr´ıve podle promˇenné xi a pak podle promˇenné xj , dostaneme parciáln´ı derivaci druhého ˇrádu, kterou znaˇc´ıme ∂ 2 f (x) ∂ ∂f (x) = . ∂xj ∂xi ∂xi ∂xj Je-li i = j, p´ıˇseme zkrácenˇe

∂ ∂f (x) ∂ 2 f (x) . = ∂xi ∂xi ∂x2i Vˇ eta 8.5. Pokud jsou druhé parciáln´ı derivace ∂ 2 f (x) ∂ 2 f (x) , ∂xi ∂xj ∂xj ∂xi spojité v bodˇe x, pak jsou si rovny. Pˇ r´ıklad 8.13. Urˇceme vˇsechny druhé parciáln´ı derivace funkce f (x, y) = sin(x + y 2) z Pˇr´ıkladu 8.2. Prvn´ı derivace uˇz tam máme. Nyn´ı druhé derivace: ∂ ∂ 2 f (x, y) = (cos(x + y 2 )) = − sin(x + y 2), 2 ∂x ∂x ∂ ∂ 2 f (x, y) = (cos(x + y 2)) = −2y sin(x + y 2), ∂x ∂y ∂y ∂ 2 f (x, y) ∂ = (2y cos(x + y 2)) = −2y sin(x + y 2), ∂y ∂x ∂x ∂ ∂ 2 f (x, y) = (2y cos(x + y 2 )) = 2 cos(x + y 2) − 4y 2 sin(x + y 2 ). 2 ∂y ∂y Vid´ıme, ˇze vskutku nezáleˇz´ı na poˇrad´ı derivován´ı podle x a podle y. Pro funkci f : Rn → R budeme znaˇcit matici vˇsech druhých parciáln´ıch derivac´ı  ∂ 2 f (x) ∂ 2 f (x)  · · · ∂x1 ∂x1 ∂x1 ∂xn  ..  . .. f ′′ (x) =  ... . .  ∂ 2 f (x) ∂xn ∂x1

···

∂ 2 f (x) ∂xn ∂xn

Je to symetrická matice velikosti n × n, která se ˇcasto nazývá Hessova matice. Co by byla druhá derivace zobrazen´ı f: Rn → Rm ? Nebyla by to jiˇz dvojrozmˇerná tabulka (tedy matice) velikosti n × n, nýbrˇz tˇr´ırozmˇerná tabulka velikosti m × n × n. 72

8.7

Taylor˚ uv polynom

Necht’ funkce f : R → R má v bodˇe x derivace aˇz do ˇrádu k. Jej´ı Taylor˚ uv polynom stupnˇe k v bodˇe x je polynom Tk : R → R takový, ˇze v bodˇe x má vˇsechny derivace aˇz do ˇrádu k stejné jako funkce f . V tomto smyslu je polynom Tk aproximac´ı funkce f v okol´ı bodu x. Taylor˚ uv polynom je t´ımto poˇzadavkem definován jednoznaˇcnˇe a má tvar (odvod’te!) k X 1 (i) f (x) (y − x)i , Tk (y) = i! i=0

(8.12)

kde f (i) oznaˇcuje i-tou derivaci funkce f (kde nultá derivace je funkce sama, f (0) = f ) a kde klademe 0! = 1. Tvary polynomu aˇz do stupnˇe 2: T0 (y) = f (x), T1 (y) = f (x) + f ′ (x) (y − x), T2 (y) = f (x) + f ′ (x) (y − x) + 21 f ′′ (x) (y − x)2 . Taylor˚ uv polynom nultého stupnˇe T0 je hodnˇe ˇspatná aproximace, rovná jednoduˇse konstantn´ı funkci. Polynom prvn´ıho stupnˇe T1 (x) uˇz známe ze vzorce (8.4). Polynom druhého stupnˇe T2 je parabola, která má s funkc´ı f v bodˇe x spoleˇcnou hodnotu a prvn´ı dvˇe derivace. Viz obrázek: T1 (y)

T2 (y) f (y)

T0 (y)

x

Jak zobecnit Taylor˚ uv polynom pro funkci v´ıce promˇenných f : Rn → R? Definujme Taylor˚ uv polynom k-tého stupnˇe (funkce f v okol´ı bodu x) jako polynom Tk : Rn → R, který má s funkc´ı f v bodˇe x spoleˇcné vˇsechny parciáln´ı derivace aˇz do ˇrádu k. Nebudeme uvádˇet vzorec pro polynom libovolného stupnˇe, nap´ıˇseme jen polynomy do stupnˇe dva: T0 (y) = f (x), T1 (y) = f (x) + f ′ (x) (y − x), T2 (y) = f (x) + f ′ (x) (y − x) + 12 (y − x)T f ′′ (x) (y − x).

(8.13a) (8.13b) (8.13c)

Zde x, y ∈ Rn , f ′ (x) ∈ R1×n je Jacobiho matice (ˇrádkový vektor) a f ′′ (x) ∈ Rn×n je Hessova matice. Funkce (8.13b) je afinn´ı a funkce (8.13c) je kvadratická. Taylor˚ uv polynom lze zobecnit na zobrazen´ı f: Rn → Rm tak, ˇze vezmeme Taylorovy polynomy vˇsech sloˇzek f1 , . . . , fm . Polynom prvn´ıho stupnˇe tak vede na zobrazen´ı T1 (y) = f(x) + f ′ (x) (y − x),

(8.14)

coˇz nen´ı nic jiného neˇz pravá strana (8.5). Polynom druhého stupnˇe vede na zobrazen´ı T2 , jehoˇz sloˇzky jsou funkce (8.13c). To nejde napsat v maticové formˇe, protoˇze vˇsech m × n × n druhých parciáln´ıch derivac´ı se ‘nevejde’ do matice. 73

Pˇ r´ıklad 8.14. Najdˇete Taylor˚ uv polynom druhého stupnˇe funkce f (x, y) = x−1 + y −1 + xy v bodˇe (x0 , y0 ) = (2, 1). Máme 7 f (x0 , y0) = x−1 + y −1 + xy (x,y)=(2,1) = , 2 f ′ (x0 , y0) = y − x−2 x − y −2 (x,y)=(2,1) = 43 1 , 1 −3 1 2x 1 ′′ . = 4 f (x0 , y0) = −3 1 2 1 2y (x,y)=(2,1)

Dle (8.13c) je (pozor, naˇse promˇenné jsou oznaˇcené jinak neˇz v (8.13c))

T 1 x − x0 x − x0 x − x0 ′′ + T2 (x, y) = f (x0 , y0 ) + f (x0 , y0 ) f (x0 , y0 ) y − y0 y − y0 2 y − y0 T 1 x−2 1 x−2 7 1 x−2 4 + = + 43 1 y−1 1 2 y−1 2 2 y−1 ′

= 81 x2 + xy + y 2 − 43 x − 3y + 92 .

8.8

Cviˇ cen´ı

8.1. Máme mnoˇziny X = [−1, 1] × {0} = { (x, 0) | −1 ≤ x ≤ 1 } ⊆ R2 a Y = [−1, 1] × [−1, 1]. Naˇcrtnˇete následuj´ıc´ı mnoˇziny: a) x ∈ R2 1 ≥ min kx − yk2 y∈X 2 b) x ∈ R 2 ≥ max kx − yk2 y∈X

c) vrstevnice výˇsky 1 funkce f (x) = min kx − yk2 y∈Y √ d) vrstevnice výˇsky 2 funkce f (x) = max kx − yk2 y∈Y

8.2. Je dána funkce dvou promˇenných f (x, y). a) Spoˇc´ıtejte derivace f podle polárn´ıch souˇradnic (ϕ, r), kde x = r cos ϕ, y = r sin ϕ. b) Bod (x, y) se v ˇcase t pohybuje po kˇrivce dané rovnic´ı (x, y) = (t2 + 2t, log(t2 + 1)). Najdˇete derivaci f podle ˇcasu. 8.3. Spoˇc´ıtejte derivaci funkce g(u) = f (aT u, kuk2 ) podle vektoru u.

8.4. Nadmoˇrská výˇska krajiny je dána vzorcem h(d, s) = 2s2 + 3sd − d2 + 5, kde d je zemˇepisná délka (zvˇetˇsuje se od západu k východu) a s je zemˇepisná ˇs´ıˇrka (zvˇetˇsuje se od jihu k severu). V bodˇe (d, s) = (−1, 1) urˇcete a) smˇer nejstrmˇejˇs´ıho stoupán´ı terénu b) strmost terénu v jihovýchodn´ım smˇeru. V této u ´loze je logické uvaˇzovat smˇer jako normalizovaný vektor.

8.5. Spoˇc´ıtejte druhou derivaci f ′′ (x, y) (tj. Hessovu matici) funkc´ı (výsledek co nejv´ıce zjednoduˇste) 74

2

2

a) f (x, y) = e−x −y b) f (x, y) = log(ex + ey ) 8.6. Hessova matice kvadratické formy f (x) = xT Ax je f ′′ (x) = A + AT . Odvod’te. 8.7. Je dána funkce f (x, y) = 6xy 2 − 2x3 − 3y 3 . V bodˇe (x0 , y0 ) = (1, −2) najdˇete Taylor˚ uv polynom nultého, prvn´ıho a druhého stupnˇe. 8.8. Metoda koneˇcných diferenc´ı poˇc´ıtá derivaci funkce pˇribliˇznˇe jako f (x + h) − f (x) , h √ kde h je malé ˇc´ıslo (dobrá volba je h = ε, kde ε je strojová pˇresnost). Toto jde pouˇz´ıt i na parciáln´ı derivace. Vymyslete si dvˇe zobrazen´ı g: Rn → Rm a f : Rm → Rl pro nˇejaké navzájem r˚ uzné dimenze n, m, l > 1. Zvolte bod x ∈ Rn . Spoˇc´ıtejte pˇribliˇznˇe totáln´ı derivace (Jacobiho matice) g′ (x) a f ′ (g(x)) v Matlabu metodou koneˇcných diferenc´ı. Potom spoˇc´ıtejte derivaci sloˇzeného zobrazen´ı (f ◦ g)′ (x) jednak metodou koneˇcných diferenc´ı a jednak vynásoben´ım matic g′ (x) a f ′ (g(x)). Porovnejte. f ′ (x) ≈

N´ apovˇ eda a ˇ reˇ sen´ı 8.2.a) fϕ (x, y) = −fx (x, y)r sin ϕ + fy (x, y)r cos ϕ, fr (x, y) = fx (x, y) cos ϕ + fy (x, y) sin ϕ

8.2.b) ft (x, y) = 2fx (x, y)(t + 1) + 2tfy (x, y)/(t2 + 1) √ 8.4.a) (5, 1)/ 26 √ √ 8.4.b) (5, 1)T (1, −1)/ 2 = 2 2 2 2 −y 2 2x − 1 2xy −x 8.5.a) 2e 2xy 2x2 − 1 x+y 1 −1 8.5.b) (exe+ey )2 −1 1 8.7.

T0 (x, y) = 46, T1 (x, y) = 18x − 60y − 92, T2 (x, y) = −6x2 − 24xy − 18x + 24y 2 + 60y + 46

75

Kapitola 9 Analytick´ e podm´ınky na lok´ aln´ı extr´ emy 9.1

Vlastnosti bodu vzhledem k podmnoˇ zinˇ e Rn

Mnoˇzina U ⊆ Rn se nazývá okol´ı bodu x ∈ Rn , jestliˇze existuje ε > 0 tak, ˇze1 U = { y ∈ Rn | kx − yk < ε }.

(9.1)

Mnoˇzina U je koule (bez hranice) se stˇredem x a nenulovým polomˇerem ε. Definice 9.1. Mˇejme mnoˇzinu X ⊆ Rn . Bod x ∈ Rn se nazývá jej´ı • vnitˇ rn´ı bod, jestliˇze existuje okol´ı U bodu x takové, ˇze U ⊆ X

• hraniˇ cn´ı bod, jestliˇze pro kaˇzdé okol´ı U bodu x je U ∩ X 6= ∅ a U ∩ (Rn \ X) 6= ∅

Vˇsimnˇete si, ˇze hraniˇcn´ı bod mnoˇziny nemus´ı patˇrit do této mnoˇziny. Pokud leˇz´ı bod v mnoˇzinˇe, je bud’ vnitˇrn´ı nebo hraniˇcn´ı, ale ne oboj´ı najednou (dokaˇzte!). Vnitˇ rek [hranice] mnoˇziny je mnoˇzina vˇsech jej´ıch vnitˇrn´ıch [hraniˇcn´ıch] bod˚ u. Pˇ r´ıklad 9.1. Máme mnoˇzinu { (x, y) ∈ R2 | x2 + y 2 ≤ 1, y > 0 } ∪ {(1, 1)} na obrázku: y (1; 1) = d

b

a

x

0

Bod a je vnitˇrn´ı bod mnoˇziny, protoˇze existuje jeho okol´ı U, které celé leˇz´ı v mnoˇzinˇe. Bod b je hraniˇcn´ı, protoˇze kaˇzdé jeho okol´ı má neprázdný pr˚ unik s mnoˇzinou i s jej´ım doplˇ nkem. Vˇsimnˇete si, ˇze b nepatˇr´ı do mnoˇziny. Bod a nen´ı hraniˇcn´ı a bod b nen´ı vnitˇrn´ı. Bod c nen´ı vnitˇrn´ı, je hraniˇcn´ı a patˇr´ı do mnoˇziny. Bod d je hraniˇcn´ı. Pˇ r´ıklad 9.2. Bod 1/2 je vnitˇrn´ı bod intervalu (0, 1] ⊆ R a body 0 a 1 jsou hraniˇcn´ı.

Pˇ r´ıklad 9.3. Mnoˇzina [0, 1] × {1} = { (x, y) | 0 ≤ x ≤ 1, y = 1 } ⊆ R2 (´ useˇcka v rovinˇe) nemá ˇzádné vnitˇrn´ı body. Vˇsechny jej´ı body jsou hraniˇcn´ı. je tedy sama svou vlastn´ı hranic´ı. 1

Norma v (9.1) m˚ uˇze b´ yt eukleidovsk´ a, ale i libovoln´ a jiná vektorová p-norma (viz §11.3.1). Vnitˇrek a hranice mnoˇziny na v´ ybˇeru normy nez´ avis´ı.

76

9.2

Lok´ aln´ı extr´ emy

Zopakujte si pojem extrému funkce na mnoˇzinˇe (§1.1.4): funkce f : Rn → R nabývá na mnoˇzinˇe X ⊆ Rn svého minima v bodˇe x ∈ X, jestliˇze f (x) ≤ f (x′ ) pro vˇsechna x′ ∈ X. Definice 9.2. Funkce f : Rn → R nabývá na mnoˇzinˇe X ⊆ Rn svého lok´ aln´ıho minima v bodˇe x ∈ X, jestliˇze existuje okol´ı U bodu x tak, ˇze funkce f nabývá na mnoˇzinˇe U ∩ X svého minima v bodˇe x. Lokáln´ı maximum se definuje obdobnˇe. Kaˇzdé minimum funkce f na mnoˇzinˇe X je zároveˇ n lokáln´ı minimum funkce f na mnoˇzinˇe X (naopak to ale obecnˇe neplat´ı). Mluv´ıme-li o lokáln´ıch aln´ı extrémech, pro zd˚ uraznˇen´ı nˇekdy ‘obyˇcejné’ extrémy (ve smyslu §1.1.4) nazýváme glob´ extr´ emy. Pokud odkaz na mnoˇzinu X chyb´ı, mysl´ı se j´ı celý definiˇcn´ı obor funkce f . Pˇ r´ıklad 9.4. Funkce jedné promˇenné na obrázku nabývá na uzavˇreném intervalu [a, f ] ⊆ R v bodˇe a lokáln´ıho a zároveˇ n globáln´ıho maxima, v bodˇe b lokáln´ıho minima, v bodˇe c lokáln´ıho maxima a zároveˇ n lokáln´ıho minima, v bodˇe d lokáln´ıho maxima, v bodˇe e lokáln´ıho a zároveˇ n globáln´ıho minima, v bodˇe f lokáln´ıho maxima.

a

c

b

e

d

f

Pˇ r´ıklad 9.5. Necht’ X ⊆ R2 je kruˇznice a funkce f : R2 → R má vrstevnice jako na obrázku: 3 x′

2

1

U x X

f

V bodˇe x nabývá funkce f na mnoˇzinˇe X globáln´ıho (a tedy i lokáln´ıho) minima, protoˇze v ˇzádném bodˇe na kruˇznici X nemá funkce menˇs´ı hodnotu neˇz f (x) = 2. V bodˇe x′ nabývá funkce f na mnoˇzinˇe X lokáln´ıho minima, protoˇze existuje okol´ı U bodu x′ takové, ˇze funkce f nabývá na ˇcásti kruˇznice U ∩ X svého (globáln´ıho) minima.

9.3

Voln´ e lok´ aln´ı extr´ emy

Vˇ eta 9.1. Necht’ f : Rn → R a x ∈ X ⊆ Rn . Necht’ 77

• funkce f je v bodˇe x diferencovatelná,

• x je vnitˇrn´ı bod mnoˇziny X,

• x je lokáln´ı extrém funkce f na mnoˇzinˇe X. Pak f ′ (x) = 0, neboli vˇsechny parciáln´ı derivace funkce f v bodˇe x jsou nulové. D˚ ukaz. Z Definice 9.2 plyne, ˇze funkce f má v bodˇe x (globáln´ı) extrém na nˇejakém okol´ı U bodu x. Z toho ovˇsem plyne, ˇze ˇrez ϕ(α) = f (x + αv) funkce f (viz §8.4) v libovolném smˇeru v 6= 0 má (globáln´ı) extrém v bodˇe α = 0 na mnoˇzinˇe { α ∈ R | x + αv ∈ U }. Tedy funkce ϕ má v bodˇe α = 0 lokáln´ı extrém. Tedy jej´ı derivace je v tomto bodˇe nulová (to v´ıme z analýzy funkc´ı jedné promˇenné). Ale tato derivace je smˇerová derivace funkce f v bodˇe x ve smˇeru v. Parciáln´ı derivace jsou speciáln´ım pˇr´ıpadem smˇerové derivace. Bod, ve kterém má funkce vˇsechny parciáln´ı derivace nulové, se nazývá jej´ı stacion´ arn´ı bod. Vˇeta 9.1 svád´ı k tomu, aby se pouˇzila v situac´ıch, kdy nejsou splnˇeny jej´ı pˇredpoklady. Uved’me pˇr´ıklady tohoto chybého pouˇzit´ı. Pˇ r´ıklad 9.6. V Pˇr´ıkladu 9.4 jsou pˇredpoklady Vˇety 9.1 splnˇeny pouze pro body b, c, které jsou stacionárn´ı a vnitˇrn´ı. Body a, f jsou hraniˇcn´ı (tedy ne vnitˇrn´ı) body intervalu [a, f ] a v bodech d, e nen´ı funkce diferencovatelná. Pˇ r´ıklad 9.7. Funkce f (x) = x3 má na R v bodˇe 0 stacionárn´ı bod, ale nemá tam lokáln´ı extrém. To nen´ı v rozporu s Vˇetou 9.1. Pˇ r´ıklad 9.8. Funkce f (x) = kxk2 má na hyperkrychli X = { x ∈ Rn | −1 ≤ x ≤ 1 } v bodˇe 0 volné lokáln´ı minimum (nakreslete si mnoˇzinu a vrstevnice funkce pro n = 1 a pro n = 2!). Nemá tam ale stacionárn´ı bod, protoˇze tam nen´ı diferencovatelná. Dále má funkce na mnoˇzinˇe X lokáln´ı maxima ve vˇsech roz´ıch hyperkrychle, napˇr. v bodˇe 1. V bodˇe 1 ale nen´ı stacionárn´ı bod, coˇz nen´ı v rozporu s Vˇetou 9.1, protoˇze 1 nen´ı vnitˇrn´ı bod X. Vˇeta 9.1 ˇr´ıká, ˇze stacionárn´ı body jsou body ‘podezˇrelé’ z volného lokáln´ıho extrému. Udává podm´ınku prvn´ıho ˇrádu na volné extrémy, protoˇze obsahuje prvn´ı derivace. Následuj´ıc´ı podm´ınka druhého ˇrádu pom˚ uˇze zjistit, zda je stacionárn´ı bod lokáln´ım extrémem, pˇr´ıpadnˇe jakým. Vˇ eta 9.2. Necht’ f : Rn → R a x ∈ X ⊆ Rn . Necht’ • funkce f je v bodˇe x dvakrát diferencovatelná, • x je vnitˇrn´ı bod mnoˇziny X,

• f ′ (x) = 0. Pak plat´ı: • Je-li Hessova matice f ′′ (x) pozitivnˇe [negativnˇe] definitn´ı, pak x je lokáln´ı minimum [maximum] funkce f na mnoˇzinˇe X. • Je-li f ′′ (x) indefinitn´ı, pak x nen´ı lokáln´ı extrém funkce f na mnoˇzinˇe X. I kdyˇz Vˇetu 9.2 nebudeme dokazovat, základn´ı myˇslenka d˚ ukazu nen´ı pˇrekvapuj´ıc´ı. M´ısto funkce f vyˇsetˇrujeme v bl´ızkosti bodu x jej´ı Taylor˚ uv polynom druhého stupnˇe (8.13c), T2 (y) = f (x) + f ′ (x)(y − x) + 12 (y − x)T f ′′ (x) (y − x). {z } | 0

78

Protoˇze f ′ (x) = 0, lineárn´ı ˇclen je nulový a polynom je tedy kvadratická forma posunutá do bodu x. Rozd´ıl je ale v tom, ˇze pokud je kvadratická forma (pozitivnˇe ˇci negativnˇe) semidefinitn´ı, má v poˇcátku extrém, zat´ımco Vˇeta 9.2 o pˇr´ıpadu, kdy je f ′′ (x) semidefinitn´ı, nic neprav´ı. V tom pˇr´ıpadˇe v bodˇe x lokáln´ı extrém být m˚ uˇze nebo nemus´ı (pˇr´ıkladem jsou funkce f (x) = x3 4 a f (x) = x v bodˇe x = 0). Bod x, ve kterém je f ′ (x) = 0 a matice f ′′ (x) je indefinitn´ı, se nazývá sedlov´ y bod. Pˇ r´ıklad 9.9. Extrémy kvadratické funkce (6.10) um´ıme hledat pomoc´ı rozkladu na ˇctverec. Ovˇsem je to také moˇzné pomoc´ı derivac´ı. Podm´ınka stacionarity je d T (x Ax + bT x + c) = 2xT AT + bT = 0. dx Po transpozici dostaneme rovnici (6.12a). Druh extrému urˇc´ıme podle druhé derivace (Hessiánu), který je roven 2A (pˇredpokádáme symetrii A). To souhlas´ı s klasifikac´ı extrém˚ u kvadratické formy z §6.

9.4

Lok´ aln´ı extr´ emy v´ azan´ e rovnostmi

Hledejme minimum funkce f : Rn → R na mnoˇzinˇe

X = { x ∈ Rn | g(x) = 0 },

(9.2)

min f (x1 , . . . , xn ) za podm´ınek gi (x1 , . . . , xn ) = 0, i = 1, . . . , m.

(9.3)

kde g = (g1 , . . . , gm ): Rn → Rm . To odpov´ıdá u ´loze (1.7) s omezen´ımi typu rovnosti:

Mluv´ıme o minimu funkce f vázaném rovnostmi g(x) = 0. Mnoˇzina X obsahuje vˇsechna ˇreˇsen´ı soustavy g(x) = 0, coˇz je soustava m rovnic o n neznámých. Mnoˇzina X obvykle nemá ˇzádné vnitˇrn´ı body, proto nelze pouˇz´ıt Vˇetu 9.1. V nˇekterých pˇr´ıpadech ale lze vyjádˇrit vˇsechna ˇreˇsen´ı soustavy g(x) = 0 parametricky a u ´lohu tak pˇrevést na u ´lohu bez omezen´ı. Toto jsme pouˇzili v Pˇr´ıkladu 1.2, uved’me dalˇs´ı pˇr´ıklady. Pˇ r´ıklad 9.10. Hledejme obdéln´ık s jednotkovým obsahem a minimáln´ım obvodem. Tedy minimalizujeme funkci f (x, y) = x + y za podm´ınky xy = 1, neboli hledáme minima f na mnoˇzinˇe X = { (x, y) ∈ R2 | g(x, y) = 1 − xy = 0 }. Mnoˇzina X nemá ˇzádné vnitˇrn´ı body (dokaˇzte!), proto nelze pouˇz´ıt Vˇetu 9.1. Z podm´ınky ale máme y = 1/x, coˇz dosazeno do u ´ˇcelové funkce dá f (x, 1/x) = x + 1/x. Dle Vˇety 9.1 má tato funkce na svém definiˇcn´ım oboru dva stacionárn´ı body x = ±1. Tedy body podezˇrelé z lokáln´ıho extrému jsou (x, y) = ±(1, 1).

ˇ sme u Pˇ r´ıklad 9.11. Reˇ ´lohu

min x + y za podm´ınky x2 + y 2 = 1,

(9.4)

tedy hledáme minimum funkce f (x, y) = x + y na mnoˇzinˇe X = { (x, y) ∈ R2 | g(x, y) = 0 } kde g(x, y) = 1 − x2 − y 2 . Mnoˇzina X nemá ˇzádné vnitˇrn´ı body. Ale lze ji parametrizovat jako X = { (cos t, sin t) | t ∈ ´ [0, 2π) }. Ulohu tak pˇrevedeme na hledán´ı lokáln´ıch extrém˚ u funkce jedné promˇenné f (cos t, sin t) = cos t+sin t. Podm´ınka stacionarity df (cos t, sin t)/dt = − sin t+cos t = 0 má dvˇe ˇreˇsen´ı t = ± π2 . √ Tedy body podezˇrelé z lokáln´ıho extrému jsou (x, y) = ± 22 (1, 1). 79

Nˇekdy ovˇsem mnoˇzinu (9.2) parametrizovat nejde nebo je to sloˇzité. Nyn´ı proto odvod´ıme obecnˇejˇs´ı postup, metodu Lagrangeových multiplikátor˚ u.

9.4.1

Teˇ cn´ y a ortogon´ aln´ı prostor k povrchu

Zapomeˇ nme nejprve na u ´ˇcelovou funkci f a zkoumejme jen mnoˇzinu (9.2). Pˇredpokládejme, ˇze zobrazen´ı g je v okol´ı nˇejakého bodu x ∈ X spojitˇe diferencovatelné. V tom pˇr´ıpadˇe je mnoˇzina X v okol´ı bodu x ‘zakˇrivený povrch’2 v Rn . Pak existuje teˇ cn´ y prostor (mnoˇzina vˇsech teˇcných vektor˚ u) a ortogon´ aln´ı prostor (mnoˇzina vˇsech kolmých vektor˚ u) k povrchu X v bodˇe x. Tyto dva prostory jsou ortogonáln´ı doplnˇek jeden druhého. Zde pˇresné definice pojm˚ u ‘vektor teˇcný k povrchu’ a ‘vektor kolmý k povrchu’ neuvád´ıme a spoléháme na geometrickou intuici. Následuj´ıc´ı lema uvád´ıme bez d˚ ukazu. Lema 9.3. Necht’ zobrazen´ı g: Rn → Rm je v bodˇe x ∈ X spojitˇe diferencovatelné. Necht’ rank g′ (x) = m.

(9.5)

Pak ortogonáln´ı prostor k mnoˇzinˇe X v bodˇe x je mnoˇzina rng g′ (x)T = span{∇g1 (x), . . . , ∇gm (x)}.

(9.6)

Viz obrázek: span{∇g1 (x), . . . , ∇gm (x)}

x

X = { x | g(x) = 0 }

Jelikoˇz ˇrádky Jacobiho matice g′ (x) jsou gradienty ∇gi (x), podm´ınka (9.5) vlastnˇe ˇr´ıká, ˇze gradienty ∇g1 (x), . . . , ∇gm (x) mus´ı být lineárnˇe nezávislé. Bodu x ∈ X splˇ nuj´ıc´ı podm´ınku (9.5) se nˇekdy ˇr´ıká regul´ arn´ı bod povrchu. Pro m = 1 podm´ınka (9.5) zn´ı ∇g(x) 6= 0 a lema zobecˇ nuje skuteˇcnost, kterou jsme bez d˚ ukazu uvedli v §8.5, totiˇz ˇze gradient funkce je v kaˇzdém bodˇe kolmý k jej´ı vrstevnici. Lema ale nav´ıc ˇr´ıká, ˇze kaˇzdý vektor kolmý k vrstevnici mus´ı být násobek gradientu. Pˇ r´ıklad 9.12. Necht’ g: R2 → R je funkce g(x, y) = x2 + y 2 − 1. Mnoˇzina X je jednotková kruˇznice v R2 . Máme ∇g(x, y) = (2x, 2y). Protoˇze pro kaˇzdé (x, y) ∈ X je ∇g(x, y) 6= (0, 0), pˇredpoklady Lematu 9.3 jsou splnˇeny a ortogonáln´ı prostor k X v bodˇe (x, y) je mnoˇzina span{∇g(x, y)} = { (αx, αy) | α ∈ R }, coˇz je pˇr´ımka kolmá ke kruˇznici. Teˇcný prostor v bodˇe (x, y) je ortogonáln´ı doplnˇek této pˇr´ımky, tedy pˇr´ımka teˇcná ke kruˇznici. Pˇ r´ıklad 9.13. Necht’ g: R3 → R je funkce g(x, y, z) = x2 +y 2 +z 2 −1. Mnoˇzina X je jednotková sféra v R3 . Máme ∇g(x, y, z) = (2x, 2y, 2z). Ortogonáln´ı prostor k X v bodˇe (x, y, z) je mnoˇzina span{∇g(x, y, z)} = { (αx, αy, αz) | α ∈ R }, coˇz je pˇr´ımka kolmá ke sféˇre. Teˇcný prostor v bodˇe (x, y, z) je ortogonáln´ı doplnˇek této pˇr´ımky, tedy rovina teˇcná ke sféˇre. 2

Pˇresnˇeji, mnoˇzina X je pˇr´ıkladem objektu, kter´ y se naz´ yvá diferencovatelný manifold . Studiem takov´ ych objekt˚ u se zab´ yvá diferenci´ aln´ı geometrie.

80

Pˇ r´ıklad 9.14. Necht’ g = (g1 , g2): R3 → R2 je zobrazen´ı

g(x, y, z) = ( x2 + y 2 + z 2 − 1, (x − 1)2 + y 2 + z 2 − 1 ).

Nulová vrstevnice funkce g1 je jednotková sféra se stˇredem v bodˇe (0, 0, 0), nulová vrstevnice funkce g2 je jednotková sféra se stˇredem v bodˇe (1, 0, 0). Mnoˇzina X je pr˚ unik tˇechto dvou sfér, je to tedy kruˇznice v R3 . Máme ∇g1 (x, y, z) = 2(x, y, z) a ∇g2 (x, y, z) = 2(x − 1, y, z). Ortogonáln´ı prostor k mnoˇzinˇe X v bodˇe (x, y, z) je mnoˇzina span{∇g1 (x, y, z), ∇g2(x, y, z)} = { α1 (x, y, z) + α2 (x − 1, y, z) | α1 , α2 ∈ R }, coˇz je rovina kolmá ke kruˇznici v bodˇe (x, y, z). Teˇcný prostor je ortogonáln´ı doplnˇek této mnoˇziny, tedy pˇr´ımka teˇcná ke kruˇznici. Pˇ r´ıklad 9.15. Necht’ g: R2 → R je funkce g(x, y) = (x2 + y 2 − 1)2 . Mnoˇzina X je stejná kruˇznice jako v Pˇr´ıkladˇe 9.12. Máme ∇g(x, y) = 4(x2 + y 2 − 1)(x, y). Pro kaˇzdý bod (x, y) ∈ X je ∇g(x, y) = (0, 0), tedy pˇredpoklady Lematu 9.3 nejsou splnˇeny. Ortogonáln´ı prostor nen´ı mnoˇzina span{∇g(x, y)} = {(0, 0)}.

9.4.2

Podm´ınky prvn´ıho ˇ r´ adu

Nyn´ı pˇridáme do naˇsich u ´vah i u ´ˇcelovou funkci f . Je intuitivnˇe zˇrejmé (d˚ ukaz neuvád´ıme), ˇze pokud x má být lokáln´ı extrém funkce f na mnoˇzinˇe X, smˇerová derivace f ′ (x)v = ∇f (x)T v funkce f v bodˇe x v kaˇzdém smˇeru v teˇcném k povrchu X mus´ı být nulová. To znamená, ˇze gradient ∇f (x) mus´ı být kolmý k teˇcnému prostoru v bodˇe x, neboli mus´ı patˇrit do ortogonáln´ıho prostoru (9.6), neboli mus´ı být lineárn´ı kombinac´ı gradient˚ u ∇g1 (x), . . . , ∇gm (x). Tedy existuj´ı ˇc´ısla λ1 , . . . , λm ∈ R tak, ˇze ∇f (x) + λ1 ∇g1 (x) + · · · + λm ∇gm (x) = 0.

(9.7)

Výsledek tˇechto u ´vah se obvykle formuluje následuj´ıc´ım zp˚ usobem. Vˇ eta 9.4. Necht’ f : Rn → R, g: Rn → Rm , x ∈ X. Necht’ • f a g jsou v bodˇe x spojitˇe diferencovatelné, • rank g′ (x) = m,

• bod x je lokáln´ı extrém funkce f na mnoˇzinˇe X. Pak existuj´ı ˇc´ısla (λ1 , . . . , λm ) = λ ∈ Rm tak, ˇze L′ (x, λ) = 0, kde funkce L: Rn+m → R je dána jako L(x, λ) = f (x) + λT g(x) = f (x) + λ1 g1 (x) + · · · + λm gm (x). (9.8) Zápis L′ (x, λ) = 0 oznaˇcuje, ˇze parciáln´ı derivace funkce L podle x1 , . . . , xn , λ1 , . . . , λm jsou nulové, neboli bod (x, λ) ∈ Rm+n je stacionárn´ı bod funkce L. Rovnost ∂L(x, λ)/∂x = 0 je ekvivalentn´ı rovnosti (9.7). Rovnost ∂L(x, λ)/∂λ = g(x) = 0 je ekvivalentn´ı omezen´ım. ˇ ısl˚ C´ um λi se ˇr´ıká Lagrangeovy multiplik´ atory a funkci (9.8) Lagrangeova funkce. ˇ sme znovu Pˇr´ıklad 9.11. Lagrangeova funkce je Pˇ r´ıklad 9.16. Reˇ L(x, y, λ) = x + y + λ(1 − x2 − y 2 ). Jej´ı stacionárn´ı body (x, y, λ) jsou ˇreˇsen´ımi soustavy tˇr´ı rovnic o tˇrech neznámých ∂L(x, y, λ)/∂x = 1 − 2λx =0 ∂L(x, y, λ)/∂y = 1 − 2λy =0 2 2 ∂L(x, y, λ)/∂λ = 1 − x − y = 0. 81

2 Prvn´ı dvˇe rovnice √ 1, coˇz dá dva √ daj´ı x = y = 1/(2λ). Dosazen´ım do tˇret´ı máme 2/(2λ) = koˇreny λ = ±1/ 2. Stacionárn´ı body funkce L jsou√dva, (x, y, λ) = ±(1, 1, 1)/ 2. Tedy máme dva kandidáty na lokáln´ı extrémy, (x, y) = ±(1, 1)/ 2. Tuto jednoduchou u ´lohu je samozˇrejmˇe snadné vyˇreˇsit u ´vahou. Nakreslete si kruˇznici X = 2 2 { (x, y) | x + y = 1 } a nˇekolik vrstevnic funkce f a najdˇete kýˇzené extrémy!

ˇ sme Pˇr´ıklad 9.11, kde ale omezen´ı zmˇen´ıme na g(x, y) = (1 − x2 − y 2 )2 = 0. Pˇ r´ıklad 9.17. Reˇ Podle Pˇr´ıkladu 9.15 máme g ′(x, y) = (0, 0) pro kaˇzdé (x, y) ∈ X, ˇcekáme tedy pot´ıˇz. Stacionárn´ı body Lagrangeovy funkce L(x, y, λ) = x + y + λ(1 − x2 − y 2 )2 mus´ı splˇ novat ∂L(x, y, λ)/∂x = 1 − 4λx(1 − x2 − y 2) = 0 ∂L(x, y, λ)/∂y = 1 − 4λy(1 − x2 − y 2 ) = 0 ∂L(x, y, λ)/∂λ = (1 − x2 − y 2 )2 = 0. Tyto rovnice si odporuj´ı. Jelikoˇz 1 − x2 − y 2 = 0, tak napˇr. prvn´ı rovnice ˇ√ r´ıká 1 − 4λx · 0 = 0, coˇz neplat´ı pro ˇzádné (x, λ). Závˇer je, ˇze lokáln´ı extrémy (x, y) = ±(1, 1)/ 2 jsme nenaˇsli. Pˇ r´ıklad 9.18. Vrat’me se k u ´loze (5.14), tedy k hledán´ı ˇreˇsen´ı nehomogenn´ı lineárn´ı soustavy s nejmenˇs´ı normou. Lagrangeova funkce je L(x, λ) = xT x + 2λT (b − Ax), kde pˇridaná dvojka nemˇen´ı situaci. Je ∂L(x, λ)/∂x = 2xT − 2λT A (odvod’te!). Stacionárn´ı body funkce L tedy z´ıskáme ˇreˇsen´ım soustavy (5.15), kterou jsme v 5.2 odvodili u ´vahou. Pˇredchoz´ı pˇr´ıklad vyˇzaduje od studenta nejen znalost metody Lagrangeových multiplikátor˚ u, ale i jistou zruˇcnost v manipulaci s maticovými výrazy. Cviˇcte tuto zruˇcnost ve Cviˇcen´ıch 9.22–9.25! ˇ ıká, ˇze pokud (x, λ) Vˇeta 9.4 udává podm´ınky prvn´ıho ˇrádu na extrémy vázané rovnostmi. R´ je stacionárn´ı bod Lagrangeovy funkce, pak bod x je ‘podezˇrelý’ z lokáln´ıho extrému funkce f na mnoˇzinˇe X. Jak poznáme, zda tento bod je lokáln´ı extrém, pˇr´ıpadnˇe jaký? Podm´ınky druhého ˇrádu pro vázané extrémy uvád´ıme nepovinnˇe v §9.4.3. Zde pouze zd˚ urazn´ıme, ˇze druh lokáln´ıho ′′ extrému nelze zjistit podle definitnosti Hessovy matice L (x, λ), tedy je chybou pouˇz´ıt Vˇetu 9.2 na funkci L.

9.4.3

(⋆) Podm´ınky druh´ eho ˇ r´ adu

Vˇ eta 9.5. Necht’ f : Rn → R, g: Rn → Rm , x ∈ Rn a λ ∈ Rm . Necht’ • (x, λ) je stacionárn´ı bod Lagrangeovy funkce, neboli ∂L(x, λ)/∂x = 0 a ∂L(x, λ)/∂λ = 0,

• f a g jsou dvakrát diferencovatelné v bodˇe x. Pak plat´ı: • Je-li ∂ 2 L(x, λ)/∂x2 pozitivnˇe [negativnˇe] definitn´ı na nulovém prostoru matice g′ (x), má f v bodˇe x ostré lokáln´ı minimum [maximum] vázané podm´ınkou g(x) = 0.

• Je-li ∂ 2 L(x, λ)/∂x2 indefinitn´ı na nulovém prostoru matice g′ (x), nemá f v bodˇe x lokáln´ı minimum ani lokáln´ı maximum vázané podm´ınkou g(x) = 0.

82

Zde výraz

m

X ∂ 2 L(x, λ) ′′ = f (x) + λi gi′′ (x) ∂x2 i=1

znaˇc´ı druhou derivaci (Hessovu matici) funkce L(x, λ) podle x v bodˇe (x, λ). Tvrzen´ı, ˇze matice A je pozitivnˇe definitn´ı na mnoˇzinˇe T znamená, ˇze yT Ay > 0 pro kaˇzdé y ∈ T \ {0}. Jak zjist´ıme definitnost dané matice A na nulovém prostoru Jacobiho matice g′ (x)? Najdemeli bázi B tohoto nulového prostoru, pak kaˇzdý prvek mnoˇziny T lze parametrizovat jako y = Bz. Protoˇze yT Ay = zT BT ABz, pˇrevedli jsme problém na zjiˇst’ován´ı definitnosti matice BT AB. Pˇ r´ıklad 9.19. Najdˇeme strany kvádru s jednotkovým objem a minimáln´ım povrchem. Tedy minimalizujeme xy + xz + yz za podm´ınky xyz = 1. Lagrangeova funkce je L(x, y, z, λ) = xy + xz + yz + λ(1 − xyz). Poloˇzen´ım derivac´ı L rovným nule máme soustavu L′x (x, y, z, λ) = y + z − λyz = 0 L′y (x, y, z, λ) = x + z − λxz = 0

L′z (x, y, z, λ) = x + y − λxy = 0 L′λ (x, y, z, λ) = xyz − 1 = 0. Soustava je zjevnˇe splnˇena pro (x, y, z, λ) = (1, 1, 1, 2). Máme ukázat, ˇze tento bod odpov´ıdá lokáln´ımu minimu. Máme     0 1 − λz 1 − λy 0 −1 −1 2 ∂ L(x, y, z, λ)  0 1 − λx = −1 0 −1 . = 1 − λz (9.9) ∂(x, y, z)2 1 − λy 1 − λx 0 −1 −1 0

Ukáˇzeme, ˇze tato matice je pozitivnˇe definitn´ı na nulovém prostoru Jacobiho matice g ′ (x, y, z) = −yz −xz −xy = −1 −1 −1 .

Nejdˇr´ıve zkusme ˇstˇest´ı, zda matice (9.9) nen´ı pozitivnˇe definitn´ı jiˇz na R3 – v tom pˇr´ıpadˇe by zjevnˇe byla pozitivnˇe definitn´ı i na nulovém prostoru g ′ (x, y, z) (promyslete, proˇc to tak je!). Nen´ı tomu tak, protoˇze jej´ı vlastn´ı ˇc´ısla jsou {−2, 1, 1}, tedy je indefinitn´ı. Nˇejakou bázi nulového prostoru matice g ′(x, y, z) snadno najdeme ruˇcnˇe, napˇr.   1 1 0 . B = −1 0 −1

Snadno zjist´ıme, ˇze matice

   0 −1 −1 1 1 1 −1 0  2 1 T ∂ L(x, y, z, λ)    −1 0 −1 −1 0 = B= . B 1 0 −1 1 2 ∂(x, y, z)2 −1 −1 0 0 −1 2

má vlastn´ı ˇc´ısla {2, 1}, tedy je pozitivnˇe definitn´ı. 83

9.5

Cviˇ cen´ı

9.1. Co je vnitˇrek a hranice tˇechto mnoˇzin? Výsledek napiˇste v mnoˇzinovém zápisu. a) b) c) d) e) f) g)

{ (x, y) ∈ R2 | x2 + y 2 = 1, y ≥ 0 } { (x, y) ∈ R2 | y = x2 , −1 < x ≤ 1 } { (x, y) ∈ R2 | xy < 1, x > 0, y > 0 } { x ∈ Rn | maxni=1 xi ≤ 1 } { x ∈ Rn | aT x = b }, kde a ∈ Rn , b ∈ R (nadrovina) { x ∈ Rn | b < aT x ≤ c }, kde a ∈ Rn , b, c ∈ R { x ∈ Rn | Ax = b } kde A ∈ Rm×n , b ∈ Rm

9.2. Je dána funkce f : Rn → R, mnoˇziny Y ⊆ X ⊆ Rn , a bod x ∈ Y . Uvaˇzujme dva výroky: a) Funkce f má v bodˇe x lokáln´ı minimum na mnoˇzinˇe X. b) Funkce f má v bodˇe x lokáln´ı minimum na mnoˇzinˇe Y . Vyplývá (b) z (a)? Vyplývá (a) z (b)? Dokaˇzte z definice lokáln´ıho extrému nebo vyvrat’te nalezen´ım protipˇr´ıkadu. 9.3. M˚ uˇze nastat pˇr´ıpad, kdy funkce na mnoˇzinˇe má lokáln´ı minimum ale nemá na n´ı globáln´ı minimum? Odpovˇed’ dokaˇzte. 9.4. Funkce f : R3 → R má stacionárn´ı bod (2, 1, 5). Co se dá o tomto stacionárn´ım bodˇe ˇr´ıci, kdyˇz Hessova matice f ′′ (2, 1, 5) v nˇem má vlastn´ı ˇc´ısla a) {2, 3, −1} b) {2, 3, 0} c) {2, 1, 1} 9.5. Pro následuj´ıc´ı funkce spoˇc´ıtejte (na pap´ıˇre) stacionárn´ı body. Pro kaˇzdý stacionárn´ı bod urˇcete, zda je to lokáln´ı minimum, lokáln´ı maximum, ˇci sedlový bod. Pokud to urˇcit nedokáˇzete, od˚ uvodnˇete. a) b) c) d) e) f) g)

f (x, y) = x(1 − 32 x2 − y 2 ) f (x, y) = 1/x + 1/y + xy f (x, y) = ey (y 2 − x2 ) f (x, y) = 3x − x3 − 3xy 2 f (x, y) = 6xy 2 − 2x3 − 3y 4 f (x, y) = x4 /3 + y 4 /2 − 4xy 2 + 2x2 + 2y 2 + 3 f (x, y, z) = x3 + y 3 + 2xyz + z 2

9.6. Dokaˇzte, ˇze funkce f (x, y) = x nabývá za podm´ınky x3 = y 2 minima pouze v poˇcátku. Ukaˇzte, ˇze metoda Lagrangeových multiplikátor˚ u toto minimum nenajde. Následuj´ıc´ı u ´lohy se pokuste vyˇreˇsit parametrizac´ı podm´ınek (analogicky k Pˇr´ıkladu 9.11) a pak metodou Lagrangeových multiplikátor˚ u. Pokud jedna z tˇechto metod nen´ı pouˇzitelná, vynechte ji. Pˇri pouˇzit´ı metody Lagrangeových multiplikátor˚ u staˇc´ı pouze naj´ıt stacionárn´ı body Lagrangeovy funkce – nemus´ıte urˇcovat, jde-li o lokáln´ı extrémy a pˇr´ıpadnˇe jaké. 9.7. Najdˇete lokáln´ı extrémy funkc´ı 84

a) b) c) d) e) f) g)

f (x, y) = 2x − y f (x, y) = x(y − 1) f (x, y) = x2 + 2y 2 f (x, y) = x2 y f (x, y) = x4 + y 2 f (x, y) = sin(xy) f (x, y) = exy

na kruˇznici x2 + y 2 = 1. Nápovˇeda: Nˇekdy je dobré u ´ˇcelovou funkci zjednoduˇsit, pokud to nezmˇen´ı ˇreˇsen´ı. 9.8. Najdˇete extrémy funkce a) f (x, y, z) = x + yz za podm´ınek x2 + y 2 + z 2 = 1 a z 2 = x2 + y 2 b) f (x, y, z) = xyz za podm´ınek x2 + y 2 + z 2 = 1 a xy + yz + zx = 1 9.9. Najdˇete extrémy funkce a) b) c) d) e) f)

f (x, y, z) = (x + y)(y + z) f (x, y, z) = a/x + b/y + c/z, kde a, b, c > 0 jsou dány f (x, y, z) = x3 + y 2 + z f (x, y, z) = x3 + y 3 + z 3 + 2xyz (⋆) f (x, y, z) = x3 + y 3 + z 3 − 3xyz (⋆) f (x, y, z) = x3 + 2xyz − z 3

na sféˇre x2 + y 2 + z 2 = 1. 9.10. Rozloˇzte dané kladné reálné ˇc´ıslo na souˇcin n kladných reálných ˇc´ısel tak, aby jejich souˇcet byl co nejmenˇs´ı. 9.11. Spoˇc´ıtejte rozmˇery tˇelesa tak, aby mˇelo pˇri daném objemu nejmenˇs´ı povrch: a) b) c) d) e)

kvádr kvádr bez v´ıka (má jednu doln´ı stˇenu a ˇctyˇri boˇcn´ı, horn´ı stˇena chyb´ı) válec p˚ ullitr (válec bez v´ıka) (⋆) kel´ımek (komolý kuˇzel bez v´ıka). Objem komolého kuˇzele je V = π3 h(R2 +Rr +r 2 ) p uˇzete pouˇz´ıt vhodný a povrch pláˇstˇe (bez podstav) je S = π(R+r) (R − r)2 + h2 . M˚ numerický software na ˇreˇsen´ı vzniklé soustavy rovnic.

9.12. Najdˇete bod nejbl´ıˇze poˇcátku na kˇrivce a) b) c) d)

x+y = 1 x + 2y = 5 y = x3 + 1 x2 + 2y 2 = 1

9.13. Necht’ x∗ je bod nejbl´ıˇze poˇcátku na nadploˇse h(x) = 0. Ukaˇzte metodou Lagrangeových multiplikátor˚ u, ˇze vektor x∗ je kolmý k teˇcné nadrovinˇe plochy v bodˇe x∗ . 9.14. Máme kouli o polomˇeru r a stˇredu x0 , tj. mnoˇzinu { x ∈ Rn | kx − x0 k2 ≤ r }. Máme nadrovinu { x ∈ Rn | aT x = b }. 85

9.15. Do elipsy o daných délkách os vepiˇste obdéln´ık s maximáln´ım obsahem. Pˇredpokládejte pˇritom, ˇze strany obdéln´ıku jsou rovnobˇeˇzné s osami elipsy. 9.16. Fermat˚ uv princip v paprskové optice ˇr´ıká, ˇze cesta mezi libovolnými dvˇema body na paprsku má takový tvar, aby ji svˇetlo probˇehlo za ˇcas kratˇs´ı neˇz j´ı bl´ızké dráhy. Pozdˇeji se zjistilo, ˇze správným kritériem nen´ı nejkratˇs´ı ale extrémn´ı ˇcas. Tedy skuteˇcná dráha paprsku mus´ı m´ıt ˇcas vˇetˇs´ı nebo menˇs´ı neˇz j´ı bl´ızké dráhy. Z tohoto principu odvod’te: a) Zákon odrazu od zrcadla: u ´hel dopadu se rovná u ´hlu odrazu. b) Snell˚ uv zákon lomu: na rozhran´ı dvou prostˇred´ı se svˇetlo lom´ı tak, ˇze sin α1 c1 = , c2 sin α2 kde αi je u ´hel paprsku od normály rozhran´ı a ci je rychlost svˇetla v prostˇred´ı i. Odvozen´ı udˇelejte: (i) Pro rovinné zrcadlo a rovinné rozhran´ı (coˇz vede na minimalizaci bez omezen´ı). (ii) Pro zrcadlo a rozhran´ı tvaru obecné plochy s rovnic´ı g(x) = 0. Dokáˇzete naj´ıt situaci, kdy skuteˇcná dráha paprsku má ˇcas vˇetˇs´ı neˇz j´ı bl´ızké dráhy? 9.17. Rozdˇelen´ı pravdˇepodobnosti diskrétn´ı náhodné promˇeP nné je funkce p: {1, . . . , n} → R+ (tj. soubor nezáporných ˇc´ısel p(1), . . . , p(n)) splˇ nuj´ıc´ı nx=1 p(x) = 1. P a) Entropie náhodné promˇenné s rozdˇelen´ım p je rovna − nx=1 p(x) log p(x), kde log je pˇrirozený logaritmus. Najdˇete rozdˇelen´ı s maximáln´ı entropi´ı. b) Dokaˇzte Gibbsovu nerovnost (téˇz zvanou informaˇcn´ı nerovnost): pro kaˇzdé dvˇe rozdˇelen´ı p, q plat´ı n n X X p(x) log q(x) ≥ p(x) log p(x), x=1

x=1

pˇriˇcemˇz rovnost nastává jen tehdy, kdyˇz p = q.

9.18. (⋆) Máme troj´ uheln´ık se stranami délek a, b, c. Uvaˇzujme bod, který má takovou polohu, ˇze souˇcet ˇctverc˚ u jeho vzdálenost´ı od stran troj´ uheln´ıku je nejmenˇs´ı moˇzný. Jaké budou vzdálenosti x, y, z tohoto bodu od stran troj´ uheln´ıku? 9.19. (⋆) Máme krychli s délkou hrany 2. Do stˇeny krychle je vepsána kruˇznice (kter´ √ a má tedy polomˇer 1) a okolo sousedn´ı stˇeny je opsána kruˇznice (která má tedy polomˇer 2). Najdˇete nejmenˇs´ı a nejvˇetˇs´ı vzdálenost mezi body na kruˇznic´ıch. 9.20. (⋆) Najdˇete extrémy funkce f (x, y, z, u, v, w) = (1 + x + u)−1 + (1 + y + v)−1 + (1 + z + w)−1 za podm´ınek xyz = a3 , uvw = b3 a x, y, z, u, v, w > 0. 9.21. Popiˇste mnoˇzinu ˇreˇsen´ı soustavy x + 2y + z = 1 2x − y − 2z = 2. p Najdˇete takové ˇreˇsen´ı soustavy, aby výraz x2 + y 2 + z 2 byl co nejmenˇs´ı. Najdˇete co nejv´ıce zp˚ usob˚ u ˇreˇsen´ı. 86

9.22. Minimalizujte xT x za podm´ınky aT x = 1. Jaký je geometrický význam u ´lohy? 9.23. Maximalizujte aT x za podm´ınky xT x = 1. Jaký je geometrický význam u ´lohy? 9.24. Minimalizujte xT Ax za podm´ınky bT x = 1, kde A je symetrická pozitivnˇe definitn´ı. 9.25. Minimalizujte kCxk2 za podm´ınky Ax = b, kde A má lineárnˇe nezávislé ˇrádky a C má lineárnˇe nezávislé sloupce. 9.26. (⋆) Minimalizujte kAx − bk2 za podm´ınky Cx = 0, kde A má lineárnˇe nezávislé sloupce a C má lineárnˇe nezávislé ˇrádky. 9.27. (⋆) Minimalizujte kCxk2 za podm´ınek Ax = 0 a xT x = 1.

9.28. (⋆) Minimalizujte kAxk2 za podm´ınky xT Cx = 1, kde C je pozitivnˇe definitn´ı.

9.29. (⋆) Minimalizujte aT x za podm´ınky xT Cx = 1, kde C je pozitivnˇe definitn´ı.

9.30. (⋆) Jaké mus´ı být vlastnosti matice A a vektoru b, aby max{ kAxk2 | bT x = 0 } = 0?

N´ apovˇ eda a ˇ reˇ sen´ı 9.1.a) vnitˇrek ∅, hranice p˚ uvodn´ı mnoˇzina

9.1.b) vnitˇrek ∅, hranice { (x, y) ∈ R2 | y = x2 , −1 ≤ x ≤ 1 }

9.1.c) vnitˇrek p˚ uvodn´ı mnoˇzina, hranice { (x, 0) | x ≥ 0 } ∪ { (0, y) | y ≥ 0 } ∪ { (x, y) | xy = 1 }

9.1.d) maxni=1 xi ≤ 1 je totéˇz co xi ≤ 1 pro vˇsechna i, tedy mnoˇzina jde napsat také jako (−∞, 1]n (kartézsk´ y souˇcin n stejn´ ych polootevˇren´ ych interval˚ u). Vnitˇrek je (−∞, 1)n , hranice (tˇeˇzko se pop´ıˇse krátˇceji) je (−∞, 1]n \ (−∞, 1)n 9.1.e) vnitˇrek ∅, hranice p˚ uvodn´ı mnoˇzina

9.1.f) vnitˇrek { x | b < aT x < c }, hranice { x | aT x = b } ∪ { x | aT x = c }

9.1.g) Vnitˇrek nem´ a, hranice je p˚ uvodn´ı mnoˇzina. 9.3.

m˚ uˇze

9.4.a) funkce nem´ a v tomto bodˇe lokáln´ı extrém 9.4.b) nem˚ uˇzeme rozhodnout, zda m´ a funkce m´ a v tomto bodˇe lokáln´ı extrém 9.4.c) funkce m´ a v tomto bodˇe lokáln´ı minimum 9.5.d) Stacion´ arn´ı body jsou 4. 9.5.e) Stacion´ arn´ı body jsou 3. 9.5.f) Stacion´ arn´ıch bod˚ u je 5. 9.5.g) Stacion´ arn´ı body jsou 3, a to (0, 0, 0), (3/2, 3/2, −9/4), (3/2, 3/2, −9/4).

9.16.a) Udˇeláme jen pro obecn´ y pˇr´ıpad (ii). Máme dva body a, b a hled´ ame bod x splˇ nuj´ıc´ı g(x) = 0 pro kter´ y je celková dr´ aha kx − ak2 + kx − bk2 extremáln´ı. Stacion´ arn´ı body Lagrangeovy funkce splˇ nuj´ı (x − a)0 + (x − b)0 = λ∇g(x), kde y0 = y/kyk2 . Ale to ˇr´ıká, ˇze vektor ∇g(x) leˇz´ı v jedné rovinˇe s jednotkov´ ymi vektory (x − a)0 a (x − b)0 a p˚ ul´ı u ´ hel mezi nimi. Pro d˚ ukaz druhého 0 0 tvrzen´ı n´ asobte rovnici vektory (x − a) a (x − b) a porovnejte.

9.24. x = A−1 b/(bT A−1 b)

9.25. x = (CT C)−1 AT (A(CT C)−1 AT )−1 b. 9.26. x = [I − (AT A)−1 CT (C(AT A)−1 CT )−1 CT ] (AT A)−1 AT b

87

Kapitola 10 Iteraˇ cn´ı algoritmy na voln´ e lok´ aln´ı extr´ emy Zde se budeme vˇenovat numerickým iteraˇcn´ım algoritm˚ um na nalezen´ı volného lokáln´ıho minima diferencovatelných funkc´ı na mnoˇzinˇe Rn .

10.1

Sestupn´ e metody

Iteraˇcn´ı algoritmy na hledán´ı lokáln´ıho minima spojité funkce f : Rn → R maj´ı tvar xk+1 = xk + αk vk ,

(10.1)

kde vektor vk ∈ Rn je smˇ er hled´ an´ı a skalár αk > 0 je d´ elka kroku. Ve tˇr´ıdˇe algoritm˚ u 1 zvaných sestupn´ e metody (descent methods) hodnota u ´ˇcelové funkce monotonnˇe klesá , f (xk+1 ) < f (xk ). Necht’ je funkce f diferencovatelná. Smˇer vk se nazývá sestupn´ y v bodˇe xk , jestliˇze f ′ (xk ) vk < 0,

(10.2)

tedy smˇerová derivace ve smˇeru vk je záporná. Pokud v bodˇe xk existuje sestupný smˇer, existuje délka kroku αk > 0 tak, ˇze f (xk+1 ) < f (xk ). Pokud v bodˇe xk sestupný smˇer neexistuje, vektor f ′ (xk ) je nutnˇe nulový (proˇc?) a tedy xk je stacionárn´ı bod. Máme-li sestupný smˇer, optimáln´ı délku kroku αk najdeme minimalizac´ı funkce f na polopˇr´ımce z bodu xk ve smˇeru vk . Tedy minimalizujeme funkci jedné promˇenné ϕ(αk ) = f (xk + αk vk )

(10.3)

pˇres vˇsechny αk ≥ 0. Tato u ´loha je v kontextu v´ıcerozmˇerné optimalizace nazývána line search. ´ Ulohu staˇc´ı ˇreˇsit pˇribliˇznˇe. Takovou pˇribliˇznou metodu nen´ı obt´ıˇzné vymyslet a proto se j´ı dále nebudeme zabývat. Dále uvedeme nejznámˇejˇs´ı zástupce sestupných metod. 1

Existuj´ı totiˇz i algoritmy, ve kter´ ych hodnota f (xk ) neklesá monotonnˇe (tj. nˇekdy stoupne a nˇekdy klesne) a pˇresto konverguj´ı k optimu (napˇr. subgradientn´ı metody).

88

10.2

Gradientn´ı metoda

Tato nejjednoduˇsˇs´ı metoda vol´ı smˇer sestupu jako záporný gradient funkce f v bodˇe xk : vk = −f ′ (xk )T = −∇f (xk ).

(10.4)

Tento smˇer je sestupný, coˇz je okamˇzitˇe vidˇet dosazen´ım do (10.2). Nevýhodou gradientn´ı metody je to, ˇze konvergence m˚ uˇze být pomalá kv˚ uli ‘cik-cak’ chován´ı. To se m˚ uˇze stát tehdy, kdyˇz funkce v okol´ı lokáln´ıho optima je v nˇekterých smˇerech mnohem protaˇzenˇejˇs´ı neˇz v jiných (pˇresnˇeji, kdyˇz vlastn´ı ˇc´ısla Hessiánu f ′′ (x) maj´ı velmi r˚ uzné velikosti). Výhodou metody je spolehlivost, protoˇze smˇer je vˇzdy sestupný.

10.2.1

(⋆) Z´ avislost na line´ arn´ı transformaci souˇ radnic

˜ = Ax, kde A je ˇctvercová reguTransformujme vektor promˇenných x lineárn´ı transformac´ı x lárn´ı matice. Je jasné, ˇze funkce f p˚ uvodn´ıch promˇenných x bude m´ıt stejné lokáln´ı extrémy ˜ , daná jako jako funkce f˜ nových promˇených x ˜ ). f˜(˜ x) = f˜(Ax) = f (x) = f (A−1 x Iterace gradientn´ı metody v nových promˇenných je ˜ k+1 = x ˜ k − αk f˜′ (˜ x xk )T .

(10.5)

Zkoumejme, jaké iteraci to odpov´ıdá v p˚ uvodn´ıch promˇenných. K tomu potˇrebujeme vyjádˇrit (10.5) v promˇenných x. Pouˇzit´ım ˇretˇezového pravidla odvod´ıme df˜(˜ x) df˜(˜ x) dx df (x) dx f˜′ (˜ x) = = = = f ′ (x)A−1 . d˜ x dx d˜ x dx d˜ x ˜ a f˜′ (˜ ´pravou dostaneme Dosazen´ım za x x) do (10.5) a u xk+1 = xk − αk (AT A)−1 f ′ (xk )T .

(10.6)

To lze napsat ve tvaru (10.1) se smˇerem hledán´ı vk = −(AT A)−1 f ′ (xk )T .

(10.7)

Tento smˇer se liˇs´ı od p˚ uvodn´ıho smˇeru (10.4) vynásoben´ım matic´ı (AT A)−1 . Vid´ıme tedy, ˇze gradientn´ı metoda nen´ı invariantn´ı v˚ uˇci lineárn´ı transformaci souˇradnic. Ovˇsem lze ukázat, ˇze nový smˇer (10.7) je také sestupný. Dosazen´ım (10.4) do (10.2) to znamená, ˇze −f ′ (xk )(AT A)−1 f ′ (xk )T < 0. To je ale pravda, nebot’ matice AT A a tedy i jej´ı inverze je pozitivnˇe definitn´ı, viz Cviˇcen´ı 6.16. ′ T Na vzorec (10.7) se lze d´ıvat jeˇstˇe obecnˇeji. Je jasné, ˇze smˇer vk = −C−1 y, k f (xk ) je sestupn´ je-li matice Ck pozitivnˇe definitn´ı. Dá se ukázat i opak, totiˇz ˇze kaˇzdý sestupný smˇer lze napsat takto. Matice Ck m˚ uˇze být jiná v kaˇzdém kroku. Uvid´ıme, ˇze algoritmy uvedené dále budou m´ıt vˇzdy tento tvar.

10.3

Newtonova metoda

Newtonova metoda (pˇresnˇeji Newton-Raphsonova) je slavný iteraˇcn´ı algoritmus na ˇreˇsen´ı soustav nelineárn´ıch rovnic. Lze ho pouˇz´ıt i na minimalizaci funkce tak, ˇze hledáme jej´ı bod s nulovým gradientem. Oba zp˚ usoby pouˇzit´ı pop´ıˇseme. 89

10.3.1

Pouˇ zit´ı na soustavy neline´ arn´ıch rovnic

ˇ sme rovnici g(x) = 0, kde g: Rn → Rn je diferencovatelné zobrazen´ı. Jedná se tedy o soustavu Reˇ n rovnic s n neznámými. Zobrazen´ı g aproximujeme v okol´ı bodu xk Taylorovým polynomem prvn´ıho stupnˇe ˆ (x) = g(xk ) + g′ (xk )(x − xk ), g(x) ≈ g (10.8)

kde Jacobiho matice g′ (xk ) ∈ Rn×n je derivace zobrazen´ı v bodˇe xk . Dalˇs´ı iteraci xk+1 najdeme ˆ (xk+1 ) = 0. Pokud je Jacobiho matice regulárn´ı, ˇreˇseˇreˇsen´ım nehomogenn´ı lineárn´ı soustavy g n´ım je xk+1 = xk − g′ (xk )−1 g(xk ). (10.9) Viz obrázek:

g(x)

0

x∗ xk+1

ˆ (x) = g(xk ) + g′ (xk )(x − xk ) g

xk

Hlavn´ı výhodou Newtonovy metody je, ˇze v bl´ızkém okol´ı ˇreˇsen´ı obvykle konverguje velmi rychle (mnohem rychleji neˇz gradientn´ı metoda). Nevýhodou je, ˇze je nutno zaˇc´ıt s pomˇernˇe pˇresnou aproximac´ı x0 skuteˇcného ˇreˇsen´ı, jinak algoritmus snadno diverguje. Pˇ r´ıklad 10.1. Babylónská metoda na výpoˇcet druhé odmocniny ˇc´ısla a ≥ 0 je dána iterac´ı 1 a xk+1 = xk + . 2 xk

To nen´ı nic jiného neˇz Newtonova metoda pro ˇreˇsen´ı rovnice 0 = g(x) = x2 − a. Opravdu, g(xk ) a 1 a x2 − a 1 xk+1 = xk − ′ xk − = xk + . = xk − k = xk − g (xk ) 2xk 2 xk 2 xk

Pˇ r´ıklad 10.2. Hledáme pr˚ useˇc´ık (x, y) ∈ R2 dvou kˇrivek (x − 1)2 + y 2 = 1 a x4 + y 4 = 1. Máme (x − 1)2 + y 2 − 1 2(x − 1) 2y ′ . g(x, y) = , g (x, y) = x4 + y 4 − 1 4x3 4y 3 Iterace (10.9) je

−1 xk+1 xk 2(xk − 1) 2yk (xk − 1)2 + yk2 − 1 = − . yk+1 yk 4x3k 4yk3 x4k + yk4 − 1

Naˇcrtneme-li si obˇe kˇrivky, vid´ıme, ˇze maj´ı dva pr˚ useˇc´ıky, liˇs´ıc´ı se znaménkem druhé souˇradnice. Zvolme poˇcáteˇcn´ı odhad pro horn´ı pr˚ useˇc´ık (x0 , y0 ) = (1, 1). Prvn´ı iterace bude −1 0.75 0 0 2 1 x1 . = − = 1 1 4 4 1 y1 ˇ a iterace (x6 , y6 ) = ( 0.671859751039018, 0.944629015546222 ) je taková, ˇze rovnice jsou Sest´ splnˇeny se strojovou pˇresnost´ı. 90

Pˇ r´ıklad 10.3. Funkce g(x) = x2 − 1 má dva nulové body x = ±1. Pokud v nˇejaké iteraci bude xk = 0, nastane dˇelen´ı nulou. Pokud bude xk velmi malé, dˇelen´ı nulou nenastane, ale iterace xk+1 se ocitne velmi daleko od koˇrene. Pˇ r´ıklad 10.4. Pro funkci g(x) = x3 − 2x + 2 zvolme x0 = 0. Dalˇs´ı iterace bude x1 = 1 a dalˇs´ı x2 = 0. Algoritmus bude oscilovat mezi hodnotami 0 a 1, tedy bude divergovat.

10.3.2

Pouˇ zit´ı na minimalizaci funkce

Newtonovu metodu lze pouˇz´ıt pro hledán´ı lokáln´ıho extrému dvakrát diferencovatelné funkce f : Rn → R tak, ˇze v algoritmu (10.9) poloˇz´ıme g(x) = f ′ (x)T . T´ım dostaneme iteraci xk+1 = xk − f ′′ (xk )−1 f ′ (xk )T ,

(10.10)

kde f ′′ (xk ) je Hessova matice funkce f v bodˇe xk . Význam iterace (10.9) byl takový, ˇze se zobrazen´ı g v bodˇe xk aproximovalo Taylorovým polynomem prvn´ıho stupnˇe (tedy afinn´ım zobrazen´ım) a pak se naˇsel koˇren xk+1 tohoto polynomu. Význam iterace (10.10) je takový, ˇze se funkce f aproximuje Taylorovým polynomem druhého stupnˇe (tedy kvadratickou funkc´ı) a pak se najde minimum této kvadratické funkce. Odvod’te podrobnˇe, ˇze tomu tak je! f (x) fˆ(x) = f (xk ) + f ′ (xk )(x − xk ) + 12 (x − xk )T f ′′ (x)(x − xk )

x∗ xk+1

xk

Iteraci (10.10) lze napsat v obecnˇejˇs´ım tvaru (10.1), kde vk = −f ′′ (xk )−1 f ′ (xk )T .

(10.11)

Výhodou tohoto zobecnˇen´ı je moˇznost zvolit optimáln´ı (ne nutnˇe jednotkovou) délku kroku pomoc´ı jednorozmˇerné minimalizace (10.3). Algoritmu (10.10) s jednotkovou délkou kroku se pak ˇr´ıká ˇ cist´ a Newtonova metoda. Vektoru (10.11) ˇr´ıkáme Newton˚ uv smˇ er. Vid´ıme, ˇze se od gradientn´ıho smˇeru (10.4) liˇs´ı násoben´ım Hessovou matic´ı f ′′ (xk ). Aby to byl sestupný smˇer, mus´ı být f ′ (xk ) vk = −f ′ (xk )f ′′ (xk )−1 f ′ (xk )T < 0. Toto plat´ı, kdyˇz f ′ (xk ) 6= 0 (tj. xk nen´ı stacionárn´ı bod) a matice f ′′ (xk ) je pozitivnˇe definitn´ı (nebot’ pak bude pozitivnˇe definitn´ı i jej´ı inverze, viz Cviˇcen´ı 6.18). V porovnán´ı s gradientn´ı metodou má Newtonova metoda (pouˇzitá na minimalizaci funkce) nevýhodu v tom, ˇze mus´ıme poˇc´ıtat Hessián f ′′ (xk ) a ˇreˇsit soustavu f ′′ (xk )vk = −f ′ (xk )T , coˇz pro velký poˇcet promˇenných je pomalé ˇci nemoˇzné. Vˇsimnˇete si ale, ˇze na rozd´ıl od §10.3.1 je zde matice g′ (xk ) = f ′′ (xk ) symetrická, coˇz m˚ uˇze ˇreˇsen´ı soustavy ulehˇcit.

91

10.4

Neline´ arn´ı metoda nejmenˇs´ıch ˇ ctverc˚ u

ˇ sme pˇreurˇcenou soustavu rovnic g(x) = 0 pro g: Rn → Rm (tedy soustavu m rovnic s Reˇ n neznámými) ve smyslu nejmenˇs´ıch ˇctverc˚ u. To vede na minimalizaci funkce f (x) =

kg(x)k22

T

= g(x) g(x) =

m X

gi (x)2 ,

(10.12)

i=1

kde gi jsou sloˇzky zobrazen´ı g. Speciáln´ım pˇr´ıpadem je pˇribliˇzné ˇreˇsen´ı lineárn´ı nehomogenn´ı soustavy Ax = b, kde g(x) = b − Ax (viz §5.1). Zde ovˇsem pˇredpokládáme obecnˇe nelineárn´ı zobrazen´ı g. Zat´ımco v §10.2 a §10.3.2 bylo c´ılem minimalizovat obecnou funkci, zde chceme minimalizovat funkci ve speciáln´ım tvaru (10.12). Nyn´ı máme dvˇe moˇznosti. Bud’ m˚ uˇzeme nasadit na funkci (10.12) jednu z metod pro minimalizaci obecné funkce, k ˇcemuˇz se vrát´ıme v §10.4.2. Nebo m˚ uˇzeme být chytˇrejˇs´ı a vyuˇz´ıt speciáln´ıho tvaru funkce (10.12), coˇz pop´ıˇseme v §10.4.1.

10.4.1

Gauss-Newtonova metoda

´ (10.12) Aproximujme opˇet zobrazen´ı g Taylorovým polynomem prvn´ıho stupnˇe (10.8). Uloha 2 pak vyˇzaduje minimalizovat kˆ g(x)k2 . To je u ´loha lineárn´ıch nejmenˇs´ıch ˇctverc˚ u, kterou jiˇz známe z §5.1. Normáln´ı rovnice (5.3) maj´ı tvar g′ (xk )T g′ (xk )(x − xk ) = −g′ (xk )T g(xk ). Pokud má Jacobiho matice g′ (xk ) lineárnˇe nezávislé sloupce (tedy hodnost n, viz §5.1), tuto rovnici m˚ uˇzeme vyˇreˇsit pseudoinverz´ı: xk+1 = xk − g′ (xk )+ g(xk ).

(10.13)

Algoritmus (10.13) je znám jako Gauss-Newtonova metoda. M˚ uˇzeme jej opˇet napsat obecnˇeji ve tvaru (10.1) se smˇerem hledán´ı vk = −g′ (xk )+ g(xk ) ′

T

′

(10.14a) −1 ′

T

= −(g (xk ) g (xk )) g (xk ) g(xk ) = − 21 (g′ (xk )T g′ (xk ))−1 f ′ (xk )T .

(10.14b) (10.14c)

Pro m = n máme g′ (xk )+ = g′ (xk )−1 , tedy Gauss-Newtonova metoda se redukuje na Newtonovu metodu (10.9) na ˇreˇsen´ı soustavy n rovnic s n neznámými. Tvar (10.14c) dostaneme z (10.14b) dosazen´ım derivace u ´ˇcelové funkce (10.12) f ′ (x) = 2g(x)T g′ (x) (viz §8.3.2). Vid´ıme, ˇze Gauss-Newton˚ uv smˇer (10.14c) se liˇs´ı od gradientn´ıho smˇeru (10.4) 1 ′ T ′ pouze násoben´ım matic´ı 2 (g (xk ) g (xk ))−1 . Aby byl tento smˇer sestupný, mus´ı být f ′ (xk ) vk = − 12 f ′ (xk )(g′ (xk )T g′ (xk ))−1 f ′ (xk )T < 0. Toto plat´ı, kdyˇz f ′ (xk ) 6= 0 a matice g′ (xk )T g′ (xk ) je pozitivnˇe definitn´ı (viz Cviˇcen´ı 6.18). Matice g′ (xk )T g′ (xk ) je pozitivnˇe definitn´ı právˇe tehdy, kdyˇz g′ (xk ) má lineárnˇe nezávislé sloupce 92

(dokaˇzte!), coˇz ovˇsem jiˇz pˇredpokládáme kv˚ uli existenci inverze. Tedy vid´ıme, ˇze za pˇrirozených podm´ınek je Gauss-Newton˚ uv smˇer vˇzdy sestupný. ˇ a Gauss-Newtonova metoda (tj. s jednotkovou délkou kroku) m˚ Cist´ uˇze divergovat, a to i kdyˇz je poˇcáteˇcn´ı odhad x0 libovolnˇe bl´ızko lokáln´ımu minimu funkce (10.12). Protoˇze ale Gauss-Newton˚ uv smˇer je vˇzdy sestupný, vhodnou volbou délky kroku αk lze vˇzdy zajistit konvergenci. Pˇ r´ıklad 10.5. Hledáme pˇribliˇzné ˇreˇsen´ı soustavy tˇr´ı rovnic (x − 1)2 + y 2 = 1, x4 + y 4 = 1, x2 + (y − 1)2 = 1/2 o dvou neznámých. Oba pr˚ useˇc´ıky kˇrivek daných prvn´ımi dvˇema rovnicemi jiˇz známe z Pˇr´ıkladu 10.2. Ani jeden z tˇechto pr˚ useˇc´ık˚ u neleˇz´ı na tˇret´ı kˇrivce (i kdyˇz je j´ı bl´ızko), tedy soustava je pˇreurˇcená. Nezbývá nám tedy, neˇz ji ˇreˇsit pˇribliˇznˇe. Hledáme bod (x, y) ∈ R2 , který minimalizuje ˇc´ıslo f (x, y) = g(x, y)T g(x, y) = ((x − 1)2 + y 2 − 1)2 + (x4 + y 4 − 1)2 + (x2 + (y − 1)2 − 1/2)2 kde



 (x − 1)2 + y 2 − 1 , x4 + y 4 − 1 g(x, y) =  2 2 x + (y − 1) − 1/2

  2(x − 1) 2y 4y 3  . g′ (x, y) =  4x3 2x 2(y − 1)

Rozumný poˇcáteˇcn´ı odhad je (x0 , y0 ) = (1, 1). Prvn´ı Gauss-Newtonova iterace (10.13) je  +   0 0 2 x1 1 0.75 = − 4 4  1  = . y1 1 1 1/2 2 0

Po osmé iteraci (x8 , y8 ) = ( 0.691002152515578, 0.940548357857245 ) se jiˇz hodnota f (x8 , y8 ) = 0.0008674592922855055 v rámci strojové pˇresnosti nemˇen´ı. Pˇ r´ıklad 10.6. V systému GPS máme m satelit˚ u se známými souˇradnicemi a1 , . . . , am ∈ Rn a chceme spoˇc´ıtat souˇradnice pozorovatele x ∈ Rn z namˇeˇrených vzdálenost´ı yi = kai − xk2 pozorovatele od satelit˚ u. Mˇeˇren´ı jsou zat´ıˇzena chybou, proto obecnˇe tato soustava rovnic nebude ˇ sme tuto pˇreurˇcenou nelineárn´ı soustavu ve smyslu nejmenˇs´ıch ˇctverc˚ m´ıt ˇzádné ˇreˇsen´ı. Reˇ u, tedy minimalizujme funkci m X 2 f (x) = kx − ai k2 − yi . i=1

n

m

Máme tedy g = (g1 , . . . , gm ): R → R , kde gi (x) = kx−ai k2 −yi . Derivace sloˇzek g je (pom˚ uˇze ′ T nám §8.3.2, ale udˇelejte sami!) gi (x) = (x − ai ) /kx − ai k2 . Tedy   (x − a1 )T /kx − a1 k2   .. m×n g′ (x) =  . ∈R . T (x − am ) /kx − am k2 Pak dosad´ıme do vzoreˇcku (10.13).

93

10.4.2

Rozd´ıl proti Newtonovˇ e metodˇ e

Pˇredpokládejme, ˇze bychom optimalizovali naˇs´ı u ´ˇcelovou funkci (10.12) pˇr´ımo Newtonovou metodou z §10.3.2. Spoˇc´ıtejme (proved’te sami!) Hessián funkce (10.12): ′′

′

T

′

f (x) = 2g (x) g (x) + 2

m X

gi (x)gi′′ (x).

(10.15)

i=1

Hessián je souˇctem ˇclenu obsahuj´ıc´ıho derivace prvn´ıho rádu a ˇclenu obsahuj´ıc´ıho derivace druhého ˇrádu. Vid´ıme, ˇze Gauss-Newton˚ uv smˇer (10.14c) se liˇs´ı od Newtonova smˇeru (10.11) zanedbán´ım ˇclenu druhého ˇrádu v Hessiánu (10.15). Jinými slovy, Gauss-Newtonovu metodu je moˇzno vn´ımat jako aproximaci Newtonovy metody na minimalizaci funkce (10.12) spoˇc´ıvaj´ıc´ı v tom, ˇze skuteˇcný Hessián (10.15) se aproximuje výrazem 2g′ (x)T g′ (x). To se projevuje t´ım, ˇze Gauss-Newtonova metoda obvykle konverguje pomaleji neˇz plná Newtonova metoda pouˇzitá na funkci (10.12). Ovˇsem vyhnuli jsme se poˇc´ıtán´ı druhých derivac´ı funkce g, coˇz je hlavn´ı výhoda Gauss-Newtonovy metody.

10.4.3

Levenberg-Marquardtova metoda

Levenberg-Marquardtova metoda je ˇsiroce pouˇz´ıvané vylepˇsen´ı Gauss-Newtonovy metody, které jej´ı iteraci xk+1 = xk − (g′ (xk )T g′ (xk ))−1 g′ (xk )T g(xk ) nahrazuje iterac´ı xk+1 = xk − (g′ (xk )T g′ (xk ) + µk I)−1 g′ (xk )T g(xk )

(10.16)

kde µk > 0. Vid´ıme, ˇze: • Pro malé µk se (10.16) bl´ıˇz´ı Gauss-Newtonovˇe iteraci.

• Pro velké µk je (g′ (xk )T g′ (xk ) + µk I)−1 ≈ µ−1 ızká iteraci xk+1 = k I, tedy (10.16) je bl´ −1 ′ T xk − µ−1 f (x ) gradientn´ ı metody s d´ e lkou kroku µ . k k k T´ım jsou spojeny výhody Gauss-Newtonovy metody (typicky rychlá konvergence v okol´ı optima) a gradientn´ı metody (spolehlivost i daleko od optima). Volbou parametru µk spojitˇe pˇrecház´ıme mezi obˇema metodami. Parametr µk mˇen´ıme bˇehem algoritmu. Zaˇcneme napˇr. s µ0 = 103 a pak v kaˇzdé iteraci: • Pokud iterace sn´ıˇzila u ´ˇcelovou funkci, iteraci pˇrijmeme a µk zmenˇs´ıme.

• Pokud iterace nesn´ıˇzila u ´ˇcelovou funkci, iteraci odm´ıtneme a µk zvˇetˇs´ıme. Zvˇetˇsován´ı a zmenˇsován´ı µk dˇeláme násoben´ım a dˇelen´ım konstantou, napˇr. 10. Vˇsimnˇete si, toto nahrazuje optimalizaci délky kroku αk (line search). Na algoritmus lze pohl´ıˇzet i jinak. V iteraci (10.13) se poˇc´ıtá inverze matice g′ (xk )T g′ (xk ). Tato matice je sice vˇzdy pozitivnˇe semidefinitn´ı, ale m˚ uˇze být bl´ızká singulárn´ı (kdy se to stane?). To neblaze ovlivn´ı stabilitu algoritmu. Matice (10.16) je ale vˇzdy pozitivnˇe definitn´ı (viz Cviˇcen´ı 6.17), a tedy regulárn´ı.

10.5

Cviˇ cen´ı

10.1. Najdˇete vˇsechna ˇreˇsen´ı rovnice sin x = 12 x (sinus je v radiánech) na kalkulaˇcce s nejvˇetˇs´ı pˇresnost´ı, jakou dokáˇzete. Na kalkulaˇcce sm´ıte pouˇz´ıvat jen operace +, −, ×, /, sin, cos. 94

10.2. Najdˇete lokáln´ı extrém funkce f (x, y) = x2 − y + sin(y 2 − 2x) ˇcistou Newtonovou metodou. Poˇcáteˇcn´ı odhad zvolte (x0 , y0 ) = (1, 1). 10.3. Máme m bod˚ u v rovinˇe o souˇradnic´ıch (xi , yi ), i = 1, . . . , m. Tyto body chceme proloˇzit kruˇznic´ı ve smyslu nejmenˇs´ıch ˇctverc˚ u – tj. hledáme kruˇznici se stˇredem (u, v) a polomˇerem r takovou, aby souˇcet ˇctverc˚ u kolmých vzdálenost´ı bod˚ u ke kruˇznici byl minimáln´ı. Zformulujte pˇr´ısluˇsnou optimalizaˇcn´ı u ´lohu. Odvod’te iteraci Gauss-Newtonovy a Levenberg-Marquardtovy metody. 10.4. Máme soustavu rovnic

x + y − 2xy = 1 −x + y + xy = −3 x − y + xy = 1

Je soustava lineárn´ı? Kolik má ˇreˇsen´ı a proˇc? Chceme soustavu ˇreˇsit pˇribliˇznˇe ve smyslu nejmenˇs´ıch ˇctverc˚ u, tj. minimalizovat funkci f (x, y) ve tvaru (10.12). Napiˇste iteraci a) b) c) d)

gradientn´ı metody, Newtonovy metody, Gauss-Newtonovy metody, Levenberg-Marquardtovy metody.

10.5. Rovnici x2 + 1 = 0 lze vn´ımat jako soustavu s n = 1 neznámou a m = 1 rovnic´ı. Soustava nemá ˇreˇsen´ı, chceme ji tedy ˇreˇsit pˇribliˇznˇe Gauss-Newtonovou metodou. Ovˇsem protoˇze je m = n, redukuje se Gauss-Newtonova iterace (10.13) na Newtonovu iteraci (10.9). Má tato formulace tedy smysl? K ˇcemu bude metoda konvergovat?

N´ apovˇ eda a ˇ reˇ sen´ı 10.1. Jeden koˇren je x = 0 a pak dva dalˇs´ı liˇs´ıc´ı se znaménkem. Jeden z nich z´ıskáme Newtonovou metodou: x ← x − (2 sin x − x)/(2 cos x − 1). Poˇcáteˇcn´ı odhad zvol´ıme pomoc´ı n´ aˇcrtku x = 2. Po nˇekolika iterac´ıch m´ ame x = 1.895494267033981. 10.4. Soustava je neline´ arn´ı. Nemá ˇreˇsen´ı, protoˇze po zaveden´ı promˇenné xy = z dostaneme line´ arn´ı soustavu s ˇreˇsen´ım (x, y, z) = (0.5, −1.5, −1), coˇz je spor.

95

Kapitola 11 Line´ arn´ı programov´ an´ı Line´ arn´ı rovnic´ı rozum´ıme výrok a1 x1 +· · ·+an xn = b, neboli h(x) = 0 kde h je afinn´ı funkce. Line´ arn´ı nerovnic´ı rozum´ıme výrok a1 x1 + · · · + an xn ≤ b ˇci a1 x1 + · · · + an xn ≥ b, neboli ´ g(x) ≤ 0 ˇci g(x) ≥ 0 kde g je afinn´ı funkce. Uloha line´ arn´ıho programov´ an´ı (LP, také zvané lineárn´ı optimalizace) znamená minimalizaci lineárn´ı funkce za podm´ınek ve tvaru lineárn´ıch rovnic a nerovnic. Neboli v obecné formulaci (1.7) je funkce f lineárn´ı (tj. tvaru (3.5)) a funkce gi , hi jsou afinn´ı (tj. tvaru (3.17)). Stejnˇe jako pro obecnou u ´lohu spojité optimalizace (viz §1.2) mohou nastat tˇri pˇr´ıpady: • u ´loha má (alespoˇ n jedno) optimáln´ı ˇreˇsen´ı, • u ´loha je nepˇr´ıpustná (mnoˇzina pˇr´ıpustných ˇreˇsen´ı je prázdná, omezen´ı si odporuj´ı), • u ´loha je neomezená (´ uˇcelovou funkci lze za daných omezen´ı libovolnˇe zlepˇsovat). Jednoduché u ´lohy lineárn´ıho programován´ı lze ˇreˇsit graficky.

Pˇ r´ıklad 11.1. Mˇejme lineárn´ı program min −x − y

x + 2y ≤ 14 3x − y ≥ 0 x− y≤ 2

za podm´ınek

(11.1)

Mnoˇzina X = { (x, y) ∈ R2 | x + 2y ≤ 14, 3x − y ≥ 0, x − y ≤ 2 } pˇr´ıpustných ˇreˇsen´ı této u ´lohy je pr˚ unik tˇr´ı polorovin. Tuto mnoˇzinu snadno nakresl´ıme: 3x − y = 0

8

8

c = (−1, −1) 6

6

F

x−y =2

c = (−1, −2) 4

4

2

F

X

cT x = −10

0 −2

2

x + 2y = 14

2

4

6

8

cT x = −10

0 −2

2

4

6

8

cT x = −6

T

c x = −8 −4

cT x = −14

X

cT x = −6

−4

96

´ celová funkce −x − y, neboli cT x pro x = (x, y) a c = (−1, −1), má vrstevnice kolmé k Uˇ vektoru c a roste ve smˇeru c. Proto (viz levý obrázek) u ´ˇcelová funkce na mnoˇzinˇe X nabývá ´ (globáln´ıho) minima v bodˇe (x, y) = (6, 4). Uloha má tedy jediné optimáln´ı ˇreˇsen´ı. Pokud bychom u ´ˇcelovou funkci u ´lohy (11.1) zmˇenili na −x − 2y, bude tato funkce na mnoˇzinˇe X nabývat minima ve vˇsech bodech u ´seˇcky spojuj´ıc´ı body (2, 6) a (6, 4) (viz pravý obrázek). ´ Uloha má tedy nekoneˇcnˇe mnoho optimáln´ıch ˇreˇsen´ı.

11.1

Speci´ aln´ı tvary u ´ loh LP

Algoritmy na ˇreˇsen´ı LP ˇcasto pˇredpokládaj´ı u ´lohu v nˇejakém speciáln´ım tvaru, kdy jsou dovoleny pouze jisté typy omezen´ı. Nejˇcastˇeji uˇz´ıvané speciáln´ı tvary jsou • min{ cT x | x ∈ Rn , Ax = b, x ≥ 0 }, kde A ∈ Rm×n , b ∈ Rm , c ∈ Rn . Neboli min

c1 x1 + · · · + cn xn

za podm´ınek ai1 x1 + · · · + ain xn = bi , i = 1, . . . , m xj ≥ 0 , j = 1, . . . , n

Tedy dovolujeme pouze omezen´ı typu rovnosti a nezáporné promˇenné1 . • min{ cT x | x ∈ Rn , Ax ≥ b, x ≥ 0 }

• min{ cT x | x ∈ Rn , Ax ≥ b } Tyto speciáln´ı tvary LP nemaj´ı menˇs´ı vyjadˇrovac´ı schopnost neˇz obecný tvar (ve kterém omezen´ı mohou být libovolné lineárn´ı rovnice ˇci nerovnice), nebot’ obecný tvar se dá pˇrevést na libovolný speciáln´ı tvar nˇekterou z následuj´ıc´ıch u ´prav: T • Maximalizaci funkce c x nahrad´ıme minimalizac´ı funkce −cT x. • Nerovnost aT x ≤ 0 naahrad´ıme nerovnost´ı −aT x ≥ 0.

• Rovnost aT x = b nahrad´ıme dvˇema nerovnostmi aT x ≥ b, −aT x ≥ −b.

• Nerovnost aT x ≤ b pˇrevedeme na rovnost pˇridán´ım pomocné slackov´ e promˇ enn´ e2 ui ≥ 0 jako aT x + ui = bi . Podobnˇe pˇrevedeme nerovnost aT x ≥ b na rovnost.

− • Neomezenou promˇennou xi ∈ R rozdˇel´ıme na dvˇe nezáporné promˇenné x+ i ≥ 0, xi ≥ 0 − pˇridán´ım podm´ınky xi = x+ i − xi . ´ Uloha z´ıskaná z p˚ uvodn´ı u ´lohy pomoc´ı tˇechto u ´prav je ekvivalentn´ı p˚ uvodn´ı u ´loze v tom smyslu, ˇze hodnota jejich optima je stejná a argument optima p˚ uvodn´ı u ´lohy lze ‘snadno’ z´ıskat z argumentu optima nové u ´lohy.

Pˇ r´ıklad 11.2. V u ´loze (11.1) chceme prvn´ı podm´ınku pˇrevést na rovnost. To udˇeláme zaveden´ım slackové promˇenné u ≥ 0. Transformovaná u ´loha je min −x − y

za podm´ınek

x + 2y + u = 14 3x − y ≥ 0 x− y ≤ 2 u ≥ 0

1

Tomuto tvaru se nˇekdy ˇr´ık´ a standardn´ı. Bohuˇzel n´ azvoslov´ı r˚ uzn´ ych tvar˚ u LP nen´ı jednotné, n´ azvy jako ‘standardn´ı tvar’, ‘z´ akladn´ı tvar’ ˇci ‘kanonick´ y tvar’ tedy mohou znamenat v r˚ uzn´ ych knihách nˇeco jiného. 2 Slack znamen´ a anglicky napˇr. mezeru mezi zd´ı a skˇr´ın´ı, kter´ a nen´ı zcela pˇriraˇzená ke zdi. Term´ın slack variable nem´ a ust´ alen´ y ˇcesk´ y ekvivalent, nˇekdy se pˇrekl´ adá jako skluzov´ a promˇenn´ a.

97

Je-li (x, y, u) optimum této u ´lohy, optimum u ´lohy (11.1) je (x, y).

Pˇ r´ıklad 11.3. V u ´loze (11.1) obˇe promˇenné mohou m´ıt libovolné znaménko. Chceme pˇrevést u ´lohu na tvar, kde vˇsechny promˇenné jsou nezáporné. Dosad´ıme x = x+ − x− a y = y+ − y− , kde x+ , x− , y+ , y− ≥ 0. Výsledná u ´loha je min −x+ + x− − y+ + y−

za podm´ınek

11.1.1

x+ − x− + 2y+ − 2y− 3x+ − 3x− − y+ + y− x+ − x− − y+ + y− x+ , x− , y+ , y−

≤ ≥ ≤ ≥

14 0 2 0

Po ˇ c´ astech afinn´ı funkce

Mˇejme funkci f : Rn → R danou vzorcem k

f (x) = max(cTi x + di ),

(11.2)

i=1

kde ci ∈ Rn a di ∈ R jsou dány. Tato funkce nen´ı lineárn´ı ani afinn´ı, je po ˇcástech afinn´ı (viz Cviˇcen´ı 11.6). Pˇr´ıkladem pro n = 1 a k = 3 je funkce f (x) = max{−x − 2, 0, 12 (x − 1)}, jej´ıˇz graf je na obrázku: f (x) 2

−4

−2

1

5

x

ˇ sme u Reˇ ´lohu min{ f (x) | x ∈ Rn , Ax ≥ b }.

(11.3)

To nen´ı u ´loha LP, nebot’ jej´ı u ´ˇcelová funkce nen´ı lineárn´ı. Ovˇsem lze ji pˇrevést na LP zaveden´ım pomocné promˇenné: min{ f (x) | x ∈ Rn , Ax ≥ b } = min{ z | (x, z) ∈ Rn+1 , f (x) ≤ z, Ax ≥ b }

(11.4a)

= min{ z | (x, z) ∈ Rn+1 , max(cTi x + di ) ≤ z, Ax ≥ b } (11.4b) i

= min{ z | (x, z) ∈ R

n+1

, (∀i)(cTi x + di ≤ z), Ax ≥ b } (11.4c)

´lohy je f (x) = z. Kdyby bylo f (x) < z, mohli Rovnost (11.4a) plat´ı proto, ˇze v optimu pravé u bychom totiˇz z zmenˇsit bez poruˇsen´ı omezen´ı a tedy (x, z) by nebylo optimum. Rovnost (11.4c) plat´ı proto, ˇze pro libovolná ˇc´ısla ai , b plat´ı max ai ≤ b i

⇐⇒

ˇ adek (11.4c) je jiˇz u R´ ´loha LP.

98

(∀i)(ai ≤ b).

(11.5)

´ Pˇ r´ıklad 11.4. Uloha

min max{ 3x1 + 4x2 , 2x1 − 3x2 }

za podm.

x1 + 2x2 ≤ 14 3x1 − x2 ≥ 0 x1 − x2 ≤ 2

nen´ı LP, protoˇze u ´ˇcelová funkce f (x1 , x2 ) = max{ 3x1 + 4x2 , 2x1 − 3x2 } nen´ı lineárn´ı ani afinn´ı ´ (nakreslete si na pap´ır jej´ı vrstevnice!). Ulohu lze ale pˇreformulovat na LP min z za podm. 3x1 2x1 x1 3x1 x1

+ − + − −

4x2 3x2 2x2 x2 x2

≤ ≤ ≤ ≥ ≤

z z 14 0 2

Tento pˇrevod lze uˇz´ıt i pro funkce obsahuj´ıc´ı absolutn´ı hodnoty, nebot’ |x| = max{−x, x}. Je ale nutná opatrnost: neplat´ı nic takového jako (mini ai ≤ b) ⇔ (∀i)(ai ≤ b), tedy máme-li ˇspatnou kombinaci minim/maxim a nerovnost´ı, pˇrevod na LP nen´ı moˇzný.

11.2

Nˇ ekter´ e aplikace LP

11.2.1

Optim´ aln´ı v´ yrobn´ı program

Z m druh˚ u surovin vyráb´ıme n druh˚ u výrobk˚ u. • aij = mnoˇzstv´ı suroviny druhu i potˇrebné na výrobu výrobku druhu j • bi = mnoˇzstv´ı suroviny druhu i, které máme k dispozici • cj = zisk z vyroben´ı jednoho výrobku druhu j • xj = poˇcet vyrobených výrobk˚ u druhu j

´ ˇ sen´ı: Ukolem je zjistit, kolik jakých výrobk˚ u máme vyrobit, abychom dosáhli nejvˇetˇsiho zisku. Reˇ X X n n aij xj ≤ bi , xj ≥ 0 . (11.6) max cj xj j=1

j=1

Pˇ r´ıklad 11.5. Pán u stánku prodává lup´ınky za 120 Kˇc/kg a hranolky za 76 Kˇc/kg. Na výrobu 1 kg lup´ınk˚ u se spotˇrebuje 2 kg brambor a 0.4 kg oleje. Na výrobu 1 kg hranolku se spotˇrebuje 1.5 kg brambor a 0.2 kg oleje. Je nakoupeno 100 kg brambor a 16 kg oleje. Brambory stály 12 Kˇc/kg, olej 40 Kˇc/kg. Kolik má pán vyrobit lup´ınk˚ u a kolik hranolk˚ u, aby co nejv´ıce vydˇelal? To lze vyjádˇrit jako LP max 120l + 76h za podm´ınek

2l + 1.5h ≤ 100 0.4l + 0.2h ≤ 16 l, h ≥ 0

Pˇritom pˇredpokládáme, ˇze zbytky surovin se po pracovn´ı dobˇe vyhod´ı. Pokud se zbytky vyuˇzij´ı, tak maximalizujeme (120 − 24 − 16)l + (76 − 18 − 8)h = 80l + 50h. V obou pˇr´ıpadech je optimáln´ı ˇreˇsen´ı l = 20 kg lup´ınk˚ u a h = 40 kg hranolk˚ u. 99

11.2.2

Smˇ eˇ sovac´ı (dietn´ı) probl´ em

Z n druh˚ u surovin, z nichˇz kaˇzdá je smˇes´ı m druh˚ u látek, máme nam´ıchat koneˇcný produkt o poˇzadovaném sloˇzen´ı tak, aby cena surovin byla minimáln´ı. • aij = mnoˇzstv´ı látky druhu i obsaˇzené v jednotkovém mnoˇzstv´ı suroviny druhu j • bi = nejmenˇs´ı poˇzadované mnoˇzstv´ı látky druhu i v koneˇcném produktu

• cj = jednotková cena suroviny druhu j

• xj = mnoˇzstv´ı suroviny druhu j ˇ Reˇsen´ı: n X n X min aij xj ≥ bi , xj ≥ 0 . cj xj

(11.7)

j=1

j=1

Pˇ r´ıklad 11.6. Jste kuchaˇrka v menze a chcete uvaˇrit pro studenty co nejlevnˇejˇs´ı obˇed, ve kterém ovˇsem kv˚ uli pˇredpis˚ um mus´ı být dané minimáln´ı mnoˇzstv´ı ˇzivin (cukr˚ u, b´ılkovin a vitam´ın˚ u). Obˇed vaˇr´ıte ze tˇr´ı surovin: brambor, masa a zeleniny. Jsou dány hodnoty v tabulce:

obsah cukr˚ u obsah b´ılkovin obsah vitam´ın˚ u cena

na jednotku brambor 2 2 1 25

na jednotku masa 1 6 3 50

na jednotku zeleniny 1 1 6 80

min. poˇzadavek na jeden obˇed 8 16 8

Kolik je tˇreba kaˇzdé suroviny na jeden obˇed? Minimalizujeme 25b+50m+80z za podm´ınek 2b+m+z ≥ 8, 2b+6m+z ≥ 16, b+3m+6z ≥ 8 a b, m, z ≥ 0. Optimáln´ı ˇreˇsen´ı je b = 3.2, m = 1.6, z = 0 s hodnotou 160.

11.2.3

Dopravn´ı probl´ em

Máme m výrobc˚ u a n spotˇrebitel˚ u. • ai = mnoˇzstv´ı zboˇz´ı vyrábˇené výrobcem i

• bj = mnoˇzstv´ı zboˇz´ı poˇzadované spotˇrebitelem j

• cij = cena dopravy jednotky zboˇz´ı od výrobce i ke spotˇrebiteli j

• xij = mnoˇzstv´ı zboˇz´ı vezené od výrobce i ke spotˇrebiteli j ˇ sen´ı: Chceme co nejlevnˇeji rozvézt zboˇz´ı od výrobc˚ u ke spotˇrebitel˚ um. Reˇ n X m n m X X X min xij = ai , xij = bj , xij ≥ 0 . cij xij i=1 j=1

j=1

(11.8)

i=1

P Pn Zadán´ı mus´ı splˇ novat m ıdka mus´ı být rovna poptávce), jinak bude i=1 ai = j=1 bj (nab´ Pn P ´ u ´loha nepˇr´ıpustná. Uloha jde modifikovat tak, ˇze dovol´ıme m j=1 bj (proved’te!). i=1 ai ≥

100

11.3

Pouˇ zit´ı na nehomogenn´ı line´ arn´ı soustavy

11.3.1

Vektorov´ e normy

Norma formalizuje pojem ‘délky’ vektoru x. nuje tyto axiomy: Definice 11.1. Funkce k·k: Rn → R se nazývá vektorová3 norma, jestliˇze splˇ 1. Jestliˇze kxk = 0 pak x = 0. 2. kαxk = |α| kxk pro kaˇzdé α ∈ R a x ∈ Rn (norma je kladnˇe homogenn´ı).

3. kx + yk ≤ kxk + kyk pro kaˇzdé x, y ∈ Rn (troj´ uheln´ıková nerovnost). Z axiom˚ u plynou tyto dalˇs´ı vlastnosti normy: • k0k = 0, coˇz plyne z homogenity pro α = 0

• kxk ≥ 0 pro kaˇzdé x ∈ Rn . To jde odvodit tak, ˇze v troj´ uheln´ıkové nerovnosti poloˇz´ıme y = −x, coˇz dá kx − xk = k0k = 0 ≤ kxk + k−xk = 2kxk,

kde na pravé stranˇe jsme pouˇzili homogenitu. Jednotkov´ a sf´ era normy je mnoˇzina { x ∈ Rn | kxk = 1 }, tedy vrstevnice normy jednotkové výˇsky. D´ıky homogenitˇe je jednotková sféra stˇredovˇe symetrická a jej´ı tvar zcela urˇcuje normu. Uved’me pˇr´ıklady norem. Základn´ım pˇr´ıkladem je p-norma kxkp = (|x1 |p + · · · + |xn |p )1/p . Mus´ı být p ≥ 1, jinak neplat´ı troj´ uheln´ıková nerovnost. Nejˇcastˇeji naraz´ıte na: • kxk1 = |x1 | + · · · + |xn |. Nˇekdy se j´ı ˇr´ıká manhattanská norma, protoˇze v systému pravou ´hlých ulic je vzdálenost mezi body x a y rovna kx − yk1 . √ p • kxk2 = x21 + · · · + x2n = xT x. Je to známá eukleidovská norma.

• kxk∞ = limp→∞ kxkp = max{|x1 |, . . . , |xn |} (dokaˇzte rovnost výpoˇctem limity!). Nˇekdy se ˇ sevova norma nebo max-norma. j´ı ˇr´ıká Cebyˇ Jednotkové sféry tˇechto norem v R2 vypadaj´ı takto:

0

kxk1 = 1

1

0

1

kxk2 = 1

0

1

kxk∞ = 1

Existuj´ı ale i normy, které nejsou p-normy, napˇr. p • kxk = 2|x1 | + x22 + x23 + max{|x4 |, |x5 |} je norma na R5 .

• Je-li kxk norma a A je ˇctvercová nebo u ´zká matice s plnou hodnost´ı, je také kAxk norma.

3

Existuj´ı i maticové normy, coˇz jsou funkce Rm×n → R. Pˇr´ıkladem je Frobeniova norma (7.8).

101

11.3.2

Pˇ ribliˇ zn´ eˇ reˇ sen´ı pˇ reurˇ cen´ ych soustav

Mˇejme pˇreurˇcenou lineárn´ı soustavu Ax = b, kde A ∈ Rm×n a 0 6= b ∈ Rm . Nalezen´ı jej´ıho pˇribliˇzného ˇreˇsen´ı formulujme jako u ´lohu min kAx − bkp .

x∈Rn

(11.9)

Uvaˇzujme tˇri pˇr´ıpady: • Pro p = ∞ hledáme takové x, které minimalizuje výraz m

kAx − bk∞ = max |aTi x − bi |, i=1

(11.10)

tedy minimalizuje maximáln´ı residuum. Toto ˇreˇsen´ı je známé pod názvem minimaxn´ı nebo ˇ sevovo. Uloha ´ Cebyˇ je ekvivalentn´ı lineárn´ımu programu min z za podm. aTi x − bi ≤ z, i = 1, . . . , m −aTi x + bi ≤ z, i = 1, . . . , m neboli min{ z ∈ R | x ∈ Rn , −z1 ≤ Ax − b ≤ z1 }.

(11.11)

• Pro p = 2 dostaneme ˇreˇsen´ı ve smyslu nejmenˇs´ıch ˇctverc˚ u, které jsme odvodili v §5.1. • Pro p = 1 hledáme takové x, které minimalizuje výraz kAx − bk1 =

m X i=1

|aTi x − bi |,

(11.12)

´ kde a1 , . . . , am jsou ˇrádky matice A. Uloha je ekvivalentn´ı lineárn´ımu programu min

m X

zi

i=1

za podm.

aTi x − bi ≤ zi , i = 1, . . . , m −aTi x + bi ≤ zi , i = 1, . . . , m

neboli min{ 1T z | z ∈ Rm , x ∈ Rn , −z ≤ Ax − b ≤ z }.

11.3.3

(11.13)

Line´ arn´ı regrese

Vrat’me se k lineárn´ı regresi z §5.1.3 (znovu pˇreˇctˇete!). Funkˇcn´ı závislost pˇribliˇznˇe popsanou namˇeˇrenými dvojicemi (ti , yi ), i = 1, . . . , m, jsme aproximovali regresn´ı funkc´ı f (t, x) = x1 ϕ1 (t) + · · · + xn ϕn (t) = ϕ(t)T x, kde parametry x jsou takové, aby yi ≈ f (ti , x) pro vˇsechna i. Pˇribliˇzné rovnosti ≈ jsme chápali ve smyslu nejmenˇs´ıch ˇctverc˚ u, tedy hledali jsme takové x které minimalizovalo funkci m X (yi − f (ti , x))2 = ky − Axk2 , i=1

102

(11.14)

kde y = (y1 , . . . , ym ) a prvky matice A jsou aij = ϕj (ti ). Tedy ˇreˇs´ıme u ´lohu (11.9) pro p = 2. M˚ uˇzeme ale pouˇz´ıt i jiné normy neˇz eukleidovskou. Pro p = 1 minimalizujeme m X i=1

|yi − f (ti , x)| = ky − Axk1

(11.15)

a pro p = ∞ minimalizujeme m

max |yi − f (ti , x)| = ky − Axk∞ . i=1

(11.16)

Dále ukáˇzeme, k ˇcemu to m˚ uˇze být dobré. Regrese ve smyslu ∞-normy je vhodná napˇr. pˇri aproximaci funkc´ı. Pˇ r´ıklad 11.7. Na poˇc´ıtaˇci bez matematického koprocesoru potˇrebujeme mnohokrát vyhodnocovat funkci sinus na intervalu [0, π2 ]. Protoˇze výpoˇcet hodnot této funkce by trvalo pˇr´ıliˇs dlouho, chceme ji aproximovat polynomem tˇret´ıho stupnˇe x1 + x2 t + x3 t2 + x4 t3 , jehoˇz hodnoty se spoπi ˇc´ıtaj´ı rychleji. Spoˇc´ıtejme hodnoty yi = sin ti funkce v dostateˇcném poˇctu bod˚ u ti = 2n pro ˇ i = 1, . . . , m. Koeficienty polynomu je vhodné hledat minimalizac´ı Cebyˇsevova kritéria (11.16), nebot’ to nám dá záruku, ˇze chyba aproximace nikde nepˇresáhne hodnotu, která je nejmenˇs´ı moˇzná pro daný stupeˇ n polynomu. Regrese ve smyslu 1-normy je uˇziteˇcná tehdy, kdyˇz je malá ˇcást hodnot yi namˇeˇrená u ´plnˇe ˇspatnˇe (napˇr. se nˇekdo pˇri zapisován´ı ˇc´ısel spletl v desetinné ˇcárce). Takovým hodnotám se ˇr´ıká vych´ ylen´ e hodnoty (outliers). Discipl´ına zabývaj´ıc´ı se modelován´ım funkˇcn´ıch závislost´ı za pˇr´ıtomnosti vychýlených hodnot se nazývá robustn´ı regrese. V tomto pˇr´ıpadˇe ˇreˇsen´ı ve smyslu nejmenˇs´ıch ˇctverc˚ u nen´ı vhodné (nen´ı ’robustn´ı’), protoˇze i jediný vychýlený bod velmi ovlivn´ı ˇreˇsen´ı. Regrese ve smyslu 1-normy je proti vychýleným bod˚ um odolnˇejˇs´ı. Ukáˇzeme to na nejjednoduˇsˇs´ım moˇzném pˇr´ıpadu regrese: odhad hodnoty jediného ˇc´ısla ze souboru jeho nepˇresných mˇeˇren´ı. Pro daná ˇc´ısla y = (y1 , . . . , ym ) ∈ Rm hledáme x ∈ R minimalizuj´ıc´ı funkci f (x) = k(x − y1 , . . . , x − ym )kp = k1x − ykp . (11.17) ˇ sen´ım je x = 1 minm yi + maxm yi , tedy bod • Pro p = ∞ je f (x) = maxm i=1 |x − yi |. Reˇ i=1 i=1 2 v polovinˇe mezi krajn´ımi body. pPm P 2 ˇ sen´ ım je aritmetický pr˚ umˇer, x = m1 m • Pro p = 2 je f (x) = i=1 yi (viz i=1 (x − yi ) . Reˇ Pˇr´ıklad 5.4). Pm ˇ sen´ım je medián z ˇc´ısel yi (dokaˇzte!). Medián • Pro p = 1 je f (x) = i=1 |x − yi |. Reˇ se vypoˇcte tak, ˇze seˇrad´ıme ˇc´ısla yi podle velikosti a vezmeme prostˇredn´ı z nich. Pokud je m sudé, máme dva ‘prostˇredn´ı prvky’ a v tom pˇr´ıpadˇe funkce f nabývá minima v jejich libovolné konvexn´ı kombinaci. Je pak u ´zus definovat medián jako aritmetický pr˚ umˇer prostˇredn´ıch prvk˚ u. Pˇredpokládejme nyn´ı, ˇze jedno z ˇc´ısel, napˇr. y1 , se zvˇetˇsuje. V tom pˇr´ıpadˇe se ˇreˇsen´ı x pro r˚ uzná p budou chovat r˚ uznˇe. Napˇr. aritmetický pr˚ umˇer se bude zvˇetˇsovat, a to tak, ˇze zvˇetˇsován´ım hodnoty y1 dosáhneme libovolné hodnoty x. Pro medián to ovˇsem neplat´ı – zvˇetˇsován´ım jediného bodu y1 ovlivn´ıme x jen natolik, nakolik to zmˇen´ı poˇrad´ı bod˚ u. Jeho libovolným zvˇetˇsován´ım nedosáhneme libovolné hodnoty x.

103

ˇ erou zmˇeˇr´ıme pr˚ Pˇ r´ıklad 11.8. Supl´ umˇer ocelové kuliˇcky v nˇekolika m´ıstech, dostaneme hodnoty y = (1.02, 1.04, 0.99, 2.03) (cm). Pˇri posledn´ım mˇeˇren´ı jsme se na stupnici pˇrehlédli, proto je posledn´ı hodnota u ´plnˇe ˇspatnˇe. Z tˇechto mˇeˇren´ı chceme odhadnout skuteˇcný pr˚ umˇer. Máme m

1 X yi = 1.27, m i=1

1 m m min yi + max yi = 1.51, i=1 2 i=1

m

median yi = 1.03. i=1

Je zjevné, ˇze medián je neovlivnˇen vychýleným bodem, zat´ımco ostatn´ı odhady ano.

Ve sloˇzitˇejˇs´ım pˇr´ıpadˇe, napˇr. prokládán´ı dat polynomem jako v Pˇr´ıkladu 5.4, se nedá robustnost reˇsen´ı ve smyslu 1-normy takto jednoduˇse formálnˇe ukázat a analýza m˚ uˇze být mnohem tˇeˇzˇs´ı. Ale intuitivnˇe bude situace obdobná: ˇreˇsen´ı ve smyslu 1-normy bude ménˇe citlivé na vychýlené body neˇz ˇreˇsen´ı ve smyslu 2-normy.

11.4

Cviˇ cen´ı

11.1. Najdˇete graficky mnoˇzinu optimáln´ıch ˇreˇsen´ı u ´lohy min c1 x1 + c2 x2 + c3 x3 za podm. x1 + x2 x1 + 2x2 x1 + x2 x1 , x2 , x3

≥ ≤ ≤ ≥

1 3 10 0

pro následuj´ıc´ı pˇr´ıpady: (a) c = (−1, 0, 1), (b) c = (0, 1, 0), (c) c = (0, 0, −1).

11.2. Vyˇreˇste u ´vahou tyto jednoduché u ´lohy LP a napiˇste co nejjednoduˇsˇs´ı výraz pro optimáln´ı hodnotu. Vektor c ∈ Rn a ˇc´ıslo k ∈ N, 1 ≤ k ≤ n, jsou dány. a) b) c) d) e) f) g) h) i) j)

max{ cT x | 0 ≤ x ≤ 1 } max{ cT x | −1 ≤ x ≤ 1 } max{ cT x | x ≥ 0, 1T x = 1 } max{ cT x | x ≥ 0, 1T x ≤ 1 } max{ cT x | −1 ≤ 1T x ≤ 1 } max{ cT x | x ≥ 0, 1T x = k } max{ cT x | 0 ≤ x ≤ 1, 1T x = k } max{ cT x | 0 ≤ x ≤ 1, 1T x ≤ k } max{ cT x | 0 ≤ x1 ≤ x2 ≤ · · · ≤ xn ≤ 1 } (⋆) max{ cT x | −y ≤ x ≤ y, 1T y = k, y ≤ 1 }

11.3. Pokud to dokáˇzete, pˇreved’te na LP. a) b) c) d) e)

min{ |x1 | + |x2 | | 2x1 − x2 ≥ 1, −x1 + 2x2 ≥ 1 } max{ |x1 − c1 | + · · · + |xn − cn | | a1 x1 + · · · + an xn ≥ b } max{ cT x | Ax = b, |dT x| ≤ 1, x ≥ 0 } P T minx∈Rn Ll=1 maxK k=1 (ckl x + dkl ) Pm minx∈Rn i=1 f (aTi x − bi ), kde funkce f je definována obrázkem 104

f (x) 2 1

−2

f) g) h) i)

−1

1

3

x

min{ kAx − bk1 | x ∈ Rn , kxk∞ ≤ 1 } min{ kxk1 | x ∈ Rn , Ax = b } min{ kxk1 | x ∈ Rn , kAx − bk∞ ≤ 1 } minx∈Rn (kAx − bk1 + kxk∞ )

11.4. Máme algoritmus (ˇcernou skˇr´ıˇ nku) na ˇreˇsen´ı LP, kterou m˚ uˇzeme zavolat i v´ıcekrát. S pomoc´ı tohoto algoritmu vyˇreˇste u ´lohu max{ |cT x| | Ax = b, x ≥ 0 }?

11.5. Dokaˇzte nebo vyvrat’te následuj´ıc´ı rovnosti. Zde c ∈ Rn a A ∈ Rm×n jsou dány, k · k je libovolná norma, a optimalizuje se pˇres promˇenné x ∈ Rn . a) max{ cT x | x ∈ Rn , kxk = 1 } = max{ cT x | x ∈ Rn , kxk ≤ 1 } b) min{ cT x | x ∈ Rn , kxk = 1 } = min{ cT x | x ∈ Rn , kxk ≤ 1 } c) max{ kAxk | x ∈ Rn , kxk = 1 } = max{ kAxk | x ∈ Rn , kxk ≤ 1 } Nápovˇeda: Inspirujte se u ´vahou v §11.1.1.

11.6. Pochopte kód v Matlabu, který nakresl´ı graf funkce f (x) = maxki=1 (cTi x + di ) pro x ∈ R2 : k = 200; N = 40; cd = randn(3,k); x1 = ones(N,1)*linspace(-1,1,N); x2 = linspace(-1,1,N)’*ones(1,N); x = [x1(:)’; x2(:)’]; x(3,:) = 1; meshc(x1,x2,reshape(max(cd’*x,[],1),[N N])); axis vis3d 11.7. Hledáme nejvˇetˇs´ı hyperkouli B(a, r) = { x ∈ Rn | kx − ak2 ≤ r }, která se vejde do polyedru P = { x ∈ Rn | Ax ≤ b }. Tedy hledáme maximáln´ı r za podm´ınky B(a, r) ⊆ P , kde optimalizujeme pˇres promˇenné (a, r). Vyjádˇrete jako LP.

105

11.8. Máme kladku s provazem, jehoˇz oba konce konˇc´ı hákem. Na levém háku vis´ı n závaˇz´ı na provázc´ıch, pˇriˇcemˇz i-té závaˇz´ı má t´ıhu mi a jeho výˇska nad zem´ı je di , pro i = 1, . . . , n. Na pravém háku vis´ı n′ závaˇz´ı na provázc´ıch, pˇriˇcemˇz i-té závaˇz´ı má t´ıhu m′i a jeho výˇska nad zem´ı je d′i , pro i = 1, . . . , n′ . Výˇsky di a d′i se mˇeˇr´ı v poloze, kdy jsou oba háky ve stejné výˇsce nad zem´ı. Kladka se pohybuje bez tˇren´ı, provaz a provázky jsou nekoneˇcnˇe ohebné, provázky a háky maj´ı nulovou hmotnost. Obrázek ukazuje pˇr´ıklad pro n = 3, n′ = 2. Soustava má jediný stupeˇ n volnosti daný otáˇcen´ım kladky. Oznaˇcme jako x výˇsku levého háku nad bodem, kdy jsou oba háky ve stejné výˇsce – tedy pro x = 0 jsou oba háky ve stejné výˇsce a pro x > 0 bude levý hák o 2x výˇse neˇz pravý hák. V závislosti na x kaˇzdé závaˇz´ı bud’ vis´ı nad zem´ı (pak je jeho potenciáln´ı energie rovna mi krát výˇska nad zem´ı) nebo leˇz´ı na zemi (pak je jeho potenciáln´ı energie nulová). Soustava bude v rovnováze pˇri minimáln´ı celkové potenciáln´ı energii.

m′1 m′2

m3 m1 d′1

d1

m2

d3

d′2

d2

a) Napiˇste vzorec pro celkovou potenciáln´ı energii soustavy jako funkci x. b) Napiˇste lineárn´ı program, jehoˇz optimum je rovno minimáln´ı potenciáln´ı energii soustavy. Nen´ı-li to moˇzné, vysvˇetlete. 11.9. Uvaˇzujme Pˇr´ıklad 11.5 takto pozmˇenˇený: pán má pomocn´ıka, kterému plat´ı 10 Kˇc za kaˇzdý kg vyrobeného zboˇz´ı (je jedno, zda to jsou lup´ınky nebo hranolky). Ovˇsem pokud se toho vyrob´ı hodnˇe, chce pomocn´ık vˇetˇs´ı plat, protoˇze mus´ı z˚ ustat pˇresˇcas. Tak za kaˇzdý kg nad 20 kg vyrobeného zboˇz´ı si nechá pˇriplatit dalˇs´ıch 10 Kˇc, a za kaˇzdý kg nad 30 kg vyrobeného zboˇz´ı si nechá pˇriplatit dalˇs´ıch 20 Kˇc (tedy za kaˇzdý kg nad 30 kg vyrobeného zboˇz´ı dostane 10 + 10 + 20 = 40 Kˇc). Kolik má pán vyrobit lup´ınk˚ u a hranolk˚ u, aby mˇel co nejvˇetˇs´ı denn´ı zisk (tj. trˇzbu z prodeje minus plat pomocn´ıkovi)? Zformulujte jako LP. 11.10. Veverka pˇred zimou potˇrebuje pˇrerovnat zásoby oˇr´ıˇsk˚ u. Stávaj´ıc´ı zásoby má v m jamkách, 2 pˇriˇcemˇz i-tá jamka má souˇradnice pi ∈ R a je v n´ı ai oˇr´ıˇsk˚ u. Potˇrebuje je pˇrenosit do n nových pˇripravených jamek, pˇriˇcemˇz j-tá jamka má souˇradnice qj ∈ R2 a na konci v n´ı bude yj oˇr´ıˇsk˚ u. Veverka unese najednou jen jeden oˇr´ıˇsek. Necht’ xij oznaˇcuje celkový poˇcet oˇr´ıˇsk˚ u pˇrenesených ze staré jamky i do nové jamky j. Uvaˇzujte dvˇe u ´lohy: ˇ ısla yj jsou dána. Hledaj´ı se taková ˇc´ısla xij , aby se veverka vykonala co nejménˇe a) C´ práce, kde práce na pˇrenesen´ı jednoho oˇr´ıˇsku je pˇr´ımo u ´mˇerná vzdálenosti (vzduˇsnou ˇcarou). Bˇeh bez oˇr´ıˇsku se za práci nepovaˇzuje. b) Hledaj´ı se ˇc´ısla xij a yj tak, aby veverka vykonala co nejménˇe práce a nav´ıc byly v nových jamkách oˇr´ıˇsky rozloˇzeny co nejrovnomˇernˇeji, ˇc´ımˇz minimalizuje ˇskodu zp˚ usobenou pˇr´ıpadnou krádeˇz´ı. Pˇresnˇeji, aby rozd´ıl mezi nejvˇetˇs´ım a nejvˇetˇs´ım z ˇc´ısel yj byl menˇs´ı neˇz dané ˇc´ıslo t . 106

Formulujte obˇe u ´lohy jako LP. Pˇredpokládejte, ˇze poˇcty oˇr´ıˇsk˚ u jsou nezáporná reálná ˇc´ısla, aˇc ve skuteˇcnosti mohou být pouze nezáporná celá ˇc´ısla.

N´ apovˇ eda a ˇ reˇ sen´ı P 11.2.a) max{ cT x | 0 ≤ x ≤ 1 } = ni=1 max{0, ci }, tedy optim´ aln´ı hodnota je souˇcet kladn´ ych ˇc´ısel ci . D˚ ukaz: Ukaˇzme, ˇze optimum se nab´ yv´ a pro takové x, ˇze xi = 0 pro ci < 0 a xi = 1 pro ci > 0 (pro ci = 0 je xi libovolné). Kdyby to tak totiˇz nebylo, mohli bychom ˇc´ıslo cT x zvˇetˇsit zmenˇsen´ım nˇejakého xi pro ci < 0 nebo zvˇetˇsen´ım pro ci > 0. Tedy x by nebyl optim´ aln´ı argument. Pn 11.2.b) aˇze se podobnˇe. i=1 |ci |. Dok´

11.2.c) maxni=1 ci

11.2.d) maxni=1 max{0, ci } = max 0, maxni=1 ci

11.2.e) Kdyˇz ci = a pro kaˇzdé i (tj. vˇsechna ci jsou stejná), tak optim´ aln´ı hodnota je |a|. Jinak je u ´ loha neomezená. 11.2.i) Nápovˇeda: substituujte yi = xi − xi−1

11.3.a) min{ z1 + z2 | x1 , x2 , z1 , z2 ∈ R, 2x1 − x2 ≥ 1, −x1 + 2x2 ≥ 1, x1 ≤ z1 , x2 ≤ z2 , −x1 ≤ z1 , −x2 ≤ z2 }

11.3.b) Nejde.

11.3.c) max{ cT x | Ax = b, dT x ≤ 1, −dT x ≤ 1, x ≥ 0 }

11.3.d) min{ 1T z | cTkl x+dkl ≤ zl (∀k, l), −cTkl x−dkl ≤ zl (∀k, l), x ∈ Rn , z ∈ RL } (analogické §11.1.1) 11.3.f) min{ 1T z | x ∈ Rn , z ∈ Rm , −z ≤ Ax − b ≤ z, −1 ≤ x ≤ 1 }

11.3.i) min{ 1T y + z | x ∈ Rn , y ∈ Rm , z ∈ R, −z ≤ Ax − b ≤ z, −z1 ≤ x ≤ z1 }

aˇzeme pˇrevést na jedinou u ´ lohu LP. Ale lze vyˇreˇsit vypoˇcten´ım 11.4. Postupem uveden´ ym v §11.1 nedok´ dvou u ´ loh LP: optim´ aln´ı hodnota je max{A, −B}, kde A = max{ cT x | Ax = b, x ≥ 0 } a B = max{ −cT x | Ax = b, x ≥ 0 }. P P ′ 11.8.a) E(x) = ni=1 mi max(di + x, 0) + ni=1 m′i max(d′i − x, 0) P P ′ 11.8.b) min{ ni=1 mi zi + ni=1 m′i zi′ | x, zi , zi′ ∈ R, zi ≥ di + x, zi′ ≥ d′i − x, zi ≥ 0, zi′ ≥ 0 }

11.9. Stejná u ´ loha jako v Pˇr´ıkladu 11.5, jen u ´ˇcelová funkce se zmˇen´ı na 120l + 76h − f (l + h) kde f (t) = max{ 10t, 200 + 20(t − 20), 400 + 40(t − 30) }. To pˇrevedeme na LP max 120l + 76h − z

za podm´ınek

10l 20l 40l 2l 0.4l

107

+ + + + +

10h − z ≤ 0 20h − z ≤ 200 40h − z ≤ 800 1.5h ≤ 100 0.2h ≤ 16 l, h ≥ 0

Kapitola 12 Konvexn´ı mnoˇ ziny a polyedry Definice 12.1. Mnoˇzina X ⊆ Rn se nazývá konvexn´ı, jestliˇze x ∈ X, y ∈ X, 0 ≤ α ≤ 1

=⇒

αx + (1 − α)y ∈ X.

(12.1)

Mnoˇzina { αx + (1 − α)y | 0 ≤ α ≤ 1 } je u ´seˇcka spojuj´ıc´ı body x a y (viz Pˇr´ıklad 3.6). Definice tedy ˇr´ıká, ˇze mnoˇzina je konvexn´ı, jestliˇze s kaˇzdými dvˇema body obsahuje i u ´seˇcku, 2 která je spojuje. Obrázek ukazuje pˇr´ıklad konvexn´ı a nekonvexn´ı mnoˇziny v R :

y x

Konvexn´ı mnoˇzinu lze definovat i abstraktnˇeji. Konvexn´ı kombinace vektor˚ u x1 , . . . , xk je jejich lineárn´ı kombinace α1 x1 + · · · + αk xk taková, ˇze α1 + · · · + αk = 1 a α1 , . . . , αk ≥ 0. Mnoˇzina je konvexn´ı právˇe tehdy, kdyˇz je uzavˇrená v˚ uˇci konvexn´ım kombinac´ım (neboli kaˇzdá konvexn´ı kombinace vektor˚ u z mnoˇziny leˇz´ı v mnoˇzinˇe). Lze dokázat indukc´ı, ˇze tato definice je ekvivalentn´ı Definici 12.1. Vˇsimnˇete si, ˇze αx + (1 − α)y pro 0 ≤ α ≤ 1 je konvexn´ı kombinac´ı dvou vektor˚ u x, y, nebot’ α + (1 − α) = 1, α ≥ 0, 1 − α ≥ 0. Konvexn´ı obal vektor˚ u x1 , . . . , xk je mnoˇzina vˇsech jejich konvexn´ıch kombinac´ı. Tuto k-tici vektor˚ u m˚ uˇzeme vn´ımat jako mnoˇzinu X = {x1 , . . . , xk }, konvexn´ı obal pak znaˇc´ıme conv X = conv{x1 , . . . , xk } = { α1 x1 + · · · + αk xk | α1 + · · · + αk = 1, α1 , . . . , αk ≥ 0 }. (12.2) Jak se definuje konvexn´ı obal mnoˇziny s nekoneˇcným poˇctem prvk˚ u, napˇr. pravém obrázku výˇse? Nelze pouˇz´ıt definice (12.2), nebot’ nen´ı jasné, co znamená souˇcet α1 x1 + · · · + αk xk pro nekoneˇcný poˇcet vektor˚ u (mnoˇzina X m˚ uˇze být i nespoˇcetná). Konvexn´ı obal libovolné n (koneˇcné ˇci nekoneˇcné) mnoˇziny X ⊆ R se definuje jako pr˚ unik vˇsech konvexn´ıch mnoˇzin, které mnoˇzinu obsahuj´ı, tedy \ conv X = { Y ⊆ Rn | Y ⊇ X, Y konvexn´ı }. Obrázek ukazuje konvexn´ı obal koneˇcné (vlevo) a nekoneˇcné (vpravo) mnoˇziny pro n = 2:

108

x2

x1 x6

x7

x3

x5 x4

12.1

ˇ ri kombinace a ˇ Ctyˇ ctyˇ ri obaly

Konvexn´ı kombinace je lineárn´ı kombinace, jej´ıˇz koeficienty splˇ nuj´ı omezen´ı α1 + · · · + αk = 1 a α1 , . . . , αk ≥ 0. Vˇsimnˇete si, ˇze kdyˇz vynecháme druhé omezen´ı, dostaneme afinn´ı kombinaci (viz §3.3). Podle toho, které ze dvou omezen´ı vyˇzadujeme, dostaneme ˇctyˇri druhy kombinac´ı. Udˇelejme si v nich nyn´ı poˇrádek. Váˇzený souˇcet α1 x1 + · · · + αk xk vektor˚ u x1 , . . . , xk ∈ Rn se nazývá jejich line´ arn´ı kombinace, afinn´ı kombinace, nez´ aporn´ a kombinace, konvexn´ı kombinace,

jestliˇze jestliˇze jestliˇze jestliˇze

α1 , . . . , αk α1 , . . . , αk α1 , . . . , αk α1 , . . . , αk

∈ R. ∈ R, α1 + · · · + αk = 1. ∈ R, ∈ R, α1 + · · · + αk = 1,

α1 , . . . , αk ≥ 0. α1 , . . . , αk ≥ 0.

Mnoˇzina, která je uzavˇrená v˚ uˇci lineárn´ım afinn´ım nezáporným konvexn´ım

kombinac´ım, kombinac´ım, kombinac´ım, kombinac´ım,

se se se se

nazývá nazývá nazývá nazývá

line´ arn´ı podprostor. afinn´ı podprostor. konvexn´ı kuˇ zel. konvexn´ı mnoˇ zina.

K tomu, co jiˇz znáte, pˇribyl pojem nezáporné kombinace a konvexn´ıho kuˇzelu. Lineárn´ı [afinn´ı, nezáporný, konvexn´ı] obal vektor˚ u x1 , . . . , xk je mnoˇzina vˇsech jejich lineárn´ıch [afinn´ıch, nezáporných, konvexn´ıch] kombinac´ı. Obecnˇeji, lineárn´ı [afinn´ı, nezáporný, konvexn´ı] obal mnoˇziny X ⊆ Rn je pr˚ unik vˇsech lineárn´ıch podprostor˚ u [afinn´ıch podprostor˚ u, konvexn´ıch kuˇzel˚ u, konvexn´ıch mnoˇzin] obsahuj´ıc´ı mnoˇzinu X. Pˇ r´ıklad 12.1. Mˇejme tˇri body v R3 , které neleˇz´ı v jedné rovinˇe s poˇcátkem. Jejich lineárn´ı obal je celé R3 . Jejich afinn´ı obal je rovina jimi procházej´ıc´ı. Jejich nezáporný obal je nekoneˇcný trojboký hranol, jehoˇz vrchol je v poˇcátku a jehoˇz hrany jsou tˇri polopˇr´ımky urˇcené poˇcátkem a danými body. Jejich konvexn´ı obal je troj´ uheln´ık jimi urˇcený. Jako cviˇcen´ı si nakreslete lineárn´ı, afinn´ı, nezáporný a konvexn´ı obal náhodnˇe zvolených k vektor˚ u v Rn pro vˇsech devˇet pˇr´ıpad˚ u k, n ∈ {1, 2, 3}.

12.2

Operace zachov´ avaj´ıc´ı konvexitu mnoˇ zin

Jaké operace s konvexn´ımi mnoˇzinami maj´ı za výsledek opˇet konvexn´ı mnoˇzinu? Zdaleka nejd˚ uleˇzitˇejˇs´ı taková operace je pr˚ unik. Následuj´ıc´ı vˇetu je snadné dokázat. Vˇ eta 12.1. Pr˚ unik (koneˇcnˇe ˇci nekoneˇcnˇe mnoha) konvexn´ıch mnoˇzin je konvexn´ı mnoˇzina. 109

D˚ ukaz. Udˇeláme jen pro dvˇe mnoˇziny, zobecnˇen´ı na libovolná poˇcet mnoˇzin je oˇcividné. Necht’ X, Y ⊆ Rn jsou konvexn´ı. Necht’ x, y ∈ X ∩Y , tedy kaˇzdý z bod˚ u x, y je souˇcasnˇe v mnoˇzinˇe X i v mnoˇzinˇe Y . Proto pro 0 ≤ α ≤ 1 bude bod αx + (1 − α)y také v mnoˇzinˇe X i Y , tedy bude v mnoˇzinˇe X ∩ Y . Sjednocen´ı konvexn´ıch mnoˇzin ale nemus´ı být konvexn´ı mnoˇzina.

12.3

Konvexn´ı polyedry

Poloprostor je mnoˇzina { x ∈ Rn | aT x ≥ b } pro nˇejaké a ∈ Rn , b ∈ R. Jeho hranice je nadrovina { x ∈ Rn | aT x = b }. Vektor a ∈ Rn je normála této nadroviny. Obrázek znázorˇ nuje tyto pojmy pro n = 2:

aT x ≥ b

aT x = b

a

Definice 12.2. Konvexn´ı polyedr je pr˚ unik koneˇcnˇe mnoha poloprostor˚ u. Konvexn´ı polyedr je tedy mnoˇzina X = { x ∈ Rn | aTi x ≥ bi , i = 1, . . . , m } = { x ∈ Rn | Ax ≥ b },

(12.3)

kde aT1 , . . . , aTm jsou ˇrádky matice A ∈ Rm×n a b1 , . . . , bm ∈ R jsou sloˇzky vektoru b ∈ Rm . Vˇsimnˇete si, ˇze definice dovoluje i omezen´ı typu rovnosti aTi x = bi , protoˇze to je ekvivalentn´ı aTi x ≤ bi , aTi x ≥ bi . Obrázek ukazuje pˇr´ıklad pro n = 2, m = 7:

a7 a4 a1

X a2

a5 a3

a6

Vˇsimnˇete si, ˇze omezen´ı 6 a 7 jsou redundantn´ı – jejich odebrán´ım by se polyedr nezmˇenil. Jelikoˇz poloprostor je oˇcividnˇe konvexn´ı mnoˇzina, plyne konvexita konvexn´ıho polyedru z Vˇety 12.1. Vˇsimnˇete si, ˇze konvexn´ı polyedr nemus´ı být omezený. Pˇ r´ıklad 12.2. Mnoˇzina X z Pˇr´ıkladu 11.1 je konvexn´ı polyedr. 110

Pˇ r´ıklad 12.3. Pˇr´ıklady konvexn´ıch polyedr˚ u v Rn : • prázdná mnoˇzina ∅ • celý prostor Rn

• kaˇzdý afinn´ı podprostor (napˇr. bod, pˇr´ımka, rovina, nadrovina) • polopˇr´ımka { x + αv | α ≥ 0 } • poloprostor

• panel { x ∈ Rn | b1 ≤ aT x ≤ b2 }

• hyperkrychle { x ∈ Rn | kxk∞ ≤ 1 } = { x ∈ Rn | −1 ≤ xi ≤ 1, i = 1, . . . , n }

• simplex, to jest konvexn´ı obal n + 1 afinnˇe nezávislých bod˚ u P • standardn´ı simplex { x ∈ Rn | xi ≥ 0, ni=1 xi ≤ 1 } Pn zina vˇsech rozdˇelen´ı • pravdˇepodobnostn´ı simplex { x ∈ Rn | xi ≥ 0, i=1 xi = 1 } (mnoˇ pravdˇepodobnosti diskrétn´ı náhodné promˇenné) P • zobecnˇený osmistˇen { x ∈ Rn | kxk1 = ni=1 |xi | ≤ 1 }.

Pˇ r´ıklad 12.4. Koule v Rn je pr˚ unikem nekoneˇcnˇe mnoha poloprostor˚ u aT x ≤ 1 pro vˇsechna kak2 = 1. Je to konvexn´ı mnoˇzina, ale nen´ı to konvexn´ı polyedr (protoˇze poˇcet poloprostor˚ u nen´ı koneˇcný).

12.3.1

Stˇ eny konvexn´ıho polyedru

Definice 12.3. Stˇ ena konvexn´ıho polyedru X ⊆ Rn je mnoˇzina F = argmin cT x x∈X

pro nˇejaké c ∈ Rn . Tak v Pˇr´ıkladu 11.1 je mnoˇzina F na prvn´ım i druhém obrázku stˇena polyhedru X. Dimenze stˇ eny je dimenze jej´ıho afinn´ıho obalu (zopakujte si pojem afinn´ıho obalu z §12.1 a dimenze afinn´ıho podprostoru z §3.3). Stˇeny nˇekterých dimenz´ı maj´ı jméno: • stˇena dimenze 0 se nazývá vrchol, • stˇena dimenze 1 se nazývá hrana,

• stˇena dimenze n − 1 se nazývá faseta (angl. facet, zat´ımco face znamená stˇena). Z Definice 12.3 a Vˇety 12.1 plyne, ˇze kaˇzdá stˇena konvexn´ıho polyedru je sama o sobˇe konvexn´ı polyedr. Bez d˚ ukazu uvedeme ekvivalentn´ı definici stˇeny, která pˇredpokládá, ˇze polyedr je ve tvaru (12.3). Vˇ eta 12.2. F ⊆ X je stˇena konvexn´ıho polyedru (12.3) právˇe tehdy, kdyˇz F = { x ∈ X | aTi x = bi , i ∈ I }

(12.4)

pro nˇejakou podmnoˇzinu index˚ u I ⊆ {1, . . . , m}. Stˇeny konvexn´ıho polyedru tvoˇr´ı mnoˇzinu ˇcásteˇcnˇe uspoˇrádanou mnoˇzinovou inkluz´ı, tzv. stˇenový svaz . Stˇenový svaz popisuje ’kombinatorickou strukturu’ polyedru. 111

Pˇ r´ıklad 12.5. Necht’ polyedr (12.3) je pyramida v R3 , na levém obrázku: {A,B,C,D,E}

E {A,B,C,D} {A,B}

D

{B,C}

{A,B,E} {C,D}

{A,D}

{C,D,E}

{A,E}

{B,E}

{A,D,E} {C,E}

{D,E}

C {A}

A

{B,C,E}

{B}

{C}

{D}

{E}

{}

B

Tento polyedr je pr˚ unikem pˇeti poloprostor˚ u (pˇredpokládáme, ˇze ˇzádné omezen´ı nen´ı redundantn´ı), tedy m = 5 a n = 3. Necht’ omezen´ı aTi x ≥ bi pro i = 1, 2, 3, 4, 5 je poloprostor, jehoˇz hranic´ı je polorovina urˇcená po ˇradˇe body ABCD, ABE, BCE, CDE, ADE. Pro I = {1} je mnoˇzina (12.4) faceta ABCD. Pro I = {1, 2} je mnoˇzina (12.4) hrana AB. Pro I = {1, 2, 3} je mnoˇzina (12.4) vrchol B. Obrázek vpravo je diagram1 znázorˇ nuj´ıc´ı stˇenový svaz. V d-tém ˇrádku diagramu jsou vypsány vˇsechny stˇeny dimenze d (poˇc´ıtáno zdola). Stˇena A dimenze d je spojena se stˇenou B dimenze d − 1 jestliˇze B ⊆ A.

12.3.2

Jak byste vypsali vˇ sechny vrcholy konvexn´ıho polyedru?

Z Vˇety 12.2 plyne (po troˇse pˇremýˇslen´ı), ˇze následuj´ıc´ı dvˇe tvrzen´ı jsou ekvivalentn´ı: • Bod x ∈ Rn je vrchol polyedru (12.3).

• Existuje mnoˇzina I ⊆ {1, . . . , m} tak, ˇze soustava aTi x = bi , i ∈ I, má právˇe jedno ˇreˇsen´ı x a toto ˇreˇsen´ı nav´ıc patˇr´ı do polyedru (12.3), tj. splˇ nuje nerovnice aTi x ≥ bi , i, . . . , m. Toto nám dovoluje formulovat algoritmus, který vyp´ıˇse vˇsechny vrcholy polyedru (12.3). Najdeme vˇsechny mnoˇziny I ⊆ {1, . . . , m} takové, ˇze soustava aTi x = bi , i ∈ I má právˇe jedno ˇreˇsen´ı a toto ˇreˇsen´ı nav´ıc splˇ nuje soustavu aTi x ≥ bi , i, . . . , m. Kaˇzdé takové ˇreˇsen´ı je vrchol.

12.3.3

Dvˇ e reprezentace konvexn´ıho polyedru

Následuj´ıc´ı vˇeta je hluboká a uvád´ıme ji bez d˚ ukazu. Pro neomezené konvexn´ı polyedry plat´ı podobná vˇeta, trochu sloˇzitˇejˇs´ı, kterou neuvád´ıme. Vˇ eta 12.3. Konvexn´ı obal koneˇcnˇe mnoha bod˚ u je omezený konvexn´ı polyedr. Obrácenˇe, omezený konvexn´ı polyedr je konvexn´ım obalem svých vrchol˚ u. Máme tedy dvˇe reprezentace omezeného polyedru: • H-reprezentace: pr˚ unik koneˇcnˇe mnoha poloprostor˚ u (’H’ jako half-space)

• V-reprezentace: konvexn´ı obal koneˇcnˇe mnoha bod˚ u (’V’ jako vertex) Pˇrechod od jedné reprezentace ke druhé m˚ uˇze být výpoˇcetnˇe tˇeˇzký ˇci prakticky nemoˇzný. D˚ uvodem je to, ˇze polyedr definovaný jako pr˚ unik malého poˇctu poloprostor˚ u m˚ uˇze m´ıt velmi velký poˇcet vrchol˚ u (pˇresnˇe: je-li m poˇcet poloprostor˚ u, tak poˇcet vrchol˚ u nebude omezen ˇzádnou polynomiáln´ı funkc´ı promˇenné m). Naopak, polyedr s malým poˇctem vrchol˚ u m˚ uˇze m´ıt velký poˇcet facet. V tom pˇr´ıpadˇe by algoritmus, který pˇrevád´ı H-reprezentaci na V -reprezentaci 1

Pˇresnˇeji, je to Hasseho diagram ˇca´steˇcnˇe uspoˇrádané mnoˇziny, kter´ y máte znát.

112

nebo naopak, musel vydat velmi dlouhý výstup. V algoritmu v §12.3.2 se to projevuje t´ım, ˇze mus´ıme proj´ıt vˇsechny podmnoˇziny mnoˇziny {1, . . . , m}, kterých je 2m . Pˇ r´ıklad 12.6. Uvaˇzujme následuj´ıc´ı konvexn´ı polyedry v Rn (viz Pˇr´ıklad 12.3): • Simplex má n + 1 vrchol˚ u a n + 1 facet. • Hyperkrychle má 2n facet a 2n vrchol˚ u.

• Zobecnˇený osmistˇen má 2n vrchol˚ u a 2n facet.

12.4

Cviˇ cen´ı

12.1. Odpovˇezte, zda následuj´ıc´ı mnoˇziny jsou konvexn´ı a odpovˇed’ dokaˇzte z definice konvexn´ı mnoˇziny: a) b) c) d) e)

interval [a, b] ⊆ R, kde a ≤ b { x ∈ Rn | Ax ≤ b, Cx = d } { x ∈ Rn | xT Ax ≤ 1 }, kde A je pozitivnˇe semidefinitn´ı Z (mnoˇzina celých ˇc´ısel) { x ∈ Rn | max{x1 , , . . . , , xn } ≥ 0 }

12.2. Které z následuj´ıc´ıch mnoˇzin jsou konvexn´ı? Nemus´ıte dokazovat z definice, staˇc´ı uvést pˇresvˇedˇcivý argument. Mnoˇzinu si nakreslete pro pˇr´ıpad n = 1 a n = 2. P a) { x ∈ Rn | ni=1 xi = 1 } P b) { x ∈ Rn | ni=1 xi ≥ 1 } P c) { x ∈ Rn | x ≥ 0, ni=1 xi = 1 } P d) { x ∈ Rn | x ≥ 0, ni=1 xi ≤ 1 } e) { x ∈ Rn | kxk2 = 1 } f) { x ∈ Rn | kxk2 < 1 } g) { (x, y) ∈ R2 | x ≥ 0, y ≥ 0, xy = 1 } h) { (x, y) ∈ R2 | x2 + y 2 ≤ 2 } ∩ { (x, y) ∈ R2 | (x − 1)2 + y 2 ≤ 2 } 12.3. Bude Vˇeta 12.1 platit, pokud v n´ı souslov´ı ‘konvexn´ı mnoˇzina’ nahrad´ıme souslov´ım ‘lineárn´ı podprostor’ (pˇr´ıp. ‘afinn´ı podprostor’, ‘konvexn´ı kuˇzel’)? Kladnou i zápornou odpovˇed’ dokaˇzte. 12.4. Které z následuj´ıc´ıch mnoˇzin jsou konvexn´ı polyedry? Pokud je mnoˇzina konvexn´ı polyedr, dokáˇzete ji vyjádˇrit ve tvaru { x | Ax ≥ b } (tj. jako pr˚ unik poloprostor˚ u)? P P 2 a) x ∈ Rn | x ≥ 0, e skaláry i xi ai = b, i xi ai = c , kde ai , b, c jsou dan´ T b) { Cx | x ≥ 0, 1 x = 1 }, kde matice C je dána c) { Cx | x ∈ Rn , kxk2 ≤ 1 }, kde matice C je dána d) { x ∈ Rn | kx − ak2 ≤ kx − bk2 }, kde a, b jsou dány 12.5. Mˇejme konvexn´ı polyedr ve tvaru { x ∈ Rn | Ax ≥ b }. a) Napiˇste kód v Matlabu, který vyp´ıˇse vrcholy polyedru pomoc´ı postupu v §12.3.2. 113

b) Vypiˇste vrcholy polyedru pro   −1 −2  3 −1 , A= −1 1 2 1

 −14  0  b=  −2 . 4 

12.6. Mˇejme vektory a1 , . . . , am ∈ Rn . Pro kaˇzdé i = 1, . . . , m definujeme mnoˇzinu Xi = { x ∈ Rn | kx − ai k2 ≤ kx − aj k2 , j 6= i }. Ukaˇzte, ˇze mnoˇziny X1 , . . . , Xm jsou konvexn´ı polyedry. Ukaˇzte, ˇze tyto mnoˇziny tvoˇr´ı rozklad (zopakujte si, co je to rozklad mnoˇziny) mnoˇziny Rn . Sjednocen´ı hranic tˇechto mnoˇzin se nazývá Voronoi˚ uv diagram. Nakreslete si ho pro n = 2 a m = 4 pro r˚ uzné konfigurace bod˚ u a1 , . . . , a4 .

N´ apovˇ eda a ˇ reˇ sen´ı 12.1.a) Konvexn´ı, protoˇze pro libovolné α ∈ [0, 1] je αa + (1 − α)b ∈ [a, b]. 12.1.b) Konvexn´ı. 12.1.c) Konvexn´ı. 12.1.d) Nekonvexn´ı. Napˇr. pro x = 1, y = 2, α = 12.1.e) Nekonvexn´ı.

1 2

ˇc´ıslo αx + (1 − α)y = 1.5 nen´ı celé.

12.2.a) nadrovina, konvexn´ı 12.2.b) poloprostor, konvexn´ı 12.2.c) pr˚ unik poloprostor˚ u a nadroviny, konvexn´ı polyedr 12.2.d) pr˚ unik poloprostor˚ u, konvexn´ı 12.2.e) sféra, nen´ı konvexn´ı 12.2.f) koule bez hranice, konvexn´ı 12.2.g) graf jedné vˇetve hyperboly, nen´ı konvexn´ı 12.2.h) pr˚ unik dvou koul´ı, konvexn´ı 12.5.b) Zde jsou vrcholy a odpov´ıdaj´ıc´ı mnoˇziny I ⊆ {1, . . . , 4}:

114

I {1, 2} {1, 3} {2, 4} {3, 4} x (2, 6) (6, 4) ( 54 , 12 5 ) (2, 0)

Kapitola 13 Simplexov´ a metoda Zde pop´ıˇseme algoritmus na ˇreˇsen´ı u ´loh lineárn´ıho programován´ı zvaný simplexov´ a metoda. Zapomeˇ nme prozat´ım na u ´ˇcelovou funkci a zkoumejme mnoˇzinu pˇr´ıpustných ˇreˇsen´ı LP ve tvaru X = { x ∈ Rn | Ax = b, x ≥ 0 }, (13.1)

kde A ∈ Rm×n je ˇsiroká (m < n) matice s hodnost´ı m, tedy jej´ı ˇrádky jsou lineárnˇe nezávislé. Soustava Ax = b má nekoneˇcnˇe mnoho ˇreˇsen´ı. Poloˇz´ıme-li vˇsak n − m sloˇzek vektoru x rovno nule (tedy uˇcin´ıme-li n − m z podm´ınek x ≥ 0 aktivn´ıch), soustava má nejvýˇse jedno ˇreˇsen´ı. Tato u ´vaha vede k následuj´ıc´ım definic´ım: • Mnoˇzina J ⊆ {1, 2, . . . , n} se nazývá b´ aze u ´lohy, pokud |J| = m a sloupce matice A s indexy J jsou lineárnˇe nezávislé. Tedy sloupce J tvoˇr´ı regulárn´ı matici m × m. • Vektor x je b´ azov´ eˇ reˇ sen´ı pˇr´ısluˇsné bázi J, pokud Ax = b a xj = 0 pro j ∈ / J. • Bázové ˇreˇsen´ı x je pˇ r´ıpustn´ e, pokud x ≥ 0.

• Bázové ˇreˇsen´ı x je degenerovan´ e, pokud má ménˇe neˇz m nenulových sloˇzek.

• Dvˇe báze jsou sousedn´ı, pokud maj´ı m − 1 spoleˇcných prvk˚ u. Protoˇze matice A má hodnost m, existuje aspoˇ n jedna báze a kaˇzdé bázi pˇr´ısluˇs´ı právˇe jedno bázové ˇreˇsen´ı. Bázové ˇreˇsen´ı vˇsak m˚ uˇze pˇr´ısluˇset v´ıce neˇz jedné bázi, coˇz se stane právˇe tehdy, kdyˇz je toto bázové ˇreˇsen´ı degenerované. Pˇ r´ıklad 13.1. Necht’ je soustava Ax = b dána  −1 1  A b = 1 0 −1 0

tabulkou (blokovou matic´ı)  3 1 0 2 1 4 0 1 4 4 . 4 1 1 4 2

(13.2)

• J = {2, 3, 5} nen´ı báze, protoˇze sloupce 2, 3, 5 matice A jsou lineárnˇe závislé.

• J = {1, 4, 5} je báze, protoˇze tyto sloupce jsou lineárnˇe nezávislé. Bázové ˇreˇsen´ı x = (x1 , x2 , . . . , x6 ) pˇr´ısluˇsné bázi J se najde ˇreˇsen´ım soustavy      −1 1 0 x1 1  1 0 1 x4  = 4 (13.3) −1 1 1 x5 2

a poloˇzen´ım x2 = x3 = x6 = 0. Soustava (13.3) má právˇe jedno ˇreˇsen´ı, nebot’ jej´ı matice je regulárn´ı. Dostaneme x = (3, 0, 0, 4, 1, 0). Toto bázové ˇreˇsen´ı je pˇr´ıpustné. Nen´ı degenerované, protoˇze má m = 3 nenulových sloˇzek. 115

• J = {1, 2, 4} je báze. Bázové ˇreˇsen´ı je x = (4, −1, 0, 6, 0, 0). Je nepˇr´ıpustné, protoˇze x2 < 0.

• J = {3, 4, 5} je báze. Bázové ˇreˇsen´ı x = (0, 0, 1, −2, 0, 0) je degenerované, protoˇze má ménˇe neˇz m = 3 nenulových sloˇzek. • Stejné bázové ˇreˇsen´ı x = (0, 0, 1, −2, 0, 0) dostaneme volbou báze J = {3, 4, 6}. Vid´ıme, ˇze degenerované bázové ˇreˇsen´ı odpov´ıdá v´ıce neˇz jedné bázi. • Báze {1, 4, 5} a {2, 4, 5} jsou sousedn´ı, protoˇze maj´ı spoleˇcné dva prvky {4, 5}. Báze {1, 4, 5} a {2, 4, 6} nejsou sousedn´ı.

Polyedr (13.1) je speciáln´ı tvar polyedru (12.3). Dle Definice 12.3 se vˇsechna minima lineárn´ı funkce na konvexn´ım polyedru (13.1) nabývaj´ı na nˇejaké stˇenˇe tohoto polyedru. Pokud tato stˇena obsahuje alespoˇ n jeden vrchol polyedru (to nebude platit jen pro velmi jednoduché polyedry (13.1), zamyslete se nad t´ım!), pak se alespoˇ n jedno minimum nabývá i v tomto vrcholu. Z Vˇety 12.2 plyne, ˇze pˇr´ıpustná bázová ˇreˇsen´ı jsou vrcholy polyedru (13.1). Dále lze ukázat (d˚ ukaz vynecháme), ˇze dvojice sousedn´ıch báz´ı odpov´ıdaj´ı bud’ jedinému (degenerovanému) vrcholu nebo dvojici vrchol˚ u spojených hranou. To nám dovoluje navrhnout naivn´ı algoritmus na ˇreˇsen´ı LP: udˇeláme výˇcet vˇsech pˇr´ıpustných bázových ˇreˇsen´ı a nalezneme to s nejlepˇs´ı hodnotou u ´ˇcelové funkce. Tento algoritmus nen´ı praktický, protoˇze bázových ˇreˇsen´ı je exponenciálnˇe mnoho. Simplexová metoda je vylepˇsen´ı tohoto pˇr´ıstupu: pˇrecház´ı mezi sousedn´ımi bázemi tak, ˇze bázová ˇreˇsen´ı jsou stále pˇr´ıpustná (tedy pˇrecház´ı po hranách polyedru) a u ´ˇcelová funkce se zlepˇsuje (nebo aspoˇ n nezhorˇsuje).

13.1

Stavebn´ı kameny algoritmu

Zde vysvˇetl´ıme jednotlivé stavebn´ı kameny simplexové metody, které nakonec v §13.2 spoj´ıme v celý algoritmus.

13.1.1

Pˇ rechod k sousedn´ı standardn´ı b´ azi

Simplexová metoda pracuje pouze se standardn´ımi bázemi, tj. sloupce J jsou (permutované) vektory standardn´ı báze. To má výhodu v tom, ˇze (i) nemus´ıme kontrolovat, zda jsou sloupce J lineárnˇe nezávislé a (ii) nenulové sloˇzky bázového ˇreˇsen´ı x jsou rovny pˇr´ımo sloˇzkám vektoru b. Na poˇcátku algoritmu se pˇredpokládá, ˇze matice A obsahuje standardn´ı bázi. Z line´ ´pravy soustavy Ax = b: libovolný ˇrádek ta arn´ı algebry známe ekvivalentn´ı ˇrádkové u bulky A b m˚ uˇzeme vynásobit nenulovým ˇc´ıslem a m˚ uˇzeme k nˇemu pˇriˇc´ıst lineárn´ı kombinaci ostatn´ıch ˇrádk˚ u. Tyto u ´pravy nemˇen´ı mnoˇzinu ˇreˇsen´ı soustavy. Ukáˇzeme, jak pˇrej´ıt od aktuáln´ı standardn´ı báze J k sousedn´ı standardn´ı bázi, tedy nˇejaký sloupec j ′ ∈ J bázi opust´ı a nˇejaký sloupec j ∈ / J do báze vstoup´ı. Necht’ i je ˇrádek, ve kterém je aij ′ = 1. Prvek (i, j) matice se nazývá pivot (angl. znamená ˇcep). Necht’ aij 6= 0. Chceme nastavit pivot aij na jedniˇcku, vynulovat prvky nad i pod pivotem, a nezmˇenit pˇritom sloupce J \ {j ′ }. Toho se dosáhne tˇemito ekvivalentn´ımi ˇrádkovými u ´pravami: 1. Vydˇel ˇrádek i ˇc´ıslem aij . 2. Pro kaˇzdé i′ 6= i odeˇcti ai′ j -násobek ˇrádku i od ˇrádku i′ . ˇ ıkáme, ˇze jsme provedli ekvivalentn´ı u R´ ´pravu kolem pivotu s indexy (i, j).

116

Pˇ r´ıklad 13.2. Mˇejme soustavu   0 2 6 1 0 4 4 A b = 1 1 3 0 0 2 3  0 −1 1 0 1 2 1

(13.4)

se (standardn´ı) báz´ı J = {1, 4, 5}. Vid´ıme ihned odpov´ıdaj´ıc´ı bázové ˇreˇsen´ı, x = (3, 0, 0, 4, 1, 0). Chceme nahradit bázový sloupec j ′ = 1 nebázovým sloupcem j = 2, tedy pˇrej´ıt k sousedn´ı bázi {2, 4, 5}. Máme i = 2, tedy pivot je prvek a22 (v tabulce orámován). Ekvivalentn´ımi ˇrádkovými u ´pravami mus´ıme doc´ılit, aby pivot byl roven jedné a prvky nad n´ım a pod n´ım byly nulové. Pˇri tom sm´ıme zmˇenit sloupec 1, ale sloupce 4 a 5 se zmˇenit nesmˇej´ı. Toho se doc´ıl´ı vydˇelen´ım ˇrádku 2 ˇc´ıslem a22 (coˇz zde nemá ˇzádný efekt, protoˇze náhodou a22 = 1) a pak pˇriˇcten´ım vhodných násobk˚ u ˇrádku 2 k ostatn´ım ˇrádk˚ um. Výsledek:   −2 0 0 1 0 0 −2 A b = 1 1 3 0 0 2 3 . 1 0 4 0 1 4 4 Nyn´ı sloupce {2, 4, 5} tvoˇr´ı standardn´ı bázi.

13.1.2

Kdy je sousedn´ı b´ azov´ eˇ reˇ sen´ı pˇ r´ıpustn´ e?

Uvedeným zp˚ usobem m˚ uˇzeme od aktuáln´ı báze pˇrej´ıt k libovolné sousedn´ı bázi. Pˇritom nové bázové ˇreˇsen´ı m˚ uˇze nebo nemus´ı být pˇr´ıpustné. Je-li aktuáln´ı bázové ˇreˇsen´ı pˇr´ıpustné, jak poznáme, zda i nové bázové ˇreˇsen´ı bude pˇr´ıpustné? Protoˇze nenulové sloˇzky bázového ˇreˇsen´ı x jsou rovny sloˇzkám vektoru b, bázové ˇreˇsen´ı je pˇr´ıpustné právˇe tehdy, kdyˇz b ≥ 0. Necht’ v aktuáln´ı tabulce je b ≥ 0. Proved’me ekvivalentn´ı u ´pravu kolem pivotu (i, j). Hledáme podm´ınky na (i, j), za kterých bude i po u ´pravˇe b ≥ 0. Po ekvivalentn´ı u ´pravˇe kolem pivotu (i, j) se vektor b zmˇen´ı takto (viz §13.1.1): • bi se zmˇen´ı na bi /aij , • pro kaˇzdé i′ 6= i se bi′ zmˇen´ı na bi′ − ai′ j bi /aij . Tato ˇc´ısla musej´ı být nezáporná. To nastane právˇe tehdy, kdyˇz plat´ı následuj´ıc´ı podm´ınky: aij > 0, pro kaˇzdé i′ 6= i plat´ı ai′ j ≤ 0 nebo

(13.5a) bi bi′ ≤ , aij ai′ j

(13.5b)

kde ’nebo’ je uˇzito v nevyluˇcovac´ım smyslu. Podm´ınka (13.5a) je zˇrejmá. Podm´ınka (13.5b) je ekvivalentn´ı podm´ınce bi′ − ai′ j bi /aij ≥ 0, nebot’ aij > 0, bi ≥ 0, bi′ ≥ 0 (rozmyslete!). Pˇ r´ıklad 13.3. Uvaˇzujme opˇet tabulku (13.4). • Ekvivalentn´ı u ´prava okolo pivotu (i, j) = (3, 2) nepovede k pˇr´ıpustnému bázovému ˇreˇsen´ı, nebot’ aij = −1 < 0, coˇz poruˇsuje podm´ınku (13.5a). • Ekvivalentn´ı u ´prava okolo pivotu (i, j) = (2, 2) nepovede k pˇr´ıpustnému bázovému ˇreˇsen´ı, nebot’ pro i′ = 1 je ai′ j > 0 a 31 > 42 , tedy podm´ınka (13.5b) je poruˇsena. • Ekvivalentn´ı u ´prava okolo pivotu (i, j) = (3, 6) povede k pˇr´ıpustnému bázovému ˇreˇsen´ı. Podm´ınky (13.5) jsou splnˇeny, nebot’ aij = 2 > 0 a 21 ≤ 44 , 21 ≤ 23 . 117

13.1.3

Co kdyˇ z je cel´ y sloupec nekladn´ y?

Jestliˇze jsou vˇsechny prvky v nˇejakém nebázovém sloupci j nekladné, v´ıme z podm´ınky (13.5a), ˇze tento sloupec se nem˚ uˇze stát bázovým. Plat´ı ale nav´ıc, ˇze souˇradnice xj bodu x se m˚ uˇze libovolnˇe zvˇetˇsovat a bod x pˇresto z˚ ustane v polyedru X. Tedy existuje polopˇr´ımka s poˇcátkem v x leˇz´ıc´ı celá v polyedru X. Tedy polyedr X je neomezený. Pˇ r´ıklad 13.4. Necht’ A b je tabulka 0 −2 6 1 0 4 4 1 −1 3 0 0 2 3 0 −1 1 0 1 2 1

x= 3

0 0 4 1 0

s báz´ı {1, 4, 5}. Pod tabulkou je napsáno bázové ˇreˇsen´ı x. Kdyˇz se x2 bude libovolnˇe zvˇetˇsovat, zmˇenu lze kompenzovat souˇcasným zvˇetˇsován´ım bázových promˇenných x1 , x4 , x5 tak, ˇze vektor Ax z˚ ustane nezmˇenˇen a tedy roven b. Konkrétnˇe, vektor pro kaˇzdé α ≥ 0 bude vektor x = (3, 0, 0, 4, 1, 0) + α(1, 1, 0, 2, 1, 0) splˇ novat Ax = b a x ≥ 0.

13.1.4

Ekvivalentn´ı u ´ pravy u ´ˇ celov´ eho ˇ r´ adku

Dosud jsme provádˇeli ekvivalentn´ı ˇrádkové u ´pravy pouze na soustavˇe Ax = b a u ´ˇcelové funkce si nevˇs´ımali. Tyto u ´pravy lze rozˇs´ıˇrit na celou u ´lohu LP vˇcetnˇe u ´ˇcelové funkce. Nebudeme u ´ˇcelovou funkci uvaˇzovat ve tvaru cT x, ale v m´ırnˇe obecnˇejˇs´ım tvaru cT x − d. Tedy ˇreˇs´ıme LP min{ cT x − d | Ax = b, x ≥ 0 }.

(13.6)

´ Ulohu budeme reprezentovat simplexovou tabulkou T c d . (13.7) A b Pˇriˇctˇeme k u ´ˇcelovému ˇrádku cT d libovolnou lineárn´ı kombinaci yT A b ostatn´ıch ˇrádk˚ u A b , kde y jsou koeficienty lineárn´ı kombinace. Ukáˇzeme, ˇze tato u ´prava zachová hodnotu u ´ˇcelové funkce cT x − d pro kaˇzdé x splˇ nuj´ıc´ı Ax = b. Nový u ´ˇcelový ˇrádek bude T c d + y T A b = cT + y T A d + y T b . Nová u ´ˇcelová funkce bude tedy

(cT + yT A)x − (d + yT b) = cT x − d + yT (Ax − b). Ale to je rovno cT x − d pro kaˇzdé x splˇ nuj´ıc´ı Ax = b.

13.1.5

Co udˇ el´ a pˇ rechod k sousedn´ı b´ azi s u ´ˇ celovou funkc´ı?

Necht’ J je standardn´ı báze. Pˇriˇctˇeme k u ´ˇcelovému ˇrádku takovou lineárn´ı kombinaci ostatn´ıch ˇrádk˚ u, aby pro vˇsechna j ∈ J bylo cj = 0 (novému vektoru c se pak ˇr´ıká redukované ceny). Protoˇze bázové ˇreˇsen´ı x je v nebázových sloupc´ıch nulové, znamená to cT x = 0. Tedy hodnota u ´ˇcelové funkce cT x − d v bázovém ˇreˇsen´ı x je rovna jednoduˇse −d. 118

Nav´ıc je snadno vidˇet, co udˇelá pˇrechod k nové bázi s u ´ˇcelovou funkc´ı. Necht’ j ′ je sloupec opouˇstˇej´ıc´ı bázi a j je sloupec vstupuj´ıc´ı do báze. Pˇri pˇrechodu k nové bázi se ˇc´ıslo xj ′ stane nulovým a ˇc´ıslo xj se zvˇetˇs´ı z nuly na kladné (nebo se nezmˇen´ı). Protoˇze cj ′ = 0, ˇc´ıslo cT x − d pˇri cj ≥ 0 stoupne (nebo se nezmˇen´ı) a pˇri cj ≤ 0 klesne (nebo se nezmˇen´ı). Pˇ r´ıklad 13.5. Mˇejme u ´lohu se simplexovou tabulkou  1 −2 −3 −1 T  c d 0 2 6 1 =   1 A b 1 3 0 0 −1 1 0

2 0 0 1

1 4 2 2

 4 4  , 3  1

kde J = {1, 4, 5}. Sloˇzky vektoru c v bázových sloupc´ıch vynulujeme tak, ˇze k u ´ˇcelovému ˇrádku pˇriˇcteme prvn´ı ˇrádek, odeˇcteme druhý ˇrádek, a odeˇcteme dvojnásobek tˇret´ıho ˇrádku: 0 1 −2 0 0 −1 3 0 2 6 1 0 4 4 1 1 3 0 0 2 3 0 −1 1 0 1 2 1

x= 3

0

0 4 1

0

Pod tabulku jsme napsali bázové ˇreˇsen´ı x. Nyn´ı je cT x = 0, a tedy hodnota u ´ˇcelové funkce v T bázovém ˇreˇsen´ı je c x − d = −d = −3. Dejme tomu, ˇze chceme pˇridat do báze nebázový sloupec 2 a vylouˇcit z n´ı nˇekterý z bázových sloupc˚ u {1, 4, 5}. Po tomto pˇrechodu se x2 stane kladné nebo z˚ ustane nulové a jedna ze sloˇzek x1 , x4 , x5 se vynuluje. Protoˇze c1 = c4 = c5 = 0, zmˇena x1 , x4 , x5 se na u ´ˇcelové funkci neprojev´ı a ta se zmˇen´ı o c2 x2 . Kritérium tedy stoupne nebo z˚ ustane stejné, protoˇze c2 = 1 > 0. Pokud v nˇekterém sloupci j je cj ≤ 0 a aij ≤ 0 pro vˇsechna i, pak m˚ uˇzeme promˇennou xj ´ ´ˇcelovou funkci libovolnˇe zmenˇsovat. Uloha je tedy neomelibovolnˇe zvˇetˇsovat (viz §13.1.3) a u zená.

13.2

Z´ akladn´ı algoritmus

Spojen´ım popsaných stavebn´ıch kamen˚ u dostaneme iteraci simplexového algoritmu na ˇreˇsen´ı u ´lohy (13.6). Iterace pˇrejde k sousedn´ı standardn´ı bázi takové, ˇze bázové ˇreˇsen´ı z˚ ustane pˇr´ıpustné a u ´ˇcelová funkce se zmenˇs´ı nebo alespoˇ n nezmˇen´ı. Vstupem i výstupem iterace je simplexová tabulka (13.7) s tˇemito vlastnostmi: • podmnoˇzina sloupc˚ u A tvoˇr´ı standardn´ı bázi J, • bázové ˇreˇsen´ı odpov´ıdaj´ıc´ı této bázi je pˇr´ıpustné, b ≥ 0,

• sloˇzky vektoru c v bázových sloupc´ıch jsou nulové, cj = 0 pro j ∈ J. Iterace se provede v tˇechto kroc´ıch: 1. Vyber index j pivotu tak, aby cj < 0 (§13.1.5). 2. Vyber index i pivotu podle podm´ınek (13.5). Z tˇechto podm´ınek plyne (promyslete!) bi′ , i′ | ai′ j >0 ai′ j

i ∈ argmin

kde argmini′ | ai′ j >0 oznaˇcuje, ˇze se minimalizuje pˇres vˇsechna i′ splˇ nuj´ıc´ı ai′ j > 0. 119

(13.8)

3. Udˇelej ekvivalentn´ı u ´pravu okolo pivotu (i, j) (§13.1.1). 4. Udˇelej ekvivalentn´ı u ´pravu u ´ˇcelového ˇrádku, která vynuluje cj v novém bázovém sloupci j (§13.1.5). Algoritmus, který opakuje uvedenou iteraci, nazveme z´ akladn´ı simplexov´ y algoritmus. Algoritmus konˇc´ı, kdyˇz uˇz nelze iteraci provést. To nastane z jednoho z tˇechto d˚ uvod˚ u: ´ celovou funkci nelze zlepˇsit a jsme v optimu. • Vˇsechny koeficienty cj jsou nezáporné. Uˇ ´ • V nˇekterém sloupci j je cj < 0 a aij ≤ 0 pro vˇsechna i. Uloha je neomezená.

Výbˇer index˚ u (i, j) pivotu v kroc´ıch 1 a 2 nemus´ı být jednoznaˇcný, tedy m˚ uˇze být v´ıce sloupc˚ u j s vhodným znaménkem cj a v´ıce ˇrádk˚ u i m˚ uˇze splˇ novat podm´ınky (13.5) (tedy m˚ uˇze být v´ıce argument˚ u minima v podm´ınce (13.8)). Algoritmus, který vyb´ırá jediný pivot z tˇechto moˇznost´ı, se nazývá pivotov´ e pravidlo. Zˇr´ıdka se algoritmus m˚ uˇze dostat do stavu, kdy cyklicky procház´ı stále stejnou mnoˇzinu báz´ı, které odpov´ıdaj´ı jedinému degenerovanému bázovému ˇreˇsen´ı a tedy u ´ˇcelová funkce se nemˇen´ı. Tomuto problému cyklen´ı se dá zabránit pouˇzit´ım vhodného pivotového pravidla (nejznámˇejˇs´ı je Blandovo anticykl´ıc´ı pravidlo), které ale popisovat nebudeme. Pˇ r´ıklad 13.6. Vyˇreˇste lineárn´ı program (13.6) simplexovou metodou, kdyˇz výchoz´ı simplexová tabulka (13.7) je 0 −2 1 0 0 −3 0 0 2 6 1 0 4 4 . 1 1 3 0 0 2 3 0 −1 1 0 1 2 1 Báze je J = {1, 4, 5} a bázové ˇreˇsen´ı x = (3, 0, 0, 4, 1, 0). ´ celový ˇrádek budeme nazývat nultý, ostatn´ı pak prvý, druhý atd. Prvn´ı iterace simplexoUˇ vého algoritmu se provede v tˇechto kroc´ıch: 1. Vybereme sloupec j, který vstoup´ı do báze. To m˚ uˇze být libovolný sloupec, který má v nultém ˇrádku záporné ˇc´ıslo. Je rozumné vz´ıt nejmenˇs´ı takové ˇc´ıslo, zde −3, tedy j = 6.

2. Vybereme ˇrádek i pivotu dle (13.8) nalezen´ım argumentu minima z ˇc´ısel 44 , 32 , 21 . Bude tedy i = 3. Výsledný pivot je oznaˇcen rámeˇckem. Vˇsimnˇete si, ˇze ˇrádek i = 3 má v aktuáln´ı bázi jedniˇcku ve sloupci 5, sloupec 5 tedy bázi opust´ı.

3, 4. Udˇeláme ekvivalentn´ı u ´pravu okolo pivotu (i, j) a zároveˇ n vynulujeme ˇc´ıslo cj . Neboli chceme, aby se z pivotu aij stala jedniˇcka a nad i pod pivotem byly nuly, a to vˇcetnˇe nultého ˇrádku. Tedy nejprve tˇret´ı ˇrádek vydˇel´ıme dvˇema a potom k nultému ˇrádku pˇriˇcteme trojnásobek tˇret´ıho ˇrádku, od prvn´ıho ˇrádku odeˇcteme ˇctyˇrnásobek tˇret´ıho ˇrádku, a od druhého ˇrádku odeˇcteme dvojnásobek tˇret´ıho ˇrádku. Vˇsimnˇete si: k ˇzádnému ˇrádku nikdy nepˇriˇc´ıtáme násobky jiného ˇrádku neˇz pivotového. Výsledek: 0 −3.5 2.5 0 4 4 1 2 2 0 −0.5 0.5

0 1 0 0

1.5 −2 −1 0.5

0 1.5 0 2 0 2 1 0.5

Na konci prvn´ı iterace máme bázi J = {1, 4, 6}, bázové ˇreˇsen´ı x = (2, 0, 0, 2, 0, 0.5), a hodnotu u ´ˇcelové funkce −d = −1.5. 120

Druhá iterace: pivot je ve sloupci j = 2. Jeho ˇrádek najdeme dle (13.8) porovnán´ım ˇc´ısel tedy i = 1. Výsledek druhé iterace:

2 2 , , 4 2

0 0 1 0

6 0.875 −0.25 0 3.25 1 0.25 −0.5 0 0.5 0 −0.5 0 0 1 1 0.125 0.25 1 0.75

0 1 0 0

Výsledek tˇret´ı iterace: 0 0 1 0

0 1 0 0

7 1 0 3 0.5 0 0 −0.5 0 4 0.5 1

1 2 0 4

4 2 1 3

´ Protoˇze vˇsechna ˇc´ısla v u ´ˇcelovém ˇrádku jsou nezáporná, algoritmus konˇc´ı. Uloha má optimáln´ı ˇreˇsen´ı s hodnotou −4 v bodˇe (x1 , x2 , x3 , x4 , x5 , x6 ) = (1, 2, 0, 0, 3, 0). Pˇ r´ıklad 13.7. Necht’ simplexová tabulka (13.7) je −2 6 1 0 0 0 −1 −1 −1 1 0 2 2 −1 −2 0 1 1 Tabulka po prvn´ı iteraci je 0 5 −1 0 1 1 0 −1.5 −2 1 0.5 2.5 1 −0.5 −1 0 0.5 0.5

Podle nultého ˇrádku by dalˇs´ı pivot mˇel být ve tˇret´ım sloupci. Ale ˇc´ısla ai3 jsou vˇsechna záporná ´loha je neomezená. V nové tabulce je vidˇet, ˇze m˚ uˇzeme zvˇetˇsovat x3 (viz §13.1.3). Tedy u libovolnˇe a kompenzovat to vhodným nár˚ ustem x1 a x4 . Jelikoˇz c1 = c4 = 0, zmˇeny x1 a x4 se na u ´ˇcelové funkci neprojev´ı a jediný vliv na n´ı bude m´ıt x3 , které ho bude libovolnˇe zmenˇsovat.

13.3

Inicializace algoritmu

Na zaˇcátku základn´ıho simplexového algoritmu mus´ı být u ´loha zadána ve tvaru min{ cT x | Ax = b, x ≥ 0 },

(13.9)

kde matice A obsahuje standardn´ı bázi a b ≥ 0. Ukáˇzeme, jak lze obecnou u ´lohu LP pˇrevést na tento tvar. Nˇekdy je pˇrevod snadný. Pokud má u ´loha tvar min{ cT x | x ∈ Rn , Ax ≤ b, x ≥ 0 } a plat´ı b ≥ 0, pˇridán´ım slack˚ uu ´lohu pˇrevedeme na min{ cT u | Ax + u = b, x ≥ 0, u ≥ 0 }. Tato u ´loha simplexovou tabulkou T c 0 0 , A I b ve které sloupce pˇr´ısluˇsné promˇenným u tvoˇr´ı standardn´ı bázi. 121

Pˇ r´ıklad 13.8. Vyˇreˇste simplexovým algoritmem: min −3x1 − x2 − 3x3

za podm´ınek

2x1 + x2 + x3 x1 + 2x2 + 3x3 2x1 + 2x2 + x3 x1 , x2 , x3

≤ ≤ ≤ ≥

2 5 6 0

Pˇridáme slackové promˇenné u1 , u2 , u3 ≥ 0, abychom omezen´ı uvedli do tvaru rovnost´ı: min −3x1 − x2 − 3x3

za podm´ınek

2x1 + x2 + x3 + u1 =2 x1 + 2x2 + 3x3 + u2 =5 2x1 + 2x2 + x3 + u3 = 6 x1 , x2 , x3 , u1 , u2, u3 ≥ 0

Zde je výchoz´ı simplexová tabulka: −3 −1 −3 0 0 0 2 1 1 1 0 0 1 2 3 0 1 0 2 2 1 0 0 1

13.3.1

0 2 5 6

Dvouf´ azov´ a simplexov´ a metoda

Pokud je u ´loha zadána v obecném tvaru, operacemi z §11.1 ji lze vˇzdy pˇrevést do tvaru (13.9). Vynásoben´ım vhodných ˇrádk˚ u záporným ˇc´ıslem vˇzdy zajist´ıme b ≥ 0, matice A ale nemus´ı obsahovat standardn´ı bázi. Máme dokonce váˇznˇejˇs´ı problém: nen´ı v˚ ubec jasné, zda u ´loha (13.9) je pˇr´ıpustná. V tomto pˇr´ıpadˇe nejdˇr´ıve vyˇreˇs´ıme pomocnou u ´lohu LP, která najde nˇejaké (ne nutnˇe optimáln´ı) pˇr´ıpustné ˇreˇsen´ı. Z nˇej pak z´ıskáme standardn´ı bázi. Pomocná u ´loha je min{ 1T u | Ax + u = b, x ≥ 0, u ≥ 0 } a má simplexovou tabulku

(13.10)

0 1T 0 . A I b

Pro libovolné u ≥ 0 je 1T u ≥ 0, pˇriˇcemˇz 1T u = 0 právˇe tehdy, kdyˇz u = 0. Tedy u ´loha (13.9) je pˇr´ıpustná právˇe tehdy, je-li optimáln´ı hodnota u ´lohy (13.10) rovna 0. Na poˇcátku tvoˇr´ı sloupce pˇr´ısluˇsné promˇenným u standardn´ı bázi, lze tedy na n´ı pustit základn´ı simplexový algoritmus. Ten m˚ uˇze skonˇcit dvˇema zp˚ usoby: • Pokud je optimum vˇetˇs´ı neˇz 0, pak u ´loha (13.9) je nepˇr´ıpustná. • Pokud je optimum rovno 0, pak u ´loha (13.9) je pˇr´ıpustná. Pokud nen´ı optimáln´ı ˇreˇsen´ı (x, u) u ´lohy (13.10) degenerované, po skonˇcen´ı simplexového algoritmu jsou vˇsechny bázové promˇenné kladné. Protoˇze u = 0, promˇenné u budou tedy nebázové. Proto mezi sloupci pˇr´ısluˇsnými promˇenným x bude existovat standardn´ı báze.

Pokud je optimáln´ı ˇreˇsen´ı (x, u) u ´lohy (13.10) degenerované, nˇekteré promˇenné u mohou být na konci algoritmu bázové. Pak je nutno udˇelat dodateˇcné u ´pravy kolem pivot˚ u ve sloupc´ıch pˇr´ısluˇsných bázovým promˇenným u, abychom tyto sloupce dostali z báze ven. 122

Nalezen´ı nˇejakého pˇr´ıpustného ˇreˇsen´ı v pomocné u ´loze (13.10) se nazývá prvn´ı f´ aze a ˇreˇsen´ı p˚ uvodn´ı u ´lohy pak druh´ a f´ aze algoritmu, mluv´ıme tedy o dvouf´ azov´ e simplexov´ e metodˇ e. ˇ ste Pˇ r´ıklad 13.9. Reˇ min −20x1 − 30x2 − 40x3

za podm´ınek

3x1 + 2x2 + x3 = 10 x1 + 2x2 + 2x3 = 15 x1 , x2 , x3 ≥ 0

Máme sice b ≥ 0, ale nen´ı jasné, zda existuje pˇr´ıpustné x, t´ım ménˇe nen´ı vidˇet standardn´ı báze. Provedeme prvn´ı fázi algoritmu. Pomocná u ´loha bude min

u1 + u2

za podm´ınek 3x1 + 2x2 + x3 + u1 = 10 x1 + 2x2 + 2x3 + u2 = 15 x1 , x2 , x3 , u1 , u2 ≥ 0 s tabulkou

0 0 0 1 1 0 3 2 1 1 0 10 1 2 2 0 1 15

Sloupce nad pˇridanými promˇennými tvoˇr´ı standardn´ı bázi, m˚ uˇzeme tedy na pomocnou u ´lohu pustit základn´ı simplexový algoritmus. Po vynulován´ı ceny nad bázovými promˇennými budou kroky algoritmu vypadat takto: −4 −4 −3 3 2 1 1 2 2

0 1 0

2 1.5 −2

0 −1 2 1 0.5 0.5 0 1 −1

0 2.5 −2

0 1 0

0 −25 0 10 1 15 0 0 1

−5 5 5

0 1 1 0 1 −0.5 1 −1 1

0 2.5 5

Optimum je rovno 0, tedy p˚ uvodn´ı u ´loha je pˇr´ıpustná. Promˇenné u1 , u2 jsou nebázové a tedy rovny nule, bázové promˇenné jsou x2 , x3 . Ted’ tedy m˚ uˇzeme zaˇc´ıt druhou fázi (ˇreˇsen´ı p˚ uvodn´ı u ´lohy) s poˇcáteˇcn´ı tabulkou −20 −30 −40 0 2.5 1 0 2.5 −2 0 1 5

123

13.4

Cviˇ cen´ı

13.1. Najdˇete vˇsechny báze a bázová ˇreˇsen´ı polyedru { x ∈ Rn | Ax = b, x ≥ 0 } pro 1 0 1 0 1 A b = . 2 −1 4 1 4 Která z nich jsou pˇr´ıpustná? Která z nich jsou degenerovaná?

13.2. V tabulce zakrouˇzkujte vˇsechny pivoty takové, ˇze ekvivalentn´ı u ´prava kolem nich povede k pˇr´ıpustnému bázovému ˇreˇsen´ı:   0 2 6 1 0 −4 3 0 4  1 1 −3 0 0 2 3 0 3   A b =  0 −1 1 0 1 −2 −3 0 1  0 −2 2 0 0 2 −1 1 1 13.3. Zapiˇste lineárn´ı program min −x1

za podm´ınek

− x4 − 3x5

2x1 + x4 + x5 + x6 −x1 + x2 + 2x4 + 3x5 2x1 + x3 + 2x4 − x5 x1 , x2 , x3 , x4 , x5 , x6

= = = ≥

2 4 6 0

do simplexové tabulky. Pˇredpokládejte, ˇze aktuáln´ı báze je {2, 3, 6}. Jaké je aktuáln´ı bázové ˇreˇsen´ı? Je toto bázové ˇreˇsen´ı pˇr´ıpustné. Je degenerované? Pokud je to moˇzné, udˇelejte jeden krok simplexového algoritmu. Pokud to moˇzné nen´ı, vysvˇetlete proˇc. 13.4. Vyˇreˇste simplexovou metodou: max

2x1 − x2 − 3x3

za podm´ınek −2x1 − x2 + x3 −x1 + 2x2 − 3x3 −2x1 − 4x2 + x3 x1 , x2 , x3

≤ ≤ ≤ ≥

2 5 6 0

13.5. Vyˇreˇste simplexovou metodou (navzdory tomu, ˇze lze ˇreˇsit u ´vahou): max 6x1 + 9x2 + 5x3 + 9x4 za podm´ınek x1 + x2 + x3 + x4 = 1 x1 , x2 , x3 , x4 ≥ 0 13.6. Necht’ u ´loha (13.6) má v´ıce neˇz jedno optimáln´ı ˇreˇsen´ı. Jak se to pozná v simplexové tabulce? Navrhnˇete algoritmus, jehoˇz výstupem bude výˇcet vˇsech optimáln´ıch bázových ˇreˇsen´ı.

124

13.7. Mˇejme lineárn´ı program min za podm´ınek

− 3x3 + x4

2x1

x1 − x2 − x3 −x1 + 2x2 − 3x3 2x1 − x2 − x3 + 2x4 x1 , x2 , x3 , x4

≥ ≤ = ≥

0 5 6 0

Inicializujte co nejjednoduˇsˇs´ım zp˚ usobem základn´ı simplexový algoritmus. Vyˇreˇste t´ımto algoritmem. Nepouˇz´ıvejte dvoufázovou metodu. 13.8. Upravte do vhodného tvaru a vyˇreˇste dvoufázovou simplexovou metodou: 3x1 − 4x2

max

za podm´ınek −2x1 − 5x2 ≤ 10 3x1 + x2 ≤ 3 −2x1 + x2 ≤ −2 x1 ≥ 0 x2 ≤ −1


J {1, 2} {1, 3} {1, 4} {2, 3} {3, 4} x (1, −1) (0, 1) (1, 2) (0, 1) (1, 0) pˇr´ıp. ne ano ano ano ano degen. ne ano ne ano ano

´ 13.4. Uloha je neomezená kv˚ uli prvn´ımu sloupci. 13.7. Napˇr. otoˇc´ıme znaménko prvn´ıho omezen´ı, tˇret´ı omezen´ı vydˇel´ıme dvˇema, pˇrid´ ame slackové promˇenné pro prvn´ı a druhé omezen´ı. Pak vynulujeme ceny nad b´ azov´ ymi sloupci. Iterace algoritmu: 1 0.5 −2.5 0 0 0 −3 −1 1 1 0 1 0 0 −1 2 −3 0 0 1 5 3 1 −0.5 −0.5 1 0 0

−1.5 −1 −4 0.5

3 1 5 0

0 1 0 0

0 2.5 0 −3 0 1 0 0 5 0 3 1 1 0.5 0 3

V´ ysledek: (x1 , x2 , x3 , x4 ) = (6, 0, 6, 0), hodnota optima −6.

13.8. Optimum je (x1 , x2 ) = (25, −36)/13.

125

0 0 0 1

3 1 5 0

0 1 0 0

3 2 8 2

4 2 7 1

0 6 0 6 1 29 0 6

Kapitola 14 Konvexn´ı funkce Definice 14.1. Funkce f : Rn → R je konvexn´ı na konvexn´ı mnoˇzinˇe X ⊆ Rn , jestliˇze x ∈ X, y ∈ X, 0 ≤ α ≤ 1

=⇒

f (αx + (1 − α)y) ≤ αf (x) + (1 − α)f (y).

(14.1)

Funkce f je konk´ avn´ı na mnoˇzinˇe X, jestliˇze je funkce −f konvexn´ı na mnoˇzinˇe X. Rozliˇsujte pojem konvexn´ı mnoˇzina a konvexn´ı funkce, jde o r˚ uzné vˇeci. Dále si vˇsimnˇete, ˇze X mus´ı být konvexn´ı mnoˇzina – pojem konvexn´ı funkce na nekonvexn´ı mnoˇzinˇe nen´ı definován. Pokud X je celý definiˇcn´ı obor funkce f , odkaz na X m˚ uˇzeme vynechat a ˇr´ıkáme pouze, ˇze funkce f je konvexn´ı. Podm´ınku (14.1) lze zobecnit pro v´ıce neˇz dva body: funkce f je konvexn´ı právˇe tehdy, kdyˇz x1 , . . . , xk ∈ X, α1 , . . . , αk ≥ 0, α1 + · · · + αk = 1 =⇒ f (α1 x1 + · · · + αk xk ) ≤ α1 f (x1 ) + · · · + αk f (xk ). (14.2) Podm´ınka (14.2) (známá jako Jensenova nerovnost) zjevnˇe implikuje (14.1) a indukc´ı lze dokázat, ˇze to plat´ı i naopak. Porovnejte s definic´ı lineárn´ıho zobrazen´ı (3.3)! Geometrický význam podm´ınky (14.1) je ten, ˇze u ´seˇcka spojuj´ıc´ı body (x, f (x)) a (y, f (y)) leˇz´ı nad grafem funkce (viz levý obrázek). Geometrický význam podm´ınky (14.2) je ten, ˇze konvexn´ı polyedr vybarvený ˇsedˇe (viz pravý obrázek) leˇz´ı nad grafem funkce. Podrobnˇe rozmyslete, jak tyto geometrické interpretace odpov´ıdaj´ı výraz˚ um (14.1) a (14.2)! f

f

f (y )

f (x3 )

f (x )

f (x1 ) f (x2 )

f (x) + (1 )f (y) f (x + (1 )y) 0

x

0

x + (1 )y y

x1

x2

x3

Pˇ r´ıklad 14.1. Dokaˇzme z Definice 14.1, ˇze funkce f : Rn → R definovaná jako f (x) = maxni=1 xi

126

je konvexn´ı. Máme dokázat, ˇze pro kaˇzdé x, y a 0 ≤ α ≤ 1 plat´ı f (αx + (1 − α)y) = max(αxi + (1 − α)yi ) i

(14.3a)

≤ max αxi + max(1 − α)yi

(14.3b)

= α max xi + (1 − α) max yi

(14.3c)

= αf (x) + (1 − α)f (y)

(14.3d)

i

i

i

i

kde rovnost (14.3c) plyne z nezápornosti ˇc´ısel α a 1 − α. Nerovnost (14.3b) plyne z toho, ˇze pro kaˇzdé a1 , . . . , an , b1 , . . . , bn ∈ R plat´ı max(ai + bi ) ≤ max ai + max bi . i

i

i

(14.4)

Nerovnost (14.4) dokáˇzeme napˇr´ıklad takto. Necht’ i∗ , j ∗ , k ∗ jsou indexy, ve kterých se nabývaj´ı maxima, tedy ai∗ + bi∗ = maxi (ai + bi ), aj ∗ = maxi ai , bk∗ = maxi bi . Proto ai∗ ≤ aj ∗ a bi∗ ≤ bk∗ . Tedy maxi (ai + bi ) = ai∗ + bi∗ ≤ aj ∗ + bk∗ = maxi ai + maxi bi . Pˇ r´ıklad 14.2. Dokaˇzme z Definice 14.1, ˇze funkce f : Rn → R definovaná jako f (x) = minni=1 xi nen´ı konvexn´ı. Napˇr. volba n = 2, x = (0, 2), y = (2, 0), α = 12 nesplˇ nuje (14.1), nebot’ f ((x + y)/2) = f (1, 1) = 1 > (f (x) + f (y))/2 = (0 + 0)/2 = 0.

Pouˇzit´ım Jensenovy nerovnosti na vhodnou konvexn´ı funkci lze z´ıskat mnoho uˇziteˇcných nerovnost´ı. Pˇ r´ıklad 14.3. Funkce log je konkávn´ı na R++ . Napiˇsme pro tuto funkci Jensenovu nerovnost (14.2) (jelikoˇz funkce je konkávn´ı a ne konvexn´ı, mus´ıme v Jensenovˇe nerovnosti obrátit znaménko nerovnosti), ve které poloˇz´ıme α1 = · · · = αn = n1 : log

x1 + · · · + xn log x1 + · · · + log xn ≥ n n

kde x1 , . . . , xn jsou kladné. Vezmeme-li exponenciálu kaˇzdé strany, dostaneme x1 + · · · + xn ≥ (x1 · · · xn )1/n . n Tato známá nerovnost ˇr´ıká, ˇze aritmetický pr˚ umˇer nen´ı menˇs´ı neˇz geometrický.

Pˇ r´ıklad 14.4. Uved’me ˇcasto potkávané jednoduché konvexn´ı ˇci konkávn´ı funkce: 1. Exponenciála f (x) = eax je konvexn´ı na R, pro libovolné a ∈ R.

2. Mocnina f (x) = xa je na R++ konvexn´ı pro a ≥ 1 nebo a ≤ 0 a konkávn´ı pro 0 ≤ a ≤ 1.

3. Mocnina absolutn´ı hodnoty f (x) = |x|a je pro a ≥ 1 konvexn´ı na R (speciálnˇe: absolutn´ı hodnota |x| je konvexn´ı).

4. Logaritmus f (x) = log x je konkávn´ı na R++ .

5. Záporná entropie f (x) = x log x je konvexn´ı na R++ (nebo i na R+ , pokud dodefinujeme 0 log 0 = 0, coˇz se ˇcasto dˇelá, protoˇze limx→0+ x log x = 0). 6. Afinn´ı funkce f (x) = aT x + b je zároveˇ n konvexn´ı i konkávn´ı. 127

7. Kvadratická forma f (x) = xT Ax je konvexn´ı pro A pozitivnˇe semidefinitn´ı, konkávn´ı pro A negativnˇe semidefinitn´ı, a nekonvexn´ı a nekonkávn´ı pro A indefinitn´ı (viz Pˇr´ıklad 14.5). 8. Maximum sloˇzek f (x) = maxni=1 xi = max{x1 , . . . , xn } je konvexn´ı na Rn .

9. Log-sum-exp funkce f (x) = log(ex1 + · · · + exn ) je konvexn´ı. Tato funkce se nˇekdy nazývá mˇekké maximum, nebot’ funkce ft (x) = f (tx)/t = log(etx1 + · · · + etxn )/t se pro t → +∞ bl´ıˇz´ı funkci maxni=1 xi (dokaˇzte výpoˇctem limity!).

10. Geometrický pr˚ umˇer f (x) = (x1 · · · xn )1/n je konkávn´ı na Rn+ .

11. Kaˇzdá norma (viz Definice 11.1) je konvexn´ı funkce, nebot’ pro kaˇzdé 0 ≤ α ≤ 1 máme kαx + (1 − α)yk ≤ kαxk + k(1 − α)yk = αkxk + (1 − α)kyk, kde nerovnost plyne z troj´ uheln´ıkové nerovnosti a rovnost z homogenity. Nakreslete ˇci pˇredstavte si vrstevnice a grafy tˇechto funkc´ı (v pˇr´ıpadˇe v´ıce promˇenných pro n = 1 a n = 2)!

14.1

Konvexita diferencovateln´ ych funkc´ı

Konvexn´ı funkce nemus´ı být v kaˇzdém bodˇe diferencovatelná (uvaˇzte napˇr. funkci f (x) = |x|). Pokud je ale funkce jednou ˇci dvakrát diferencovatelná, jej´ı konvexitu lze snadnˇeji neˇz pomoc´ı podm´ınky (14.1) (které se nˇekdy ˇr´ıká podm´ınka nultého ˇrádu) charakterizovat pomoc´ı derivac´ı. Následuj´ıc´ı dvˇe vˇety uvedeme bez d˚ ukaz˚ u. Vˇ eta 14.1 (Podm´ınka prvn´ıho ˇ r´ adu). Necht’ funkce f : Rn → R je diferencovatelná na konvexn´ı mnoˇzinˇe X ⊆ Rn . Funkce f je konvexn´ı na mnoˇzinˇe X právˇe tehdy, kdyˇz x ∈ X, y ∈ X

=⇒

f (y) ≥ f (x) + f ′ (x) (y − x).

To znamená, ˇze Taylor˚ uv polynom prvn´ıho ˇrádu funkce f v kaˇzdém bodˇe x ∈ X (viz (8.13b)) je vˇsude (tj. pro kaˇzdé y) menˇs´ı nebo roven funkci f : f f (x ) f (x) + f 0 (x)(y

f (y )

x)

0

y

x

Vˇ eta 14.2 (Podm´ınka druh´ eho ˇ r´ adu). Necht’ X ⊆ Rn je konvexn´ı mnoˇzina, která má pouze vnitˇrn´ı body. Necht’ funkce f : Rn → R je dvakrát diferencovatelná na X. Funkce f je konvexn´ı na mnoˇzinˇe X právˇe tehdy, kdyˇz v kaˇzdém bodˇe x ∈ X je Hessova matice f ′′ (x) pozitivnˇe semidefinitn´ı.

128

Pˇ r´ıklad 14.5. Necht’ f (x) = xT Ax, kde A je symetrická pozitivnˇe semidefinitn´ı. Ukaˇzme konvexitu této funkce tˇremi zp˚ usoby: • Dokaˇzme konvexitu z Vˇety 14.2. To je triviáln´ı, protoˇze Hessián je f ′′ (x) = 2A a tedy je pozitivnˇe semidefinitn´ı. • Dokaˇzme konvexitu z Vˇety 14.1. Protoˇze f ′ (x) = 2xT A, máme dokázat, ˇze yT Ay ≥ xT Ax + 2xT A(y − x). To jde upravit na xT Ax − 2xT Ay + yT Ay ≥ 0. Plat´ı1 xT Ax − 2xT Ay + yT Ay = (x − y)T A(x − y),

(14.5)

coˇz je nezáporné pro kaˇzdé x, y, protoˇze A je pozitivnˇe semidefinitn´ı. • Dokáˇzme konvexitu z Definice 14.1. Mus´ıme dokázat, ˇze pro kaˇzdé x, y ∈ Rn a 0 ≤ α ≤ 1 plat´ı (14.1), tedy [αx + (1 − α)y]T A[αx + (1 − α)y] ≤ αxT Ax + (1 − α)yT Ay Po roznásoben´ı a pˇreveden´ı vˇsech ˇclen˚ u na jednu stranu upravujeme: (α − α2 )xT Ax − 2α(1 − α)xT Ay + ((1 − α) − (1 − α)2 )yT Ay ≥ 0

α(1 − α)(xT Ax − 2xT Ay + yT Ay) ≥ 0.

Výraz α(1 − α) je pro kaˇzdé 0 ≤ α ≤ 1 nezáporný. Nezápornost výrazu (14.5) jsme jiˇz ukázali.

14.2

Vztah konvexn´ı funkce a konvexn´ı mnoˇ ziny

Zopakujte si pojmy vrstevnice a graf funkce z §1.1.3! Zavedeme dva podobné pojmy, které se liˇs´ı pouze nahrazen´ım rovnosti nerovnost´ı. Pro funkci f : Rn → R definujeme: • Subkontura2 výˇsky y je mnoˇzina { x ∈ Rn | f (x) ≤ y }.

• Epigraf funkce je mnoˇzina { (x, y) ∈ Rn+1 | x ∈ Rn , f (x) ≤ y }. Levý obrázek znázorˇ nuje subkonturu výˇsky y a epigraf funkce R → R, pravý obrázek subkonturu výˇsky 2 funkce R2 → R: f

y

0 1 2

3

dom f

2

1

Vˇsimnˇete si, ˇze pro n = 1 a A = 1 se rovnost (14.5) zjednoduˇs´ı na známé x2 − 2xy + y 2 = (x − y)2 . Slovo ’subkontura’ je pokus o ˇcesk´ y pˇreklad anglického ’sublevel set’.

129

Existuj´ı tˇesné vztahy mezi konvexitou funkce a konvexitou jej´ıho epigrafu a subkontur (coˇz jsou mnoˇziny), dané následuj´ıc´ımi vˇetami. Vˇ eta 14.3. Je-li f konvexn´ı funkce, pak je kaˇzdá subkontura této funkce konvexn´ı mnoˇzina. D˚ ukaz. Pˇredpokládejme, ˇze body x1 a x2 patˇr´ı do subkontury, tedy f (x1 ) ≤ y a f (x2 ) ≤ y. Pro kaˇzdé 0 ≤ α ≤ 1 plat´ı f (αx1 + (1 − α)x2 ) ≤ αf (x1 ) + (1 − α)f (x2 ) ≤ αy + (1 − α)y = y, kde prvn´ı nerovnost plyne z konvexity funkce a druhá z nerovnost´ı f (x1 ) ≤ y, f (x2 ) ≤ y. Tedy bod αx1 + (1 − α)x2 patˇr´ı do subkontury, která je proto konvexn´ı mnoˇzina. Obrácená implikace ve Vˇetˇe 14.3 neplat´ı: snadno najdeme funkci, která nen´ı konvexn´ı a jej´ıˇz kaˇzdá subkontura je konvexn´ı mnoˇzina3 . Pˇr´ıklad je na obrázku: f

y

0

Vˇ eta 14.4. Funkce f je konvexn´ı právˇe tehdy, kdyˇz jej´ı epigraf je konvexn´ı mnoˇzina. D˚ ukaz. Pˇredpokládejme, ˇze funkce f je konvexn´ı. Vezmˇeme dva body (x1 , y1 ) a (x2 , y2 ) z epigrafu, tedy f (x1 ) ≤ y1 a f (x2 ) ≤ y2 . Pro kaˇzdé 0 ≤ α ≤ 1 plat´ı f (αx1 + (1 − α)x2 ) ≤ αf (x1 ) + (1 − α)f (x2 ) ≤ αy1 + (1 − α)y2, kde prvn´ı nerovnost plyne z konvexity funkce a druhá nerovnost z f (x1 ) ≤ y1 a f (x2 ) ≤ y2 . Tedy bod α(x1 , y1 ) + (1 − α)(x2 , y2 ) patˇr´ı do epigrafu, který je proto konvexn´ı mnoˇzina. Pˇredpokládejme, ˇze epigraf je konvexn´ı mnoˇzina. Tedy pokud body (x1 , y1 ) a (x2 , y2 ) patˇr´ı do epigrafu, pak také bod α(x1 , y1 ) + (1 − α)(x2 , y2) patˇr´ı do epigrafu pro kaˇzdé 0 ≤ α ≤ 1. Volbou y1 = f (x1 ) a y2 = f (x2 ) máme f (αx1 + (1 − α)x2 ) ≤ αy1 + (1 − α)y2 = αf (x1 ) + (1 − α)f (x2 ), proto je funkce f konvexn´ı.

14.3

Operace zachov´ avaj´ıc´ı konvexitu funkc´ı

Operace zachovávaj´ıc´ı konvexitu funkc´ı umoˇzn ˇuj´ı z jednoduchých konvexn´ıch funkc´ı z´ıskat sloˇzitˇejˇs´ı. Konvexitu sloˇzitˇejˇs´ı funkce je ˇcasto snadnˇejˇs´ı dokázat pohodlnˇeji pomoc´ı tˇechto operac´ı neˇz z Definice 14.1 nebo Vˇet 14.1 a 14.2. 3

Funkce, jej´ıˇz kaˇzdá subkontura je konvexn´ı mnoˇzina, se naz´ yvá kvazikonvexn´ı. Kvazikonvexn´ı funkce nejsou zdaleka tak hezké jako konvexn´ı funkce.

130

Jsou-li g1 , . . . , gk : Rn → R konvexn´ı funkce a α1 , . . . , αk ≥ 0, je snadné dokázat z Definice 14.1 (proved’te!), ˇze také funkce f = α1 g 1 + · · · + αk g k

(14.6)

je konvexn´ı. Speciálnˇe, jsou-li f a g konvexn´ı funkce, pak f + g je konvexn´ı. g h Zkoumejme nyn´ı sloˇzenou funkci f (x) = (h ◦ g)(x) = h(g(x)), kde Rn −→ Rm −→ R. Obecnˇe neplat´ı ani v pˇr´ıpadˇe m = n = 1, ˇze konvexita funkc´ı g a h zaruˇcuje konvexitu funkce f . Nutné a postaˇcuj´ıc´ı podm´ınky pro konvexitu sloˇzené funkce jsou obecnˇe dosti komplikované a nebudeme je uvádˇet. Uvedeme jen nejd˚ uleˇzitˇejˇs´ı pˇr´ıpad, kdy g je afinn´ı zobrazen´ı. Vˇ eta 14.5. Necht’ funkce h: Rm → R je konvexn´ı. Necht’ A ∈ Rm×n a b ∈ Rm . Pak funkce f (x) = h(Ax + b) je konvexn´ı. D˚ ukaz. Pro kaˇzdé x, y ∈ Rn a 0 ≤ α ≤ 1 plat´ı f (αx + (1 − α)y) = h(A[αx + (1 − α)y] + b) = h(α(Ax + b) + (1 − α)(Ay + b)) ≤ αh(Ax + b) + (1 − α)h(Ay + b) = αf (x) + (1 − α)f (y).

Pˇ r´ıklad 14.6. Funkce f : R2n → R daná vzorcem f (x, y) = kx−yk, kde x, y ∈ Rn , je konvexn´ı funkce argumentu (x, y) ∈ R2n . Ve Vˇetˇe 14.5 vezmeme A = I −I ∈ Rn×(2n) a b = 0. Nejzaj´ımavˇejˇs´ı operace zachovávaj´ıc´ı konvexitu funkc´ı je maximum.

Vˇ eta 14.6. Necht’ I je libovolná mnoˇzina a gi : Rn → R, i ∈ I, jsou konvexn´ı funkce. Pak f (x) = max gi (x)

(14.7)

i∈I

je konvexn´ı funkce, kde pˇredpokládáme, ˇze pro kaˇzdé x maximum existuje 4 . D˚ ukaz. Postupujeme podobnˇe jako v Pˇr´ıkladu 14.1: f (αx + (1 − α)y) = max gi (αx + (1 − α)y)

(14.8a)

i∈I

≤ max[αgi (x) + (1 − α)gi (y)]

(14.8b)

≤ max[αgi (x)] + max[(1 − α)gi (y)]

(14.8c)

= α max gi (x) + (1 − α) max gi (y)

(14.8d)

= αf (x) + (1 − α)f (y).

(14.8e)

i∈I

i∈I

i∈I

i∈I

i∈I

Nerovnost (14.8b) plyne z konvexity funkc´ı gi . Nerovnost (14.8c) plyne z nerovnosti (14.4), kterou jsme sice dokázali jen pro koneˇcnou mnoˇzinu I ale zˇrejmˇe plat´ı i pro nekoneˇcnou I. Rovnost (14.8d) plyne z nezápornosti α a 1 − α. 4

Pokud pro nˇejaké x mnoˇzina { gi (x) | i ∈ I } nem´ a nejvˇetˇs´ı prvek (coˇz se m˚ uˇze stát jen tehdy, je-li mnoˇzina I nekoneˇcná), m˚ uˇzeme maximum v (14.7) nahradit supremem a vˇeta stále plat´ı.

131

Uved’me jeˇstˇe jiný d˚ ukaz Vˇety 14.6, který vyuˇz´ıvá pojem epigrafu. D˚ ukaz. Epigraf funkce f je mnoˇzina { (x, y) ∈ Rn+1 | x ∈ Rn , max gi (x) ≤ y } = { (x, y) ∈ Rn+1 | x ∈ Rn , (∀i ∈ I)(gi (x) ≤ y) } i∈I \ = { (x, y) ∈ Rn+1 | x ∈ Rn , gi (x) ≤ y }, i∈I

unik epigraf˚ u funkc´ı gi . kde jsme vyuˇzili ekvivalence (11.5). Vid´ıme, ˇze epigraf funkce f pr˚ Protoˇze funkce gi jsou konvexn´ı, dle Vˇety 14.4 jsou jejich epigrafy konvexn´ı mnoˇziny. Dle Vˇety 12.1 je pr˚ unik konvexn´ıch mnoˇzin konvexn´ı mnoˇzina. Tedy epigraf funkce (14.7) je konvexn´ı mnoˇzina. Dle Vˇety 14.4 je tedy funkce f konvexn´ı. Pˇ r´ıklad 14.7. Necht’ f (x) = maxni=1 xi je maximum ze sloˇzek x. Konvexitu této funkce jsme dokázali z Definice 14.1, nicménˇe dokaˇzme ji z Vˇety 14.6. Máme gi (x) = xi . Funkce gi jsou lineárn´ı, tedy konvexn´ı. Tedy funkce f (x) = maxni=1 gi (x) je konvexn´ı. Pˇ r´ıklad 14.8. Funkce

k

f (x) = max(aTi x + bi ) i=1

je maximem afinn´ıch funkc´ı. Tuto funkci jsme jiˇz potkali v §11.1.1. Protoˇze afinn´ı funkce jsou konvexn´ı, je i jejich maximum konvexn´ı. Pˇ r´ıklad 14.9. Necht’ C ⊆ Rn je libovolná (ne nutnˇe konvexn´ı) mnoˇzina. Funkce f (x) = max kx − yk y∈C

udává vzdálenost bodu x od nejvzdálenˇejˇs´ıho bodu mnoˇziny C (zde pˇredpokládáme, ˇze maximum existuje). Dle Vˇety 14.5 je pro kaˇzdé pevné y výraz kx − yk konvexn´ı funkc´ı x. Tedy výraz kx − yk lze chápat jako mnoˇzinu konvexn´ıch funkc´ı x indexovaných indexem y (m˚ uˇzeme oznaˇcit kx − yk = gy (x)). Jelikoˇz f je maximem tˇechto funkc´ı, je i funkce f konvexn´ı. Pˇ r´ıklad 14.10. Mˇejme funkci f (c) = max{ cT x | x ∈ Rn , Ax ≥ b }, která vyjadˇruje závislost optimáln´ı hodnoty daného lineárn´ıho programu na vektoru c (viz §11). Máme f (c) = maxx∈X cT x a X = { x ∈ Rn | Ax ≥ b } (zde pˇredpokládáme, ˇze pro kaˇzdé c maximum existuje, neboli mnoˇzina X je neprázdná a omezená). Je-li x pevné, je cT x lineárn´ı funkce vektoru c. Funkce f je tedy maximum nekoneˇcného mnoˇzstv´ı lineárn´ıch funkc´ı, tedy je konvexn´ı. Pˇ r´ıklad 14.11. Necht’ a1 , . . . , an ∈ Rm , b1 , . . . , bn ∈ R a w = (w1 , . . . , wn ) ∈ Rn je vektor nezáporných vah. Pˇribliˇzné ˇreˇsen´ı soustavy aTi x = bi , i = 1, . . . , n, ve smyslu váˇzených nejmenˇs´ıch ˇctverc˚ u (viz §5.4) znamená vypoˇc´ıtat f (w) = minm x∈R

n X i=1

wi (aTi x − bi )2 ,

kde jsme oznaˇcili hodnotu výsledného minima jako funkci vektoru vah. Funkce f je konkávn´ı, protoˇze je minimem lineárn´ıch funkc´ı. 132

14.4

Cviˇ cen´ı

14.1. Pro kaˇzdou funkci f : Rn → R dokaˇzte z Definice 14.1, které z tˇechto ˇctyˇr tvrzen´ı plat´ı: funkce je konvexn´ı, konkávn´ı, konvexn´ı i konkávn´ı, ani konvexn´ı ani konkávn´ı. a) b) c) d)

f (x) = aT x + b f (x) = xT x f (x) = aritmetický pr˚ umˇer ˇc´ısel x1 , . . . , xn n f (x) = mediani=1 xi (medián ˇc´ısel x1 , . . . , xn )

14.2. Pro kaˇzdou funkci dokaˇzte, které z tˇechto ˇctyˇrech tvrzen´ı plat´ı: funkce je konvexn´ı, konkávn´ı, konvexn´ı i konkávn´ı, ani konvexn´ı ani konkávn´ı. M˚ uˇzete to dokázat bud’ z Definice 14.1, pomoc´ı derivac´ı, nebo pomoc´ı operac´ı zachovávaj´ıc´ıch konvexitu. a) b) c) d) e) f) g) h) i) j) k)

2

f (x) = ex 2 f (x) = e−x f (x, y) = |x − y| f (x, y) = −y f (x) = kAx − bk22 P f (x) = ni=1 xi log xi na mnoˇzinˇe Rn++ P f (x) = ki=1 log(bi − aTi x) na mnoˇzinˇe X = { x ∈ Rn | aTi x < bi , i = 1, . . . , k } f (x) = minni=1 |xi | f (x) = maxni=1 xi + minni=1 xi f (x) = maxni=1 xi − minni=1 xi (⋆) f (x) = souˇcet k nejvˇetˇs´ıch ˇc´ısel x1 , . . . , xn (kde k ≤ n je dáno)

14.3. Robustn´ı prokládán´ı pˇr´ımky mnoˇzinou bod˚ u (xi , yi ) ∈ (Rn × R), i = 1, . . . , m vyˇzaduje minimalizaci funkce m X f (a, b) = max{−aT xi + b + yi − ε, 0 , aT xi + b − yi − ε}, i=1

n

kde a ∈ R a b ∈ R. Dokaˇzte, ˇze f (a, b) je konvexn´ı funkce.

14.4. Je dána funkce f (x) = − cos x a mnoˇzina X = [−π, +π] (kde [·] znaˇc´ı uzavˇrený interval). Zakrouˇzkujte pravdivá tvrzen´ı (m˚ uˇze jich být i v´ıce): a) Funkce f je na mnoˇzinˇe X konvexn´ı. b) Funkce f je na mnoˇzinˇe X konkávn´ı. c) Funkce f nen´ı na mnoˇzinˇe X ani konvexn´ı ani konkávn´ı. 14.5. Kaˇzdý z obrázk˚ u zobrazuje nˇekteré vrstevnice funkce dvou promˇenných a jejich výˇsky. Je moˇzné, aby funkce, která má tyto vrstevnice, byla konvexn´ı? Dokaˇzte z Definice 14.1.

1

2

3

1

133

2

3

14.6. Co je subkontura výˇsky 2 funkce jedné promˇenné f (x) = x2 − x?

14.7. Zkuste dokázat z Definice 14.1 konvexitu ˇci konkavitu funkc´ı z Pˇr´ıkladu 14.4. Jestliˇze to nesvedete, dokaˇzte jejich konvexitu ˇci konkavitu pomoc´ı Vˇet 14.1 a 14.2. 14.8. Dokaˇzte, ˇze u ´ˇcelové funkce vystupuj´ıc´ı v následuj´ıc´ıch u ´lohách jsou nekonvexn´ı: a) Pˇr´ıklad 10.6 b) Cviˇcen´ı 10.3

N´ apovˇ eda a ˇ reˇ sen´ı 14.1.a) Konvexn´ı i konkávn´ı, nerovnost (14.1) plat´ı s rovnost´ı. 14.1.b) Je konvexn´ı, nen´ı koknávn´ı. 14.1.c) Konvexn´ı i konkávn´ı, nerovnost (14.1) plat´ı s rovnost´ı. 14.1.d) Pro n ≤ 2 konvexn´ı i konkávn´ı, pro n > 2 ani konvexn´ı ani konkávn´ı.

yˇsky 1 a 3. Zvolte chytˇre α. Odpovˇed’: ne, ano. 14.5. V Definici 14.1 zvolte x, y na vrstevnic´ıch v´ 14.7. Interval [−1, 2].

134

Kapitola 15 Konvexn´ı optimalizaˇ cn´ı u ´ lohy Naj´ıt globáln´ı minimum funkce na mnoˇzinˇe je obvykle mnohem tˇeˇzˇs´ı neˇz naj´ıt nˇejaké lokáln´ı minimum. Mohli bychom si myslet, ˇze globáln´ı mimimum najdeme tak, ˇze najdeme vˇsechna lokáln´ı minima a vybereme to, pro které je u ´ˇcelová funkce nejmenˇs´ı. Problém je v tom, ˇze lokáln´ıch minim m˚ uˇze být velmi mnoho. ˇ sme u Pˇ r´ıklad 15.1. Reˇ ´lohu max{ xT x | x ∈ [−1, 1]n },

(15.1)

tedy maximalizujeme konvexn´ı funkci xT x na hyperkrychli [−1, 1]n . Je jasné (nakreslete si obrázek pro n = 2, tedy pro ˇctverec!), ˇze funkce má lokáln´ı maximum v kaˇzdém vrcholu ´loha má 2n lokáln´ıch maxim. hyperkrychle. Jelikoˇz hyperkrychle má 2n vrchol˚ u (viz §12.3.3), u V tomto symetrickém pˇr´ıpadˇe globáln´ı maximum snadno najdeme u ´vahou. Uvaˇzme vˇsak m´ırnou modifikaci u ´lohy: min{ xT Ax | x ∈ [−1, 1]n }. (15.2) n×n kde A ∈ Z (tedy matice má celoˇc´ıselné prvky). Nalezen´ı globáln´ıho maxima této u ´lohy je pravdˇepodobnˇe velmi tˇeˇzké, v následuj´ıc´ım smyslu. ˇ Rekneme, ˇze daný algoritmus ˇreˇs´ı u ´lohu (15.2) v polynomiáln´ım ˇcase 1 , jestliˇze existuje polynom p takový, ˇze algoritmus pro kaˇzdou matici A skonˇc´ı v ˇcase menˇs´ım neˇz p(L), kde L je poˇcet bit˚ u potˇrebných k zápisu vˇsech prvk˚ u aij matice A v binárn´ım kódu. Algoritmus, který by ˇreˇsil u ´lohu v polynomiáln´ım ˇcase, nen´ı znám. Vˇ eta 15.1. Necht’ funkce f : Rn → R je konvexn´ı na konvexn´ı mnoˇzinˇe X ⊆ Rn . Pak kaˇzdé lokáln´ı minimum funkce f na mnoˇzinˇe X je zároveˇ n globáln´ı. D˚ ukaz. Necht’ x je lokáln´ım minimem f na X, viz obrázek: U

x

x∗

y

X 1

Zde se dot´ ykáme teorie sloˇzitosti algoritm˚ u, kterou budete brát aˇz pozdˇeji.

135

Dle Definice 9.2 tedy existuje okol´ı U bodu x tak, ˇze f (x) ≤ f (y) pro vˇsechna y ∈ U ∩ X. Necht’ ale x nen´ı globáln´ı minimum, tedy existuje x∗ ∈ X takové, ˇze f (x∗ ) < f (x). Ukáˇzeme, ˇze to vede ke sporu. M˚ uˇzeme totiˇz zvolit 0 < α < 1 tak, ˇze bod y = αx + (1 − α)x∗ leˇz´ı v U. Protoˇze je mnoˇzina X konvexn´ı, leˇz´ı bod y zároveˇ n i v X. Máme f (y) = f (αx + (1 − α)x∗ ) ≤ αf (x) + (1 − α)f (x∗ ) < αf (x) + (1 − α)f (x) = f (x). Ale tvrzen´ı f (y) < f (x) je ve sporu s pˇredpokladem, ˇze x je lokáln´ı minimum.

Vˇeta 15.1 tedy definuje tˇr´ıdu u ´loh, pro které nám staˇc´ı naj´ıt libovolné lokáln´ı minimum, ´ abychom naˇsli globáln´ı minimum. Uloze, ve které minimalizujeme konvexn´ı funkci na konvexn´ı mnoˇzinˇe, se ˇr´ıká konvexn´ı optimalizaˇ cn´ı u ´ loha. Uvaˇzujme nyn´ı obecnou u ´lohu spojité optimalizace ve standarn´ım tvaru (1.7), min{ f (x) | x ∈ Rn , g(x) ≤ 0, h(x) = 0 } neboli

min

(15.3)

f (x1 , . . . , xn )

za podm´ınek gi (x1 , . . . , xn ) ≤ 0, i = 1, . . . , m hi (x1 , . . . , xn ) = 0, i = 1, . . . , l kde f : Rn → R, (g1 , . . . , gm ) = g: Rn → Rm , (h1 , . . . , hl ) = h: Rn → Rl . Mnoˇzina pˇr´ıpustných ˇreˇsen´ı této u ´lohy je konvexn´ı, jestliˇze funkce f, g1 , . . . , gm jsou konvexn´ı a funkce h1 , . . . , hl jsou afinn´ı (tedy zobrazen´ı h je afinn´ı). Tato mnoˇzina je totiˇz pr˚ unik mnoˇzin { x ∈ Rn | gi (x) ≤ 0 } (které jsou konvexn´ı, nebot’ jsou to subkontury konvexn´ı funkce gi ) a { x ∈ Rn | h(x) = 0 } (coˇz je afinn´ı podprostor, tedy také konvexn´ı). Podm´ınka, ˇze funkce f, g1 , . . . , gm jsou konvexn´ı a zobrazen´ı h je afinn´ı, je postaˇcuj´ıc´ı ale nikoliv nutná pro konvexitu mnoˇziny pˇr´ıpustných ˇreˇsen´ı. Pˇ r´ıklad 15.2. Uvaˇzujme dvˇe ekvivalentn´ı definice téˇze mnoˇziny { x ∈ R2 | x1 /(1 + x22 ) ≤ 0, (x1 + x2 )2 = 0 } = { x ∈ R2 | x1 ≤ 0, x1 + x2 = 0 }. Oba tvary definuj´ı stejnou mnoˇzinu (proˇc?). V prvn´ım tvaru funkce g(x) = x1 /(1 + x22 ) nen´ı konvexn´ı a funkce h(x) = (x1 + x2 )2 nen´ı afinn´ı. Pˇresto je mnoˇzina konvexn´ı, coˇz je vidˇet ze druhého tvaru. ´ Uloze tvaru (15.3), ve které jsou funkce f, g1 , . . . , gm konvexn´ı a zobrazen´ı h afinn´ı, ˇr´ıkáme konvexn´ı optimalizaˇ cn´ı u ´ loha ve standardn´ım tvaru.

15.1

Ekvivalentn´ı transformace u ´ lohy

Dvˇe u ´lohy ve tvaru (15.3) nazveme ekvivalentn´ı, kdyˇz se z mnoˇziny optimáln´ıch ˇreˇsen´ı jedné dá ’snadno’ (v lineárn´ım ˇcase) z´ıskat mnoˇzina optimáln´ıch ˇreˇsen´ı druhé. Ekvivalentn´ı transformace je pak kaˇzdá transformace u ´lohy, jej´ımˇz výsledkem je u ´loha ekvivalentn´ı. Dále uvedeme pˇr´ıklady ekvivalentn´ıch transformac´ı. U kaˇzdé poznamenáme, zda zachovává konvexitu u ´lohy.

136

Zmˇ ena promˇ enn´ ych Necht’ ϕ: Rn → Rn je bijektivn´ı zobrazen´ı (viz §1.1.2). Pak u ´loha (15.3) je ekvivalentn´ı u ´loze min{ f (ϕ(x)) | x ∈ Rn , g(ϕ(x)) ≤ 0, h(ϕ(x)) = 0 }. Tato transformace nemus´ı zachovat konvexitu u ´lohy. Monot´ onn´ı transformace u ´ˇ celov´ e funkce Necht’ ψ: R → R je monotónn´ı rostouc´ı funkce. Pak min{ f (x) | x ∈ X } = min{ ψ(f (x)) | x ∈ X }. Tato transformace nemus´ı zachovat konvexitu funkce f . Pˇ r´ıklad 15.3. Tuto transformaci jsme jiˇz nˇekolikrát pouˇzili v nejmenˇs´ıch ˇctverc´ıch. Máme minimalizovat napˇr. funkci f (x) = kAx − bk2 , ale zvol´ıme ψ(y) = y 2 a minimalizujeme funkci ψ(f (x)) = kAx − bk22 = (Ax − b)T (Ax − b). Nová funkce má výhodu, ˇze je na rozd´ıl od staré diferencovatelná, a to pˇri zachován´ı konvexity. Slackov´ e promˇ enn´ e ´loze Podobnˇe jako v lineárn´ım programován´ı, u ´loha (15.3) je ekvivalentn´ı u min{ f (x) | x ∈ Rn , s ∈ Rm , s ≥ 0, g(x) + s = 0, h(x) = 0 }. Transformace zachová konvexitu u ´lohy jen v pˇr´ıpadˇe, kdy g(x) + s je afinn´ı zobrazen´ı vektoru (x, s), tedy kdy zobrazen´ı g je afinn´ı, Epigrafov´ y tvar ´ Ulohu (15.3) je ekvivalentn´ı u ´loze min{ y | x ∈ Rn , y ∈ R, f (x) − y ≤ 0, g(x) ≤ 0, h(x) = 0 }. Tato transformace zachovává konvexitu u ´lohy. Plyne z n´ı d˚ uleˇzité pozorován´ı, ˇze kaˇzdou optimalizaˇcn´ı u ´lohu lze pˇrevést na u ´lohu s lineárn´ı u ´ˇcelovou funkc´ı.

15.2

Tˇ r´ıdy konvexn´ıch optimalizaˇ cn´ıch u ´ loh

Optimalizaˇcn´ı u ´lohy ve tvaru (15.3) se taxonomizuj´ı podle druhu funkc´ı f, gi , hi . Pro kaˇzdou tˇr´ıdu existuj´ı specializované algoritmy schopné naj´ıt lokáln´ı minimum2 .

15.2.1

Line´ arn´ı programov´ an´ı (LP)

V lineárn´ım programován´ı jsou vˇsechny funkce f, gi , hi afinn´ı. Jde tedy v jistém smyslu o nejjednoduˇs´ı pˇr´ıpad konvexn´ı optimalizaˇcn´ı u ´lohy. Pˇresto jsme vidˇeli v Kapitole 11, ˇze jiˇz tento jednoduchý pˇr´ıpad má velmi mnoho aplikac´ı. 2

Viz napˇr. http://www.neos-guide.org.

137

15.2.2

Kvadratick´ e programov´ an´ı (QP)

V kvadratickém programován´ı jsou funkce gi , hi afinn´ı a funkce f je kvadratická konvexn´ı, tedy f (x) = xT Ax + bT x + c kde A je pozitivnˇe semidefinitn´ı (viz Pˇr´ıklad 14.5). Pˇ r´ıklad 15.4. Pˇri ˇreˇsen´ı soustavy ve smyslu nejmenˇs´ıch ˇctverc˚ u (§5.1) poˇc´ıtáme konvexn´ı QP 2 n ´lohu lze vˇselijak modifikovat, napˇr. m˚ uˇzeme pˇridat bez omezen´ı minx∈R kAx − bk2 . Tuto u omezen´ı c ≤ x ≤ d, tj. kaˇzdá promˇenná xj mus´ı být v intervalu [cj , dj ]. To vede na konvexn´ı QP s omezen´ımi. Pˇ r´ıklad 15.5. Hledán´ı ˇreˇsen´ı pˇreurˇcené lineárn´ı soustavy s nejmenˇs´ı normou (§5.2) vede na u ´lohu min{ xT x | Ax = b }, coˇz je konvexn´ı QP. Pˇ r´ıklad 15.6. Chceme spoˇc´ıtat vzdálenost d(P1 , P2 ) = min{ kx1 − x2 k2 | x1 ∈ P1 , x2 ∈ P2 } ´ dvou konvexn´ıch polyedr˚ u P1 = { x ∈ Rn | A1 x ≤ b1 }, P2 = { x ∈ Rn | A2 x ≤ b2 }. Uloha vede na QP d(P1 , P2 )2 = min{ kx1 − x2 k22 | x1 , x2 ∈ Rn , A1 x1 ≤ b1 , A2 x2 ≤ b2 }.

Pˇ r´ıklad 15.7. Je dáno m bod˚ u v Rn , z nichˇz kaˇzdý patˇr´ı do jedné ze dvou tˇr´ıd, oznaˇcených −1 a 1. Jinými slovy, je dána mnoˇzina dvojic (xi , yi ) ∈ Rn × {−1, 1} pro i = 1, . . . , m. V u ´loze lineárn´ı klasifikace hledáme nadrovinu, která oddˇeluje body z obou tˇr´ıd. Tedy hledáme a ∈ Rn a b ∈ R takové, aby aT xi − b < 0 pro yi = −1, aT xi − b > 0 pro yi = 1,

coˇz lze napsat jako yi (aT xi − b) > 0,

i = 1, . . . , m.

yi (aT xi − b) ≥ 1,

i = 1, . . . , m.

(15.4)

Oznaˇcme εi = yi (aT xi −b) a vydˇelme vektor (a, b) kladným ˇc´ıslem minm i=1 εi . Pak soustavu (15.4) m˚ uˇzeme ekvivalentnˇe psát jako (15.5)

Hledáme-li libovolnou oddˇeluj´ıc´ı nadrovinu, staˇc´ı nám naj´ıt libovolné ˇreˇsen´ı soustavy nerovnic (15.5). Soustava ale nav´ıc ˇr´ıká, ˇze body jsou oddˇeleny pásem { x ∈ Rn | −1 ≥ aT x − b ≥ 1 }: aT x − b = −1 aT x − b = 1

2/kak2

Snadno spoˇc´ıtáme (srov. Cviˇcen´ı 5.18), ˇze ˇs´ıˇrka pásu je 2/kak2 . V u ´loze support vector machine (SVM) naj´ıt rozdˇeluj´ıc´ı nadrovinu která maximalizuje ˇs´ıˇrku pásu, tedy minimalizuje kak22 = aT a ´loha QP. za podm´ınek (15.5). To je u 138

15.2.3

Kvadratick´ e programov´ an´ı s kvadratick´ ymi omezen´ımi (QCQP)

Obecnˇejˇs´ı variantou je kvadratické programován´ı s kvadratickými omezen´ımi (QCQP, quadratically constrained quadratic programming), kde funkce f, gi jsou kvadratické konvexn´ı a funkce hi jsou afinn´ı.

15.2.4

Programov´ an´ı na kuˇ zelu druh´ eho ˇ r´ adu (SOCP)

V u ´loze programován´ı na kuˇzelu druhého ˇrádu (SOCP, second-order cone programming) jsou funkce f, hi afinn´ı a funkce gi maj´ı tvar gi (x) = kAi x + bi k2 − (cTi x + di ).

(15.6)

Tedy u ´loha SOCP má tvar (vynecháváme afinn´ı omezen´ı hi (x) = 0) min eT x za podm´ınek kAi x + bi k2 ≤ cTi x + di , i = 1, . . . , m. Funkce gi jsou konvexn´ı (nebot’ norma je konvexn´ı funkce, dále viz Vˇeta 14.5). Podm´ınku gi (x) ≤ 0 lze psát také jako (Ai x + bi , cTi x + di ) ∈ K2n , kde konvexn´ı mnoˇzina K2n = { (x, y) ∈ Rn+1 | kxk2 ≤ y } je epigraf Euklidovské normy k · k2 (která je konvexn´ı funkce, viz Pˇr´ıklad 14.4), kterému se také ˇr´ıká kuˇzel druhého ˇrádu. Pro Ai = 0 se podm´ınka gi (x) ≤ 0 stane lineárn´ı nerovnic´ı. Pro ci = 0 se podm´ınka gi (x) ≤ 0 po umocnˇen´ı na druhou stane konvexn´ı kvadratická. Tedy LP a QCQP jsou speciáln´ı pˇr´ıpady SOCP. Pˇ r´ıklad 15.8. Jsou dány body a1 , . . . , am ∈ Rn a chceme minimalizovat funkci f (x) =

m X i=1

kx − ai k2

(15.7)

ˇ sen´ı této u pˇres x ∈ RnP . Reˇ ´lohy je známo jako geometrický medián. Pro n = 1 se funkce redukuje m na f (x) = i=1 |x − ai |, jej´ımˇz minimem je obyˇcejný medián. ´ Uloha je konvexn´ı, ale nelze ji pˇrevést na LP, QP ani QCQP. Po zaveden´ı pomocných promˇenných zi (podobná u ´prava jako v §11.1.1) ji lze formulovat jako SOCP: min z1 + · · · + zm za podm´ınek kx − ai k2 ≤ zi , i = 1, . . . , m. Pro pˇr´ıpad n = 2 má u ´loha jednoduchý mechanický model3 . Do vodorovného prkna vyvrtáme d´ıry o souˇradnic´ıch ai . Kaˇzdou d´ırou provleˇceme provázek. Provázky jsou nahoˇre svázané uzlem do jednoho bodu a dole maj´ı závaˇz´ı o stejné hmotnosti. Poloha uzlu je x. Hodnota f (x) je potenciáln´ı energie soustavy a ustálený stav odpov´ıdá minimu f (x). 3 Toto mechanické zaˇr´ızen´ı, známé jako Varignon frame, se v minulosti opravdu pouˇz´ıvalo na ˇreˇsen´ı u ´ lohy. ´ Uloha má bohatou historii, je známa také jako Fermat-Weber˚ uv problém.

139

15.2.5

Semidefinitn´ı programov´ an´ı (SDP)

Vˇ eta 15.2. Mnoˇzina vˇsech pozitivnˇe semidefinitn´ıch matic rozmˇeru n × n je konvexn´ı kuˇzel. D˚ ukaz. Necht’ pro A, B ∈ Rn×n a x ∈ Rn je xT Ax ≥ 0 a xT Bx ≥ 0. Pak pro kaˇzdé α, β ≥ 0 xT (αA + βB)x = αxT Ax + βxT Bx ≥ 0.

Konvexn´ı kuˇzel je konvexn´ı mnoˇzina. To umoˇzn ˇuje formulovat tˇr´ıdu konvexn´ıch u ´loh známou jako semidefinitn´ı programován´ı (SDP). Jednou z moˇzných formulac´ı je min C · X za podm´ınek X je pozitivnˇe semidefinitn´ı Ai · X = bi , i = 1, . . . , m.

(15.8)

kde matice C, Ai ∈ Rn×n a skaláry bi jsou dány a optimalizujeme pˇres pozitivnˇe semidefinitn´ı matice X ∈ Rn×n . Operace n X n X Aij Xij A·X = i=1 j=1

oznaˇcuje skalárn´ı souˇcin matic. SDP je velmi obecná tˇr´ıda konvexn´ıch u ´loh. Lze ukázat, ˇze konvexn´ı u ´lohy LP, QP, QCQP i SOCP jsou speciáln´ı pˇr´ıpady SDP. Pro ilustraci ukáˇzeme, ˇze pokud matice C, Ai jsou diagonáln´ı, u ´loha (15.8) se redukuje na LP. V tom pˇr´ıpadˇe v souˇcinech C · X a Ai · X nediagonáln´ı prvky matice X nehraj´ı ˇzádnou roli. Diagonáln´ı matice je pozitivnˇe semidefinitn´ı právˇe tehdy, kdyˇz vˇsechny jej´ı prvky jsou nezáporné (viz Cviˇcen´ı 6.19). Tedy u ´loha (15.8) se redukuje na min{ cT x | x ∈ Rn , x ≥ 0, aTi x = bi ∀i = 1, . . . , m }, kde vektory c, ai ∈ Rn jsou diagonály matic C, Ai . Nˇekteré konvexn´ı u ´lohy nepatˇr´ı do ˇzádné z uvedených tˇr´ıd. Pˇ r´ıklad 15.9. Analytický stˇred soustavy nerovnic X = { x ∈ Rn | Ax ≥ b } je bod, který maximalizuje funkci m X f (x) = log(aTi x − bi ) (15.9) i=1

aTi

na vnitˇrku mnoˇziny X, kde jsou ˇrádky matice A. Pokud je polyedr X neprázdný a omezený, u ´loha má maximum a toto maximum je jediné. Kaˇzdou nerovnici aTi x ≥ bi vydˇelme nezáporným ˇc´ıslem tak, aby kai k2 = 1. Nyn´ı aTi x − bi ˇ ıslo f (x) je tedy logaritmus souˇcinu vzdálenost´ı je vzdálenost bodu x od nadroviny aTi x = bi . C´ bodu x od nadrovin. Analytický stˇred tedy minimalizuje souˇcin tˇechto vzdálenost´ı.

15.3

Cviˇ cen´ı

15.1. Významnou vlastnost´ı konvexn´ıch funkc´ı je to, ˇze kaˇzdé lokáln´ı minimum funkce je zároveˇ n ˇ globáln´ı (Vˇeta 15.1). Ne kaˇzdá funkce s touto vlastnost´ı je ovˇsem konvexn´ı. Clovˇek by si mohl myslet, ˇze souˇcet dvou funkc´ı (ne nutnˇe konvexn´ıch) s touto vlastnost´ı bude m´ıt tuto vlastnost také. Je toto tvrzen´ı pravdivé? Odpovˇed’ dokaˇzte. 140

15.2. Dokaˇzte, ˇze mnoˇzina optimáln´ıch ˇreˇsen´ı konvexn´ı optimalizaˇcn´ı u ´lohy je konvexn´ı. 15.3. Mˇejme u ´lohu min{ f (x, y) | x, y ≥ 0, 2x + y ≥ 1, x + 3y ≥ 1 }.

Nakreslete mnoˇzinu pˇr´ıpustných ˇreˇsen´ı. Pro kaˇzdou z následuj´ıc´ıch u ´ˇcelových funkc´ı najdˇete u ´vahou mnoˇzinu optimáln´ıch ˇreˇsen´ı a optimáln´ı hodnotu: a) b) c) d) e) f)

f (x, y) = x + y f (x, y) = x f (x, y) = min{x, y} f (x, y) = max{x, y} f (x, y) = |x + y| f (x, y) = x2 + 9y 2

V kterých pˇr´ıpadech se jedná o konvexn´ı optimalizaˇcn´ı u ´lohu? 15.4. Uvaˇzujme u ´lohu, známou jako lineárn´ı lomené programován´ı: min (cT x + d)/(eT x + f ) Ax ≥ b e x+f > 0

za podm´ınek

T

a) Je u ´ˇcelová funkce na mnoˇzinˇe pˇr´ıpustných ˇreˇsen´ı konvexn´ı? b) Dokaˇzte, ˇze u ´loha je ekvivalentn´ı lineárn´ımu programu (s promˇennými x, z) min cT y + dz za podm´ınek

Ay ≥ bz e y + fz = 1 z≥0 T

15.5. Najdˇete explicitn´ı ˇreˇsen´ı pro následuj´ıc´ı u ´lohy QCQP (A, B jsou pozitivnˇe definitn´ı): a) min{ cT x | x ∈ Rn , xT Ax ≤ 1 } b) min{ cT x | x ∈ Rn , (x − b)T A(x − b) ≤ 1 } c) min{ xT Bx | x ∈ Rn , xT Ax ≤ 1 } 15.6. Formulujte u ´lohu minx∈Rn kAx − bk4 jako konvexn´ı QCQP.

15.7. Dokaˇzte, ˇze pro libovolný vektor x ∈ Rn a skaláry y ≥ 0, z ≥ 0 plat´ı xT x ≤ yz

⇐⇒

k(2x, y − z)k2 ≤ y + z.

Uvaˇzujte u ´lohu, kdy maximalizujeme harmonický pr˚ umˇer afinn´ıch fukc´ı, tedy funkci m X −1 f (x) = (aTi x − bi )−1 i=1

aTi x

za podm´ınek > bi . Je tato u ´loha (po moˇzné jednoduché transformaci) konvexn´ı? Vyjádˇrete u ´lohu jako SOCP pomoc´ı dokázané ekvivalence. 15.8. (⋆) Máme konvexn´ı funkci jedné promˇenné f : R → R. Dáme do grafu funkce ˇzebˇr´ık o délce 1 tak, aby oba konce leˇzely na grafu. Pˇredpokládáme-li, ˇze tˇren´ı mezi ˇzebˇr´ıkem a grafem je nulové, zaujme ˇzebˇr´ık stav lokáln´ıho minima potenciáln´ı energie (která je pˇr´ımo u ´mˇerná výˇsce stˇredu ˇzebˇr´ıku). Zformulujte jako optimalizaˇcn´ı u ´lohu. Bude tato u ´loha konvexn´ı? Zkuste naj´ıt situaci, kdy potenciáln´ı energie bude m´ıt v´ıce neˇz jedno lokáln´ı minimum. 141

N´ apovˇ eda a ˇ reˇ sen´ı 15.4.a) Ne. 15.4.b) Uvaˇzujte substituci y = x/(eT x + f ), z = /(eT x + f ). 15.5.a) Viz Cviˇcen´ı 11.5. 15.5.b) Substituujte y = x − b.

15.5.c) Optimáln´ı hodnota je nula. 15.7. M´ısto maximalizace funkce f (x) minimalizujme funkci 1/f (x), která je konvexn´ı na mnoˇzinˇe ´ pˇr´ıpustn´ ych hodnot. Uloha je ekvivalentn´ı u ´ loze min t1 + · · · + tm

za podm´ınek

ti (aTi x − bi ) ≥ 1, i = 1, . . . , m ti ≥ 0, i = 1, . . . , m.

Pouˇzit´ım dokázané ekvivalence pˇrevedeme na SOCP min t1 + · · · + tm

za podm´ınek

k(2, aTi x − bi − ti )k2 ≥ aTi x − bi + ti , i = 1, . . . , m aTi x ≥ bi , i = 1, . . . , m ti ≥ 0, i = 1, . . . , m.

142

Kapitola 16 Dualita v line´ arn´ım programov´ an´ı Ke kaˇzdé u ´loze LP lze sestavit podle jistého postupu jinou u ´lohu LP. Novou u ´lohu nazýváme du´ aln´ı, p˚ uvodn´ı u ´lohu nazýváme prim´ arn´ı ˇci pˇ r´ımou. Konstrukce je symetrická (viz Cvi´loha k duáln´ı u ´loze je p˚ uvodn´ı u ´loha. Tedy má smysl ˇr´ıkat, ˇze primárn´ı a ˇcen´ı 16.1): duáln´ı u duáln´ı u ´loha jsou navzájem duáln´ı. Dvojice duáln´ıch u ´loh je svázána zaj´ımavými vztahy.

16.1

Konstrukce du´ aln´ı u ´ lohy

´loha z´ıská dle tohoto postupu: Ku ´loze LP v obecném tvaru (viz §11.1) se duáln´ı u P P min cj xj max bi yi j∈J

za podm.

P

i∈I

yi ∈ R,

i ∈ I0

aij xj ≥ bi

yi ≥ 0 ,

i ∈ I+

aij xj ≤ bi

yi ≤ 0 ,

i ∈ I−

aij yi = cj ,

j ∈ J0

aij yi ≤ cj ,

j ∈ J+

aij yi ≥ cj ,

j ∈ J−

aij xj = bi

za podm.

j∈J

P

j∈J

P

j∈J

P

xj ∈ R

i∈I

P

xj ≥ 0

i∈I

P

xj ≤ 0

i∈I

V levém sloupci je primárn´ı u ´loha, v prostˇredn´ım sloupci je z n´ı vytvoˇrená duáln´ı u ´loha. V pravém sloupci jsou mnoˇziny index˚ u pro obˇe u ´lohy: I = {1, . . . , m} = I0 ∪ I+ ∪ I− je indexová mnoˇzina primárn´ıch omezen´ı a duáln´ıch promˇenných, J = {1, . . . , n} = J0 ∪J+ ∪J− je indexová mnoˇzina primárn´ıch promˇenných a duáln´ıch omezen´ı. P Vˇsimnˇete si symetrie: i-tému primárn´ımu omezen´ı j aij xj ≥ bi odpov´ıdá duáln´ıP promˇenná yi ≥ 0. Opaˇcnˇe, j-tá primárn´ı promˇenná xj ≥ 0 odpov´ıdá j-tému duáln´ımu omezen´ı i aij yi ≤ cj . Podobnˇe pro ostatn´ı ˇrádky. Pro speciáln´ı tvary LP se dvojice duáln´ıch u ´loh pˇrehlednˇeji nap´ıˇse v maticové formˇe. Napˇr. pro I0 = I− = J0 = J− = ∅ obdrˇz´ıme min cT x za podm. Ax ≥ b x≥0

max bT y za podm. y≥0 T A y≤c

143

(16.1)

16.2

Vˇ ety o dualitˇ e

Následuj´ıc´ı vˇety plat´ı pro obecný tvar LP, ale d˚ ukazy udˇeláme pouze pro speciáln´ı tvar (16.1). V d˚ ukazech si vˇsimnˇete, ˇze bT y = yT b a AT y ≤ c je totéˇz jako yT A ≤ cT . Vˇ eta 16.1 (o slab´ e dualitˇ e). Necht’ x je pˇr´ıpustné primárn´ı ˇreˇsen´ı a y pˇr´ıpustné duáln´ı ˇreˇsen´ı. Pak cT x ≥ bT y. D˚ ukaz. D´ıky pˇr´ıpustnosti x a y plat´ı yT A ≤ cT a x ≥ 0, z ˇcehoˇz plyne yT Ax ≤ cT x. Podobnˇe, d´ıky pˇr´ıpustnosti x a y plat´ı Ax ≥ b a y ≥ 0, z ˇcehoˇz plyne yT Ax ≥ yT b. Z toho cT x ≥ yT Ax ≥ yT b.

(16.2)

Vˇ eta 16.2 (o siln´ e dualitˇ e). Primárn´ı u ´loha má optimáln´ı ˇreˇsen´ı právˇe tehdy, kdyˇz má duáln´ı u ´loha optimáln´ı ˇreˇsen´ı. Má-li primárn´ı u ´loha optimáln´ı ˇreˇsen´ı x a duáln´ı u ´loha optimáln´ı T T ˇreˇsen´ı y, plat´ı c x = b y. D˚ ukaz vˇety o silné dualitˇe nen´ı jednoduchý a vynecháme jej. Vˇety o slabé a silné dualitˇe maj´ı jasnou interpretaci: pro pˇr´ıpustná x a y nen´ı hodnota duáln´ı u ´ˇcelové funkce nikdy vˇetˇs´ı neˇz hodnota primárn´ı u ´ˇcelové funkce a tyto hodnoty se potkaj´ı ve spoleˇcném optimu: mo zn e hodnoty

yT b pro prpustna y

mo zn e hodnoty

T x

pro p r pustn a

x

spole ne optimum T x = yT b

Vˇ eta 16.3 (o komplementaritˇ e). Necht’ x je pˇr´ıpustné primárn´ı ˇreˇsen´ı a y pˇr´ıpustné duáln´ı T T ˇreˇsen´ı. Pak c x = b y právˇe tehdy, kdyˇz zároveˇ n plat´ı tyto dvˇe podm´ınky: X yi aij xj − bi = 0 ∀i ∈ I, (16.3a) j∈J

xj

X i∈I

aij yj − cj

=0

∀j ∈ J.

(16.3b)

Vˇsimnˇete si, co podm´ınky (16.3) ˇr´ıkaj´ı: na kaˇzdém ˇrádku ve dvojici duáln´ıch u ´loh je vˇzdy alespoˇ n jedno omezen´ı aktivn´ı, bud’ primárn´ı nebo duáln´ı (pˇriˇcemˇz omezen´ı typu rovnosti bereme vˇzdy za aktivn´ı). D˚ ukaz. Pro libovolné vektory u, v ≥ 0 plat´ı ∀i (ui = 0 nebo vi = 0)

⇐⇒

∀i (ui vi = 0)

⇐⇒

uT v = 0.

Protoˇze x a y jsou pˇr´ıpustné, podm´ınky (16.3) je tedy moˇzno psát jako yT (Ax − b) = 0, T

T

(16.4a)

(c − y A)x = 0,

(16.4b)

cT x = yT Ax = yT b.

(16.5)

neboli Vztah (16.5) zjevnˇe implikuje cT x = yT b. Obrácenˇe, cT x = yT b implikuje (16.5), nebot’ jsme dˇr´ıve ukázali, ˇze pro pˇr´ıpustné x, y plat´ı (16.2). 144

Pˇ r´ıklad 16.1. Mˇejme dvojici navzájem duáln´ıch u ´loh LP: min

max 3y1 + y2 + 3y3 − y4 = 5.4

2x1 + 5x2 + 6x3 = 5.4

3 = 2x1 2.4 = x1 3= x1 −0.6 = −x1 1.2 = x1 0.6 = 0=

+ + + +

x2 2x2 3x2 x2 x2

+ + + −

≥ 3 ≥ 1 ≥ 3 ≥ −1 ≥ 0 ≥ 0 x3 ≥ 0

2x3 2x3 x3 2x3

0.2 = y1 0= y2 1.6 = y3 0= 2 = 2y1 + y2 + y3 − 5 = y1 + 2y2 + 3y3 + 2 = 2y1 + 2y2 + y3 −

y4 y4 y4 2y4

≥ ≥ ≥ ≥ ≤ ≤ ≤

0 0 0 0 2 5 6

Spoˇcetli jsme optimáln´ı ˇreˇsen´ı obou u ´loh a dosadili tato ˇreˇsen´ı do u ´ˇcelových funkc´ı a do omezen´ı. ∗ ∗ Hodnoty optimáln´ıch ˇreˇsen´ı x = (1.2, 0.6, 0) a y = (0.2, 0, 1.6) a hodnoty omezen´ı a u ´ˇcelových funkc´ı v optimech jsou napsané tuˇcnˇe pˇred/za rovn´ıtky. Dle vˇety o silné dualitˇe se optima rovnaj´ı. Vezmeme-li libovolný ˇrádek (kromˇe u ´ˇcelového), je na nˇem alespoˇ n jedno z obou omezen´ı aktivn´ı. Napˇr. ve druhém ˇrádku je primárn´ı omezen´ı 2x1 +x2 +2x3 ≥ 3 aktivn´ı a duáln´ı omezen´ı y1 ≥ 0 je neaktivn´ı. Podle vˇety o komplementaritˇe se nem˚ uˇze stát, ˇze by na nˇekterém ˇrádku byly obˇe omezen´ı zároveˇ n neaktivn´ı (mohou být obˇe ale zároveˇ n aktivn´ı, coˇz zde nenastává, ale m˚ uˇze to nastat v pˇr´ıpadˇe degenerace). Pˇredloˇz´ıme-li pˇr´ıpustná primárn´ı a duáln´ı ˇreˇsen´ı taková, ˇze se u ´ˇcelové funkce rovnaj´ı, dokázali jsme optimalitu obou u ´loh. Pro velké u ´lohy to m˚ uˇze být nejsnadnˇejˇs´ı d˚ ukaz optimality. Máme-li duáln´ı optimáln´ı ˇreˇsen´ı, jak z nˇej co nejlevnˇeji spoˇc´ıtat primárn´ı optimáln´ı ˇreˇsen´ı? Obecnˇe je k tomu nutno vyˇreˇsit soustavu lineárn´ıch nerovnic (coˇz nen´ı o moc snadnˇejˇs´ı neˇz vyˇreˇsit lineárn´ı program). Nˇekdy ale postaˇc´ı vyˇreˇsit soustavu rovnic. Pˇ r´ıklad 16.2. Je dána primárn´ı u ´loha z Pˇr´ıkladu 16.1. Zkuste dokázat bez pouˇzit´ı algoritmu na ˇreˇsen´ı LP, ˇze x = (x1 , x2 , x3 ) = (1.2, 0.6, 0) je optimáln´ı ˇreˇsen´ı primárn´ı u ´lohy (pˇriˇcemˇz optimáln´ı duáln´ı ˇreˇsen´ı y nen´ı zadáno). Pomoc´ı vˇety o komplementaritˇe zkus´ıme z daného optimáln´ıho x zkus´ıme spoˇc´ıtat optimáln´ı y. Protoˇze jsou druhé a ˇctvrté primárn´ı omezen´ı neaktivn´ı, z komplementarity plyne y2 = y4 = 0. Protoˇze x1 > 0 a x2 > 0, z komplementarity mus´ı být prvn´ı a druhé duáln´ı omezen´ı aktivn´ı. Máme tedy soustavu lineárn´ıch rovnic 2y1 + y3 = 2 y1 + 3y3 = 5

(16.6)

která má jediné ˇreˇsen´ı (y1 , y3 ) = (0.2, 1.6). Tedy y = (0.2, 0, 1.6, 0). Toto duáln´ı ˇreˇsen´ı je pˇr´ıpustné (tj. splˇ nuje vˇsechna duáln´ı omezen´ı). Protoˇze se hodnota primárn´ı u ´ˇcelové funkce v bodˇe x rovná hodnotˇe duáln´ı u ´ˇcelové funkce v bodˇe y, musej´ı být x a y optimáln´ı ˇreˇsen´ı. Tento postup nemus´ı vést vˇzdy k c´ıli. Pokud by duáln´ı u ´loha by mˇela nekoneˇcnˇe mnoho optimáln´ıch ˇreˇsen´ı, soustava (16.6) by mˇela nekoneˇcnˇe mnoho ˇreˇsen´ı (mˇela by napˇr. v´ıce promˇenných neˇz neznámých). Z nich by bylo nutno vybrat pˇr´ıpustná duáln´ı ˇreˇsen´ı, tedy y ≥ 0. Museli bychom tedy ˇreˇsit soustavu rovnic a nerovnic. Zkoumejme, jak se zmˇen´ı optimáln´ı hodnota u ´lohy min{ cT x | Ax ≥ b, x ≥ 0 }, jestliˇze nepatrnˇe zmˇen´ıme pravé strany omezen´ı b. Odpovˇed’ je snadno vidˇet v duálu.

145

Vˇ eta 16.4 (o st´ınov´ ych cen´ ach). Necht’ funkce f : Rm → R je definována jako

f (b) = min{ cT x | Ax ≥ b, x ≥ 0 } = max{ bT y | AT y ≤ c, y ≥ 0 }.

Jestliˇze má duáln´ı u ´loha pro dané b jediné optimáln´ı ˇreˇsen´ı y∗ , pak je funkce f v bodˇe b diferencovatelná a plat´ı f ′ (b) = y∗T , neboli ∂f (b)/∂bi = y∗i . D˚ ukaz. Je-li y∗ duáln´ı optimáln´ı ˇreˇsen´ı pro dané b, je f (b) = bT y∗ . Jelikoˇz je toto optimáln´ı ˇreˇsen´ı jediné, nabývá se ve vrcholu polyedru pˇr´ıpustných ˇreˇsen´ı { y ∈ Rm | AT y ≤ c, y ≥ 0 }, viz obrázek:

y

AT y

;

y0

b

Zmˇen´ıme-li nepatrnˇe b, optimáln´ı duáln´ı ˇreˇsen´ı y∗ se nezmˇen´ı a z˚ ustane jediné (toto od˚ uvodnˇen´ı nen´ı zcela rigorózn´ı, ale geometricky je dostateˇcnˇe názorné). Tedy pˇri malé zmˇenˇe vektoru b je hodnota optima stále rovna f (b) = bT y∗ . Derivac´ı z´ıskáme f ′ (b) = y∗T . Zd˚ uraznˇeme pˇredpoklad jednoznaˇcnosti optimáln´ıho ˇreˇsen´ı. Kdyby mnoˇzina duáln´ıch optimáln´ıch ˇreˇsen´ı byla ne jediný vrchol, ale stˇena vyˇsˇs´ı dimenze, po malé zmˇenˇe vektoru b by se optimáln´ı stˇena mohla stát vrcholem a funkce f by tedy v bodˇe b nebyla diferencovatelná. Protoˇze b je zároveˇ n vektor pravých stran primárn´ı u ´lohy, optimáln´ı duáln´ı promˇenné y∗ vyjadˇruj´ı citlivost optima primárn´ı u ´lohy na zmˇenu pravých stran primárn´ıch omezen´ı Ax ≥ b. Interpretujeme-li naˇse LP jako optimáln´ı výrobn´ı plán (11.6) (pozor, liˇs´ı se obrácenou nerovnost´ı v omezen´ı), pak hodnota yi∗ ˇr´ıká, jak by se náˇs výdˇelek zvˇetˇsil, kdybychom trochu uvolnili omezen´ı na výrobn´ı zdroje aTi x ≤ bi . V ekonomii se proto duáln´ım promˇenným ˇr´ıká st´ınov´ e ceny primárn´ıch omezen´ı. Vˇsimnˇete si, ˇze vˇeta o st´ınových cenách je ve shodˇe s vˇetou o komplementaritˇe. Pokud ∗ yi = 0, je aTi x < bi , tedy malá zmˇena bi nemá na optimum vliv. Pˇ r´ıklad 16.3. Necht’ je známo, ˇze duáln´ı u ´loha v Pˇr´ıkladu 16.1 má jediné optimáln´ı ˇreˇsen´ı. St´ınová cena prvn´ıho primárn´ıho omezen´ı 2x1 +x2 +2x3 ≥ 3 je y1 = 0.2. Zmˇen ˇme pravou stranu b1 = 3 tohoto omezen´ı o malou hodnotu h = 0.01 a zkoumejme, jak se zmˇen´ı optimum. Tato zmˇena nezmˇen´ı argument y∗ duáln´ıho optima, pouze jeho hodnotu bT y∗ . Podle silné duality hodnota primárn´ıho optima mus´ı být rovna hodnotˇe duáln´ıho optima (argument x∗ primárn´ıho optima se m˚ uˇze nˇejak zmˇenit, to nás ale nezaj´ımá). Dvojice u ´loh tedy bude vypadat takto: min

2x1 + 5x2 + 6x3 = 5.402 2x1 x1 x1 −x1 x1

+ + + +

x2 2x2 3x2 x2 x2

+ + + −

≥ ≥ ≥ ≥ ≥ ≥ x3 ≥

2x3 2x3 x3 2x3

3.01 1 3 −1 0 0 0

max 3.01y1 + y2 + 3y3 − y4 = 5.402

0.2 = 0= 1.6 = 0= 2= 5= 2=

y1

y2 y3 y4 2y1 + y2 + y3 − y4 y1 + 2y2 + 3y3 + y4 2y1 + 2y2 + y3 − 2y4

≥ ≥ ≥ ≥ ≤ ≤ ≤

0 0 0 0 2 5 6

V okol´ı bodu b = (3, 1, 3, −1), ve kterém se nemˇen´ı optimáln´ı y∗ , bude f (b) = bT y∗ a tedy hodnota spoleˇcného optima se zmˇen´ı o h · ∂f (b)/∂b1 = h · y1 = 0.2 · 0.01 na 5.402. 146

16.3

Pˇ r´ıklady na konstrukci a interpretaci du´ aln´ıch u ´ loh

Dualita umoˇzn ˇuje vhled do ˇreˇseného problému, ˇcasto velmi netriviáln´ı. Abychom danou u ´lohu (fyzikáln´ı, ekonomickou ˇci jinou) popsanou lineárn´ım programem pochopili do hloubky, je tˇreba pochopit význam nejen primárn´ı u ´lohy, ale i duáln´ı u ´lohy a jejich vztahu. Pˇ r´ıklad 16.4 (Ekonomick´ a interpretace duality). Vrat’me se k Pˇr´ıkladu 11.5 o výrobci lup´ınk˚ u a hranolk˚ u z brambor a oleje. Napiˇsme k této u ´loze duáln´ı u ´lohu: max 120l + 76h za podm.

2l + 1.5h 0.4l + 0.2h l h

min 100a + 16b ≤ 100 ≤ 16 ≥ 0 ≥ 0

za podm.

a b 2a + 0.4b 1.5a + 0.2b

≥ 0 ≥ 0 ≥ 120 ≥ 76

Pˇrijde pˇrekupn´ık a chce koupit od výrobce jeho zásoby brambor a oleje. Pˇrekupn´ık ˇreˇs´ı tuto otázku: Jaké nejniˇzˇs´ı ceny mus´ım nab´ıdnout, aby mi výrobce své zásoby prodal? Tvrd´ıme, ˇze toto je význam duáln´ı u ´lohy. Vskutku, necht’ a, b oznaˇcuj´ı nab´ızenou cenu za jednotku brambor a oleje. Pˇrekupn´ık chce minimalizovat celkovou cenu za suroviny 100a + 16b. Mus´ı být 2a + 0.4b ≥ 120, nebot’ jinak by výrobci v´ıce vyplatilo vyrobit ze vˇsech brambor a oleje lup´ınky a prodat je, neˇz prodat suroviny. Ze stejného d˚ uvodu mus´ı být 1.5a + 0.2b ≥ 76. Optimáln´ı duáln´ı ˇreˇsen´ı je a = 32 a b = 140. Toto je dalˇs´ı d˚ uvod (kromˇe Vˇety 16.4), proˇc se optimáln´ım duáln´ım promˇenným nˇekdy ˇr´ıká st´ınové ceny odpov´ıdaj´ıc´ıch primárn´ıch omezen´ı. Napˇr. st´ınová cena brambor je 32 Kˇc/kg. Pˇ r´ıklad 16.5 (Fyzik´ aln´ı interpretace duality). Uvaˇzujme dvojici duáln´ıch u ´loh min{ cT x | Ax ≥ b, x ∈ Rn } = max{ bT y | AT y = c, y ≥ 0 }. Uvaˇzujme následuj´ıc´ı ‘analogový poˇc´ıtaˇc’. Mˇejme polyedr tvoˇrený tˇremi poloprostory aTi x ≥ bi a vektor c m´ıˇr´ıci svisle vzh˚ uru: 0

cT x = 0 a3 a1

c

a2

y 1 a1 y 2 a2

x∗

Hod’me do polyedru malý m´ıˇcek, na který p˚ usob´ı t´ıhová s´ıla −c. M´ıˇcek s pozic´ı x má potenciáln´ı T energii c x. M´ıˇcek se bude pohybovat do té doby, neˇz nalezne m´ısto s nejmenˇs´ı potenciáln´ı energi´ı, coˇz je nejniˇzˇs´ı vrchol x∗ . Tedy x∗ je ˇreˇsen´ım primárn´ı u ´lohy. ∗ V bodˇe x je m´ıˇcek v klidu a proto pro nˇ ej plat´ı rovnováha sil: t´ıha −c se vyrovnává silami P ∗ stˇen. Tedy existuj´ı skaláry yi tak, ˇze c = i yi∗ai = AT y∗ . Mus´ı být yi∗ ≥ 0, protoˇze stˇeny p˚ usob´ı silou jen dovnitˇr polyedru, ne ven. 147

Pokud aTi x∗ > bi , m´ıˇcek se i-té stˇeny nedotýká. V tom pˇr´ıpadˇe je s´ıla stˇeny na m´ıˇcek nutnˇe nulová, yi∗ = 0. Proto pro kaˇzdé i plat´ı yi∗ (aTi x∗ − bi ) = 0, coˇz jsou podm´ınky (16.3). Dle vˇety o komplementaritˇe tedy je cT x∗ = bT y∗ . To ale ˇr´ıká, ˇze potenciáln´ı energie m´ıˇcku v bodˇe x∗ je bT y∗ . Proˇc tomu tak je? Tato energie se rovná práci, která by se vykonala posunut´ım m´ıˇcku do poˇcátku 0. Posunujme m´ıˇcek takto: nejdˇr´ıve posuneme prvn´ı stˇenu rovnobˇeˇznˇe tak, aby procházela poˇcátkem, pak druhou stˇenu, aˇz budou vˇsechny stˇeny, kterých se m´ıˇcek dotýká, procházet poˇcátkem. Pˇri tomto posunován´ı se s´ıly stˇen p˚ usob´ıc´ı na m´ıˇcek nemˇen´ı. Vzdálenost stˇeny i od poˇcátku je bi /kai k2 (viz Cviˇcen´ı 5.18). S´ıla stˇeny i p˚ usob´ıc´ı na m´ıˇcek je yi∗ ai . S´ıla je ve smˇeru posouván´ı, tedy vykonaná práce je (bi /kai k2 ) · kyi∗aiP k2 = bi yi∗ . Po odtlaˇcen´ı vˇsech stˇen, jichˇz se m´ıˇcek dotýká, do poˇcátku, tedy vykonáme práci i bi yi∗ = bT y∗ . Zd˚ uraznˇeme, ˇze tato u ´vaha nedokazuje ˇzádnou z vˇet o dualitˇe. Pˇredpokládá totiˇz platnost fyzikáln´ıch zákon˚ u, které nelze matematicky dokázat ale pouze experimentálnˇe pozorovat. Pˇ r´ıklad 16.6. Mˇejme u ´lohu T

T

min{ c x | 1 x = 1, x ≥ 0 } = min

X n i=1

n X xi = 1, xi ≥ 0 , ci xi i=1

kde c = (c1 , . . . , cn ) je dáno a optimalizuje se pˇres x = (x1 , . . . , xn ). Napiˇste duáln´ı u ´lohu a iterpretujte vˇety o silné dualitˇe a komplementaritˇe. ´ Uvahou snadno vid´ıme (viz Pˇr´ıklad 11.2), ˇze optimáln´ı hodnota je minni=1 ci a nabývá se ve vektoru x jehoˇz vˇsechny sloˇzky jsou nulové kromˇe sloˇzek pˇr´ısluˇsných minimáln´ımu ci . Pokud je v´ıce minimáln´ıch prvk˚ u ci , optimáln´ı x nen´ı dáno jednoznaˇcnˇe. Napˇr. pro c = (1, 3, 1, 2) bude optimáln´ım ˇreˇsen´ım kaˇzdé x = (x1 , 0, x3 , 0) pro x1 , x3 ≥ 0 splˇ nuj´ıc´ı x1 + x3 = 1. Podle návodu na konstrukci duáln´ı u ´lohy dostaneme duál max{ y ∈ R | y1 ≤ c } = max{ y ∈ R | y ≤ ci , i = 1, . . . , n }. Neboli hledá se nejvˇetˇs´ı ˇc´ıslo y, které je menˇs´ı neˇz vˇsechna ˇc´ısla ci . Takové ˇc´ıslo y se rovná minimu z ˇc´ısel ci . Tedy plat´ı silná dualita. Podm´ınky komplementarity ˇr´ıkaj´ı, ˇze v optimechPbude alespoˇ n jedno z odpov´ıdaj´ıc´ı dvojice primárn´ı-duáln´ı omezen´ı aktivn´ı. Dvojice omezen´ı i xi = 1, y ∈ R splˇ nuje podm´ınky komplementarity triviálnˇe. Dvojice omezen´ı xi ≥ 0, y ≤ ci je splˇ nuje právˇe tehdy, kdyˇz je splnˇena aspoˇ n jedna z rovnost´ı xi = 0, y = ci . To znamená: • Pokud je v duálu y < ci , v primáru mus´ı být xi = 0. To je ale jasné, protoˇze y < ci znamená, ˇze ci nen´ı nejmenˇs´ı ze sloˇzek vektoru c a tud´ıˇz (dle u ´vahy výˇse) mu v primáru nem˚ uˇzeme pˇriˇradit nenulovou váhu xi . • Obrácenˇe, pokud je v primáru xi > 0, mus´ı být v duálu y = ci . To je jasné, protoˇze pokud jsme v primáru pˇriˇradili ˇc´ıslu ci nenulovou váhu, mus´ı být nejmenˇs´ı. Pˇ r´ıklad 16.7. Z §11.3 v´ıme, ˇze optimáln´ı argument u ´lohy X n n X min |x − ai | = min zi zi ∈ R, x ∈ R, −zi ≤ x − ai ≤ zi x∈R

i=1

i=1 T

= min{ 1 z | z ∈ Rn , x ∈ R, −z ≤ 1x − a ≤ z } 148

(16.7)

´ je medián z ˇc´ısel a1 , . . . , an . Napiˇste duáln´ı u ´lohu a co nejv´ıce ji zjednoduˇste. Uvahou naleznˇete optimáln´ı hodnotu primárn´ı a duáln´ı u ´lohy a ovˇeˇrte, ˇze se (dle silné duality) rovnaj´ı. Ryclý zp˚ usob jak vytvoˇrit duáln´ı u ´lohu je podle pˇredpisu v §16.1, to ovˇsem vyˇzaduje zkuˇsenost a snadno se v tom udˇelá chyba. Zdlouhavˇejˇs´ı avˇsak bezpeˇcnˇejˇs´ı zp˚ usob je pˇres maticovou formu. Primárn´ı a duáln´ı u ´lohu nap´ıˇseme v maticovém tvaru, kde zvol´ıme názvy matic tak, aby nekolidovaly s (16.7): min hT u za podm. Fu ≥ g u ∈ R1+n

max gT v za podm. v≥0 T F v=h

Matice zvol´ıme tak, aby primárn´ı u ´loha odpov´ıdala u ´loze (16.7): x 0 a 1 I , , u= , h= , g= F= z 1 −a −1 I

p . v= q

Vektor duáln´ıch promˇenných v jsme zároveˇ n rozdˇelili na dva bloky p, q, odpov´ıdaj´ıc´ı blok˚ um matic F a g. Vynásobn´ım matic pˇrep´ıˇseme duáln´ı u ´lohu do tvaru (ovˇeˇrte!) max{ aT (p − q) | 1T (p − q) = 0, p + q = 1, p ≥ 0, q ≥ 0 } X X n n (pi − qi ) = 0, pi + qi = 1, pi ≥ 0, qi ≥ 0 = max ai (pi − qi ) i=1

(16.8)

i=1

´ Ulohu (16.8) lze dále zjednoduˇsit substituc´ı 2pi = 1 + ti ,

2qi = 1 − ti .

Po této substituci je pi − qi = ti a P podm´ınka pi + qi = 1 je splnˇena automaticky. Podm´ınka P ıdá podm´ınce i ti = 0. Podm´ınka pi ≥ 0 odpov´ıdá ti ≥ −1 a podm´ınka i (pi − qi ) = 0 odpov´ qi ≥ 0 odpov´ıdá ti ≤ 1. Duáln´ı u ´loha s novými promˇennými t ∈ Rn je tedy n X n X max ai ti ti = 0, −1 ≤ ti ≤ 1 = max{ aT t | 1T t = 0, −1 ≤ t ≤ 1 }. (16.9) i=1

i=1

´loha (16.9) spolu zdánlivˇe v˚ ubec nesouvisej´ı – avˇsak podle Primárn´ı u ´loha (16.7) a duáln´ı u silné duality jejich optimáln´ı hodnoty mus´ı být stejné! Zkusme pochopit, proˇc tomu tak je. Nejprve si vˇsimneme, ˇze optimáln´ı hodnota primárn´ı u ´lohy (16.7) se nezmˇen´ı, posunemeli ˇc´ısla a1 , . . . , an o libovolnou konstantu b ∈ R. To je jasné, nebot’ medián x se posune o stejnou konstantu ´lohu (16.9), nebot’ P a je |(x − b) P− (ai − b)| = |x P− ai |. Totéˇz plat´ı pro duáln´ı u d´ıky podm´ınce i ti = 0 je i (ai − b)ti = i ai ti . Proto bez ztráty obecnosti m˚ uˇzeme zvolit b = mediani ai , neboli posunout body tak, ˇze jejich medi´ an bude x = P 0. P Nyn´ı je primárn´ı optimáln´ı hodnota rovna jednoduˇse i |x−ai | = i |ai |. Protoˇze kladných a záporných ˇc´ısel ai je stejný poˇcet, duáln´ı u ´loha nabývá optima v takovém vektoru t, kde P ti = −1 pro ai
0 (coˇz splˇ nuje podm´ınku i ti = 0). Tedy duáln´ı optimáln´ı hodnota je také i ai ti = i |ai |.

149

16.4

Cviˇ cen´ı

uvodn´ı u ´loze. 16.1. Ukaˇzte pro dvojici u ´loh v §16.1, ˇze duál duálu se rovná p˚

16.2. Napiˇste duáln´ı u ´lohu a podm´ınky komplementarity k následuj´ıc´ım u ´lohám. Pokud u ´loha ´lohu co nejv´ıce zjednonen´ı LP, nejdˇr´ıve pˇreved’te na LP (dle §11.1). Výslednou duáln´ı u duˇste, pˇr´ıp. pˇreved’te do skalárn´ı formy, je-li skalárn´ı forma výstiˇznˇejˇs´ı. a) b) c) d) e) f) g)

minx∈R maxni=1 |ai − x| (stˇred intervalu) u ´loha (11.11) u ´loha (11.13) dopravn´ı problém (11.8) vˇsechny u ´lohy ze Cviˇcen´ı 11.2 u ´loha vzniklá ve Cviˇcen´ı 11.8 T minx∈Rn maxm i=1 (ai x + bi ) (viz §11.1.1)

(⋆) Pro kaˇzdou u ´lohu se pokuste nalézt význam duáln´ı u ´lohy, podobnˇe jako v Pˇr´ıkladu 16.6. 16.3. Dokaˇzte bez uˇzit´ı algoritmu na ˇreˇsen´ı LP, ˇze x = (1, 1, 1, 1) je optimáln´ı ˇreˇsen´ı u ´lohy min 47 93 17 −93 x     −3 −1 −6 1 3  5   −1 −2 7 1         −8 3 −10 −1  x ≤  za podm.  0    −7   −6 −11 −2 12  4 1 6 −1 −3

N´ apovˇ eda a ˇ reˇ sen´ı 16.1. Pravou u ´ lohu nejdˇr´ıve pˇrevedeme na tvar levé u ´ lohy a pak k n´ı nap´ıˇseme du´ aln´ı u ´ lohu. Uk´ aˇzeme jen pro tvar (16.1): − min (−b)T y za podm. (−AT )y ≥ −c y≥0

− max (−c)T x za podm. x≥0 (−A)x ≤ −b

(16.10)

Levá u ´ loha (16.10) je ekvivalentn´ı pravé u ´ loze (16.1), pravá u ´ loha (16.10) je ekvivalentn´ı levé u ´ loze (16.1). Pm Pn 16.2.d) max i=1 ai pi + j=1 bj qj | pi ∈ R, qi ∈ R, pi + qj ≤ cij P Pn Pn ′ ′ P ′ 16.2.f) Duál: max{ ni=1 yi di + ni=1 yi′ d′i | yi′ ≤ m′i , yi , yi′ ≥ 0 }. i=1 yi , yi ≤ mi , i=1 yi = ′ ′ ′ Podm´ınky komplementarity: zi (yi −mi ) = 0, zi (yi −mi ) = 0, (zi −di −x)yi = 0, (zi′ −d′i +x)yi′ = 0.

150

Kapitola 17 Lagrangeova dualita Zat´ımco v §16 jsme odvodili dualitu pro lineárn´ı programován´ı, zde pop´ıˇseme základ teorie duality pro obecné optimalizaˇcn´ı u ´lohy. Dualita v LP se pak bude jevit jako speciáln´ı pˇr´ıpad.

17.1

Minimaxn´ı nerovnost

Pro libovolné mnoˇziny X a Y a libovolnou funkci L: X × Y → R plat´ı minimaxn´ı nerovnost min max L(x, y) ≥ max min L(x, y) . x∈X y∈Y y∈Y x∈X | {z } | {z }

(17.1)

G(y)

F (x)

Zde pˇredpokládáme, ˇze vˇsechna minima a maxima existuj´ı1 . V nerovnosti (17.1) nastává rovnost právˇe tehdy, kdyˇz existuje bod (x∗ , y ∗ ) ∈ X × Y takový, ˇze L(x∗ , y) ≤ L(x∗ , y ∗ ) ≤ L(x, y ∗ )

∀x ∈ X, y ∈ Y.

(17.2)

Takovému bodu (x∗ , y ∗) ˇr´ıkáme sedlov´ y bod funkce L na X × Y . Uvedené skuteˇcnosti se snadno dokáˇz´ı, podrobné d˚ ukazy vynecháme. Pro d˚ ukaz druhého ∗ ∗ tvrzen´ı je uˇziteˇcné si uvˇedomit, ˇze podm´ınku (17.2) lze psát jako F (x ) = G(y ). Pˇ r´ıklad 17.1. Necht’ X = Y = {1, 2, 3, 4}. 1 2 3 4 G(y)

1 −1 4 1 3 −1

2 4 4 5 5 4

3 4 F (x) 7 4 7 6 −2 6 3 3 5 3 2 5 3 −2

1 2 3 4 G(y)

1 −1 4 1 3 −1

2 4 4 0 3 0

3 4 F (x) 7 4 7 6 −2 6 3 3 3 3 2 3 3 −2

Funkce L v levé tabulce nemá sedlový bod a máme minx∈X F (x) > maxy∈Y G(y). Funkce L v pravé tabulce má sedlový bod (dokonce dva, v rámeˇcc´ıch) a minx∈X F (x) = maxy∈Y G(y). 1

Kdyby ne, mohli bychom min/max nahradit inf/sup a nerovnost by stále platila.

151

17.2

Lagrangeova du´ aln´ı u ´ loha

Ke kaˇzdé optimalizaˇcn´ı u ´loze (kterou nazýváme primárn´ı) lze sestrojit jinou optimalizaˇcn´ı u ´lohu (nazývanou duáln´ı) tak, ˇze mezi nimi plat´ı v´ıce ˇci ménˇe uˇziteˇcné vztahy. Jedna forma duality se z´ıská následovnˇe: chytˇre zvol´ıme mnoˇziny X, Y a funkci L tak, aby levá strana minimaxn´ı uvodn´ı) u ´loha. Pravá strana pak bude duáln´ı u ´loha. nerovnosti (17.1) byla primárn´ı (tedy p˚ Necht’ mnoˇzina X ⊆ Rn , funkce f : Rn → R a zobrazen´ı g: Rn → Rm jsou dány; jak dále uvid´ıme, reprezentuj´ı primárn´ı u ´lohu. Zvolme Y = Rm + a L(x, y) = f (x) + yT g(x).

(17.3)

Pod´ıvejme se, jak po této volbˇe vypadá levá strana nerovnosti (17.1), tedy primárn´ı u ´loha. Je ( f (x) kdyˇz g(x) ≤ 0, (17.4) F (x) = max L(x, y) = max[f (x) + yT g(x)] = y∈Y y≥0 ∞ jinak, kde ‘∞’ znaˇc´ı, ˇze u ´loha maxy∈Y L(x, y) je neomezená. Abyste to uvidˇeli, promyslete si, ˇze pro kaˇzdý vektor a ∈ Rm plat´ı ( 0 kdyˇz a ≤ 0, max yT a = y≥0 ∞ jinak. Po dosazen´ı (17.4) do levé strany (17.1) tedy min max L(x, y) = min{ f (x) | x ∈ X, g(x) ≤ 0 }. x∈X y∈Y

(17.5)

Toto je naˇse primárn´ı u ´loha. Vˇsimnˇeme si, jak jsme omezuj´ıc´ı podm´ınky g(x) ≤ 0 zahrnuli do funkce F za cenu, ˇze funkce F m˚ uˇze nabývat i nekoneˇcných hodnot. Nyn´ı se pod´ıvejme na duáln´ı u ´lohu. Ta zn´ı max min L(x, y) = max G(y),

(17.6)

G(y) = min L(x, y) = min[f (x) + yT g(x)].

(17.7)

y≥0

y∈Y x∈X

kde x∈X

x∈X

Pˇresnˇejˇs´ı tvar duáln´ı u ´lohy nez´ıskáme, dokud nebudeme m´ıt zadánu primárn´ı u ´lohu (tedy X, f, g) konkrétnˇeji. Nyn´ı m˚ uˇzeme ˇr´ıci jen to, ˇze u ´loha (17.7) m˚ uˇze být pro nˇejaká y neomezená a tedy funkce G nabývat hodnot −∞. To bude opˇet reprezentovat omezen´ı duáln´ı u ´lohy. Vˇsimnˇete si, ˇze pro kaˇzdé x je funkce L afinn´ı funkc´ı promˇenné y. Dle Vˇety 14.6 je tedy duáln´ı funkce G konkávn´ı a tedy duáln´ı u ´loha bude maximalizace konkávn´ı funkce, tedy konvexn´ı u ´loha. To plat´ı vˇzdy, i kdyˇz primárn´ı u ´loha nen´ı konvexn´ı. Právˇe sestrojená u ´loha (17.6) se nazývá Lagrangeova du´ aln´ı u ´ loha k (primárn´ı) u ´loze (17.5). Funkce (17.3) se ˇr´ıká Lagrangeova funkce – vˇsimnˇete si, ˇze je to ta samá funkce, kterou jste potkali u metody Lagrangeových multiplikátor˚ u.

152

17.3

Siln´ a dualita

´lohy nen´ı menˇs´ı neˇz optimáln´ı hodZ nerovnosti (17.1) plyne, ˇze optimáln´ı hodnota primárn´ı u nota duáln´ı u ´lohy. Tato skuteˇcnost je známa jako vˇeta o slab´ e dualitˇ e. Rozd´ılu mezi primárn´ı a duáln´ı optimáln´ı hodnotou se ˇr´ıká dualitn´ı mezera. Kdyˇz v nerovnosti (17.1) nastane rovnost, jsou si optimáln´ı hodnoty primárn´ı a duáln´ı u ´lohy rovny neboli dualitn´ı mezera je nulová. V tom pˇr´ıpadˇe ˇr´ıkáme, ˇze pro naˇs´ı u ´lohu plat´ı siln´ a dualita. Silná dualita m˚ uˇze platit pro velice r˚ uzné u ´lohy. Uvedeme nyn´ı, ve Vˇetˇe 17.1, jednu postaˇcuj´ıc´ı (avˇsak nikoliv nutnou) podm´ınku, za které plat´ı silná dualita. ˇ Rekneme, ˇze funkce g1 , . . . , gm : Rn → R na mnoˇzinˇe X splˇ nuj´ı Slaterovu podm´ınku, kdyˇz existuje vnitˇrn´ı bod x mnoˇziny X takový, ˇze g(x) < 0, neboli g1 (x) < 0, . . . , gm (x) < 0.

(17.8)

Pokud je prvn´ıch k ≤ m funkc´ı gi afinn´ıch, podm´ınku (17.8) lze zmˇekˇcit na g1 (x) ≤ 0, . . . , gk (x) ≤ 0, gk+1 (x) < 0, . . . , gm (x) < 0.

(17.9)

Vˇ eta 17.1. Necht’ • mnoˇzina X ⊆ Rn je konvexn´ı,

• funkce f : Rn → R a g1 , . . . , gm : Rn → R jsou konvexn´ı na X,

• funkce g1 , . . . , gm na mnoˇzinˇe X splˇ nuj´ı Slaterovu podm´ınku. Pak plat´ı silná dualita, neboli optimáln´ı hodnoty u ´loh (17.5) a (17.6) jsou si rovny. Dále uved’me obdobu vˇety o komplementaritˇe. Vˇ eta 17.2. Necht’ x ∈ X je optimum primárn´ı u ´lohy a y ∈ Rm aln´ı u ´lohy a + je optimum du´ nastává silná dualita. Pak plat´ı podm´ınky komplementarity yi gi (xi ) = 0

∀i = 1, . . . , n.

(17.10)

D˚ ukaz. Plat´ı F (x) = f (x) = G(y) = min [f (x′ ) + yg(x′ )] ≤ f (x) + yT g(x) ≤ f (x). ′ x ∈X

Druhá rovnost plyne ze silné duality. Tˇret´ı rovnost je definice duáln´ı u ´lohy. Prvn´ı nerovnost plyne z definice minima. Druhá nerovnost plat´ı, protoˇze y ≥ 0 a g(x) ≤ 0. Ale protoˇze f (x) je na zaˇcátku i na konci ˇretˇezce nerovnost´ı, mus´ı obˇe nerovnosti být rovnostmi, f (x) + yT g(x) = f (x). Z toho plyne yT g(x) = 0. To je ale ekvivalentn´ı podm´ınkám (17.10), protoˇze y ≥ 0 a g(x) ≤ 0.

153

(17.11)

17.4

Pˇ r´ıklady

Pˇ r´ıklad 17.2. Necht’ f (x) = cT x, g(x) = b − Ax, X = Rn . Primárn´ı u ´loha je min max L(x, y) = min{ cT x | x ∈ Rn , Ax ≥ b }.

x∈Rn y≥0

(17.12)

Odvod’me duáln´ı u ´lohu. Lagrangeova funkce je L(x, y) = cT x + yT (b − Ax) = (cT − yT A)x + yT b, tedy

Duáln´ı u ´loha tedy je

(17.13)

( yT b kdyˇz cT − yT A = 0, G(y) = minn L(x, y) = x∈R ∞ jinak. max G(y) = max{ bT y | y ∈ Rm , AT y = c, y ≥ 0 }. y≥0

(17.14)

To je stejný výsledek, jaký bychom dostali podle návodu v §16.1 na konstrukci duáln´ıho LP. Konkrétnˇe, primárn´ı a duáln´ı u ´loha je dvojice u ´loh (16.1). Pˇ r´ıklad 17.3. Necht’ f (x) = cT x, g(x) = b − Ax, X = Rn+ . Primárn´ı u ´loha je min max L(x, y) = min{ cT x | x ∈ Rn , Ax ≥ b, x ≥ 0 }.

x∈Rn + y≥0

(17.15)

Lagrangeova funkce je (17.13). Je ( yT b kdyˇz cT − yT A ≥ 0, G(y) = minn L(x, y) = x∈R+ −∞ jinak. Duáln´ı u ´loha tedy je max G(y) = max{ bT y | AT y ≤ c, y ≥ 0 }. y≥0

To je opˇet stejný výsledek, jaký bychom dostali podle návodu v §16.1.

(17.16)

Zat´ım jsme v primárn´ı u ´loze uvaˇzovali jen omezen´ı typu nerovnosti. Omezen´ı typu rovnosti g(x) = 0 lze nahradit dvˇema omezen´ımi typu nerovnosti g(x) ≤ 0 a −g(x) ≤ 0. Pak

L(x, y+ , y− ) = f (x) + yT+ g(x) − yT− g(x) = f (x) + (y+ − y− )T g(x) = f (x) + yT g(x), (17.17)

kde jsme oznaˇcili y = y+ − y− . Funkci (17.17) m˚ uˇzeme nyn´ı pˇrejmenovat na L(x, y), která má stejný tvar jako (17.3). Podm´ınky y+ , y− ≥ 0 se v rozd´ılu zruˇs´ı, tedy y ∈ Rm . Ovˇeˇr´ıme, ˇze ( f (x) kdyˇz g(x) = 0, L(x, y) = F (x) = max m y∈R ∞ jinak, tedy primárn´ı u ´loha je L(x, y) = min{ f (x) | x ∈ X, g(x) = 0 }, min max m x∈X y∈R

(17.18)

jak jsme chtˇeli. Duáln´ı u ´loha je max min L(x, y) = max G(y). m

y∈Rm x∈X

y∈R

Vˇsimnˇete si, ˇze Slaterova podm´ınka nebude platit, kdyˇz zobrazen´ı g nebude afinn´ı. 154

(17.19)

Pˇ r´ıklad 17.4. Napiˇsme duáln´ı u ´lohu k u ´loze min{ xT x | x ∈ Rn , Ax = b }.

Máme X = Rn a

L(x, y) = xT x + yT (b − Ax) = xT x − yT Ax + yT b,

duáln´ı funkce je tedy

G(y) = minn L(x, y) = minn (xT x − yT Ax + yT b). x∈R

x∈R

ˇ sen´ı mus´ı splˇ Reˇ novat ∂L(x, y)/∂x = 0, coˇz dá x = AT y/2. Po dosazen´ı dostaneme G(y) = L(AT y/2, y) = bT y − yT AAT y/4.

ˇ sme lineárn´ı program Pˇ r´ıklad 17.5. Reˇ min{ cT x | x ∈ Rn , Ax = b, 0 ≤ x ≤ 1 }.

Duál bychom mohli sestrojit podle návodu v kapitole o dualitˇe v LP. Ale postupujme jinak. Zvolme Lagrangeovu funkci jako (17.12) a X = { x ∈ Rn | 0 ≤ x ≤ 1 }. Duáln´ı funkce bude G(y) = min L(x, y) = min [(cT − yT A)x + yT b] = bT y + 1T max{0, AT y − c} x∈X

0≤x≤1

T

nebot’ min d x = min{0, d} = − max{0, −d} (kde min a max se rozum´ı po sloˇzkách). 0≤x≤1

ˇ sme celoˇc´ıselný lineárn´ı program Pˇ r´ıklad 17.6. Reˇ min{ cT x | x ∈ {0, 1}n, Ax = b }.

Necht’ Lagrangeova funkce je (17.12) a necht’ X = {0, 1}n . Duáln´ı u ´loha je stejná jako v minulém pˇr´ıkladˇe. Zde pˇredpoklady Vˇety 17.1 neplat´ı, protoˇze mnoˇzina X nen´ı konvexn´ı. Opravdu, silná dualita u celoˇc´ıselného programován´ı obecnˇe neplat´ı. Silná dualita m˚ uˇze nastat (i kdyˇz sp´ıˇse vyj´ımeˇcnˇe) i pro nekonvexn´ı u ´lohu. Jednou takovou tˇr´ıdou u ´loh je libovolné (tedy ne nutnˇe konvexn´ı) QCQP s nejvýˇse jedn´ım omezen´ım. ´ Pˇ r´ıklad 17.7. Uloha QCQP min{ xT Ax | x ∈ Rn , xT x = 1 } (17.20) ˇ sen´ı ale najdeme snadno pomoc´ı nen´ı konvexn´ı, pokud matice A nen´ı pozitivnˇe semidefinitn´ı. Reˇ spektráln´ıho rozkladu: min xT Ax = min xT VΛVT x = min zT Λz = λmin (A).

xT x=1

xT x=1

zT z=1

Ukáˇzeme nav´ıc, ˇze plat´ı silná dualita. Máme Tedy

L(x, y) = xT Ax + y(1 − xT x) = xT (A − yI)x + y. ( y kdyˇz A − yI je pozitivnˇe semidefinitn´ı, G(y) = −∞ jinak.

Ale matice A − yI je pozitivnˇe semidefinitn´ı právˇe tehdy, kdyˇz nejmenˇs´ı vlastn´ı ˇc´ıslo matice A − yI je nezáporné, neboli (viz Cviˇcen´ı 6.4) λmin(A) ≥ y. Duáln´ı u ´loha tedy je max{ y ∈ R | λmin(A) ≥ y }.

Ta má oˇcividné optimáln´ı ˇreˇsen´ı y = λmin(A).

155

Optimalizace. Elektronická skripta předmětu A4B33OPT. Toto je verze ze dne 28. ledna Katedra kybernetiky Fakulta elektrotechnická

Recommend Documents