Regresní analýza. Statistika II. Jiří Neubauer. Katedra ekonometrie FEM UO Brno kancelář 69a, tel

Regresní přímka Lineární regresní model

Regresní analýza Statistika II

Jiří Neubauer Katedra ekonometrie FEM UO Brno kancelář 69a, tel. 973 442029 email:[email protected]

Jiří Neubauer

Regresní analýza


Regresní analýza

Cíl regresní analýzy: stanovení formy (trendu, tvaru, průběhu) této závislosti pomocí vhodné funkce vystihnout pomocí regresní funkce průběh (trend) závislosti mezi X a Y na základě znalosti dvojic empirických hodnot [xi , yi ], kde i = 1, 2, . . . , n.

Jiří Neubauer

Regresní analýza


Regresní přímka

Princip regresní analýzy nejdříve vysvětlíme na jednoduchém modelu dvou náhodných veličin X a Y , kde Y bude vysvětlovaná proměnná a X bude vysvětlující proměnná (regresor). Budeme předpokládat, že mezi vysvětlovanou proměnnou Y a vysvětlující proměnnou X platí přibližně lineární vztah. Měření nebo pozorování veličiny Y může být zatíženo náhodnou chybou e. Y = β1 + β2 X + e, kde β1 , β2 jsou neznámé parametry (neznámé reálné konstanty), Y a e jsou náhodné veličiny a X je daná reálná proměnná. Dále předpokládáme, že při hodnotách x1 , x2 , . . . , xn proměnné X pozorujeme hodnoty y1 , . . . , yn proměnné Y zatížené chybami e1 , . . . , en . Pozorování vyhovují modelu yi = β1 + β2 xi + ei , i = 1, . . . , n.

Jiří Neubauer

Regresní analýza


Regresní přímka

O chybách e1 , . . . , en předpokládáme, že jsou to nezávislé náhodné veličiny, že jsou nesystematické, tj. střední hodnota Eei = 0, a homogenní, tj. že mají stejný rozptyl Dei = σ 2 , i = 1, . . . , n. Cílem je najít odhad parametrů β1 , β2 a σ 2 . Použijeme k tomu metodu nejmenších čtverců. Označíme S 2 (β1 , β2 ) =

n X

ei2 =

i=1

n X

(yi − (β1 + β2 xi ))2

i=1

součet čtverců náhodných chyb ei a odhady βb1 , βb2 parametrů β1 , β2 stanovíme tak, aby součet čtverců chyb S 2 (β1 , β2 ) nabyl minimální možné hodnoty.

Jiří Neubauer

Regresní analýza


Regresní přímka Z matematiky je známo, že nutnou podmínkou pro existenci extrému funkce dvou a více proměnných je nulovost prvních parciálních derivací, tj. v našem případě ∂S 2 (β1 , β2 ) ∂S 2 (β1 , β2 ) = = 0, ∂β1 ∂β2 podmínku postačující pro minimum nemusíme vyšetřovat, neboť funkce S(β1 , β2 ) je ryze konvexní. Dostáváme tedy n

X ∂S 2 (β1 , β2 ) (yi − β1 − β2 xi )(−1) = 0, =2 ∂β1 i=1 n

X ∂S 2 (β1 , β2 ) =2 (yi − β1 − β2 xi )(−xi ) = 0. ∂β2 i=1 odkud získáme tzv. soustavu normálních rovnic n n X X β1 n + β2 xi = yi , β1

n X

xi + β2

i=1 Jiří Neubauer

i=1

i=1

n X

n X

i=1

xi2 =

xi yi .

i=1 Regresní analýza


Regresní přímka

Obrázek: Lineární regresní model – přímka

Jiří Neubauer

Regresní analýza


Regresní přímka

Vyřešíme-li tuto soustavu (např. Cramerovým pravidlem), obdržíme odhady parametrů Pn Pn Pn Pn Pn P P 2 xi yi − ni=1 xi ni=1 yi i=1 yi i=1 xi − i=1 xi i=1 xi yi b2 = n i=1 βb1 = , β 2 . Pn P P P 2 n n n i=1 xi2 − n ni=1 xi2 − i=1 xi i=1 xi Tyto odhady lze také vyjádřit ve tvaru sxy sxy βb1 = y − βb2 x = y − 2 x, βb2 = 2 , sx sx P P kde x = n1P ni=1 xi a y = n1 ni=1 yi jsou výběrové průměry, Pn n 2 1 1 sx2 = n−1 i=1 (xi − x) je výběrový rozptyl a sxy = n−1 i=1 (xi − x)(yi − y ) je výběrová kovariance.

Jiří Neubauer

Regresní analýza


Regresní přímka

b = βb1 + βb2 X nazýváme regresní přímkou, βb1 , βb2 jsou tzv. Přímku o rovnici Y regresní koeficienty. Vypočtené regresní koeficienty βb1 , βb2 jsou nevychýlenými odhady neznámých parametrů β1 , β2 . Dále hodnota ybi = βb1 + βb2 xi je predikovaná hodnota y v bodě xi a veličiny b ei = yi − ybi = yi − βb1 − βb2 xi nazýváme rezidua. Dále platí, že minimální hodnota součtu čtverců S 2 (β1 , β2 ) je rovna n n n n n X X X X X Se = S 2 βb1 , βb2 = eˆi2 = (yi − yˆi )2 = yi2 − βb1 yi − βb2 xi yi . i=1

i=1

i=1

i=1

i=1

Se nazýváme reziduální součet čtverců. Je možné ukázat (viz Anděl (2003)), 1 že veličina s 2 = n−2 Se je nevychýleným odhadem rozptylu σ 2 , a tedy platí 2

E (s 2 ) = σ .

Jiří Neubauer

Regresní analýza


Regresní přímka – příklad

Následující tabulka udává informaci o teplotě (ve stupních Celsia) v jednom městě a množství zmrzliny (v kilogramech) prodaných v osmi náhodně vybraných cukrárnách. teplota zmrzlina

34 30 25 32 94 79 56 90

37 39 31 26 105 126 72 53

Vysvětlovanou proměnnou je v tomto případě množství zmrzliny, vysvětlující proměnnou potom teplota ve městě. Metodou nejmenších čtverců odhadneme parametry regresní přímky yb = −71,789 + 4,918x.

Jiří Neubauer

Regresní analýza


Regresní přímka – příklad

Obrázek: Regresní přímka – závislost množství prodané zmrzliny na teplotě

Jiří Neubauer

Regresní analýza


Regresní parabola Dva lineární regresory

Lineární regresní model Zobecníme předchozí výsledky a budeme předpokládat, že je potřeba modelovat nějakou sledovanou (hůře dostupnou či nesnadno měřitelnou) náhodnou veličinu Y (tzv. vysvětlovaná veličina nebo odezva) pomocí jiných snáze dostupných veličin X1 , X2 , . . . , Xk (nazývaných vysvětlující proměnné nebo regresory). Vyjdeme ze situace, kdy příslušná statistická data obsahují n nezávislých pozorování vysvětlované proměnné Y a odpovídajících n pozorování každého z regresorů X1 , X2 , . . . , Xk . Budeme předpokládat, že i-té pozorování vysvětlované proměnné Y lze modelovat rovnicí: yi = β1 xi1 + β2 xi2 + · · · + βk xik + ei ,

(1)

kde 1. yi je i-té pozorování Y , i = 1, . . . , n, 2. xij je i-té pozorování regresoru Xj , i = 1, . . . , n, j = 1, . . . , k, 3. βj , j = 1, . . . , k, jsou neznámé parametry, 4. ei , i = 1, . . . , n, jsou neznámé náhodné chyby, které vznikají při pozorování vysvětlované proměnné Y a které nemůžeme přímo pozorovat ani měřit.

Jiří Neubauer

Regresní analýza



Lineární regresní model

Přitom dále předpokládáme, že xij jsou pevně dané známé reálné hodnoty a veličiny Yi a ei jsou náhodného charakteru (náhodné veličiny). Na jejich pravděpodobnostní rozdělení klademe následující předpoklady: (P1) Střední hodnota Eei = 0, i = 1, . . ., n, tj. náhodné chyby jsou nesystematické. (P2) Rozptyl Dei = σ 2 , i = 1, . . ., n, tj. náhodné chyby jsou homogenní se stejným neznámým rozptylem σ 2 . (P3) Kovariance C (ei , el ) = 0, i 6= l, i, l = 1, . . ., n, tj. náhodné chyby jsou nekorelované. Model daný rovnicí (1) spolu s předpoklady (P1), (P2), (P3) se nazývá lineární regresní model (LRM)1 . Funkci, která popisuje závislost vysvětlované proměnné Y na regresorech X1 , X2 , . . . , Xk pak nazýváme regresní funkcí.

1 Často se v lineárním regresním modelu předpokládá, že první regresor je konstanta, potom pozorované hodnoty xi1 = 1, i = 1, . . . , n a model má tvar yi = β1 + β2 xi2 + · · · + βk xik + ei . Jiří Neubauer

Regresní analýza




Odhad parametrů v lineárním regresním modelu (1) provedeme opět metodou nejmenších čtverců. Model nejdříve zapíšeme v maticovém tvaru. Označme:        y1 e1 β1 x · · · x 11 1k  y2   e2   β2      .  ..  .. Y =  .  , e =  .  , X =  .. . . . , β =   ..   ..  ..  xn1 · · · xnk βk yn en Pak model (1) lze vyjádřit jednoduchým zápisem Y = Xβ + e. Odhad neznámých parametrů pak stanovíme řešením soustavy lineárních rovnic X0 Xβ = X0 Y– tzv. normální rovnice.

Jiří Neubauer

Regresní analýza

   . 




Jejich řešení snadno nalezneme za předpokladu, že matice X0 X je regulární a −1 tedy existuje inverzní matice (X0 X) . Za tohoto předpokladu říkáme, že model je plné hodnosti. V modelu plné hodnosti lze řešení normálních rovnic zapsat ve tvaru b = X0 X −1 X0 Y. β Pro reziduální součet čtverců zapsaný v maticovém tvaru pak dostaneme vyjádření b 0 (Y − Xβ) b = Y0 Y − β b 0 X0 Y. Se = (Y − Xβ) Dále budeme pracovat jenom s modely plné hodnosti.

Jiří Neubauer

Regresní analýza



Lineární regresní model – regresní parabola Uvedeme nyní dva příklady lineárních regresních modelů: regresní paraboly a modelu se dvěma lineárními regresory. Nejprve budeme uvažovat model, kdy vysvětlovaná proměnná Y je kvadratickou funkcí vysvětlující proměnné X , tvaru: yi = β1 + β2 xi + β3 xi2 + ei , i = 1, . . ., n. Zřejmě jde o speciální případ LRM (lineárního vzhledem k neznámým parametrům β1 , β2 , β3 ). V maticovém zápisu tohoto modelu je:   1 x1 x12   Pn Pn 2 2  1 x2 x2  Pni=1 x2i Pni=1 xi3 Pnn  0  X= . .. , X X =  P i=1 xi Pi=1 xi Pi=1 xi , ..  .. n n n 2 3 4 .  . i=1 xi i=1 xi i=1 xi 2 1 xn xn  Pn  Pn i=1 yi 0 X Y =  P i=1 xi y i  . n 2 i=1 xi y i

Jiří Neubauer

Regresní analýza



Lineární regresní model – regresní parabola

b vektoru β získat Za předpokladu, že model je plné hodnosti, lze odhad β b = (X0 X)−1 X0 Y. Potom lze reziduální řešením rovnic X0 Xβ = X0 Y ve tvaru β součet čtverců Se vyjádřit ve tvaru Se =

n X i=1

2

yi −βb1

n X

yi −βb2

i=1

n X

xi yi −βb3

i=1

2

a odhad rozptylu σ je s = Se /(n − 3).

Jiří Neubauer

Regresní analýza

n X i=1

xi2 yi




Příklad. U automobilu Trabant se měřila spotřeba paliva v litrech na 100 km (Y ) v závislosti na jeho rychlosti (X ). Rychlost Spotřeba

40 6,1

50 5,8

60 6,0

70 6,5

80 6,8

90 8,1

Odhadnutá parabolická regresní funkce má tvar yb = 11,39386 − 0,20726x + 0,001917x 2 .

Jiří Neubauer

Regresní analýza

100 10,0




Obrázek: Regresní parabola – závislost spotřeby paliva na rychlosti

Jiří Neubauer

Regresní analýza



Lineární regresní model – dva lineární regresory

Předpokládejme, že vysvětlovaná proměnná Y může záviset na dvou regresorech X a Z (používáme označení X místo X1 a Z místo X2 , které je v aplikacích tohoto typu časté). K dispozici je n nezávislých pozorování veličiny Y při daných n hodnotách veličin X a Z . Vyjdeme z modelu yi = β1 + β2 xi + β3 zi + ei , i = 1, . . ., n, který je speciálním případem obecného lineárního regresního modelu Y = Xβ + e.

Jiří Neubauer

Regresní analýza




Matice v modelu  1  1  X= .  .. 1

mají tvar x1 x2 .. . xn

z1 z2 .. . zn

   Pnn  0 , X X =  Pi=1 xi  n i=1 zi

Pn Pni=1 x2i Pni=1 xi i=1 xi zi

 Pn Pni=1 zi xi zi , Pi=1 n 2 i=1 zi

  Pn Pn i=1 yi X Y =  Pi=1 xi y i . n i=1 zi yi 0

b = (X0 X)−1 X0 Y. Pak užitím metody nejmenších čtverců dostaneme odhad β

Jiří Neubauer

Regresní analýza




Příklad. Výrobce nealkoholických nápojů má zájem analyzovat potřebný čas k servisu (doplnění lahví případně malý servis zařízení) automatů na výdej lahví s těmito nápoji. Celkovou dobu doplnění lahví je třeba predikovat pomocí dvou dostupných proměnných: počet lahví, které je třeba doplnit do automatu, a vzdálenost, kterou musí údržbář ujít. Vysvětlovanou proměnnou je v tomto případě celkový čas, vysvětlující proměnné jsou počet doplněných lahví a vzdálenost. čas 16,68 11,5 12,03 14,88 13,75 18,11 8 17,83 79,24 21,5 počet lahví 7 3 3 4 6 7 2 7 30 5 vzdálenost 560 220 340 80 150 330 110 210 1460 605 čas 40,33 21 13,5 19,75 24 29 15,35 19 9,5 35,1 počet lahví 16 10 4 6 9 10 6 7 3 17 vzdálenost 688 215 255 462 448 776 200 132 36 770 čas 17,9 52,32 18,75 19,83 10,75 počet lahví 10 26 9 8 4 vzdálenost 140 810 450 635 150

Jiří Neubauer

Regresní analýza



Lineární regresní model – dva lineární regresory Metodou nejmenších čtverců získáme odhad regresní funkce yb = 2, 341 + 1,616x + 0,014z.

Obrázek: Regrese se dvěma lineárními regresory – závislost času potřebného na servis na počtu případů doplňování automatu a vzdálenosti, kterou musí údržbář ujít

Jiří Neubauer

Regresní analýza



Volba regresní funkce

Některé typy lineárních regresních funkcí: přímková regrese Y = β1 + β2 X , hyperbolická regrese Y = β1 +

β2 , X

logaritmická regrese Y = β1 + β2 ln X , parabolická regrese Y = β1 + β2 X + β3 X 2 polynomická regrese Y = β1 + β2 X + · · · + βp X p Některé typy nelineárních regresních funkcí: exponenciální regrese Y = β1 β2X , mocninná regrese Y = β1 X β2 .

Jiří Neubauer

Regresní analýza

Regresní analýza. Statistika II. Jiří Neubauer. Katedra ekonometrie FEM UO Brno kancelář 69a, tel

Recommend Documents