Matematikai statisztikai elemzések 6

Nyugat-magyarországi Egyetem Geoinformatikai Kara

Prof. Dr. Závoti József

Matematikai statisztikai elemzések 6. MSTE6 modul

Regressziószámítás: kétváltozós lineáris és nemlineáris regresszió, többváltozós regresszió

SZÉKESFEHÉRVÁR 2010

Jelen szellemi terméket a szerzői jogról szóló 1999. évi LXXVI. törvény védi. Egészének vagy részeinek másolása, felhasználás kizárólag a szerző írásos engedélyével lehetséges.

Ez a modul a TÁMOP - 4.1.2-08/1/A-2009-0027 „Tananyagfejlesztéssel a GEO-ért” projekt keretében készült. A projektet az Európai Unió és a Magyar Állam 44 706 488 Ft összegben támogatta.

Lektor: Bischof Annamária

Projektvezető: Dr. hc. Dr. Szepes András

A projekt szakmai vezetője: Dr. Mélykúti Gábor dékán

Copyright © Nyugat-magyarországi Egyetem Geoinformatikai Kar 2010

Tartalom 6. Regressziószámítás: kétváltozós lineáris és nemlineáris regresszió, többváltozós regresszió .................... 6.1 Bevezetés .................................................................................................................... 6.2 Kétváltozós lineáris regresszió ........................................................................................ 6.2.1 A lineáris regresszió modellje: .............................................................................. 6.2.2 A lineáris regresszió alkalmazásának feltételei ......................................................... 6.2.3 Legkisebb négyzetek módszere ............................................................................. 6.2.4 Elaszticitás ........................................................................................................ 6.2.5 A lineáris regresszió tulajdonságai: ....................................................................... 6.2.6 A és mintavételi eloszlása ................................................................................... 6.2.7 Konfidencia intervallum számítása a β paraméterekre ............................................... 6.2.8 Hipotézisvizsgálat .............................................................................................. 6.2.9 Determinációs együttható: ................................................................................... 6.3 Nemlineáris regresszió .................................................................................................. 6.3.1 Hiperbolikus függvény: ....................................................................................... 6.3.2 Exponenciális függvény: ..................................................................................... 6.3.3 Hatványkitevős regresszió függvény ...................................................................... 6.4 Többváltozós regresszió számítás ..................................................................................... 6.4.1 Regressziós paraméterek meghatározása ................................................................. 6.4.2 A paraméterek standard hibái .............................................................................. A paraméterek tesztelése ............................................................................................ 6.5 Összefoglalás ...............................................................................................................

1 1 1 1 1 2 3 3 3 4 4 4 5 5 5 5 5 6 7 7 8

6. fejezet - Regressziószámítás: kétváltozós lineáris és nemlineáris regresszió, többváltozós regresszió 6.1 Bevezetés Jelen modul a Matematika III. tárgy hatodik fejezete, modulja. Az itt következő ismeretek megértéséhez javasoljuk, hogy olvassa el a Tárgy korábbi moduljainál írottakat. Amennyiben ez még nem lenne elég a megértéshez, akkor forduljon a szerzőhöz segítségért. Jelen modul célja, hogy az Olvasó megismerkedjen a regressziószámítás fő típusaival.

6.2 Kétváltozós lineáris regresszió A regressziószámítás a mennyiségi ismérvek közötti sztochasztikus tendenciát vizsgálja, és a kapcsolat természetét valamilyen függvénnyel írja le. Lineáris regresszió esetén egyenest illesztünk az adatokra.

6.2.1 A lineáris regresszió modellje: y x (x1,y1) (x2,y2) (xn,yn) N(0,σ) eloszlások (x1,y1), (x2,y2),..., (xn,yn) pontokra szeretnénk egy regressziós egyenest illeszteni. A megoldáshoz meg kell határozni a paramétereket. A megoldás során a „legjobb” egyenest – azt, amelyik a legkevésbé tér el a pontoktól – keressük. Ezt az egyenest a legkisebb négyzetek módszerének segítségével fogjuk megkeresni.

6.2.2 A lineáris regresszió alkalmazásának feltételei 1. Linearitás: Az Y eloszlások várható értéke az ún. alapsokasági regressziós egyenesre esik. 2. A variancia állandó: 3. Függetlenség: Az valószínűségi változók függetlenek. 4. Az eloszlás normális: Az változók normális eloszlásúak. 5. A hibatényező: Az normális eloszlású, egymástól független változók, amelyek várható értéke 0, varianciája pedig .

Matematikai statisztikai elemzések 6.

2010

6.2.3 Legkisebb négyzetek módszere Függő változó (y) (x2,y2) * * * * * (x1,y1) * * (xn,yn)

Független változó (x) li (xi,yi) *

A becsült regressziófüggvény:

Keressük a függvény paramétereinek azon becslését, , amely mellett a megfigyelésből származó és a regressziófüggvény alapján becsült Y értékek különbségének eltérésnégyzet-összege a legkisebb:

A regressziófüggvényt behelyettesítve a célfüggvénybe:

A paramétereket a szélsőérték-számítás szabályai alapján határozhatjuk meg. A és szerinti parciális deriváltjai vesszük, és ezeket nullával tesszük egyenlővé (stacionárius pont meghatározása):

Így eljutunk az ún. normál egyenletekhez:

MSTE6-2

© Nyugat-magyarországi Egyetem Geoinformatikai Kar, 2010



A normálegyenletek megoldásával a és paraméterek meghatározhatók. A megoldásra különböző módszerek léteznek. Mi az ismeretleneket a Cramer-szabály felhasználásával határozzuk meg. Cramer szabály:

A paramétert az alábbi egyenletből kapjuk:

Ha a normálegyenleteket oly módon transzformáljuk, hogy az eredeti X és Y változókat átlaguktól vett eltéréseiket helyettesítjük, akkor a következő transzformált egyenleteket kapjuk: ahol , . Mivel a paraméter meghatározása:

A paramétert az alábbi egyenletből kapjuk:

A lineáris regresszió függvény paraméterét regressziós együtthatónak nevezzük. A regressziós együttható arra ad választ, hogy az X magyarázó változó egységnyi változása átlagosan mekkora változással jár együtt az Y eredményváltozóban. A együttható, az egyenlet konstans tagja, az X = 0 helyhez ad regressziós becslést.

6.2.4 Elaszticitás Az X és Y változóknak nemcsak különbségeit, hanem relatív változásait is szembeállíthatjuk, így jutunk el az elaszticitás fogalmához. Az elaszticitás arra ad választ, hogy az X magyarázó változó adott értékének egy 1%os változása az Y függő változóban milyen átlagos relatív változást eredményez.

6.2.5 A lineáris regresszió tulajdonságai: 1. 2. 3. 4. Az kifejezés az értéknél veszi fel a minimumát. A legkisebb négyzetek módszerével kapott becslések az Y változó lineáris kombinációi. A becsült paraméterek tehát valószínűségi változók, amelyek jellemzőinek megismerése lehetővé teszi, hogy konfidencia intervallumokat készítsünk a sokasági regressziófüggvény paramétereire. Ehhez először a paraméterbecslések mintavételi eloszlásával ismerkedünk meg.

6.2.6 A és mintavételi eloszlása Tétel:


MSTE6-3


2010

, azaz torzítatlan becslése -nek. Tétel: szórásnégyzete Tétel: azaz torzítatlan becslése -nak. Tétel: szórásnégyzete

6.2.7 Konfidencia intervallum számítása a β paraméterekre A mintából becsült paraméterek eloszlásának ismeretében valószínűségi megállapításokat tehetünk a sokasági paraméterekre. A paraméterre tett (1-α) valószínűségi megállapítás:

Ezt úgy értelmezhetjük, hogy ha ismételt mintavételeket hajtunk végre, és minden mintavételi eredmény alapján elkészítjük a konfidencia intervallumot, az intervallumok 100(1-α) %-a tartalmazni fogja a sokasági paramétert. Az egyenes meredekségére vonatkozó konfidencia intervallum:

Az egyenes konstans tagjára vonatkozó konfidencia intervallum:

6.2.8 Hipotézisvizsgálat Fontos annak vizsgálata, hogy az X és Y változók szignifikáns kapcsolatban vannak-e egymással. Ennek vizsgálatára az alábbi hipotéziseket fogalmazzuk meg:

A hipotézisellenőrzést a t-próbával végezzük, amely a becsült regressziós együttható és a standard hiba hányadosa:

Ha a , a H0 hipotézist elfogadjuk. Ebben az esetben a paraméter nem különbözik szignifikánsan a nullától. A konfidencia intervallum ilyenkor tartalmazza a nulla értéket is. Ha a , a H0 hipotézist elvetjük. A mintabeli információk ekkor azt mutatják, hogy releváns kapcsolat van az X és Y változó között.

6.2.9 Determinációs együttható: Az r2 mutatót determinációs együtthatónak nevezzük, amelynek értéke 0 és 1 közé esik. Ha a lineáris regresszió paramétere nulla, akkor az r2 értéke is nulla. Ilyen esetben a változók között nincs korrelációs kapcsolat. A determinációs együttható a maximális értékét akkor veszi fel, ha a változók között determinisztikus összefüggés van, vagyis valamennyi megfigyelt Y érték a regressziós egyenesen helyezkedik el. A 0 és 1 közötti r2 értékek a változók közötti kapcsolat erősségét, a regressziófüggvény illeszkedésének jóságát jellemzik.

MSTE6-4




6.3 Nemlineáris regresszió A statisztikai módszertan szempontjából a nemlineáris összefüggések két fő csoportját különböztetjük meg: a lineárisra visszavezethető és a lineárisra nem transzformálható modelleket. Az alábbiakban mi csak az első csoporttal, vagyis a lineárisra visszavezethető modellekkel foglalkozunk. Vannak olyan nemlineáris összefüggések, amelyeknél a magyarázó változó transzformálásával jutunk a lineáris összefüggéshez. Az alábbi függvény-típusokat sorolhatjuk ide:

6.3.1 Hiperbolikus függvény: Ha a függvényben az X változót az változóval helyettesítjük, a transzformált változóra lineáris összefüggést írhatunk fel:

A regressziófüggvény paramétereinek becslésére a lineáris regressziónál megismert becslési eljárásokat alkalmazhatjuk. A nemlineáris regressziós modellek egy részénél mind a függő, mind a magyarázó változókat transzformáljuk. A függő és magyarázó változók együttes transzformálására leggyakrabban a logaritmikus transzformálást alkalmazzuk. Jellegzetes példaként említhetjük az exponenciális és a hatványkitevős függvényt.

6.3.2 Exponenciális függvény: A linearizált regresszió függvény a becsült paraméterekkel:

Az exponenciális függvényekre az jellemző, hogy lineáris összefüggés van a függő változó logaritmusa és az X változó között.

6.3.3 Hatványkitevős regresszió függvény Olyan esetekben alkalmazzuk, amikor az X és Y változók logaritmusai között van lineáris összefüggés. A regressziós együttható azt fejezi ki, hogy az X magyarázó változó egységnyi relatív (egy százalékos) változása mekkora relatív (hány százalékos) változást idéz elő az eredményváltozóban. A linearizált regresszió függvény a becsült paraméterekkel:

6.4 Többváltozós regresszió számítás A kétváltozós regressziós modell azzal a feltételezéssel él, hogy a megfigyelt eredményváltozó csupán egyetlen magyarázóváltozó hatására jött létre. Azonban a jelenségek többségére inkább az igaz, hogy kialakulásukért több tényező a felelős. (pl.: egy használtautó eladási ára nemcsak a korának, de a futott kilométereknek is a függvénye.) Ezeket a jelenségeket már nem lehet az eddig ismertetett kétváltozós regressziós modellek segítségével modellezni, szükség van annak kiterjesztésére.


MSTE6-5


2010

A többváltozós lineáris modell a következőképpen írható fel:

A fenti egyenleteket mátrixos alakban így írhatjuk:

6.4.1 Regressziós paraméterek meghatározása A paraméterek meghatározásához ismét a legkisebb négyzetek elvét használjuk. A minimalizálandó függvény:

A paraméterek parciális deriváltjait nullával egyenlővé téve a kapott normálegyenletek:

A normálegyenleteket megoldva megkaphatóak a becsült paraméterértékek. Az pedig a szemlélet alapján adódik, hogy az így kapott stacionárius pont valóban minimum hely. A számítások végrehajtását a háromváltozós modell esetére mutatjuk be: Egyszerűsíthetjük a számításokat, ha a normálegyenletekben az eredeti változókat (X1, X2, Y) az átlagtól vett eltéréseikkel helyettesítjük:

A konstans tag becslése:

Az egyenlet paramétereinek értelmezése: A becsült paraméter az Xj egységnyi változásának a hatását fejezi ki az Y eredményváltozóra, a többi magyarázó változó értékének változatlansága mellett. A együtthatókat parciális regressziós együtthatóknak nevezzük. Mátrixos alak: A fenti egyenleteket a lineáris algebrát felhasználva az alábbi módon is felírhatjuk fel. Ekkor a regressziós modell:

Most a regressziós együtthatóvektor a legkisebb négyeztek elve alapján kapható meg a következő összefüggésből:

feltéve, ha az inverz létezik1. A fenti kifejezés részletesen kifejtve így alakul:

Számunkra az m=2 speciális eset a gyakorlat szempontjából különösen fontos, felírjuk explicite:

1

Egy mátrix inverze akkor létezik, ha az (m+1)*(m+1)-es mátrix rangja (m+1).

MSTE6-6




A mátrixinverznek a meghatározására bármelyik ismert mátrix-invertálási eljárás alkalmazható lenne, segítségül megadunk egy egyszerű mátrix-invertálási módszert. Jelölje:

A bevezetett jelöléssel meghatározandó az alábbi mátrix inverze:

Vezessük be az alábbi jelöléseket:

Ekkor a mátrix inverze az alábbi módon számolható:

Ezek után az ismeretlen paraméterek meghatározhatók. Bármely módszerrel meghatározva a paraméterek értékét, azok jelentése ugyanaz marad. Vagyis paraméter azt fogja megmutatni, hogy amennyiben a k-dik magyarázó változó ( ) egységnyivel növekszik, miközben az összes többi változó értéke változatlan marad2, mennyivel nő/csökken az eredményváltozó értéke.

6.4.2 A paraméterek standard hibái A többváltozós modellnél is van lehetőség meghatározni, hogy a sokasági paraméterek értéke ismételt mintavétel esetén az esetek százalékában milyen tartományba esne. Ehhez ismerni kell a k-dik paraméter standard hibáját: , ahol - az inverzmártix főátlójának k-dik elemét jelöli. Ekkor a keresett intervallum:

Az intervallum meghatározása a kétváltozós esettel analóg, azzal a különbséggel, hogy a t-eloszlás szabadságfoka n-m-1, azaz a magyarázóváltozók függvénye3.

A paraméterek tesztelése A szignifikancia ellenőrzése itt is elengedhetetlen a becslések megkezdése előtt. Mint ahogyan a kétváltozós esetnél, itt is van mód a paraméterek tesztelése mellett a modell jóságának tesztelésére. Paraméterek tesztelésekor a null hipotézis általános formája:

Az ellenhipotézis ennek tagadásából áll, és azt jelenti, hogy igenis van összefüggés a k-adik magyarázóváltozó és az eredményváltozó között. A kiszámítandó próbastatisztika: , 2 3

Ezt a feltételt cp, azaz ceteris paribus feltételnek szokták hívni. A kétváltozós esetnél a magyarázóváltozók száma 1, azaz a szabadságfoka n-1-1=n-2 lesz.


MSTE6-7


2010

a kritikus értékhez meghatározandó t értéknél a szabadságfok n-m-1. Az alaphipotézis elfogadása most is akkor történik meg, ha a számított t értéke az elfogadási tartományban van, s ez azt jelenti, hogy a modell nem megfelelő.

6.5 Összefoglalás 1. Példa a lineáris regresszió számításra 14 tőzsdén jegyzett társaság adatai: Nettó árbevétel

Adózott eredmény

(milliárd Ft) 111

12,4

31

5,2

55

5,5

65

7,6

14

1,6

32

4,3

105

9,0

82

7,8

130

10,5

88

9,8

28

2,0

61

3,7

65

3,5

98

7,6

a.) Írja fel a lineáris regressziófüggvényt és értelmezze a paramétereket! b.) Számítsa ki és értelmezze a lineáris együtthatót, a determinációs együtthatót, a regresszióbecslés relatív hibáját! Megoldás:

MSTE6-8

e2

x

y

dx

dy

dx*dy

111

12,4

42,07

5,94

249,72

9,94

6,05

12,09

31

5,2

-37,93

-1,26

47,95

3,32

3,55

9,91

55

5,5

-13,93

-0,96

13,43

5,30

0,04

1,35

65

7,6

-3,93

1,14

-4,46

6,13

2,16

0,11

14

1,6

-54,93

-4,86

267,19

1,91

0,10

20,75

32

4,3

-36,93

-2,16

79,92

3,40

0,81

9,39

105

9,0

36,07

2,54

91,47

9,44

0,20

8,88

82

7,8

13,07

1,34

17,46

7,54

0,07

1,16

130

10,5

61,07

4,04

246,47

11,51

1,03

25,50

88

9,8

19,07

3,34

63,62

8,04

3,11

2,47

28

2,0

-40,93

-4,46

182,72

3,07

1,14

11,53

61

3,7

-7,93

-2,76

21,92

5,80

4,41

0,44



•

Regressziószámítás: kétváltozós lineáris és nemlineáris regresszió, többváltozós regresszió 65

3,5

-3,93

-2,96

11,65

6,13

6,93

0,11

98

7,6

29,07

1,14

33,02

8,86

1,60

5,76

965

91

31,18

109,44

1322,06

Határozza meg a lineáris regressziófüggvényt!

b) Számítsa ki és értelmezze a lineáris együtthatót, a determinációs együtthatót, a regresszióbecslés relatív hibáját! A standard hiba:

Determináció együttható:

1. Példa a nemlineáris regressziószámítás alkalmazására Vizsgálták a tokaji aszú életkora (év) és export eladási ára (dollár) közötti összefüggést. 10 véletlenszerűen kiválasztott palack megfigyelt adatait az alábbi táblázat tartalmazza: Sorszám

Életkor (év)

Eladási ár (dollár)

1.

25

2100

2.

19

700

3.

16

400

4.

10

100

5.

9

79

6.

8

55

7.

7

39

8.

6

25

9.

5

8

10.

4

9

Határozza meg az exponenciális regressziófüggvényt! Megoldás: x

y

lgy

dx

dx2

dy

dx*dy

25

2100

3,32

14,1

198,81

1,40

19,70

19

700

2,85

8,1

65,61

0,92

7,45

16

400

2,60

5,1

26,01

0,68

3,45

10

100

2,00

-0,9

0,81

0,07

-0,07

9

79

1,90

-1,9

3,61

-0,03

0,05


MSTE6-9


•

2010

8

55

1,74

-2,9

8,41

-0,19

0,54

7

39

1,59

-3,9

15,21

-0,33

1,30

6

25

1,40

-4,9

24,01

-0,53

2,58

5

8

0,90

-5,9

34,81

-1,02

6,03

4

9

0,95

-6,9

47,61

-0,97

6,70

109

19,25

424,9

47,74

Az exponenciális függvény logaritmikus transzformációja:

Legyen:

A paraméterek logaritmusait az alábbi módon becsüljük:

A linearizált regressziófüggvény: , ahol

Az exponenciális regressziófüggvény:

A regressziófüggvény paramétere azt mutatja, hogy ha a tokaji aszú életkora egy évvel nő, akkor az eladási ára átlagosan 29,54%-kal növekszik. 1. Példa a többváltozós regresszió számítás alkalmazására Vizsgáljuk meg, hogy milyen összefüggés van a statisztika zárthelyi dolgozat eredménye (y), a felkészülési idő (x1) és az intelligencia hányados (x2) között! Felkészülési idő (h)

IQ

Eredmény (%)

x1

x2

y

1

8

98

56

2

5

99

44

3

11

118

79

4

13

94

72

5

10

109

70

6

5

116

54

7

18

97

94

8

15

100

85

9

2

99

33

10

8

114

65

a. Illesszen kétváltozós lineáris regressziós függvényt!

MSTE6-10




b. Adja meg a becsült paraméterek standard hibáit! i. Végezzen F és t próbákat! (α = 0.05) a. Az inputra adja meg a rendszer válaszát és konstruáljon szignifikancia értékhez konfidencia intervallumot! Megoldás:

∑

x1

x2

y

x12

x22

x1*x2

y*x1

y*x2

e2

8

98

56

64

9604

784

448

5488

55,57

0,19

5

99

44

25

9801

495

220

4356

44,39

0,16

11

118

79

121

13924

1298

869

9322

79,05

0,00

13

94

72

169

8836

1222

936

6768

72,82

0,68

10

109

70

100

11881

1090

700

7630

69,86

0,02

5

116

54

25

13456

580

270

6264

54,36

0,13

18

97

94

324

9409

1746

1692

9118

94,18

0,03

15

100

85

225

10000

1500

1275

8500

84,18

0,67

2

99

33

4

9801

198

66

3267

32,63

0,13

8

114

65

64

12996

912

520

7410

64,95

0,00

95

1 044

652

1 121

109 708

9 825

6 996

68 123

2,01

a) Illesszen kétváltozós lineáris regressziós függvényt!

A lineáris regressziófüggvény:

Az 1 órával több felkészülésre fordított idő esetében – azonos IQ esetén – átlagosan 3,92%-kal magasabb az elért eredmény. Az egységnyivel magasabb IQ – azonos felkészülési idő mellett – átlagosan 0,59%-kal növeli az eredményt. b) Adja meg a becsült paraméterek standard hibáit!

Hipotézisvizsgálat:

Táblázati érték:

Számolt értékek:


MSTE6-11


2010

Értékelés: 95%-os megbízhatósági szinten megállapíthatjuk, hogy a felkészülési idő és az eredmény, valamint az IQ és az eredmény között szignifikáns kapcsolat van. d) Az inputra adja meg a rendszer válaszát és konstruáljon tervallumot!

szignifikancia értékhez konfidencia in-

A feltételes várható érték becslése:

A becslés standard hibája: A Student táblázatból vett érték:

A várható eredmény:

Irodalomjegyzék Hunyadi - Vita: Statisztika közgazdászoknak, KSH, Budapest, 2002. Keresztély-, Sugár-, Szarvas: Statisztika példatár közgazdászoknak, BKE, Nemzeti Tankönyvkiadó, 2005. Korpás A.: Általános statisztika I-II., Nemzeti Tankönyvkiadó, Budapest, 1996. Csanády V., Horváth R., Szalay L.: Matematikai statisztika, EFE Matematikai Intézet, Sopron, 1995. Závoti-, Polgárné-, Bischof: Statisztikai képletgyűjtemény és táblázatok, NYME Kiadó, Sopron, 2009. Csernyák L.: Valószínűségszámítás, Nemzeti Tankönyvkiadó, Budapest, 1990. Obádovics J. Gy.: Valószínűségszámítás és matematikai statisztika, Scolars Kiadó, Budapest, 2003. Reimann J. - Tóth J.: Valószínűségszámítás és matematikai statisztika, Tankönyvkiadó, Budapest, 1991. Solt Gy.: Valószínűségszámítás, Műszaki Könyvkiadó, Budapest, 1971. Denkinger G.: Valószínűségszámítás, Nemzeti Tankönyvkiadó, Budapest, 1978.

MSTE6-12


Matematikai statisztikai elemzések 6

Recommend Documents