Alap-ötlet: Karl Friedrich Gauss ( ) valószínűségszámítási háttér: Andrej Markov ( )

A legkisebb négyzetek módszere

Budapesti Műszaki és Gazdaságtudományi Egyetem Gépészmérnöki Kar Hidrodinamikai Rendszerek Tanszék

1111, Budapest, Műegyetem rkp. 3. D ép. 334. Tel: 463-16-80 Fax: 463-30-91 http://www.vizgep.bme.hu

•

Alap-ötlet: Karl Friedrich Gauss (1777-1855)

•

valószínűségszámítási háttér: Andrej Markov (1856-1922)

•

a legtöbb programcsomag beépített eljárásként tartalmazza


Az alapötlet A változók közötti kapcsolat (legegyszerűbb esetben) lineáris: y = ao + a1x

Cél: a mérési sorozat alapján meghatározni az ao és a1 paraméterek becslését.

a 0 ≈ αo Pontos érték

és becslés

a 1 ≈ α1 Pontos érték

becslés


y

Az alapötlet

ξj

xj

Mérési pontok:

x

{ x ,ξ } j

j

N j=1


y

Az alapötlet

yj

ξj

xj

Egyenes:

x

y = αo + α1x A legkisebb négyzetek módszere

y

Az alapötlet

δj yj

ξj

xj

x

Számoljuk ki a mérési pont és az egyenes függőleges eltérését:

δ j = ξ J − y j = ξ j − ( α o + α1 x j )


Az alapötlet Az eltérések négyzetösszege: 2

D (α o ,α1 ) = ∑ (ξ j − α o − α1 x j ) N

j =1

Keressük a négyzet-összeg minimumát:

∂D(α o , α 1 ) =0 ∂α o

és

∂D(α o , α 1 ) =0 ∂α 1

Az α 0 szerinti derivált: − 2∑ (ξ j − α o − α 1 x j ) = 0 N

j =1


Az alapötlet Az α1 szerinti derivált:

− 2∑ (ξ j − α o − α 1 x j ) x j = 0 N

j =1

Egyszerűsítések és rendezés után kétismeretlenes lineáris egyenletrendszert kapunk: N

N

j =1

j =1

Nα o + α 1 ∑ x j = ∑ ξ j N

N

j =1

j =1

N

α o ∑ x j +α 1 ∑ x = ∑ x ξ j 2 j

j =1

j


Az alapötlet Jelöljük:

1 x= N

N

∑x j =1

és

j

1 ξ= N

N

∑

ξj

j =1

Az egyenletrendszer megoldása:

∑ (x

− x )ξ

N

α 0 = ξ − α1 x

α1 =

j =1

∑ (x

j

2

N

j =1

j

j

− x)


Az alapötlet Az első egyenletből:

1 N 1 N α o + α1 ∑ x j = ∑ ξ j N j=1 N j=1

α o + α1 x$ = ξ$ Az egyenes átmegy a ponthalmaz súlypontján


Gauss-Markov tétel 1. Az x és y változók között polinomiális függvénykapcsolat van: n

y = a0 + a1 x + ... + an x n = ∑ ai x i i =0

2. Az x értékek pontosak, az y mérési eredménye ξ; normális eloszlású, nulla várható értékű véletlen hiba terheli.

ξ j ( j = 1,2.... N )

ξ j = yj + ε j ε ∈ N(0,σ y ) ,

j = 1,2,……N

3. mérési eredmények független valószínűségi változók

ξ j ( j = 1,2.... N ) A legkisebb négyzetek módszere

Gauss-Markov tétel Állítás: a legkisebb négyzetek módszerével becsüljük az ismeretlen paramétereket (az αo, α1,… αn értékek becslés a α0, α1, …,αn), akkor

M(α0 ) = ao,

M(α1 ) = a1 ,

M(αn ) =an

Az állítás további része:

1 ⎛ i ⎞ s = ⎜ ξ j − ∑α i x j ⎟ ∑ N − ( n + 1) j =1 ⎝ i =0 ⎠ 2 y

N

n

2

sy a σy torzítatlan becslése A legkisebb négyzetek módszere

Gauss-Markov tétel Bizonyítás

(u. úgy mint az egyszerű esetben)

:

Ez a megfigyelés

Minimalizáljuk a négyzet-összeget: ⎛ ⎞ D (α o ,α1 ,...,α n ) = ∑ ⎜ ξ j − ∑α i x ij ⎟ j =1 ⎝ i =0 ⎠ N

n

2

Ez a polinom

A minimum lokális, helyét a parciális deriváltak nulla helye adja. Deriváljunk αk szerint (k=0,1,…n): N n ∂D ⎛ = −2∑ ⎜ ξ j − ∑ α i x ij ⎞⎟x kj = 0 ∂α k j=1 ⎝ i =0 ⎠


Gauss-Markov tétel

n+1 egyenlet, n+1 ismeretlenes lineáris egyenletrendszer: N

n

∑α ∑ x i =0

i

j=1

i+k j

N

= ∑ ξ j x kj , k = 0 ,1,...n j=1

Vegyük mindkét oldal várható értékét: N

n

∑ M ( α )∑ x i=0

i

j=1

i+ k j

= ∑ M ( ξ j ) x kj k = 0 , 1, ...., n N

j=1


Gauss-Markov tétel Használjuk ki, hogy:

M (ξ j ) = y j = ∑ ai x ij n

i =0

N

n

∑ M ( α )∑ x i =0

i

j=1

i+k j

n

N

i =0

j=1

=∑ a i ∑ x ij+ k k = 0 , 1, ....,n

Ez csak akkor igaz bármely xj és N értékre, ha

M (α i ) = ai ,

i = 0, 1, ..., n A legkisebb négyzetek módszere

Gauss-Markov tétel Előnyök: ☺ a módszer elterjedt, minden matematikai statisztikai programcsomag tartalmazza felhasználóbarát feldolgozásban. Formálisan az is tudja használni, aki nem ismeri matematikai hátteret, ☺ igaz marad a tétel akkor is, ha a függvénykapcsolat alakja: y=

n

∑ a ϕ (x ) i= p

i

i

ϕi ( x )

itt

teljesen ismert függvény A legkisebb négyzetek módszere

Gauss-Markov tétel Hátrányok: Az első feltétel: a vizsgált változók közötti kapcsolat polinomiális. Nem polinommal közelítünk, hanem a vizsgált kapcsolat polinomiális. Ez a feltétel a műszaki gyakorlatban szinte soha sem tartható be.

Ha a folyamat leírása közelítő, akkor a legkisebb négyzetek módszere a “közelítést” közelíti. A legkisebb négyzetek módszere

Gauss-Markov tétel

A második feltétel: az egyik változót pontos, mérési hiba csak a másik változót terheli. Ez a műszaki gyakorlatban ritkán fordul elő. A gyakorlati esetek zömében mindkét változót hiba terheli.


Gauss-Markov tétel

A feltétel-elemzés eredménye: a tétel matematikai feltételeit műszaki oldalról a legritkább esetben tudjuk betartani. Így az értékes statisztikai állítást is csak ritkán tudjuk kihasználni. Az esetek többségében a nyert közelítő függvényt csak “vizuálisan” tudjuk értékelni.


Alkalmazás 1. Alkalmazás: A változók közötti kapcsolat:

y = ax

3

a ≈ α =?

Adott a megfigyelések eredménye:

x j 1 2 .0 2 .5 3 ξj

2 15

21

4

45 99

Felrajzoljuk a pontokat: A legkisebb négyzetek módszere

Alkalmazás


Alkalmazás

Becslés a legkisebb négyzetek módszerével:

∂ ∂α

5

∑ (ξ −α x ) j=1

j

3 2 j

=0

Deriválás: 5

−2∑ ( ξ j − αx 3j )x 3j = 0 j =1


Alkalmazás Rendezés:

5

∑ j =1

5

5

j =1

j =1

ξ j ⋅ x 3j = ∑ α ⋅ x6j = α ∑ x6j

Eredmény:

5

α=

∑ξ x j=1 5

j

∑x j=1

3 j

=1.558 6 j



Alkalmazás 2 Mérési eredmények

2. Alkalmazás Hányad fokú polinomot válasszunk? A legkisebb négyzetek módszere

Alkalmazás 2 Másodfokú polinom


Alkalmazás 2 Harmadfokú polinom


Alkalmazás 2

Negyedfokú polinom


Alkalmazás 2

Ötödfokú polinom


Alkalmazás 2 Hogyan kell a fokszámot megválasztani: Módszer: Ralston: Bevezetés a numerikus analizisbe Műszaki könyvkiadó 1969. Halász G.-Huba A.: Műszaki mérések. Műegyetemi Kiadó 2003.


Gauss féle normál-egyenletek:

Visszatérünk a jelölt egyenlethez:

N

n

∑α ∑ x i =0

i

j=1

i+k j

N

= ∑ ξ j x kj , k = 0 ,1,...n j=1

Kifejtjük ezt a formát: Gauss féle normálegyenletek:


Gauss féle normál-egyenletek: N

n

∑α ∑ x i =0

k=0

k =1

i

j=1

i+k j

N

= ∑ ξ j x kj , k = 0 ,1,...n j=1

N

N

N

N

N

j=1

j=1

j=1

j=1

j=1

α 0 ∑ x 0j + α1 ∑ x1j + α 2 ∑ x 2j + ... + α n ∑ x nj = ∑ ξ j N

N

N

N

N

j=1

j=1

j=1

j=1

j=1

N

N

N

N

N

j=1

j=1

j=1

j=1

j=1

α 0 ∑ x j + α1 ∑ x 2j + α 2 ∑ x 3j + ... + α n ∑ x nj +1 = ∑ ξ j x j

. . .

k=n

α 0 ∑ x nj + α1 ∑ x nj +1 + α 2 ∑ x nj + 2 + ... + α n ∑ x 2nj = ∑ ξ j x nj A legkisebb négyzetek módszere

Gauss féle normál-egyenletek: xj és ξj a megfigyelésekből adottak, a „szummák” kiszámíthatóak. Az ismeretlenek az α0, α1, …, αn együtthatók n+1 ismeretlen, n+1 egyenlet, megoldható. Amikor valamely programcsomagba polinom illesztést hajtunk végre, akkor a háttérben ennek az egyenletrendszernek a megoldása zajlik le A legkisebb négyzetek módszere

Összefoglalás A módszer célja: kiegyenlítő függvény illesztése hibával terhelt megfigyelésekhez. Számítási módszer: a kiegyenlítő függvény és a megfigyelések közötti δj eltérést kiszámítom és minimalizálom ezeket négyzetösszegét. Előny: minden kereskedelmi programcsomagban készen áll az alkalmazásra Hátrány: csak az egyik változó hibáját kezeli, a statisztikai tétel feltételeit gyakran nem tudjuk betartani (vizuális értékelés). A legkisebb négyzetek módszere

Alap-ötlet: Karl Friedrich Gauss ( ) valószínűségszámítási háttér: Andrej Markov ( )

Recommend Documents