SCHATTERS EN SCHATTINGEN

Schatters en schattingen

1

HOOFDSTUK 3 SCHATTERS EN SCHATTINGEN 1. Inleiding .....................................................................................................................2 2. Wenselijke eigenschappen van een schatter ..............................................................5 2.1. Zuiverheid ..........................................................................................................5 2.2. Zuivere schatters vergelijken met elkaar ............................................................6 2.3. Wensen omtrent de verdeling van een schatter..................................................7 3. Goede schatters voor µ en voor σ²............................................................................8 4. Voorbeelden en oefeningen .......................................................................................9 4.1. Voorbeeld 1........................................................................................................9 4.2. Voorbeeld 2.......................................................................................................10 4.3. Voorbeeld 3.......................................................................................................11 4.4. Oefeningen........................................................................................................12 4.5. Schatten van proporties.....................................................................................13 5. Schattingsmethodes..................................................................................................15 5.1. Herleiden naar schattingen voor µ en σ²...........................................................15 5.2. De momentenmethode (MM) ...........................................................................17 5.2.1. Voorbeelden...............................................................................................17 5.2.2. Oefeningen.................................................................................................19 5.3. De Maximum Likelihood Methode (MLM) .....................................................21 5.3.1. Inleiding .....................................................................................................21 5.3.2. De MLM ....................................................................................................21 5.3.3. Voorbeelden...............................................................................................23 5.3.4. Oefeningen.................................................................................................27 5.4. De kwantielmethode .........................................................................................28 5.5. Andere schattingsmethoden ..............................................................................29 6. Overzicht van enkele andere parameters en hun schatters.......................................30 6.1. De correlatiecoëfficiënt ρ .................................................................................30 6.2. Het verschil tussen gemiddelden ......................................................................30 6.2.1. Onafhankelijke steekproeven.....................................................................30 6.2.2. Gepaarde steekproef...................................................................................31 6.3. Het quotiënt van varianties bij ongepaarde steekproeven.............................31 7. Oefeningen...............................................................................................................33 OVERZICHT


2

1. Inleiding Vele statistische onderzoeken hebben als doel informatie te verzamelen over een populatie. Men wil informatie en/of conclusies die men via een steekproef (zie vorig hoofdstuk) verkreeg veralgemenen naar de ganse populatie. Door de toevalligheden die inherent zijn aan een steekproef, zowel vanuit praktisch oogpunt als volgens de theoretische - definitie, hebben de uitspraken "een zekere mate" van onbetrouwbaarheid. De kanstheorie is het wiskundig instrument waarmee deze onbetrouwbaarheid wordt gemeten. In dit hoofdstuk gaan we ervan uit dat de informatie die we willen verzamelen informatie is over een specifiek kenmerk (X) van een populatie. Voorbeeld 1. Een grote partij flitslampjes wordt onderzocht en we zijn geïnteresseerd in het percentage uitval. Hier is X een binaire variabele met X = 0 als een lampje werkt en X = 1 als het defect is. We gaan er van uit dat X ~ BERN(p) met onbekende parameter p. Voorbeeld 2. Bij een nieuwe wasmachine wensen we informatie over het normale waterverbruik X per wasbeurt.. We gaan er van uit dat het waterverbruik normaal verdeeld is X ~ N(µ, σ²) met ongekend gemiddelde en variantie. Voorbeeld 3. Een politieke partij wil informatie over het stemgedrag bij de volgende verkiezingen. Na een enquête stellen we X = 0 als het een ‘slechte’ stem is en X = 1 bij een “goede” stem. We gaan er van uit dat X ~ BERN(p) met onbekende parameter p. Voorbeeld 4. We wensen te onderzoeken wat de invloed is (in tijd X gemeten) van alcohol bij het uitvoeren van een bepaalde handeling met de auto. We kunnen modelleren met W(µ, σ²), met onbekende verdeling en ongekende parameters. Voorbeeld 5. Een machine vult pakjes met koffie en moet afgesteld worden zodat pakjes niet te veel en niet te weinig koffie bevatten. De machinist stelt de machine zodanig in dat de machine pakjes vult met een hoeveelheid X ~ W(µ, σ²) waarbij de beide parameters door de machinist kunnen ingesteld worden. Via steekproeven controleert men regelmatig of de machine nog steeds correct werkt. Voorbeeld 6. Een controleur moet regelmatig nagaan of de inhoud in overeenstemming is met wat er op de verpakking staat. Een kenmerk onderzoeken (tellen, meten) komt neer op het uitvoeren van een onderzoek aangaande een t.v. X, waarvan we vaak de kansverdeling kennen, maar niet altijd de

3


parameters ervan, dit is X ~ W(één of meer parameters). Met ons onderzoek proberen we informatie te vinden over deze parameter(-s). In sommige gevallen is ook de verdeling onbekend. In het vervolg zullen we de te onderzoeken parameters meestal noteren met k leine Griekse letters (µ, σ, ρ, … ) of in het algemeen met de letter theta θ. Om informatie in te winnen over deze parameter(s) onderzoeken we een deel van de populatie. We nemen met andere woorden een steekproef (X1, X2, ..., Xn). Op basis van de steekproef willen we de ongekende parameters 'optimaal' benaderen of schatten. De schatters die we daarbij gebruiken zijn functies van de gebruikte steekproef en zullen we soms noteren met Latijnse hoofdletters, of eventueel met de parameterletter voorzien van een "hoedje" of een "dakje". Voor een parameter θ construeren we dus een benadering θˆ = T(X1, X2, ..., Xn). Uit de vorige hoofdstukken kunnen we al vermoeden (uit de naamgeving) hoe sommige parameters geschat kunnen worden. Enkele voorbeelden zijn: Parameter

Schatter?

µ (gemiddelde)

X (rekenkundig gemiddelde in de steekproef)

p (propoprtie)

pˆ (steekproefproportie)

σ² (variantie)

s² (steekproefvariantie)

ρ (correlatiecoëfficiënt)

r (steekproefcorrelatiecoëfficiënt)

Om µ en/of σ² te schatten kunnen we echter naast het rekenkundig gemiddelde en s² ook andere steekproeffuncties gebruiken. Omdat schatters afhangen van de genomen steekproef (dit is een vector van n toevallige variabelen) zijn schatters bijgevolg ook toevallige variabelen met een bepaalde verdeling, verwachte waarde, variantie, enzovoort. In het vorig hoofdstuk hebben we reeds een grondige analyse gemaakt van de eigenschappen van het rekenkundig gemiddelde, s², DW enzovoort. Het spreekt vanzelf dat we wensen dat schatters nauw verbonden zijn met de ongekende parameters. Het vinden van een goede benadering (schatting) voor een parameter is echter enkel zinvol als er op een of andere manier ook bij gezegd wordt hoe nauwkeurig deze schatting is.

4

Schatters en schattingen Voorbeeld. Bij enquêtes gaat men vaak als volgt te werk. Een steekproef die betrekking heeft op 1000 personen toont dat pˆ = 27% van de mensen product A verkiezen boven product B. De "echte" - ongekende- proportie mensen die A verkiezen noteren we als p. In onze steekproef vinden we de schatting of benadering pˆ = 27% voor de onbekende p. Deze schatting pˆ noemen we een puntschatting. Het is echter hoogst onwaarschijnlijk dat pˆ precies gelijk is aan p. We kunnen (en moeten) ons afvragen hoe goed pˆ is als benadering is van p. We willen dus naast de puntschatting

ook nog informatie over de gemaakte benaderingsfout. We kunnen bijv. besluiten dat de echte p-waarde "hoogst waarschijnlijk" in het interval [27% - 3%, 27% + 3%] ligt. Zo’n interval noemen we een intervalschatting voor de parameter p. We zullen hierbij moeten vastleggen wat een goede schatting is en met behulp van de kanstheorie zullen we aan dit interval een bepaalde "betrouwbaarheid" toekennen en zullen we exact definiëren wat de uitdrukkingen "hoogst waarschijnlijk" en " hoogst onwaarschijnlijk" betekenen. Dit facet van statistiek komt uitgebreid aan bod in het volgend hoofdstuk 4. Algemeen. Het project van dit en het volgend hoofdstuk kunnen we schematisch voorstellen als volgt. We vertrekken vanuit een populatie met kenmerk de t.v. X met een verdeling die al dan niet gekend is op één of meer parameters (θ) na. Via een steekproef (X1, X2, ..., Xn) zoeken we een schatter θˆ = T(X1, X2,..., Xn) voor de parameter θ. Bij een concrete steekproef vinden we een puntschatting die meestal niet exact gelijk is aan de échte (onbekende) waarde van de parameter. Daar we een onderscheid willen maken tussen “goede” en “slechte” schatters preciseren we eerst wat we bedoelen met een “goede” schatter en bespreken we enkele methoden om schatters te vinden. Wanneer we een goede schatter θˆ hebben gevonden zullen we via deze schatter θˆ grenzen θˆ 1 en/of θˆ 2 afleiden en (on-)gelijkheden bepalen vinden van de vorm: P( θˆ 1 ≤ θ ≤ θˆ 2) = a = 95%

(onder- en bovengrens)

P( θˆ 1 ≤ θ) = 95%

(ondergrens)

P(θ ≤ θˆ 2) = 95%

(bovengrens)

5

Schatters en schattingen De eerste uitspraak zegt dat het interval [ θˆ 1, θˆ 2] de parameter θ bevat met een kans gelijk aan a = 95%. Het getal a is de betrouwbaarheid van deze uitspraak en het interval noemen we een betrouwbaarheidsinterval. Naast intervallen kunnen we ook geïnteresseerd zijn in een ondergrens of in een bovengrens.

2. Wenselijke eigenschappen van een schatter 2.1. Zuiverheid Veronderstel dat we beschikken over drie schatters met dichtheidsfuncties waarvan de grafieken eruit zien als volgt. We stippen telkens de verwachte waarde aan.

E(schatter 1)

E(schatter 2) = theta

E(schatter 3)

De eerste schatter heeft een verwachte waarde die kleiner is dan de echte waarde van de parameter. De derde heeft een verwachte waarde die groter is dan de parameterwaarde, terwijl de verwachte waarde van de tweede schatter gelijk is aan de echte waarde van de parameter. En dat is precies wat we wensen. Definitie Een schatter θˆ = T(X1, X2, ..., Xn) is een zuivere schatter (onvertekende schatter, unbiased estimator) voor de parameter θ als E( θˆ ) = θ

6

Schatters en schattingen Voorbeelden

1. We vonden vroeger dat E( X ) = µ en dit betekent dat X een zuivere schatter is voor µ

2. We vonden vroeger dat 2D, S² en s2 zuivere schatters zijn voor de variantie σ² 3. Wanneer X ∼ EXP(1/µ) dan geldt E(X) = µ en Var(X) = µ² Via voorbeelden 1 en 2 volgt dat we µ zuiver kunnen schatten met X en dat we σ² zuiver kunnen schatten met s². 4. Wanneer X en Y een steekproef vormen uit N(µ, σ²) dan zijn m1 = X

m2 = (X + Y)/2

m3 = aX + bY, waarbij a + b = 1

drie zuivere schatters voor µ 5. Wanneer X en Y een steekproef vormen uit N(0, σ²) dan zijn (controleer!) t1 = (X² + Y²)/2

t2 = (X + Y)²/2

t3 = (X – Y)²/2

zuivere schatters voor σ²

2.2. Zuivere schatters vergelijken met elkaar Als we over meerdere zuivere schatters beschikken, hebben we een nieuw criterium nodig om de ‘beste’ schatter te kunnen kiezen. Bekijken we de volgende voorbeelden:

E(beide schatters) = theta

Intuïtief is het duidelijk dat we dié schatter zullen kiezen die het 'minst' afwijkt van zijn verwachte waarde. Wiskundig betekent dit dat we kiezen voor de schatter met de

7

Schatters en schattingen kleinste variantie. In dit geval is immers de kans op een zelfde grote afwijking het kleinst! Definitie Als θˆ 1 en θˆ 2 zuivere schatters zijn voor de parameter θ dan is θˆ 1 beter dan

θˆ 2 als en slechts als Var( θˆ 1) ≤ Var( θˆ 2) De beste van twee of meer (zuivere) schatters is die met de kleinste variantie. Verder is het intuïtief ook duidelijk dat schatters beter (zouden moeten) zijn naarmate de omvang van de genomen steekproef groter is. Definitie De zuivere schatter θˆ is consistent als Var( θˆ ) ↓ 0 als n → ∞

Voorbeelden 1. We vonden vroeger dat voor elke steekproef geldt dat Var( X ) = σ²/n en hieruit volgt dat X consistent is. 2. Bij steekproeven uit een normale verdeling vonden we vroeger dat Var(S²) = 2σ²/n en dat Var(s²) = 2σ²/(n - 1) zodat S² en s² consistente (zuivere) schatters zijn voor σ2. Van deze twee schatters is S² beter dan s². 3. Wanneer X en Y een steekproef vormen uit N(µ, σ²) dan zijn m1 = X , m2 = (X + Y)/2 , m3 = aX + bY, waarbij a + b = 1 zuivere schatters voor µ. Voor de varianties vinden we Var(m1) = σ², Var(m2) = σ²/4 ,

Var(m3) = (a² + b²)σ²

We zien dat schatter m2 beter is dan m1. We zoeken bij m3 nu de beste keuze van a en b waarbij b = 1 – a. We vinden Var(m3) = (a² + b²)σ² = (a² + (1 – a)²) σ² = (2a² - 2a + 1) σ². Minimaliseren t.o.v. a leidt tot de beste keuze a = 1/2 en bijgevolg ook b = 1/2. Van de drie vooropgestelde schatters is m2 dus de beste.

2.3. Wensen omtrent de verdeling van een schatter Het is wenselijk om de (kans-)verdeling van een schatter te kennen. Dit maakt het immers mogelijk om kansen te berekenen. Dit zullen we nodig hebben om te weten hoe (on-)betrouwbaar uitspraken zijn als we conclusies uit de steekproef gaan veralgemenen. Ook om betrouwbaarheidsintervallen (cf. inleiding) te construeren is het nodig om de verdeling van de schatter in kwestie te kennen.

8


Voorbeelden 1. Voor steekproeven uit een N(µ, σ²) verdeling vonden we vroeger dat X ∼ N(µ, σ²/n). Voor steekproeven uit een andere verdeling W(µ, σ²) kunnen we de verdeling van X dank zij de CLS benaderen: X ≈ N(µ, σ²/n).

2. Bij steekproeven uit een normale verdeling zijn de verdelingen van de consistente zuivere schatter (voor σ2) S² en s² bekend:

n n −1 S² ~ χ 2n en s² ~ χ 2n −1 . 2 σ σ2

Voor n voldoende groot benaderen we met een normale verdeling als volgt: S² ≈ N(σ², 2σ4/n)

en

s² ≈ N(σ², 2σ4/(n-1))

3. Goede schatters voor µ en voor σ² De voorbeelden uit de vorige paragraaf vatten we samen in de volgende eigenschappen. EIGENSCHAP 1 X is een goede schatter voor µ X is zuiver want E( X ) = µ X is consistent want Var( X ) = σ²/n X heeft een gekende verdeling:

Î Als X ~ N(µ, σ²) dan X ~ N(µ, σ²/n) Î Als X ~ W(µ, σ²) én als n groot is dan is X ≈ N(µ, σ²/n) Deze beweringen werden vroeger reeds bewezen en geïllustreerd. Als de variantie σ² onbekend is, schatten we de variantie met S2 of met s² EIGENSCHAP 2 Voor steekproeven uit een normale verdeling zijn S2 en s² goede schatters voor de variantie σ² S² en s² zijn zuiver want E(S2) = E(s²) = σ² bekende verdelingen Î

n n −1 S² ~ χ 2n en s² ~ χ 2n −1 2 σ σ2

Î Voor n voldoende groot: S² ≈ N(σ², 2σ4/n) en s² ≈ N(σ², 2σ4/(n-1)) consistent: uit het vorige volgt dat Var(S²) =2σ4/n en Var(s²) =2σ4/(n-1)

9

Schatters en schattingen Opmerking. In de meeste gevallen zullen we genoodzaakt zijn om s² te gebruiken. Om S2 te berekenen hebben we immers de verwachte waarde µ nodig! Indien de variantie σ² onbekend is dan blijft Eigenschap 1 correct, maar onbruikbaar omdat we de variantie niet kennen. In dit geval schatten we de onbekende variantie met de goede schatter s². Als compensatie voor deze benadering kunnen we niet altijd meer werken met een normale verdeling. Men kan aantonen dat in dit geval de volgende eigenschap toepasbaar is.

EIGENSCHAP 3 Bij een steekproef uit de normale verdeling N(µ, σ²) geldt dat Bij een grote steekproef uit W(µ, σ²) geldt dat

X −µ s/ n

X −µ s/ n

∼ tn – 1.

≈ Z ∼ N(0, 1) .

4. Voorbeelden en oefeningen 4.1. Voorbeeld 1 Stel dat (X1, X2, X3, X4, X5) een steekproef is met moedervariabele X ~ W(µ, σ2) We bekijken de volgende steekproeffuncties als (kandidaat)schatters voor µ

µˆ 1 = (X1 + X2 + X3 + X4 + X5)/5 µˆ 2 = (X1 + X2)/ 2 µˆ 3 = (X1 + 2X2 + 3X3 + 4X4 + 5X5)/15 Het is niet moeilijk om na te gaan dat de drie schatters zuivere schatters zijn van µ. We vinden de varianties: Var( µˆ 1 ) = σ²/5; Var( µˆ 2 ) = σ²/2; Var( µˆ 3 ) = 55σ²/225. We kunnen besluiten dat µˆ 1 - het rekenkundig gemiddelde - de beste schatter is van de drie, want deze schatter heeft de kleinste variantie. Dit voorbeeld is een illustratie van de beroemde eigenschap van Gauss-Markov. We illustreerden deze eigenschap reeds op blz 8/9.

10

Schatters en schattingen EIGENSCHAP 4 (Gauss-Markov-stelling)

Wanneer we µ schatten m.b.v. lineaire combinaties van X1, X2, …, Xn dan is onder alle lineaire schatters die zuiver zijn voor de parameter µ, het rekenkundig gemiddelde X de beste schatter (de schatter met de kleinste variantie).

Kortweg :

X is BLUE voor µ

(BLUE staat voor Best Linear Unbiased Estimator) Wanneer we ons niet beperken tot lineaire schatters is de vorige eigenschap niet meer waar. Het volgend voorbeeld is een illustratie daarvan.

4.2. Voorbeeld 2 Stel dat (X1, X2, …, Xn) een steekproef is uit een (continue) uniforme verdeling op [0,α]. Dit betekent dat X ∼ UNIF(0, α) en hiervan kennen we de volgende gegevens: E(X) = µ = α/2 Var(X) = σ² = α²/12 f(x) = 1/α voor 0 ≤ x ≤ α F(x) = x/α voor 0 ≤ x ≤ α We bekijken de volgende steekproeffuncties als (kandidaat)schatters voor α 1) â1 = 2 X

Voor deze schatter vinden we

E(â1) = 2E( X ) = 2µ = 2α/2 = α Var(â1) = 4Var( X ) = 4α²/(12n) = α²/(3n) De schatter â1 is dus een zuivere en consistente schatter. Voor n voldoende groot kunnen we de dank zij de CLS de verdeling ervan benaderen door een normale verdeling. 2) We zoeken een schatter die gebaseerd is op Mn = Max(X1, X2, …, Xn), de maximumwaarde uit onze steekproef. Om gemiddelde en variantie van Mn te bepalen zoeken we eerst de verdelingsfunctie en de kansdichtheid. We vinden * P(Mn ≤ x)

= P(X1 ≤ x, X2 ≤ x, …, Xn ≤ x) = P(X1 ≤ x)P(X2 ≤ x) …P(Xn ≤ x)

(onafhankelijk)

= Fn(x)

(dezelfde verdeling)

= (x/α)n

voor 0 ≤ x ≤ α

* dichtheidsfunctie:

fM (x) = nxn-1/αn

voor 0 ≤ x ≤ α

11

Schatters en schattingen We vinden (ga na): E(Mn) = nα/(n+1) , E(M²n) = nα²/(n+2) en Var(Mn) = nα²/(n+2)(n+1)² We stellen nu de volgende schatter voor: â2 =

(n − 1) M n en kunnen nagaan dat n

E(â2) = α en Var(â2) = α²/((n+2)n). Schatter â2 is dus een zuivere en consistente schatter. Tevens heeft de schatter een bekende verdeling. Omdat Var(â2) ≈ 1/n² en Var(â1) ≈ 1/n, is â2 beter dan â1.

4.3. Voorbeeld 3 Het gezinsinkomen in België en Nederland wordt gemeten door de t.v. X (voor België) en Y (voor Nederland) waarbij X ~ W(µ, σ21) en Y ~ W(µ, σ22) In beide landen voeren we een onderzoek uit om µ te schatten. In België leidde een steekproef van omvang n tot X en in Nederland leidde een steekproef van grootte m tot het rekenkundig gemiddelde Y . Om µ te schatten zijn er heel wat mogelijkheden, waaronder

µˆ 1 = X

µˆ 2 =

X+ Y 2

µˆ 3 =

9X +16Y 25

µˆ 4 = a X + bY

De eerste drie schatters zijn zuivere scahtters en hebben respectievelijke varianties

Var( µˆ 1 ) =

2 1

σ n

σ12 σ 22 + n m ˆ Var( µ 2 ) = 4

81σ12 256σ 22 + n m Var( µˆ 3 ) = 625 Om de beste van de drie te vinden moeten we de varianties in België (resp. Nederland) kennen. Om in het algemeen de beste lineaire combinatie µˆ 4 = a X + bY van de steekproefgemiddelden X en Y te vinden, zoeken we de ‘beste’ waarden van a en b. * Zuiverheid? We vinden E( µˆ 4 ) = a E( X ) + b E( Y ) = aµ + bµ = (a + b)µ Hieruit volgt dat µˆ 4 zuiver is op voorwaarde dat a + b = 1. * Beste? Om de beste zuivere schatter te vinden, bepalen we a en b = 1 – a zò dat Var( µˆ 4 ) minimaal is. We vinden Var( µˆ 4 ) = a²

σ2 σ12 +(1 – a)² 2 . n m

We leiden af naar a en zoeken de a-waarde waarvoor deze afgeleide gelijk is aan 0.


12

Vermits het over een kwadratische functie gaat wordt in het nulpunt van de eerste afgeleide een minimum bereikt en we vinden dat dit gebeurt voor

a=

σ 22 m σ12 σ 22 + n m

en b = 1 – a =

σ12 n σ12 σ 22 + n m

4.4. Oefeningen 1. Twee economisten hebben een fenomeen X ~ W(µ, σ2) onderzocht. De 1ste economist neemt een steekproef van grootte n = 25 en gebruikt zijn rekenkundig gemiddelde

µˆ 1 = X 1 om µ te schatten. De 2de neemt een steekproef van grootte m = 45 en gebruikt zijn rekenkundig gemiddelde µˆ 2 = X 2 om µ te schatten. Omdat hun resultaten worden samengebundeld, beslissen zij om een (betere) schatter voor µ te vinden door hun resultaten samen te nemen. Als zij opteren voor een lineaire combinatie µˆ =

a X 1 + bX 2 wat is dan de beste keuze voor a en b? 2. Twee onafhankelijke laboratoria onderzochten de aanwezigheid van gifstoffen in het zeewater aan de kust. Men gaat er van uit dat de hoeveelheid aanwezige gifstof per liter gelijk is aan X ∼ N(µ, σ²). De onderzoeken gaven het volgende resultaat # onderzochte stalen rekenkundig gemiddelde

standaardafwijking (s)

Labo 1

25

6.19

0.12

Labo 2

36

6.24

0.19

Men wil de resultaten van deze onderzoeken nu (lineair) combineren zo dat de schattingen voor µ en voor σ² de beste zijn. Zoek de beste combinatie(s). 3. Van een vierkant stuk grond kent men de oppervlakte niet. Men besluit een zijde te meten, en daaruit de oppervlakte te berekenen. Het meten van meten van een zijde is gelijk aan een t.v. X ~ W(µ,σ2), waarvan de verwachte waarde µ de onbekende lengte van een zijde is. De onbekende oppervlakte is dus µ2. Als men een zijde twee keer meet, X1 en X2, en men definieert daarmee de volgende schatters voor de oppervlakte: X 12 + X 22 O1 = X1X2 en O2 = . Beoordeel deze schatters op hun kwaliteiten. 2


13

4.5. Schatten van proporties Stel dat X ~BERN(p) (dus: P(X = 1) = p en P(X = 0) = 1 – p). In dit geval weten we dat µ = E(X) = p, dat σ² = Var(X) = p(1 – p) en dat het aantal successen Sn bij een steekproef van omvang n binomiaal verdeeld is: Sn ∼ BIN(n, p). Vertrekkend van de steekproef (X1, X2, …, Xn) weten we via Eigenschap 1 dat X een

goede schatter is voor µ = p. In dit speciale geval zijn de Xi allemaal gelijk aan ofwel 0 ofwel 1. Bij de berekening van Σ Xi tellen we dus in feite enkel de uitkomsten “1” op. Hieruit volgt dat X gelijk is aan het aantal successen gedeeld door het aantal experimenten: X = Sn / n In dit bijzondere geval noteren gebruiken we niet de notatie X maar gebruiken we de handige notatie pˆ en we noemen dit de steekproefproportie successen: pˆ = aantal successen / n

Bij een kleine steekproef kunnen we kansen berekenen omtrent pˆ door gebruik te maken van de eigenschap dat n pˆ = Sn ∼ BIN(n, p). Voor een grote steekproef maken we gebruik van de CLS: pˆ ≈ N ( p, p (1 − p ) / n) Daar σ² = p(1 – p) onbekend is schatten we σ² door s². Bemerk dat s² =

n n n pˆ (1 − pˆ ) ( X ² − ( X )²) = ( pˆ − pˆ ²) = n −1 n −1 n −1

Voor n voldoende groot kunnen we s² benaderen door s² ≈ pˆ (1 − pˆ ) De aangepaste CLS (cf. Eigenschap 3) toont ons nu dat pˆ ≈ N ( p, pˆ (1 − pˆ ) / n) Opmerking

Deze benaderingen zijn enkel geoorloofd indien pˆ niet te dicht bij 0 en niet te dicht bij 1 ligt. Indien dit wel het geval is moeten we gebruik maken van de eerdere benadering pˆ ≈ N ( p, p (1 − p ) / n)

Voorbeelden

1. In Gent woont een onbekend aantal gezinnen met minstens 2 eigen wagens. Uit een steekproef van 500 gezinnen bleek dat 123 gezinnen 2 of meer wagens bezitten. Een schatting voor de echte proportie is gelijk aan 123/500 of 24.6%. 2. In een vijver zwemt een onbekend aantal vissen. Om te weten hoeveel vissen er eigenlijk aanwezig zijn, ving men 500 vissen en plaatste men er een merkteken op. In


14

een verdere fase ving men 1000 vissen en men stelde vast dat 42 van deze vissen het merkteken droeg. We bepalen nu een puntschatting voor het aantal vissen in de vijver. Stel N het echte aantal vissen en p = 500/N de proportie gemerkte vissen. In de steekproef van omvang 1000 en vonden een steekproefproportie 42/1000. We schatten dus 500/N = 0.042 en hieruit volgt dat we het aantal vissen kunnen schatten op N^ = 500/0.042 = 11904.76. 3. Delicate vragen!

Bij delicate vragen is het soms moeilijk om van de ondervraagde mensen een correct antwoord (JA of NEEN) te krijgen. Voorbeelden van dergelijke vragen zijn: - bent U dikwijls dronken na de middagpauze? - hebt U reeds zwartwerkers betaald om bij u thuis te klussen? - ontduikt U belastingen? Om er voor te zorgen dat de privacy van de ondervraagden bewaard blijft gaat men soms als volgt te werk. Stel dat de echte proportie JA-antwoorden gelijk is aan p. Men gebruikt een kaartenbak met daarin 100 kaarten waarvan (bijvoorbeeld) 70 witte en 30 zwarte. Zonder dat de ondervrager het ziet kiest de ondervraagde blindelings één kaart. De ondervrager en ondervraagde spreken het volgende af: bij de keuze van een witte kaart vertelt de ondervraagde altijd de waarheid; bij een zwarte kaart liegt de ondervraagde altijd. Omdat de kaart gekozen wordt zonder dat de ondervrager het ziet, is de privacy veilig. Toch kan op basis van deze informatie p geschat worden. Illustratie. Stel dat we bij 240 mensen dit experiment uitvoeren en dat we in 40% van de

gevallen het antwoord JA horen. We zoeken een puntschatting voor p. Om deze oefening te maken moeten we de kans op een JA-antwoord bepalen. Uit de theorie weten we immers dat 40% een goede puntschatting is voor P(JA) We vinden P(JA) = 0.70*p + 0.30*(1- p) = 0.30 +0.40*p. Volgens onze steekproef schatten we P(JA) als 40%. Omdat P(JA) = 0.30 + 0.40*p vinden we dus dat pˆ = 0.10/0.40 = 0.25.


15

5. Schattingsmethodes 5.1. Herleiden naar schattingen voor µ en σ² In veel gevallen kunnen we de parameters van een verdeling uitdrukken in termen van µ en σ² en dan kunnen we de bekende schatters voor µ en σ² gebruiken. Voorbeelden

1. Stel dat X ∼ EXP(λ) waarbij we de parameter λ wensen te schatten. We weten dat in dit geval µ = E(X) = 1/λ en dat µ kan geschat worden met X .

We kunnen λ bijgevolg schatten met 1/ X Opmerking. Nu vinden we echter géén zuivere schatter voor λ. We vinden wel dat X een zuivere schatter is voor 1/λ.

2. Stel dat X ∼ UNIF(0, α) waarbij we de parameter α willen schatten. Omdat µ = E(X) = α/2 kunnen we α schatten m.b.v. de schatter 2 X

3. Indien X ∼ PARETO(a, α) dan hebben we de volgende gegevens: verdelingsfunctie F(x) = 1 – (x/a)-α , x > a dichtheidsfunctie f(x) = αaαx- α - 1, x > a µ = E(X) = αa/(α - 1), op voorwaarde dat α > 1 σ² = Var(X) = αa²/(α - 2)(α - 1)², op voorwaarde dat α > 2 Indien we vooraf weten dat α > 2 dan kunnen we de parameters a en α schatten m.b.v. de schatters voor µ en σ². Het is dan nodig om het volgend stelsel op te lossen: X = αa/(α - 1)

s² = αa²/(α - 2)(α - 1)² Bemerk dat we voor α ≤ 2 deze werkwijze niet kunnen volgen! Bovendien weten we vooraf meestal niet of aan de voorwaarde α > 2 voldaan is. 4. De triangulaire verdeling TR(a, b ,c) bevat drie parameters. Het is dus niet mogelijk om de drie parameters uit te drukken enkel in termen van µ en σ² Opmerking. De dichtheidsfunctie van de triangulaire verdeling TR(a,b,c,) heeft de

volgende vorm:


16

Er zijn drie parameters a ≤ c ≤ b en de dichtheidsfunctie heeft als voorschrift:

f ( x) =

2( x − a) ,a ≤ x ≤ c (b − a)(c − a)

f ( x) =

2(b − x) ,c ≤ x ≤ b (b − a)(b − c)

Gemiddelde, variantie enz. worden gegeven door de volgende formules:

a+b+c 3 a ² + b² + c ² − ab − ac − bc σ2 = 18 2 (a + b − 2c)(2a − b − c)(a − 2b + c − E ( X − µ)³ = γ1 = 3 σ 5(a ² + b² + c ² − ab − ac − bc) 3 / 2 µ = E( X ) =

De voorbeelden tonen dat het mogelijk is dat een verdeling parameters bevat die geen functie zijn van µ of van σ² of nog meer parameters bevat. Bovendien hebben sommige verdelingen zelfs geen eindig gemiddelde µ en/of geen eindige variantie zoals bijv. de Pareto(a, α)-verdeling met α < 2. Een bijkomend bezwaar is dat de gebruikte methode niet steeds leidt tot 'goede' schatters. Soms kunnen we via een andere werkwijze betere schatters vinden. Een voorbeeld daarvan (cf Mn bij de uniforme verdeling) kwam vroeger reeds aan bod.


17

Een ander voorbeeld van de tweede moeilijkheid is het volgende. Stel dat X ~ Cauchy(a) met als dichtheidsfunctie f(x) = C/(x² + a²) (x > 0). In dit voorbeeld is µ = E(X) = ∞ en we kunnen de parameter a niet schatten via de bovenstaande werkwijze. Om de parameter a te schatten zullen we moeten gebruik maken van een andere methode, zie verder. Om parameters te schatten zijn er meerdere methoden beschikbaar waarvan wij er enkele bestuderen in de volgende paragrafen.

5.2. De momentenmethode (MM) Het principe bij de MM is zeer eenvoudig: stel dat X een verdeling heeft die gekend is op een of meerdere parameters na. Meestal staan deze parameters in verband met momenten van X. We bepalen nu enkele theoretische momenten E(X), E(X2), E(X3), .... Bij bivariate t.v. hebben we eveneens momenten zoals E(XY), E(X²Y²), … We nemen nu een steekproef en bepalen enkele steekproefmomenten X , X ², X 3 , … en XY , X ²Y ²,....

Bij de MM schatten we de parameter(s) door de theoretische momenten gelijk te stellen aan de corresponderende steekproefmomenten. We nemen zoveel momenten in rekening als nodig om de parameters te bepalen.

5.2.1. Voorbeelden 1. Stel X ~ UNIF[0, a] en stel dat we over de volgende steekproef beschikken: 1, 0.2, 0.7, 0.9, 2.1, 1.7 We vinden E(X) = a/2 en stellen a/2 gelijk aan X . De MM-schatter voor a gelijk is

aan â = 2 X . Voor ons cijfervoorbeeld vinden we â = 2.2

2. Stel X ~ UNIF[a, b] en steekproefresultaten: 3.9, 6.5, 7.6, 4.5, 4.5, 1.9, 9, 6.9, 6.4, 6.1 We vinden enerzijds E(X) = (a+b)/2 en E(X2) = σ² + µ² = (b-a)2/12 + (a+b)2/4 en anderzijds X = 5.73 en X ² = 36.611.

Wanneer we de overeenkomstige momenten aan elkaar gelijk stellen dan vinden we â = 2.86 en bˆ = 8.6.


18

3. Bij 200 gezinnen met 5 kinderen bekeken we X = het aantal zonen. We vonden: aantal zonen aantal keer 0

17

1

25

2

60

3

35

4

42

5

21

totaal

200

We vermoeden dat X binomiaal verdeeld is. Indien zo dan is X ∼ BIN(n, p) en moeten we n en p bepalen. Het is duidelijk dat de eerste parameter gelijk is aan n = 5. We bekijken immers X = # zonen bij 5 kinderen = # successen bij 5 experimenten. De parameter p bepalen we via de MM. We vinden E(X) = np = 5p enerzijds en X = 2.615 anderzijds. Hieruit volgt dat pˆ = 2.615/5 = 0.523. 4. Van een toevallige vector krijgen we de volgende steekproefresultaten: X 0

1

2

totaal

Y 0

0

30

1

5 29 10

44

2

0

6 20

26

23 47 30

100

totaal

18 12

In de tabel hieronder staan theoretische momenten en hun schatting: E(X)

X =1.07

E(Y)

Y = 0.96

E(X²)

X ² = 1.67

E(Y²)

Y ² = 1.48

Var(X)

X ² - X ² = 0.5251

Var(Y)

Y ² - Y ² = 0.5584

E(XY)

XY = 1.41

Cov(X,Y)

XY − X Y = 0.3828

ρ(X,Y) = Cov(X,Y)/σ(X)σ(Y)

0.7069


19

5.2.2. Oefeningen 1. We noteerden van 200 mensen de tijd om een bepaalde test uit te voeren. tijd

aantal

[0,4[

17

[4,6[

25

[6,12[

60

[12,20[

35

[20,30[

42

[30,50[

21

totaal

200

a) Stel X ~ UNIF[a,b] en schat a en b met de MM b) Stel X ~ gamma-verdeeld en schat de parameters van deze gamma-verdeling c) Stel X ~ normaalverdeeld en schat de parameters van deze normale verdeling d) Stel X ∼ TR(a, b, c) en schat de parameters via de MM 2. Model van Sharpe In dit model stelden we dat R = α + βR(m) + ε en vonden we vroeger: E(R) = α + βE(R(m))

Cov(R, R(m)) = βVar(R(m))

Var(R) = β²Var(R(m)) + Var(ε) Bemerk dat Cov(R, R(m)) = E(RR(m)) – E(R)E(R(m)) Met concreet cijfermateriaal kunnen we gemiddelden en varianties schatten via het bijhorend rekenkundig gemiddelde en steekproefvarianties. Dit leidt uiteindelijk tot schattingen voor de parameters α, β en Var(ε). Cijfervoorbeeld We vergeleken de Bel 20 met de S&P 500 en vonden de volgende grafiek:


20

650 600

y = 0,2571x + 125,47

550

R = 0,4503

2

500 450 400 350 300 250 200 600

800

1000

1200

1400

1600

1800

De kengetallen en de berekende parameterwaarden staan in de volgende tabel: rek.gemidd. S² -waarden geschatte cov:

R(m) R RxR(m) 1330,7518 467,63249 627006,6563 18312,767 2688,3525 4703,8781

beta alfa Var(eps)

0,2568633 125,81116 1480,0988


21

5.3. De Maximum Likelihood Methode (MLM) 5.3.1. Inleiding We vertrekken van een t.v. X met P(X = 1) = p en P(X = 0) = 1 – p. Wat kunnen we verwachten wanneer we een steekproef nemen van omvang 5? Wanneer p = 0.1 is het logisch we in onze steekproef meer keer het resultaat 0 krijgen dan het resultaat 1. Wanneer p = 0.9 verwachten we méér keer een 1 dan een 0. Wanneer p = 0.5 verwachten we ongeveer evenveel keer een 1 en een 0. Bij de MLM redeneren we nu net andersom: wanneer we in een steekpoef méér keer het resultaat 1 krijgen dan het resultaat 0, dan is het logisch aan te nemen dat p relatief groot is. Wanneer we ongeveer evenveel keer 0 en 1 vinden, dan verwachten we dat p ongeveer gelijk is aan 0.5. Deze redenering vormt de basis van de MLM.

5.3.2. De MLM We bekijken eerst de situatie waarbij X een t.v. is met P(X = 1) = p en P(X = 0) = 1 – p. We nemen een steekproef van omvang 5 en noteren als X = (X1, X2, X3, X4, X5) In een concrete steekproef vinden we een concrete vector x = (x1, x2, x3, x4, x5) Voor elke dergelijke concrete vector kunnen we berekenen welke de kans is dat deze vector voorkomt. Voorbeeld

Steekproef X

kans dat X gelijk is aan x:

X=x

P(X = x)

x = (1, 0, 0, 1, 0)

p²(1 – p)³

x = (1, 1, 1, 1, 0)

p4(1 – p)

x = (0, 1, 1, 0, 1)

p³(1 – p)²

enzovoort Bij de steekproef x = (1, 0, 0, 1, 0) kunnen we de kans P(X = x) grafisch voorstellen in functie van p:


22

0,04 0,035

p²(1-p)³

0,03 0,025 0,02 0,015 0,01 0,005 1

0,9

0,95

0,85

0,8

0,75

0,7

0,65

0,6

0,55

0,5

0,45

0,4

0,35

0,3

0,25

0,2

0,1

0,15

0,05

0

0

We zien dat het steekproefresultaat x = ( 1, 0, 0, 1, 0) de meeste kans heeft op voorkomen indien p gelijk is aan 0.40. Voor dit steekproefresultaat is p = 0.40 de meest aannemelijke waarde van p. Bij het steekproefresultaat x = ( 1, 0, 0, 1, 0) noemen we L(x) = P(X = x) = p²(1 – p)³ de likelihood van x. De waarde van de parameter p waarvoor de likelihoodfunctie het grootst is noemen we de meest aannemelijke schatting of de maximumlikelihood schatting (MLS) van p. In ons voorbeeld vinden we pˆ = 0.40

In het algemeen gaan we op dezelfde manier te werk. Wanneer X een discrete t.v. is en wanneer we beschikken over een steekproefresultaat x, dan is de likelihood van x gelijk aan de kans dat we precies deze steekproef vonden: L(x)

= P(X = x) = P(X1 = x1, X2 = x2, ..., Xn = xn) = P(X1 = x1) P(X2 = x2) ... P(Xn = xn)

(onafhankelijkheid)

= P(X = x1) P(X = x2) ... P(X = xn)

(zelfde verdeling)

= het product van de kansen op de uitkomsten De functie L(x) noemen we de likelihoodfunctie van x. De likelihoodfunctie L is een functie van x en van de parameter(-s) van de k.v. van de t.v. X.


23

De waarde van de parameter(-s) waarvoor de likelihoodfunctie maximaal is noemen we de meest aannemelijke schatter (-s) of de maximumlikelihood schatter(-s). Dikwijls korten we dit af en spreken van de ML schatters of de MLS. Bij absoluut continue t.v. definiëren we op analoge wijze een likelihoodfunctie. Indien X een c.t.v. is met d.f. fX (x), en x de resultaten van een steekproef, dan is L(x) = fX(x1)fX(x2)....fX(xn) = het product van de dichtheidsfunctiewaarden De MLS vinden we door de waarden van de parameter(s) te kiezen waarvoor L(x) maximaal is. Opmerking. Soms is het handiger om met logaritmes te werken en de functie ln(L(x)) te

maximaliseren. Maxima van L(.) zijn immers dezelfde als maxima van ln(L(.)) omdat (ln(L(x))’ = L’(x)/L(x).

5.3.3. Voorbeelden 1. We willen nagaan of een dobbelsteen vervalst is in het voordeel (nadeel) van de uitkomst 6 en nemen op twee manieren een steekproef van omvang 10. Steekproef 1

We werpen 10 keer met de dobbelsteen en noteren na elke worp S (succes, een 6) of M (mislukking, geen 6). We vinden (bijvoorbeeld) S, M, M, S, S, M, M, M, S In dit voorbeeld is het basisexperiment een BERN-experiment met P(S) = p = P(X = 6) en P(M) = 1 – p. We vinden L(x) = P(S)P(M)P(M)… P(S) = p4(1 – p)6. Maximaliseren geeft L’(x) = 4p3(1 – p)6 – 6p4(1 – p)5 = p3(1 – p)5(4(1 – p) – 6p) We vinden dat L’(x) = 0 als 4(1 – p) – 6p = 0 of als p = 0 of als p = 1. Het is duidelijk dat p = 0 en p = 1 géén maxima zijn. Het derde nulpunt is pˆ = 4/10. De lezer kan zelf verifiëren dat we hier inderdaad een maximum vinden. Steekproef 2

We voeren 10 keer het volgende experiment uit: we werpen met de dobbelsteen en stoppen als we een “6” hebben geworpen. We vinden (bijvoorbeeld) de volgende resultaten: 15, 10, 3, 7, 5, 9, 11, 4, 5, 6 In dit voorbeeld is het basisexperiment een GEOMETRISCH experiment met P(S) = p. We vinden P(X = n) = p(1 – p)n – 1 voor n = 1, 2, 3, …


24

De likelihoodfunctie is nu gelijk aan L(x)

= P(X = 15)P(X = 10)…P(X = 6) = p(1 – p)14p(1 – p)9…p(1 – p)5 = p10(1 – p)65

Maximaliseren van L(x) leidt nu tot pˆ = 10/65. 2. Stel X een t.v. met P(X = −1) = 1 − 3a, P(X = 0) = 2a en P(X = 1) = a In een steekproef vinden we de volgende resultaten: 0, 1, −1, −1, −1, 0, 0, 1, 1, −1, 0, 1, 1, −1, 1, 0 Om de MLS van a te bepalen, zoeken we eerst de likelihoodfunctie. We vinden L(x)

= P(X = 0)P(X = 1)....P(X = 0) = (1 − 3a)5(2a)5(a)6 = 25(1 − 3a)5a11

Maximaliseren kan via afgeleiden. We vinden L'(x)

= 25(1 − 3a)511a10 −2515(1 −3a)4a11 = 25(1 − 3a)4a10(11(1 − 3a) − 15a) = 25(1 − 3a)4a10(11 − 48a)

De nulpunten van L'(x) zijn a = 0, a = 1/3 en a = 11/48. Het is duidelijk dat 0 en 1/3 geen maxima zijn van L. Via de tweede afgeleide stellen we vast dat a = 11/48 wél een maximum is van L. De MLS van a is dus â = 11/48. 3. Bij een kansspel is de winst een t.v. X met P(X = −1) = a, P(X = 0) = b en P(X = 1) = c = 1 – a – b. Om a, b en c te schatten spelen we het spel 25 keer met als uitkomsten:

−1

0

1

11 maal

7 maal

7 maal

We vinden nu L(x) = a11b7(1 −a −b)7 Om maxima te bepalen, berekenen we de partiële afgeleiden en gaan we na of ze samen nul kunnen zijn. We vinden: ∂L = 11a10b7(1 – a – b)7 – 7a11b7 (1 – a – b)6 ∂a ∂L = 7a11b6(1 – a – b)7 – 7a11b7 (1 – a – b)6 ∂b

De oplossing (a, b) = (0, 0) van dit stelsel leidt niet tot een maximum. Wanneer a en b niet nul zijn, kunnen we vereenvoudigen tot: 18a + 11b = 11

7a + 14b = 7

We vinden nu â = 0.44 en bˆ = 0.28. 4. Stel dat X ~ EXP(α), d.w.z. f(x) = αexp(-αx) (x ≥ 0), en dat we beschikken over de volgende steekproef: 3, 5, 7, 4, 4, 3, 5, 8, 9, 7, 10

Schatters en schattingen We vinden

L(x)

25

= f(x1)f(x2)....f(xn) = αe- α x(1)αe-αx(2)…αe- αx(n) = αn e- α(x(1) + x(2) + … + x(n)) = αn exp(-αn x )

Om een maximum te vinden t.o.v. α is het makkelijker om met logaritmes te werken. We berekenen:

ln(L(x)) = nln(α) - αn x

Afleiden naar α geeft:

L’(x)/L(x) = n/α - n x

Gelijkstellen aan 0 leidt tot n/α = n x en dus ^α = 1/ x

Voor ons cijfervoorbeeld is dit ^α = 1/ x = 1/6.5 = 0.1538… 5. Stel dat X ~ UNIF[0,a], d.w.z. f(x) = 1/a als 0 ≤ x ≤ a en f(x) = 0 anders We schatten de parameter a via de volgende steekproef: 1, 0.2, 0.7, 0.9, 2.1, 1.7 De likelihoodfunctie is: L(x)

= f(x1)f(x2)....f(xn) = (1/a)(1/a) ... (1/a) als 0 ≤ x1 ≤ a en 0 ≤ x2 ≤ a en … en 0 ≤ xn ≤ a

en

L(x)

= 0 anders

We vinden dus L(x) = (1/a)n als Max(x1, x2, …, xn) ≤ a en

L(x) = 0 anders

Daar a = Mn de kleinst mogelijke a-waarde is, is L(x) voor deze waarde het grootst. We besluiten dat de MLS voor a gelijk is aan â = Mn In ons cijfervoorbeeld is â = 2.1 Opmerking. Dit is een voorbeeld waarbij we L(x) niet kunnen maximaliseren via het

gebruik van afgeleide functies. Dergelijke situatie zullen we steeds krijgen wanneer de parameters die we moeten schatten de eindpunten zijn van het beeld van X. 6. Wanneer we modelleren met een Pareto-model waarvoor f(x) = αaαx - α - 1, x > a, dan is de MLS voor a is gelijk aan â = Min(x1, x2, …, xn). De MLS voor α vinden we via de likelihoodfunctie als volgt: L(x)

= f(x1)f(x2)…f(xn) = αn an α (x1x2…xn)- α -1

Om te maximaliseren t.o.v. α bepalen we lnL(x): lnL(x) = nln(α) + nαln(a) + (-α - 1)ln(x1x2…xn) = nln(α) + nαln(a) + (-α - 1)Σ ln(xi)


26

Afleiden naar α geeft

(lnL(x))’ = n/α + nln(a) - Σ ln(xi)

Gelijkstellen aan 0 geeft

1/α = (Σ ln(xi))/n - ln(a) = ln(x ) - ln(a) = ln( x / a )

Hieruit vinden we αˆ = 1/ ln( x / a ) Cijfervoorbeeld

We noteerden de grootte van 500 schadeclaims bij een verzekeringsmaatschappij: schadeclaim (in €) klasse

aantal keer centrum

]100, 500]

300

310

]500, 1000]

750

105

]1000, 2500]

1750

58

]2500, 5000]

3750

18

]5000, 10000]

7500

7

]10000, 25000]

17500

2

totaal

500

In dit voorbeeld vinden we X = 865.5 en s = 1521.293118 (s² = 2314332.75) We modelleren met een Pareto-model waarvoor f(x) = αaα(x - α - 1), x > a De MLS voor a is gelijk aan â = Min(x1, x2, …, xn) = 100 Om α te schatten gebruiken we de klassecentra en de formule zoals hiervoor. We vinden: 1/α = (Σ ln(xi))/n - ln(a) = ln(x ) - ln(a) waarbij Σ ln(xi) = 310ln(300) + 105ln(750) + …. + 2ln(17500) = 3126.517 Met â = 100 vinden we 1/α = 6.253035 – ln(100) = 1.647865 en dus ^α ≈ 0.606846. De theoretische verdelingsfunctie en de empirische verdelingsfunctie staan in de volgende grafiek:


27

1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0

5000

10000

15000

20000

25000

5.3.4. Oefeningen 1. Bij 200 gezinnen bekeken we X = het aantal kinderen. Het resultaat was het volgende: aantal kinderen

aantal keer

0

68

1

52

2

40

3

20

4

17

5

3

totaal

200

a) We vermoeden dat X Poisson verdeeld is. Indien zo, wat is (zijn) de parameter(-s) van deze Poisson verdeling? b) We vermoeden dat X binomiaal verdeeld is. Indien zo, wat is (zijn) de parameters van deze binomiale verdeling? c) (***) We vermoeden dat X de volgende verdelingsfunctie heeft: F(n) = P(X ≤ n) = 1 – (n + 2)- α voor n = 0, 1, 2, … en F(n) = 0 voor n < 0 Bedenk een manier om de parameter α te schatten.


28

2. In een steekproef van omvang 15 vinden we de volgende resultaten: 1, 5, 3, 4, 2, 3, 5, 1, 4, 3, 3, 1, 1, 3, 4 We vermoeden dat X ∼ UNIF(a, 2a). Schat de parameter a met de MM en met de MLM.. 3. We hernemen het cijfervoorbeeld van de verzekeringsmaatschappij en modelleren nu met X waarbij a)

X heeft dichtheidsfunctie f(x) = ae-( x – b)/a voor x ≥ b

b)

X heeft een triangulaire verdeling

Schat in beide gevallen de parameters.

5.4. De kwantielmethode Een methode die meer en meer aan populariteit wint is gebaseerd op de theoretische kwantielen en de empirische kwantielen. Net zoals bij de momentenmethoden bepaalt men hier één of meerdere kwantielen en stelt men de theoretische waarden gelijk aan de steekproefwaarden. Men gebruikt zoveel kwantielen als er nodig zijn. Voorbeelden

1. Wanneer X ∼ N(µ, σ²) weten we dat Mediaan = µ eerste kwartiel = µ − 0.67449σ derde kwartiel = µ + 0.67449σ Wanneer we in een steekproef de steekproefmediaan en de kwartielen bepalen, dan vinden we schatters voor µ en σ via volgend stelsel: Me = µ Q1 = µ − 0.67449σ Q3 = µ + 0.67449σ Hieruit volgt: µˆ = Me en σˆ = (Q3 – Q1)/1.34898 Deze werkwijze kan gevolgd worden wanneer het rekenkundig gemiddelde en.of de datavariantie niet berekend kan worden. 2. Wanneer X ∼ EXP(α), dan is F(x) = 1 – e- α x. Het is eenvoudig om de theoretische mediaan te berekenen. We vinden


29

1 – e- α x = 0.50 Æ e- α x = 0.50 Æ mediaan = −ln(0.50)/α Wanneer we via een steekproef de steekproefmediaan Me vinden, dan kunnen we α schatten via de formule Me = −ln(0.50)/α. Op deze manier vinden we αˆ = −ln(0.50)/Me 3. Zoek schatters gebaseerd op kwantielen voor X ∼ UNIF(a, b) X ∼ PARETO(a, α) 4. Een Weibull verdeelde t.v. X ∼ Weibull heeft als verdelingsfunctie F(x) = 1 – exp(-α xβ) waarbij α, β >0. Om het p-de percentiel x(p) de berekenen, stellen we F(x(p)) = p. Dit leidt tot

1 – p = exp(-α xβ)

of tot

ln(1 – p) = -α xβ

Voor (bijvoorbeeld) het eerste en het derde kwartiel vinden we ln(0.75) = −α Q(1)β ln(0.25) = −α Q(3)β Hieruit volgt dat

(ln(0.75)/ln(0.25)) = (Q(1)/Q(3))β

en we kunnen β vinden. Invullen in de eerste vergelijking leidt dan tot α.

5.5. Andere schattingsmethoden Naast de methodes die wij bestudeerden zijn er nog tal van andere schattingsmethodes beschikbaar. Wij gaan hier niet dieper op in. Het volstaat enkele methodes te vermelden. In econometrie gebruikt men de kleinste kwadratenmethode; bij de methode van Wolfowitz zoekt men de parameters door de afstand tussen de theoretische en de empirische verdelingsfunctie te minimaliseren. Bij de chi-kwadraatmethode gebruikt

men de afstand tussen empirische en theoretische frequenties.


30

6. Overzicht van enkele andere parameters en hun schatters 6.1. De correlatiecoëfficiënt ρ De correlatiecoëfficiënt ρ kan geschat worden met behulp van de steekproefcorrelatiecoëfficiënt r: r =

n XY − XY n − 1 sx s y

In het algemeen is deze schatter is niet zuiver maar hij wordt toch gebruikt omdat we beschikken over informatie over de verdeling ervan. Bij een steekproef uit een BN-verdeling kan men de volgende eigenschap aantonen: 1. Indien ρ = 0, dan is t(r) ∼ tn-2 waarbij t(x) = x

n−2 1 − x²

2. Indien ρ ≠ 0, dan is F(r) ∼ N(ρ, 1/(n – 3)), waarbij F ( x) =

1 1+ x ln( ) 2 1− x

Bij een steekproef uit een arbitraire bivariate verdeling kan men aantonen dat voor n voldoende groot de verdeling van r kan benaderd worden door een normale verdeling N(ρ, ∆/n) waarbij ∆ een bekende, maar ingewikkelde uitdrukking is.

6.2. Het verschil tussen gemiddelden 6.2.1. Onafhankelijke steekproeven Stel dat X ∼ N(µ1, σ²1) en dat Y ∼ N(µ2, σ²2) waarbij X en Y onafhankelijke t.v. zijn. Om het verschil µv = µ1 - µ2 te schatten gaan we als volgt te werk. Via een steekproef (X1, X2, …, Xn) van omvang n schatten we µ1 met X . Hierbij weten we dat X ∼ N(µ1, σ²1/n) Via een steekproef (Y1, Y2, …, Ym) van omvang m schatten we µ2 met Y . Hierbij weten we dat Y ∼ N(µ2, σ²2/m) Omdat de variabelen onafhankelijk zijn vinden we dat X − Y ∼ N(µv = µ1 − µ2, σ²1/n + σ²2/m)

Hieruit volgt dat X − Y een zuivere schatter is voor µv en met een bekende verdeling.


31

Dit soort analyse is dikwijls nuttig wanneer we twee (onafhankelijke) populaties met elkaar willen vergelijken. Men spreekt soms over ongepaarde steekproeven: twee populaties worden - onafhankelijk van elkaar- elk één keer bekeken. De analyse die we maakten is niet enkel van toepassing voor steekproeven uit normale verdelingen. Voor steekproeven uit arbitraire verdelingen geldt dezelfde eigenschap op voorwaarde dat de steekproeven voldoende groot zijn. Zo vinden voor het verschil tussen proporties dat (voor n en m voldoende groot):

pˆ 1 − pˆ 2 ≈ N ( p1 − p 2 , p1 (1 − p1 ) / n + p 2 (1 − p 2 ) / m) Wanneer de steekproefproporties niet te dicht bij 0 of bij 1 liggen mogen we deze formule vervangen door de handiger:

pˆ 1 − pˆ 2 ≈ N ( p1 − p 2 , pˆ 1 (1 − pˆ 1 ) / n + pˆ 2 (1 − pˆ 2 ) / m)

6.2.2. Gepaarde steekproef Wanneer we één populatie twee keer bekijken komen we terecht in het domein van de gepaarde steekproeven. Stel dat ((X1, Y1), (X2, Y2), …, (Xn , Yn)) een steekproef is van omvang n uit een BN(µ1, µ2, σ²1, σ²2, ρ)-verdeling. We kunnen het verschil µv = µ1 - µ2 opnieuw schatten met X − Y = V waarbij V = X – Y. De reden waarom leiden we af als volgt: omdat

(X, Y) ∼ BN(µ1, µ2, σ²1, σ²2, ρ)

volgt dat

V ∼ N(µv, σ²v)

waarbij µv = µ1 - µ2 en σ²v = σ²1 + σ²2 - 2ρσ1σ2 Uit de vroegere analyses weten we dat µv op een goede manier kan geschat worden met V . Bemerk dat σ²v kan geschat worden met behulp van s²v

6.3. Het quotiënt van varianties bij ongepaarde steekproeven Stel dat X ∼ N(µ1, σ²1) en dat Y ∼ N(µ2, σ²2) waarbij X en Y onafhankelijke t.v. zijn. Via een steekproef (X1, X2, …, Xn) van omvang n schatten we σ²1 met s²1 Via een steekproef (Y1, Y2, …, Ym) van omvang m schatten we σ²2 met s²2 Het quotiënt

σ ²1 s² kunnen we schatten met het quotiënt 1 σ ²2 s² 2

De kansverdeling van deze schatter is ingewikkeld maar bekend. Men kan aantonen dat het quotiënt


32

s ²1 σ ²1 / ∼ F(n – 1, m – 1) s² 2 σ ² 2 waarbij F(n – 1, m – 1) de Fisherverdeling (genoemd naar de statisticus Sir Ronald Fisher) is met parameters n – 1 en m – 1. Door de rollen van de eerste en tweede steekproef om te wisselen vinden we eveneens dat

s² 2 σ ² 2 / ∼ F(m – 1, n – 1) s ²1 σ ²1

Wanneer X ∼ F(a, b) kan men aantonen dat 1/X ∼ F(b, a) E(X) = b/(b – 2), als b > 2 en

Var(X) = 2b²(a + b – 2)/a(b – 2)²(b – 4), als b > 4


33

7. Oefeningen 1. We beschikken over de volgende steekproef uit X ∼ POISSON(λ) 1

4

5

2

1

4

3

1

0

1

Schat de parameter λ met de momentenmethode en met de MLM 2. We beschikken over de volgende steekproef uit X ∼ UNIF(a – ½, a + ½) 0.2

-1.2

0.5

-0.8

-0.2

1.8

1.1

-1.1

Schat de parameter a met de MM, de MLM en de kwantielmethode. 3. Een doctor is geïnteresseerd in het gemiddeld gewicht van lopers. Hij neemt drie keer een steekproef van omvang n = 16 en noteert de volgende resultaten: gemiddelde

standaardafwijking

steekproef 1

58.9

12

steekproef 2

64.4

17.3

steekproef 3

61.1

15.8

In de veronderstelling dat het gewicht normaal verdeeld is, combineer de resultaten van de drie steekproeven om tot de beste schattingen te komen voor µ en σ². 4. Veronderstel dat X een t.v. is met dichtheidsfunctie f(x) = exp(− (x − α)) α < x < ∞ 0

-∞ < x ≤ α

In een steekproef vonden we de volgende resultaten klasse

frequentie

] −2, −1]

21

] −1, 0]

15

] 0, 1]

13

] 1, 2]

9

] 2, 3]

4

] 3, 4]

2

Bepaal een schatting voor α met de MM, de MLM en met de KM. 5. Veronderstel dat X een t.v. is met dichtheidsfunctie f(x) = 1/π(1 + (x − α)²)

-∞<x<+∞

- Ga na dat dit een echte dichtheidsfunctie is - Gebruik de steekproef van oefening 4 om de parameter α te schatten


34

6. Een t.vector heeft de volgende kansverdeling X …..Y 0 1 2 -1

p 0 p

0

q p q

1

p 0 p

Een steekproef gaf de volgende resultaten X

Y

1

-1

2

14

1 2

2

-1

1

15

0 0

3

0

0

16

-1 2

4

-1

2

17

1 0

5

-1

0

18

0 0

6

0

0

19

1 0

7

-1

2

20

1 2

8

0

0

21

0 2

9

1

2

22

1 1

10

1

0

23

1 0

11

-1

0

24

1 0

12

1

0

25

1 0

13

0

2

Schat p (en q) op basis van deze steekproef. 7. Het aantal tekorten bij studenten vertoonde het volgende beeld aantal tekorten

aantal studenten

0

26

1

13

2

8

3

3

- Schat p indien het aantal tekorten binomiaal verdeeld is.. - Indien we veronderstelling dat het aantal tekorten Poisson verdeeld is, schat λ


1

OVERZICHT PARAMETER

SCHATTER

VOORWAARDEN en EIGENSCHAPPEN

1. µ

X

steekproef uit N(µ, σ²) steekproef uit W(µ, σ²) én n groot:

σ² bekend:

X ∼ N(µ, σ²/n)

σ² onbekend:

( X - µ)/s/√n) ∼ tn-1

σ² bekend:

X ≈ N(µ, σ² / n) X ≈ N(µ, s²/n)

σ² onbekend: 2. σ²

3. p

S², s², D, DW

pˆ

steekproef uit N(µ, σ²)

n klein n groot E(D) = 2σ² grote steekproef uit W(µ, σ²) en Var(X²) < ∞ steekproef uit BERN(p)

nS²/σ² ∼χ²(n) en ns²/σ² ∼ χ²(n-1) S² ≈ N(σ², 2σ4/n) en s² ≈ N(σ², 2σ4/(n-1)) DW ≈ N(2, (n-2)/n²) s² ≈ N(σ², Var((X - µ)²)/n) n pˆ ∼ BIN(n, p)

n klein n groot n groot én pˆ niet dicht bij 0 of 1:

ρ=0 ρ≠0 steekproef uit W verdeling en n groot

pˆ ≈ N(p, p(1-p)/n) pˆ ≈ N(p, pˆ (1- pˆ )/n)

4. ρ

r

steekproef uit BN

t(r) ∼ tn-2 F(r) ≈ N(F(ρ), 1/(n – 3)) r ≈ N(ρ, Ω) met Ω = ??? formule

5. µv = µ1 - µ2

X − Y of V

ongepaard: onafhankelijke steekproeven uit N of grote onafhankelijke steekproeven uit W

X − Y ≈ N(µ1 - µ2, σ²1/n + σ²2/m) varianties onbekend en grote steekproeven X − Y ≈ N(µ1 - µ2, s²1/n + s²2/m) gepaard: steekproef uit BN (cf. 1.) V ∼ N(µv, σ²v) varianties bekend

6. σ²1/σ²2

s²1/s²2

onafhankelijke steekproeven uit N verdelingen

(s²1σ²2)/(s²2σ²1)

∼ F(n-1, m-1)

SCHATTERS EN SCHATTINGEN

Recommend Documents