TECHNISCHE HOGESCHOOL EINDHOVEN Afdeling Algemene Wetenschappen
Onderafdeling der Wiskunde
KANSREKENING en
STATISTIEK
Deel 11: Statistiek
Bestemd voor WSK-IV
Voorjaarssemester 1979
··=
Technische Hogeschool Eindhoven Dictaatnummer 2.242 Prijs f. 3,50
Onderafdeling der Wiskunde en Informatica Deel 11: Statistiek
Kansrekening en Statistiek Bestemd voor WSK-IV
'
'
TECHNISCHE HOGESCHOOL EINDHOVEN Onderafdeling der Wiskunde
KANSREKENING EN STATISTIEK bestemd voor l'ISK IV deel 2: STATISTIEK
Voorjaarssemester 1979
Deel 2, Statistiek. blz.
Inhoudsopgave
iv
Inleiding Hoofdstuk 6.
STEEKPROEF EN POPULATIE
Hoofdstuk 7.
SCHATTEN van PARAMETERS
83
7. I. Schatters en hun eigenschappen
85
7.2. Methoden voor het vinden van schatters
91
7.3. Voldoende schatters
96
Hoofdstuk 8.
':t.
l
TOETSINGSTHEORIE
'
8.1. Algemene principes
104
8.2. Constructie van toetsen
110
8,3. Betrouwbaarheidsintervallen
119
APPENDIX A3. Ongelijkheid van Cramér-Rao A4. Onafhankelijkheid van s
2
en x (bij normale verdeling)
128
i
130
j
- iv -
Inleiding De theoretische statistiek kan beschouwd worden als een toepassing van de kansrekening. Anderzijds gaat aan de toepassing van de kansrekening meestal een toepassing van de statistiek vooraf: in de statistiek houden we ons bezig met onderzoek naar het (gedetailleerde) kanstheoretische model dat het experiment of verschij.nsel dat we bestuderen beschrijft. Dit model is meestal niet in alle details bekend en er zijn waarnemingen nodig om het model volledig te maken, zonder dat in het algemeen met zekerheid het precieze model kan worden vastgesteld. Als we (bijvoorbeeld) een uitspraak willen doen over het vrouwenoverschot in 1984, zullen we (o.a.) moeten weten hoe groot de kans, zeg p, is dat een (enkelvoudige) geboorte een meisje oplevert. Deze kans p kan wel uit waarnemingen (tellingen) geschat worden, maar niet exact worden vastgesteld. Deze waarnemingen kunnen ook worden gebruikt om en Pz zal liggen" of speciaal dat p > 1 is. Methoden om te komen tot uitspraken van deze soort zijn het onderwerp te concluderen dat p "wel tussen p
van de volgende hoofdstukken.
!
-83-
6. Steekproef en populatie Definitie 6. I:
~I' ~ ,
2 ••• • ; heet een aselecte steekproef van de grootten
uit een populatie met verdelingsfunctie F, als
2
~I' ~ ,
••• ,
~n
onderling
onafhankelijke stochastische grootheden zijn met F = F (j=I,2, ••• ,n), Als x. -J
F = F , dan spreken we wel van een aselecte steekproef van x of een x
aselecte s,teekproef uit een verdeling met verdelingsfunctie F. (Een vrijwel identieke definitie geldt voor een aselecte steekproef uit een meer-dimensionale verdeling). In deze definitie speelt het woord "populatie" geen wezenlijke rol; het wordt gebruikt om aan te geven, dat de steekproef ontstaan is door het doen van metingen of waarnemingen bij een deelverzameling van een verzameling (de populatie) waarin we geÏnteresseerd zijn. Voorbeeld: we kiezen, (met teruglegging en met gelijke kansen) 100 Eindhovenaren en bepalen hun lengte; de populatie bestaat nu uit alle Eindhovenaren (of: hun lengten), de steekproef bestaat uit de 100 (te kiezen) grootheden
2
~I' ~ ,
•.•• , ~IOO' F(x) is gelijk aan de fractie van alle Eindhovenaren met een lengte niet groter dan x en x is de lengte van zo'n willekeurig te kiezen Eindhovenaar. Het is niet altijd helemaal
duidelij~
wat de
populatie is: als we aannemen dat de kansverdeling van de lengten van bijv. Enschedeërs, toekomstige Eindhovenaren of zelfs van alle huidige en toekomstige Nederlanders ook F is, dan kunnen we de populatie dienovereenkomstig uitbreiden. Een ander voorbeeld: we gaan n keer (onafhankelijk) met een dobbelsteen gooien en daarbij telkens noteren hoeveel zessen (0 of I) er boven komen. De steekproef bestaat dan uit de n (nog te verschijnen) aantallen x , x , ••• ,x; wat de populatie is, is in zekere - 1 - 2 --n mate een kwestie van smaak: alle mogelijke (gedane of nog te verrichten) worpen met die ene dobbelsteen of zelfs van alle soortgelijke dobbelstenen. We zullen ons verder niet met dit probleem bezighouden. Ook de manier waarop de steekproef tot stand komt, zullen we doorgaans in het midden laten. Problemen van deze soort komen aan de orde in de colleges Toegepaste 'Statistiek en Statistische Theorie van Proefopzetten. We doen metingen alleen bij een deel van de populatie en niet bij de hele populatie omdat dat laatste meestal te kostbaar of te tijdrovend is. Sommige metingen zijn bovendien destructief: treksterktebepalingen, valproeven e.d. Steekproeven worden gebruikt om iets over de populatie te weten te komen, In het eerste geval kunnen we bijvoorbeeld uit de steekproef een indruk krijgen van de gemiddelde lengte van de Eindhovenaren,
E~;
in het tweede
-84-
'
geval kunnen we er achter komen of bij de gegeven dobbelsteen de kans op een zes (wel) 1/6 is. Het eerstgenoemde voorbeeld is een eenvoudig
schattingsprobleem, het tweede een toetsingsprobleem. In de meeste gevallen zullen we aannemen dat de populatie waar het over gaat een verdelingsfunctie F
x
heeft van de gedaante F (x) x
= F(x;e),
waarbij alleen de waarde van 6 onbekend is. Hierbij zal de parameter 6 meestal één-dimensionaal zijn. De steekproef dient dan om een indruk te krijgen van de waarde van deze parameter. Dikwijls zullen we in verband hiermee een functie van de steekproef beschouwen, waarvan we verwachten dat die de waarde van e goed zal benaderen. Definitie 6.2: Zij x , ••• ,x een aselecte steekproef van~· Een statistische - 1 """" grootheid ! is een stochastische grootheid (of een stochastische vector) die een functie van de steekproef is: t = t (x , ••• ,x ). Als F (x) = F(x;e), - 1 -n x dan hangt de functie t niet af van 6 (de kansverdeling van! w;l!). Opmerking 6.3: Als de metingen of de waarnemingen gegeven zijn, dan is het resultaat een rijtje reële getallen (of vectoren): x 1, ••• ,xn. We noemen dit resultaat een steekproefrealisatie of een waargenomen steek-
proef of ook wel "de waarnemingen". De statistische grootheid gaat hierbij over in een functie van deze waarnemingen: t = t (x , ••• ,xn). We noement 1 dan een realisatie van t. We zullen in de volgende hoofdstukken drie basistechnieken uit de statistiek bespreken: (i) Het schatten van parameters, (ii) het toetsen van hypothesen en (iii) het bepalen van betrouwbaarheidsintervallen. We illustreren dit aan een eenvoudig voorbeeldje. Voorbeeld 6.4: We gooien 100 keer met een dobbelsteen en vinden 14 zessen. We kunnen nu (i) dit resultaat gebruiken om de kans p op een zes te schatten, bijv. p zou
~
14/100. We kunnen ook (ii) er van uit gaan dat p
=
1/6
moeten zijn en nagaan ("toetsen") of dit wel in overeenstemming is
met ons resultaat van 14 zessen. Tenslotte kunnen we (iii) onderzoeken welke interval
van waarden van p redelijkerwijs mogelijk is gezien dit
resultaat. Het zal duidelijk zijn dat de drie problemen met elkaar verwant zijn. Opmerking 6.5: Soms zullen we steekproeven x , ••. ,x ~j
-I
--n
niet o.o. zijn of niet dezelfde verdeling hebben.
beschouwen, waarbij de
-85-
7. Schatten van parameters
7. I Schatters en hun eigenschappen We gaan er in dit hoofdstuk meestal van uit dat we beschikken over een aselecte steekproef x , ••• ,x van x met F (x) = F(x;S), waarbij 8 E Q x - 1 k-n met rl c lR (of soms rl c lR ) • We noemen de-verzameling Q van parameterwaarden de parameterruimte. Hierbij nemen we aan dat F een bekende functie is van x en
e, waarbij
8 voor de beschouwde populatie een vaste, onbekende
waarde heeft; deze waarde noemt men dan wel de ware parameterwaarde. In een enkel geval hebben we te maken met niet gespecificeerde kansverdelingen:
Fx var
=F ~·
met F onbekend, terwijl we iets willen weten over bijv.
E~
of
waarvan we dan natuurlijk aannemen dat ze bestaan. In deze situatie
spreekt men wel van parametervrije statistiek. Wij zullen ook in dit geval Ex en var x als parameters noteren:
E~
=
~
2
en var x = a •
(Meta-)Definitie 7.1.1: Een schatter ê voor een parameter 8 is een statistische grootheid 8 (x , ••• ,x ) die bedoeld is om 8 te schatten. Een ~
ê
realisatie
ê
=
- 1
-n
(x , ••• ,x ) van 1
n
noteren we een schatter
voor
ê
-
noemen we een schatting van 8. Soms
~,cr,T,
etc.
als~'~'!
etc.
~
De functie 9 hangt af van n; als n niet constant is, schrijven we
ên
en
evenzo m ,s ,t , etc.
n
n
n
Volgens bovenstaande definitie is het aangeven van een schatter weinig meer dan een intentieverklaring. Wat we nodig hebben zijn kwaliteitseisen en kriteria: welke eigenschappen zijn gewenst voor schatters en wanneer is de ene schatter beter dan de andere?
-
Definitie 7.1.2: Als 8 een schatter is voor -n 8 - Eê
e, dan heet (8
-n
E
Q)
de onzuiverheid van 8 (met betrekking tot 8). Als -n ~
ES = 8 -n dan heet 8
-n
een zuivere schatter voor
lim E
e
-n
=
e
-
dan heet (de rij schatters) 8
-n
e.
>J),
(8
E
(e
E >~),
Als
asymptotisch zuiver.
-86-
is een functie van e, immers (als F absoluut -n x continu is, en analoog in het diskrete geval)
Eê
Opmerking 7.1.3:
00 ~
ES
-n
=
f ...
00
( !l
J
n
(x , ... ,x )f (x ;8) ... f (x ;8)dx ••• dx ; 1 1 1 n n ~I .;, n
~
~
dit wordt soms aangegeven door de notatie
Ee~·
Definitie 7.1.4: Als 8 een schatter is voor 8, dan heet -n (a
E
!:J)
2 Als E(e - e) ~ E(ê - a) 2 voor alle -n,o -n 6 E H en alle schatters e in een klasse S, terwij 1 ook ê E S, dan heet -n -n,o e een nauwkeurigste schatter in S (hierbij is impliciet verondersteld -n,o .... z .. dat ES < oo voor 8 E S). -n -n de onnauwkeurigheid van
a •
'::'11
~
Definitie 7. 1.5: Een rij schatters 8 voor e heet asymptotisch nauwkeurig -n als lim E(S - 8) n->
2
= 0
(8
€
!:l)
~
Definitie 7. I. 6: Een rij schatters 8 voor 8 heet asymptotisch raak (of: -n consistent) als
e ~ a
(a
-n
€
!:l),
~
d.w.z. als lim
~
P(je-n - ej
E)
=
0
voor iedere
E >
0.
Stelling 7.1.7: Als de rij schatters 8 voor 8 asymptotisch nauw-n keurig is, dan is hij ook asymptotisch zuiver en consistent. ~
Bewijs: E(e
-n
- 8)
2
~
=var 9
~
+ (E 9 - 8) -n -n
2
(ga na). Omdat gegeven is dat
E(S - 8) 2 .,_ 0 voor n ... oo, geldt ook ES ... e als n ... oo, d.w.z. e is -n -n -n ~
asymptotisch zuiver. Geheel analoog aan het bewijs van de ongelijkheid van Chebyshev (stelling 5.2.1) bewijst men
-87-
P(lê-n -el .
(7.1.1)
Volgens het gegeven gaat het rechter lid van (7,1,1) voorn+ ~
~
Opmerking 7.1.8: Als 8 Voorbeeld 7.1.9: Zij
-n
~I' ~ ,
2
Bernoulli-verdeling (binomiale Als schatter voor p ligt nu
o
~een
••• ,
naar nul.
= var -n e •
zuiver is, dan is E(S
-n
oo
aselecte steekproef uit een
verdeling met n=l) met onbekende parameter p.
voor de hand: de fractie enen in de steek-
o zuiver en asymptotisch -n nauwkeurig, immers (zie voorbeeld 4.1.2 ben opgave 5.2.3) proef, dus
=k
~-n
/n, waarbij k
= x +,,,+x. Nu is
- n -1
~ E ( 2.,., - p ) 2 = var
= p,
2 •.• ,
~I' ~ ,
Definitie 7.1.10: Als
-n
~een
A
2.,.,
= p(l
- p)/n.
aselecte steekproef is van x
met (onbekende) verwachting p, dan heet n
I
(7.1.2)
m :=x= x. -n n I -J
het steekproefgemidde Zde; n
2
(7.1.3)
s : = n-1 -n
II 2
heet de steekproefvariantie; hierbij nemen we aan dat o := var x
<
oo
is en
mogelijk onbekend. een aselecte steekproef van x met E x = p
Stelling 7.1.11: Zij x , ••• ,x en var
~
(7.1.4)
d.w.z.
=a
2
- 1
, dan geldt
E m = -n
-11
-n
en s
2
-n
p;
2
=
(J
'
zijn zuivere schatters voor resp. p en o
Bewijs: Dat E m = p zagen we al s
2
-n
.
.
-n
in opgave 5.2.3. Om te bewijzen dat 2
zu1ver 1s beschouwen we (n-I)E s : -n
n
E
I I
(x.-m ) -J -n
2
n
=
E
I I
2
n
=E I I
-88-
waarbij we gebruik hebben gemaakt van de identiteit (7.1.5)
a
.. -
I n
I
waarbLJ a = -
2
-2
- na ,
k
ak .
n I
Opgave 7. 1.12:. Bewijs (7. 1.5) door var a te beschouwen voor een stochastis che grootheid .!!. met P (.!!_ = Opgave 7.1.13: Als Ex = (7.1.6)
2
!o:=
n
-I n
II
~
~)
1
=
n
-
(k=1,2, .•• ,n).
bekend is, dan is
(~-~)
een zuivere schatter voor a
2
2
= var
x.
Stelling 7.1.14: -n m is de nauwkeurigste schatter =.::..::.=..::.:=-.:....:...:....:..:..;.:_ lineaire schatters voor
~.
voor~
onder alle zuivere
d.w.z. onder alle zuivere schatters
P van de vorm
-n
n
(7.1.7)
=I I
n
Bewijs: Omdat EP
=~.volgt uit (7.1.7) dat
-n
I
ak
I
= I.
De onnauw-
keurigheid van P wordt gegeven door (zie opmerking 7.1.8) o(P ). -n
n
onnauwkeurigheid is minimaal, als
I
a~ minimaal is onder de nevenvoorwaarde
I
n
dat
I
Deze
41
ak = I. Zij nu ók = ak-1/n ,dan is
0 en (ga na)
I I . +-. n
dit is minimaal als ók = 0, d.w.z. ak = n
voor k=1,2, ••. ,n.
Opmerking 7.1.15: Het is soms mogelijk om de nauwkeurigheid te vergroten ten koste van de zuiverheid. Als we n
a
m -n
a/n
II ~·
~
schatten met
-89-
dan geldt (7.1.8)
E ....
.!!.u
2 ()"2
= all.
+ ( 1-a)
=a -
n
2
2
ll •
2 De onnauwkeurigheid is minimaal en kleiner dan a /n voor a=
2
ll /(IJ
2 2 +a /n).
Opmerking 7.1.16: Het kan voorkomen dat er voor een parameter geen zuivere schatter bestaat. Voorbeeld: zij x , ••• ,x een aselecte steekproef - 1 -11 van x met P(x=l)=l/9 en P(x=O)=I-1/9 metS E (l,oo),
-
':"
-
....
Stel nu date= e (x , ••• ,x) een zuivere schatter is voor e, dan geldt - 1 -11 (7.1.9)
waarbij gesommeerd wordt over alle (2n) mogelijkheden voor (x , ••• ,xn). 1 Nu staat in het linker lid van (7.1.9) een polynoom in 1/9; dit kan onmogelijk voor allee
E
(l,oo) gelijk zijn aan e.
Opgave 7.1.17: Ga na dat voorn o.o. grootheden x , ••• ,x met P(xk=O)=I-p - 1 -11 en P(~k=l)=p (k=1,2, ••• ,n) geldt x + ••• +xn
(7.1.10)
P((x , ... ,x) = (x , ... ,x )) = p 1 - 1 -n n
1
n-(x + ••• +xn) 1
(1-p)
Soms is het mogelijk om van een schatter voor e te laten zien dat hij de nauwkeurigste is onder alle zuivere schatters. Dit kan op grond van de volgende stelling. Stelling 7.1.18
(ongelijkheid van Cramér -Rao): Zij
2
~~·~ ,
•••
,~
een
aselecte steekproef van x met F (x)= F(x;6) en zij t = t (x , ... ,x) x - 1 --n een schatter voor e met E t = a(ë), dan geldt (onder weinig beperkende regulariteitsvoorwaarden)
(7.1.11)
=
-{a'(e)} 2
-.".-:-=-~'--
nE
waarin
a2 log p(;K;e) ae 2
-90-
(7.1.12)
p(x;8) =
f (x) x
als F
{ P <.:5.=x)
als F
x x
absoluut continu is diskreet is.
Gelijkheid geldt in (7.1.11) dan en slechts dan als er een constante c (8) n bestaat zo dat met kans I n
(7.1.13)
l:
a log
p(~;e)
as
k=l
c (8) (!- a(8)). n
Bewijs: voor het bewijs van een wat algemenere en preciezer geformuleerde stelling verwijzen we
naar de Appendix (stelling A 3.1).
Relatie (7.1.13) kunnen we gebruiken om een nauwkeurigste zuivere schatter te vinden (vergelijk definitie 7.1.4). We komen hier in§ 7.2 op terug. Voorbeeld 7.1.19: Zij x , ••• ,x een aselecte steekproef van x met - 1 -n P(~ =x)= e-ÀÀx/x! (x=O,I,2, ••• ), d.w.z. in de notatie van stelling 7.1.18 dat log p(x;/..) = -/.. +x log À- log(x!) en dat
(7.1.14)
2
a log p(x;/..) =
x a log p(x;À) = -1 + at.. À
a/..2
x
2• À
en dus log p(x;/..) = at..
2
I
n À.
Omdat a(À) =À en dus a'(t..) = I, is de kleinst mogelijke variantie
t
-1 n
.
gelijk aan 1../n. Het is nu duidelijk dat t:= m = n ~ een zu1vere --n schatter is met minimale variantie. Uit (7.1.13) volgt ook met (7.1.14) dat n
I~/1..-n}; I
omdat t
een statistische grootheid moet zijn en dus niet van À mag
afhangen is de keuze c (/..) = n/À n
de enig mogelijke.
-91-
Dit levert ook t
-n
= n
-1 n
~I'
Opgave 7.1.20: Zij
E x. • I-K
! 2 , ... ,~ een aselecte steekproef
normaal verdeeld is met E
~=~(onbekend)
m (zie (7.1.2)) een zuivere schatter is
-n
en
var~=
voor~
van~·
waarbij x
I. Laat zien dat
met minimale variantie.
2 Opgave 7.1.21: Alstaan (7.1.13) voldoet, dan geldt c 2 (8)=(a'(8)) /(var n
7.2
_!/.
Methoden voor het vinden van schatters In eenvoudige gevallen is het niet moeilijk om een schatter te
bedenken voor een parameter. Zo ligt m voor de hand als schatter voor 2
2
-n
E ~ en~ als schatter voor cr als E ~=~bekend is (zie(7.1.6)). In ingewikkelder situaties is het van belang een formele methode te hebben om schatters voor een parameter te vinden. Een zo'n methode berust op het zgn. principe van de grootste aannemeLijkheid (maximum LikeLihood principle). Definitie 7.2.1: Als (x , ••• ,x) een stochastische vector is met verdelings- 1 -n functie F
xl, ... ,x
-
-n
(x , ••• ,x) = F(x , ••• ,xn;e), 1 1 n
waarin e een (mogelijk meer-dimensionale) parameter is, dan heet de functie L gedefinieerd door f (7.2.1)
x , ••• ,x - 1 -n
(x , .•• ,x) als F n x , ••• ,x 1
P(x =x , .. ,x =x) - 1 1 -n n
- 1
als F
XI' ••• ,x
-
abs.kont. is
-n
diskreet is,
-n
de aannemelijkheidsfunctie van x , x , ••• ,x • Als x , ••• ,x een aselecte 1 -2 - n -1 -n steekproef is van x met F (x)= F(x;e), dan gaat (7.2.1) over in (zie (7.1 .12)) -
x
n
(7.2.2)
=
rr p(x.;e). I
J
I
. ··I
I
-92Definitie 7.2.2: Zij (x , ... ,xn) een realisatievan een stochastische 1 vector met verdelingsfunctie F(x , ••• ,xn;e). Een meest aannemelijke sohatting 1 van e ,gebaseerd op de waarneming (x , ••• ,xn),is een waarde ê = ê(x , ••• ,xn) 1
1
met de eigenschap dat (7.2.3)
max L(x , ... ,x ;e) = L(x , ••• ,xn;ê). 1 1 eESl n
Als 6 voor iedere (x 1, ••• ,xn) eenduidig bepaald is, en als e(xl, ... ,x) een -n stochastische grootheid (stochastische vector) is, dan heet
e
:=
e
(x , ... ,x) - 1 -n
de meest aannemelijke sohatter (maximum ZikeZihood estimator) voor e.
-
We zullen e
bij wijze van afkorting wel de ML-schatter noemen.
Bovenstaande definitie is gebaseerd op de overweging dat een meest aannemelijke schatting
voor e die waarde van e is, die aan de gevonden waar-
nemingen x , ••• ,xn in het diskrete geval de grootst mogelijke kans geeft en 1 in het absoluut kontinue geval de grootst mogelijke kansdichtheid. Voorbeeld 7. 2. 3: Zij f
~I, ~ ,
I
x
(x) = - - e
... '~n een aselecte steekproef van x met
-(x-~)
2
/2
(~ E
,12;;-
Wat is de ML-schatter Antwoord:
2
i
voor
JR.).
~?
L(x , .•• ,xn;~) is maximaal als log L(x , ••• 1 1
,xn;~)
maximaal
is, en
!
n
de meest aannemelijke schatter voor (zie definitie 7.1.10).
~
~
2
.
<~
=
n -1 \ n L xk, d.w.z. dat I
I
Men gaat eenvoudig na dat L maximaal is voor
-
I
~)
gegeven wordt door
m i = -n
-93-
Voorbeeld 7.2.4: p(~
Zij x , ••• ,x een aselecte steekproef van x met - 1 -n P(~
= 0) = I - p ;
(OSpSI).
= I) = p
Bepaal de ML-schatter voor p. n
n
n-l: ~
xk
l:
(l-p)
I
I
(zie opgave 7.1.17).
n
Als 0 < E xk < n, dan is L = 0 voor p = 0 en p = I. Voor 0 < p < I I
geldt dat L maximaal is als log L maximaal is, terwijl
n
n
=
L xk
log p + (n -
I
II
~) log
( I - p).
n
-I
Dit is maximaal voor p = n
Als
L~
= 0, dan is L maximaal (gelijk aan I)
I
voor p=O; als
n
y ~=n,
dan is L maximaal voor p=l.
Conclusie: de ML-schatter voor p is
Ê. met k -
= -x 1
=
lfn,
+ ... +x. -n
x , ••• , x
~I'
Opgave 7.2.5: Zij
een aselecte steekproef uit een homogene
- 2 --n verdeling op [O,e], 9 > 0. Bepaal· de ML-schatter voor 9.
Voorbeeld 7.2.6: Zij
2 ••• ,~ een aselecte steekproef van x met
~I' ~ ,
(\1
f (x) x
2
E
JR; o
2
L(x 1, ... ,x; \l•O) is maximaal, als log Lmaximaal is. We schrijven 2n À= l/(2o ) en i= log L. We krijgen dan 11 ,À) = const. + met À > 0 en 11
E
2n
log À- À
lR. We vinden de stationaire punten uit n
- L (x.J
- \1)
2 =
0
> 0),
-94-
a~
n
=n I
o.
(x. - u) J I
De enige oplossing hiervan is u -2
I n =- E n I
d.w.z. a
=u =
n
E x. en
n I
- 2
J
(x. - u) • Verder vinden we voor J
2
-n/(2>. );
À
=
À
À
=
= -À
-2
n
(2 E (x.-u)/n) I
en u
-1
J
=u
-2nÀ.
Dit betekent dat L een uniek maximum heeft in (>.,u), zodat de ML-schatter 2
voor (u,o ) gegeven wordt door
-2
(~, ~
) met
n
I
~=
-2
a
x.
n I -J
n
= n
L (x. -J I
waarbij dus zuiver;
. H_
m = --n
2
- m ) , --n
i2
blijkens stelling 7,1.11 niet zuiver is (wel asymptotisch ·2 en a zijn natuurlijk functies van n) .
Opgave 7.2.7: Laat het volgende zien. Alsede meest aannemelijke schatter is voor
e
en als u: (] -+ (]' een een-eenduidige· funktie. is·, zó dat u(~ een stochasu(~)de
tische grootheid is, dan is
ML-schatter voor u(e) ( deze eigenschap
wordt wel invariantie genoemd). Opmerking 7.2.8: Onder vrij algemene voorwaarden geldt voor ML-schatters a. E(6- -6) 2 -+ 0 (en zelfs 6--n
b. 6
--n
2
--n
s
(n-+ oo; 6
E (])
is asymptotisch normaal (vergelijk definitie 5.4.4 ).
Opgave 7.2.9: De schatters -n
a~s. 6)
-n
2
(zie 7.1.3) is zuiver voor a • Laat zien dat
niet zuiver is voor o.
Een iets primitievere methode om schatters te krijgen is de momentenmethode. We geven eerst
een definitie,
Definitie 7.2.10: Als
1
~ ,
•••
,~
een aselecte steekproef is
van~·
dan heet
-95-
I n
(7.2.4)
:=
n: I I
k
~j
(k)
het k-de steekproejmoment. Een
realisatie van m
(k)
geven we aan met m
•
=D~e~f~i~n~i~t~i~e~7~·~2~·~1~1~: Zij ~~····•~ een aselecte steekproef van~ met k ~k
= E
~
(k=l,2, ••• ,r)
en Fx(x) = F(x; e , •.• , er), Als de vergelijkingen 1
(7.2.5)
(k=l, .... ,r) ~
(I)
(r)
één oplossing (e 1, ••• ,er) hebben zó dat~:= ek(~ _•···•~~ ) een stochastische grootheid is (k=l, ... ,:r), dan heet (e , ••• ,e) de momenten- 1 -r sahatter voor (e , •.• ,er). 1 Voorbeeld 7.2.12: Zij x , ••• ,x een aselecte steekproef van x met 2- 1 -n E x= ~ en var x= o , Voor r=2 vinden we uit (7.2.5) (I)
m omdat
0
2
= ~
~
.t:.l
2 ==
=
~I
2
~I
2
= cr
2
2
+ ~I'
• De momenten schatters voor ~I en cr
(1)
m
(2) en m = ll
~2
a
= m
2
zijn dus
(2)
Opgave 7. 2. 13: Zij x , •.• ,x een aselecte steekproef uit een homogene - 1 -n verdeling op ( e ,e ). Bereken de momentenschatter en de ML-schatter voor 1 2 (el,e2). Opmerking 7.2.14: Ook voor momentenschatters geldt onder vrij algemene voorwaarden dat zij asymptotisch nauwkeurig zijn en asymptotisch normaal. Opmerking 7.2,15: Beide hierboven behandelde schattingsmetheden kunnen ook gebruikt worden als de steekproef niet bestaat uit onafhankelijke grootheden (vergelijk definities 7.2.1 en 7.2.2). Afhankelijkheid van de waarnemingen heeft natuurlijk wel invloed op de eigenschappen van de schatters; Bovendien moet (in ieder geval in het geval van de ML-schatters) èe simultane kansverdeling bekend zijn.
..
,",
-96-
7.3 Voldoende schatters Als
~I' ~ ,
2 ... ,~ diskrete stochastische grootheden zijn, die een
kansverdeling hebben die niet van 8 afhangt, d.w.z. als
niet van 8 afhangt, dan kan men uit de steekproef x , ••• ,x - 1
-n
geen informatie
krijgen over deze parameter. Immers eigenschappen als !. = t(~l •••• ·~) !1voor
e
E Q
e
kunnen alleen gelden als de verdeling van!_ afhangt van 8.
Op een soortgelijke overweging berust de volgende definitie. Definitie 7.3. 1: Zij (x , ••• ,x) een diskrete stochastische vector, waarvan - 1 -n de kansverdeling afhangt van een parameter 8 (8 E Q). Een statistische grootheid!_=
1
t(~ ,
•••
,~)
heet voldoende voor 8, als
(7.3.1) d.w.z. als de voon1aardelijke kansverdeling van x 1, ••• ,x gegeven t = t -n niet van e afhangt. In analogie met de in de eerste alinea beschreven situatie zegt men nu dat!_ alle in de
steekproef~~·····~
aanwezige informatie
over 8 bevat:
als t(x , ••• ,x) gegeven is, dan geeft verdere precisering van (x 1 , ••• ,x) - 1 -n -n geen nadere informatie over 8: t is voldoende voor e. Voorbeeld 7. 3. 2: Zij~~·····~ een aselecte steekproef van~ met P(~l) = 8 en
P(~O) =
voor
e,
1-e, waarbij
8 onbekend is. Nu is k
-n
= x
- 1
+ .••• +x
voldoende
immers (ga na) + •••• + x
(7.3.2)
-n
= x
n
1
k =k)
n
= k
-n
d.w.z. de voorwaardelijke kansverdeling is een diskrete homogene verdeling over de (~) mogelijke punten. We kunnen nu het idee dat ~ alle informatie over 8 bevat ook als volgt duidelijk maken: als we de kansverdeling van k
-n
kennen, dan kunnen we de kansverdeling van de hele steekproef x , ••• ,x - 1
terugvinden zonder dat we 8 kennen, immers
P(~l=xl, • • .,~=xn) =
n
L
k=O
k =k)P (k =k), P(~l=xl' • • .,~=xn I -n -n
-n
-97-
waarbij blijkens het voorgaande alleen P(k =k) van e afhangt. -n
Stelling 7.3.3 (FaatorisatiesteZZing): Zij~~·····~ een aselecte steekproef uit een diskrete verdeling met verdelingsfunctie
F(x;e). Een sta-
tistische grootheid ! is dan en slechts dan voldoende voor e als (7.3.3) waarbij k niet afhangt van
e.
Bewijs: Als t voldoende is voor e, dan geldt P(x 1=x 1, .•• ,x =x)= P(x =x , ••• ,x =x I t=t(x , ••• ,x )) P(t=t(x , •.• ,x )) -n n - 1 1 -n n n n 1 1 waarbij o.g.v. definitie 7.3.1 de eerste factor niet van e afhangt. Als (7.3.3) geldt,dan is 0 als t P(x =x ••• ,x =x I t=t)= [ , - 1 1 -n n . P(x =x , •.• ,x =x) - 1 1 -n n P(!-t)
onafhankelijk van e, omdat P(!=t) =
l:
t(x , •.• ,xn)=t 1
~
t(x 1, ••. ,x) u
P(x =x , ••• ,x =x) - 1 1 -n n
alleen via de factor h(t;e) van e afhangt. Definitie 7.3.4: Zij (x , .•• ,x) een stochastische vector met kansdichtheid - 1 -n f(x 1, ••• ,xn;e). Een statistische grootheid !=t(~ , ••• ,~) heet voldoende
1
voor e, als f in de volgende vorm gebracht kan worden: (7.3.4) waarbij k niet van e afhangt. Opmerking 7.3.5:
Men definieert ook wel: t is voldoende voor e als
Fx , ••• ,x (x 1, ••• ,xn lt=t) niet van e afhangt, analoog aan definitie 7.3.1. - 1
-n
Een eigenschap als (7.3.4) kan dan uit deze definitie worden afgeleid. Dit leidt tot voor ons te grote wiskundige moeilijkheden.
-98-
Voorbeeld 7.3.6: Zij x , ••• ,x een aselecte steekproef van x met - 1 -n f (x) = ee-ex (x > 0). Nu is x + ••• +x voldoende voor 6, immers x - 1 -n f
(x , ••• ,x) = ene x , ••• ,x n 1 - 1 -n
-e(x + ••. +x ) 1 n ( x > 0 , ••• , xn > 0) 1
=
voldoet aan (7.3.4) met k(x , •.• ,xn) 1
1.
Stelling 7.3.7: Als t = t(x , •.• ,x) voldoende is voor e en als - 1 -n schatter is voor e, dan is ê een functie van t.
~
e de ML-
Bewijs: We hebben (zie definitie 7.2. I ) omdat t voldoende is (7.3.5) waarbij k niet van 6 afhangt. Uit (7.3.5 ) volgt dat L maximaal is ~
voor die waarde van 6, waarvoor h(t;8) maximaal is. Dit betekent date een functie is van t, d.w.z. ê(x , ••• ,xn) hangt alleen via t=t(x , ••• ,xn) 1 1 van x , ••• ,xn af. 1
e.
Stelling 7.3.8: Zij t voldoende voor a. Als u: lR
+
lR een omkeerbare funktie is zo dat u = u(t) een
-
stochastische grootheid is, dan is b. Als v: lR
+
Bewijs: a. zij
ook~
-
voldoende voor e.
lR een omkeerbare funktie is, dan is ! voldoende voor v(e). T•
de inverse funktie van u, dan geldt
Het bewijs van b is analoog. Opgave 7.3.9: Zij x , ••• ,x - 1
f
x
(x)
-n
_l
=
e '
een aselecte steekproef van x met
(x-")
2
"
Laat zien dat de ML-schatter voor Opgave 7.3.10: Zij
f
x
~ ,
1
••.
(x) =
e
a&
,~
IJ
voldoende is voor ll·
een aselecte steekproef van x met
2 2 -x /(2cr )
-99-
Laat zien dat de ML-schatter voor a voldoende is voor a.
Voorbeeld 7.3.11: f
x
Zij x , ••• ,x een aselecte steekproef van x - 1 -n
met
I (x) = - exp
a&
We zagen in voorbeeld 7.2.6 dat de ML-schatter voor (~,a ) gelijk is aan 2
- _:::2) (.!!.• v met
n= -
I n x. n I-J
I
:::2 v
=.!.. ~L n I
-
(x.
-J
-)2 ~
. 2
2
We laten zien dat het paar
exp
a
=
I
n
2a
I
c--2 I
(-1)n/2 _I exp 211 n a
_I )n/2 h (-2 2) = ( ~.a ;~,a
211
.
Opmerking 7.3.12: Het begrip "voldoende" komt duidelijk tot uitdrukking in het volgende voorbeeld. Laat
2
~I' ~ ,
•••
,~
waarnemingen zijn van aan-
tallen gebeurtenissen die optreden bij een Paissen-proces (zie
§ Al)
gedurende disjuncte tijdsintervallen van (bekende) lengte t ,t , .•• ,tn. 1 2 We willen de onbekende parameter À van het Paissen-proces schatten. We beschouwen
P(k =k , ••• ,k =k ) - 1 1 -n n
=e
-À(t +. ,,+tn) n k. 1 ll{(Àt,) J;k.!} = I
J
J
waaruit blijkt dat k + ••• +k voldoende is voor À, Om À te schatten is - 1 -n het dus "voldoende" om alleen dit totaal aantal gebeurtenissen dat in de tijd t +,,,+tn optreedt te tellen. De ML-schatter voor 1
À
is (ga na)
'- ----
-100-
Stelling 7.3.13: Als! een schatter is voor 8 met minimale variantie, d.w.z. als in (7.1.11) het gelijkheidsteken geldt, dan is t voldoende voor
e.
Bewijs: Blijkens (7.1.13) is met kans I (zie (7.2.1) en (7.2.2))
a
log L (x , ••• ,x ;8)
- 1 -n ------'---....;.;;--= ae
c (8){ t (x , ••• , x ) - a(e)}, n - 1 -n
d.w.z. (bijna) overal waar L(x , ••• ,xn;e) positief is geldt 1
a
log L(x , ••• ,xn;e) 1
=c (8) {t(x , ••• ,x) -a(e)}. n 1 n
ae
Dit betekent dat log L(x , ••• ,xn;e) de volgende vorm heeft: 1
en dus L de vorm
d.w.z. t is voldoende voor e (zie (7.3.3) en (7.3.4)). Stelling 7.3.14 (Rao-Blackwell): Zij t voldoende vooreen zij u een zuivere schatter voor h(8). Zij V:
= E (;!.i.!)
verder~
gedefinieerd door (zie p.57)
•
Dan geldt (i
) v is een statistische grootheid; v = v(!),
(ii ) Ev = h(8), (iii) var v
$
var u met var v = var u d.e.s.d. als
P(~=~)=l.
Bewijs: We beperken het bewijs tot het geval dat (x , ••• ,x) en dus ook - 1 -n ~ en ! een diskrete verdeling hebben. (i)
v(t):= E(~l!=t) =
L•••L
=x , ••• ,x u(x , ••• ,x) P(x =x lt=t). n - 1 1 -n n1
Omdat t voldoende is voor e hangt. deze uitdrukking niet van e af, maar alleen van t. Uit de definities van :y_ en van E(~ I!) (zie blz. 57) volgt nu dat v = v(!)·
-101-
(ii ) E v = E E(~ 1!) = E ~ = h(a) (iii) var u=
E(~-
h(a))
2
=
(zie(4.3.4))
E(~-~+(~-h(e)» 2
=
E(~-~) 2 +var~·
omdat E (~-~)(~-h(a)) = E(~-~)~ = E E((~-~)~[!), met (7.3.6) E((~-~)~l!=t) = v(t) E(~-~ l!=t) = v(t) {EC~I!=t) - v(t)} = 0. var~> var~·
Nu 'is dus var u;, var v. Er geldt zelfs (zie stelling 4.2.6) dat tenzij
P(~=~)= I.
Dit laatste betekent dat u zelf al een funktie van t is.
Dan geldt natuurlijk (zie p. 57a of stelling 4.3.3) V= EC~I!> = E(g(!) 1!> = g(!) = u.
Voorbeeld 7.3.15: Laat verdeeld met E
~
~I
en
~
2
= a. Nu is ! =
onafhankelijk zijn en exponentieel
2
~~+~
voldoende voor a en
~=~
1 is
een zuivere schatter voor a, zodat v=E(u[ t) = t/2. We hebben dus var v= a 2;2, terwij 1 var ~ = a 2 - -
2
Opgave 7.3.16: Bewijs dat E(~ 1 I ~~+~2 = t) = t/2, als ~I en ~ zijn en exponentieel verdeeld met dezelfde verwachting.
Opmerking 7.3.17: Als
~
=
u(~ ,
1 ••• ,~) een funktie
o.o.
is van alle grootheden
x , ••• , x , dan is de voorwaardelijke kansverdeling van - 1 --n
~
gegeven !=t
geconcentreerd op het oppervlak t(x , ... ,xn) = t. Dit soort kansverde1 lingen geeft aanleiding tot wiskundige moeilijkheden (zie opmerking 3.8,7). 2 2 Voorwaardelijke verwachtingen van de vorm E(~ +~ 1~ +~ = t) kunnen we
1 2
1 2
met de door ons ingevoerde begrippen niet direkt berekenen (de uitkomst is 2
2 t I 3 - ga na) . Definitie 7.3.18: Een verzameling verdelingsfuncties {Ft(t;a);a
E
Q}
heet voZZedig, als voor iedere (continue) functie V de volgende implicatie geldt
Hierbij geeftEa
en Pa aan dat de verwachting resp. de kans wordt uit-
gerekend met behulp van F(t;a). Verder wordt aangenomen dat Ea v(!) inderdaad bestaat VOOr 8
E Q,
-102-
Voorbeeld 7.3.19: De verzameling kansdichtheden f(t;El) = Se
-et
-'-"-=-'~=_:..;.~'-'--
8
E
(O,oo) is volledig: als v: (O,oo)
E
v(~)
= e Joov(t) e
-et
-+
(t > 0) met
JR continu is en als
dt = 0
0
voor alle
8 E (O,oo), dan is v(t) = 0 voor alle t > 0 o.g.v. de eenduidig-
heid van de Laplace-transformatie. Dus is
P(v(~)=O)=I.
Voorbeeld 7.3.20: De verzameling verdelingen met P(~=k;ll)
=
e
k
-11
)l
(k=O, I , •.• )
k!
voor 11 E (O,oo) is volledig, immers als 00
E
v(~)
I
v(k)
k=O voor alle 11 in een rechter-omgeving van 11 = 0 dan is v(k)
=0
voor k
E {
0, 1, ••. }
o.g.v. de eenduidigheidsstelling voor machtreeksen. Stelling 7.3.21:
Als t voldoende is voor 8 (8 E Q) en als de verzameling
verdelingsfuncties Ft(t;8) volledig is en als bovendien
v(~)
een zuivere
schatter is voor h(8), dan is v(~) de (unieke) nauwkeurigste zuivere schatter voorh(e). Bewijs: Omdat Ft(t;8) (SE Q) volledig is geldt
Er bestaat dus hoogstens één zuivere schatter voor h(e), die een functie is van t. Stel nu dat u een zuivere schatter is voor h(e), die geen functie is
van~
(en dus ongelijk aan
v(~)),
dan geldt wegens stelling 7.3.14
dat var u >var v(!;), omdat nu E(~j~) = v(~). Voorbeeld 7.3.22: k
Zij k ,k , •.• ,k een aselecte steekproef van -1-2 ~
~
met
n
P (~=k) = e -IJ fu
0). De grootheid t = E k. is voldoende voor 11 -
~/neen
(vergelijk opmerking 7.3. 12). Verder is
I -J
zuivere schatter voor
IJ•
Tenslotte is de verzameling verdelingsfunkties Ft(t;\1) volledig, immers als 00
E
v(~)
I
k=O
v(k) (niJ)
k!
k =
0
-103-
voor alle~> 0, dan is v(k)
=0
voor alle k
E
{0,1, •.• }. Op grond van
stelling 7.3.21 is !In de nauwkeurigste zuivere schatter voor~. Dit is in overeenstemming met voorbeeld 7.1.19 (zie ook voorbeeld 7.3.20). Opmerking 7.3.23: Het begrip voldoende is altijd gerelateerd aan het beschikbare waarnemingsmateriaal. Zo is in het bovenstaande voorbeeld
15: 1+ ... +~ voldoende t.a.v.
(]5; , .•. ,~), maar niet t.a.v. (.!5; •••• ,~+ ). 1 1 1
.- '· ~, . \
-104-
8.
Toetingstheorie
8. I Algemene principes We beginnen met een eenvoudig voorbeeld. Voorbeeld 8. 1.1:
We hebben een geldstuk dat bij iedere worp K ("kruis")
of M ("munt") oplevert. We vermoeden dat p:= P(M) =
!
is en we willen
dit vermoeden toetsen aan de hand van de uitkomsten van 100 worpen. Het ligt (ook gezien de resultaten bij de schattingstheorie; zie voorbeeld 7.3.2) voor de hand om het aantal keren munt als kriterium te gebruiken. We noemen dit aantal k. Stel nu dat we als realisatie vinden k = 40. We kunnen dan als volgt redeneren. Onder de hypothese p = uitkomst~=
de
!
lijkt
40 tamelijk klein. We berekenen nu de kans op een zo
kleine waarde of een nog kleinere:
P(~ ~
40; p =
!)
~ ~(-2)
We kunnen nu deze kans (te) klein vinden en de hypothese p
= 0,0228.
=!
verwerpen
Hierbij is het principe dat we niet geloven in het optreden van gebeurtenissen met heel kleine kansen. Wat in dit verband "klein" genoemd wordt is een kwestie van smaak - en van traditie. Het is natuurlijk altijd mogelijk dat een dergelijke gebeurtenis toch optreedt (opgetreden is); èit is een onvermijdbaar risico. We geven nu een algemenere beschrijving van het toetsen van een hypothese. Definitie 8.1.2: Zij F (x , •.• ,x ;6) de verdelingsfunktie van een stochasn n 1 tische vector x , .•• ,x, waarbij 6 E (J c lR k een onbekende parameter is. - 1 -n Onder een hypothese H betreffende 6 verstaan we een uitspraak van de vorm
(Jo met (JO c (J. Als (JO uit één punt bestaat, dan heet H enkelvoudig, anders meervoudig.
e
E
Definitie 8.1.3: Zij x , ••• ,x een steekproef met verdelingsfunktie - 1 -n (6 E (J). Een toets voor de hypothese H0 :6 E () , is een F(x , ••. ,xn;6) 0 1 voorschrift dat voor iedere realisatie x , .•• ,xn aangeeft of H al of 0 1 splitsing niet verworpen wordt. Met andere woorden: een toets is een van JR n in twee delen: lR n = R u A, met R n A
=
~, waarbij H verworpen
0 wordt als (x , ••• ,xn) ER en H niet verworpen wordt als (x , ••. ,xn)E A= R* 1 0 1 De hypothese H heet ook wel nulhypothese en de hypothese H , gedefinieerd 1 0 door H : e E () := (J* (t.o.v. (J) heet de alternatieve hypothese. Het 0 1 1 gebied R heet het kritieke gebied, A heet wel het aanvaardingsgebied (R van
11
reject 11 s A van
11
accept").
-105-
Opmerking 8. 1.4: den kansen
Bij een enkelvoudige hypothese van de vorm e ; e
dikwijls als volgt genoteerd: P((x , ••• ,x) ER; -
1
41.
0
wor~
e0 ), om
aan te geven dat de betreffende kans wordt uitgerekend onder de aanname dat 6; e0 is, dus met de verdelingsfunktie F(x , ... ,xn;e ). 1 0 Bij het toetsen van een hypothese kunnen twee fouten optreden: we kunnen H0 verwerpen terwijl deze hypothese juist is en we kunnen H niet 0 verwerpen, terwijl de hypothese onjuist is. Deze fouten worden resp. fout
van de eerste soort en fout van de tweede soort genoemd. Toetsen worden i.h.a. zó geconstrueerd, dat de kans op een fout van de eerste soort niet boven een gegeven grens a, de onbetrouwbaarheidsdrempel, komt. Veel gebruikte waarden van a zijn 0, 05 en 0, 0 I • Men probeert dan onder deze restrictie de kans op een fout van de tweede soort zo klein mogelijk te maken, d.w.z. de kans op verwerpen van H voor waarden van e in n zo groot mogelijk te maken. 0
1
Definitie 8. 1.5: Zij R het
kritieke gebied voor een toets van de nul-
hypothese H0 : 8 E QO tegen het alternatief H : 8 E n .Dan heet 1
1
R:(x , ••• ,x ) -
van de toets. Voor
e
1
41.
E
R;e)
de onbetrouwbaarheid
E Ql heet de funktie 8, gedefinieerd door
8(8):; P((x , ••• ,x) E R;e), - 1 41. van de toets. (We eisen dat a
0
~
het onderscheidingsvermogen
a, de onbetrouwbaarheidsdrempel, terwijl
; a kiezen; dit kan i.h.a. als (~ , ••• ,~) een absoluut 0 1 continue verdeling heeft; bij diskrete verdelingen kiezen we a zo groot 0 mogelijk, maar~ a). we zo mogelijk a
Opmerking 8. 1.6: In de meeste gevallen wordt het kritieke gebied R bepaald door de waarden van een statistische grootheid t ; t(x , ..• ,xn)' 1 waarbij t(x , ••• ,x) bijvoorbeeld een schatter is voor e (vergelijk - 1 41. voorbeeld 8. I. 1). De functie theet in dit verband een toetsingsgrootheid. Het kritieke gebied R heeft dan de gedaante (8.1.1)
met Kc JR. De verzameling K (dikwijls het complement van een interval) wordt nu ook wel kritiek gebied (voor t) genoemd.
·-:~··
':
.-
-106-
We illustreren nu de boven ingevoerde begrippen aan de hand van een voorbeeld. Voorbeeld 8. 1.7: Zij x ,x , ••. ,xn de realisatie van een aselecte steekproef 1 2 van x met f
x
(x)
(6
E
JR.),
We toetsen de enkelvoudige hypothese H : 8 = 8 tegen het alternatief 0 0 H : 8 # 8 (d.w.z. QO = {8 } en Ql = lR\{8 }), Het ligt voor de hand om 0 0 0 1 1 -(x + ••• +x)
(of een functie daarvan) als toetsingsgrootheid te gebruiken,
--n
n -1
d.w.z. om een kritiek gebied te gebruiken van de vorm
met
P((~l'
... ,
!n)
ER;
e0 ) = ct= 0,05. Door deze eisen ligt de toets nog
allerminst vast. We schrijven t = t(x , .•• ,xn) = (x + ••• +xn)/n en beschou1 1 wen drie mogelijkheden voor K (en dus voor R): zó dat
(i)
Hieruit volgt (ga na), dat t
1
=
1,96/ln, zodat
xl+, .• +xn I n
8ol ;:,
1,96/ln}.
(i i)
We vinden dan t
2
=
1,645/ln, d.w.z. x + ••• +x 1 n
n
met t
(iii)
We vinden t
3
= 0,063/ln,
d.w.z.
3
;:, 8 + 1,645/ln}. 0 zó dat
-107-
x + ••• +x
R
3
= {(x , ... ,xnlll
1
1
n
n-
e0 ! ,;
0,063/ln}.
De kans op een fout van de eerste soort is voor elk van de drie toetsen 0,05. Het verschil zit in het onderscheidingsvermogen (zie definitie 8. 1.5). In het onderstaande plaatje is het onderscheidingsvermogen voor elk van
s1, s2
de toetsen geschetst (en aangegeven met
en
s3 )
als funktie van
e.
1
/
/ I
/ /
0
e.
6-+
Het is duidelijk dat de derde toets slecht is: de kans op verwerpen van H is hoogstens a (voor 6=8 ) en neemt bovendien af naar mate e verder 0 0 van e verwijderd is. De eerste toets lijkt het meest redelijk: de kans 0 op verwerpen van H neemt (snel) toe als e verder van e ligt, zowel 0 0 links als rechts. Bij de tweede toets is de kans op verwerpen van H 0 klein bij waarden van 8 kleiner dan e , maar s (e) > s (e) als 8 > e . 2 1 0 0 In sommige gevallen verdient de toets met R daarom de voorkeur boven 2 die met R • We komen hier later op terug, als we zgn. eenzijdige toetsen 1 bespreken. Uit dit voorbeeld blijkt dat we pas over de "beste" toets kunnen praten, in de zin van de toets met het grootste onderscheidingsvermogen, als we van te voren hebben afgesproken, voor welke
e
het onderscheidings-
vermogen groot moet zijn. Gezien definitie 8.1.5 komt dit neer op het kiezen van de nulhypothese en de alternatieve hypothese. Ook hierdoor ligt een toets echter niet vast. Opgave: Geef een formule voor het onderscheidingsvermogen van de toets in voorbeeld 8.1.7 (i).
-108-
Een toetsT* voor de hypothese H : 8 E ~O tegen het 0 alternatief H : 8 E ~I met onbetrouwbaarheid a heet uniform meest 0 1 onderscheidend, als
Definitie 8.1.8:
s*(e) " s(e) voor iedere toets T met onbetrouwbaarheid hoogstens a
(hierbij hebben we
0
. . het ondersche1d1ngsvermogen van T* enT aangegeven met resp. S* en S). Definitie 8. 1.9: Een toets voor de hypothese n : 8 0 heet zuiver (met onbetrouwbaarheid ao) als
ao
E
E ~O
tegen H : 8
R;8) :5 inf P((x , ••• ,x ) - 1 --n
1
E
E ~I
R;S).
8E~J
Definitie 8. I. 10: Een toets heet(uniform)meest onderscheidend zuiver, als hij onder de zuivere toetsen (uniform) meest onderscheidend is, d.w.z. (uniform) het grootste onderscheidingsvermogen heeft. Opmerking 8.1.11: De toets onder (i) in voorbeeld 8.1.7 is uniform meest onderscheidend zuiver voor de nulhypothese e
e0
~
8
=
e0
tegen het alternatief
(geen bewijs).
Voor enkelvoudige hypothesen hebben we Stelling 8.1. 12
(Lemma van Neyman en Pearson): Zij (x , ••• ,xn) de 1 realisatie van een steekproef (x , ••• ,x) met aannemelijkheidsfunctie - 1
--n
L(x , ••• ,xn;8) (zie definitie 7.2. I) met 8 1
E
{e 0 ,e 1 }.
De meest onder-
scheidende toets voor de hypothese H : 8 = e tegen het alternatief 0 0 H : 8 = e wordt verkregen door een kritiek gebied R te nemen van de vorm 1
1
(8. I. 2)
k}.
(Voor een toets met onbetrouwbaarheidsdrempel a wordt k zo gekozen dat a
0
:5
a en zo groot mogelijk)
Bewijs: We beschouwen het geval, waar (x , ••• ,x) een absoluut continue - 1
verdeling heeft met dichtheid (in
--n
vectornotatie) L(x;e). Zij R' het
kritieke gebied van een willekeurige andere toets (met dezelfde onbetrouw-
-I09-
baarheid). We schrijven R =U+ D; R' =V + D met D = RR', U= R(R')* en V= R*R'. Dan geldt a= a =
jL(x;e )dx, dus 0
R'
(8.I.3)
OmdatopRen dus op U geldt dat L(x;8 ) s kL(x;SI) en op V dat 0 L(x;e ) > kL(x;e ), hebben we 0 1
(8.I.4)
(8. I. 5)
Uit (8.I.3) t.m. (8.1.5) volgt dat jL(x;Stdx" jL(x;ei)dx en dus dat
u
V
d.w.z. S(SI)" S'(SI)' dus de toets metRis minstens even onderscheidend als die met R', Opgave 8. I. I3: Bewijs stelling 8. I. I2 voor diskrete (EI' ...
,~).
Opmerking 8. I. I4: Het quotient L(xi, •.. ,xn;e 0 )/L(xi'''''xn;8I) wordt aannemelijkheidsquotient genoemd (engels: likelihoed ratio); de bijbehorende toets en toetsen van een verwant type heten Zikelihood-ratio-toetsen. Opmerking 8, I.I5: Punten met L(xi'''''xn;e ) = 0 komen in R terecht; 0 punten met L(xi'''''xn;ei) = 0 (en L(xi, •.. ,xn;e 0 ) ~ 0) in R*.
-110-
Opgave 8. I. 16: De toets onder (ii) in voorbeeld 8.1.7 is uniform meest onderscheidend (en zuiver) voor H : 8 = e tegen H : 8 > e • Bewijs dit 0 0 1 0 door toepassing van stelling 8.1. 12 met (telkens) één vaste e > e • 1 0 8.2 Constructie van toetsen In veel gevallen worden toetsen "bedacht" door uit te gaan van een redelijke toetsingsgrootheid, zoals in de voorbeelden 8. 1.1 en 8. 1.7. We geven nu een aantal voorbeelden van toetsen die veel worden gebruikt en die op zo'n "redelijke" toetsingsgrootheid berusten. Voorbeeld 8.2. 1: Zij x , •.• ,xn een realisatie van een aselecte steek1 2 proef uit een normale verdeling met verwachting ~ en variantie a • We willen toetsen H : 0 gevallen:
A: a
2
~
=
~O
tegen H : 1
~ ~ ~ •
0
We onderscheiden twee
bekend. Dan zijn we terug bij voorbeeld 8.1.7: we gebruiken als toet-
singsgrootheid x + ••• +x of liever de grootheid -1 -n (8.2.1)
~~ +.
u=
• .+~ -n~o
x -
~0
==-~In,
crin
a
die onder de hypothese H normaal verdeeld is met Eu= 0 en var u= I. 0 0 1n zó is d:t Bij voorgeschreven a verwerpen we nu H , als u = 0
x:;
(8.2.2) of zo dat (8.2.3) u~
d.w.z. als (8.2.4)
B: cr s
2
2
ua/ 2 of
u~
-ua
12
, waar uy gedefinieerd is door
1-~(u)=y.
y
onbekend. Dan vervangen we cr
= (n-1)-
in (8.2.1) door een goede schatter:
I n - 2 E(x.-x) • De toetsingsgrootheid wordt dan I-J-
x -
(8.2.5)
2
t = __
s
~0 __:::_In.
-111-
Nu zijn (zie Appendix 4) ~ en ~
(en dus ook ~ en ~) onafhankelijk,
2
zodat t in (8.2.5) onder
H 0
een student-verdeling heeft met n-1 vrijheids-
graden (vergelijk Appendix 2, blz. 80 en opgave 8.2.3). We verwerpen nu H 0 als t zó is dat P(~ ~
t;
P(~ $
t; )Jo) ,; a/2,
)Jo) ,;
a/2
of zó dat
d.w.z. als t
I
è:
- ta/ 2 met
ooft
(8.2.6)
t
(x)dx
= y.
-n-1
y
Opmerking 8. 2. 2: De bovengenoemde toetsen zijn tweezijdig: we verwerpen n 0 zowel bij grote waarden van u en t als bij kleine. We kunnen ook eenzijdig toetsen. We toetsen dan H : \1 = \1 tegen H : \1 > \1 of ook wel H : \1,; \1 0 0 1 0 0 0 tegen \1 > \la· Bij deze rechts-eenzijdige toets verwerpen we H alleen bij 0 grote waarden van u of t. In plaats van beide overschrijdingskansen (8.2.2) en (8.2.3) beschouwen we alleen de rechter overschrijdingskans en we verwerpen
~ls
u
~
P(~ ~
u;\1 0 )
ua' d.w.z. als
Analoog kunnen we links-eenzijdig toetsen. Eenzijdig toetsen doen we in die gevallen waar we alleen willen verwerpen (en dus ingrijpen of protesteren) bij een steekproefresultaat dat naar één bepaalde kant t.o.v. de nulhypothese afwijkt, bijvoorbeeld als we een partij goederen niet willen kopen als een steekproef te veel (vergeleken met een opgegeven percentage) defecten bevat. n
-
I
-J 2
2
2
Opgave 8.2.3: Ga na dat E (x.-x) /a een x , ... ,x
- 1
-n
o.o. zijn en N()J 1 o )-verdeeld.
2 xn)-verdeling
heeft, als
-112-
Voorbeeld 8.2.4: Zij x , ... ,xn een realisatie van een aselecte steekproef van 1 2 . . 2 2 2 2 x met een N(~,o )-verdehng. We W1llen toetsen~: a = a tegen Hl: a .f a , 0
A. Als
~
bekend is,kunnen we als toetingsgrootheid nemen 2
(8.2.7)
0
1u
2
n
2
I<x.-~) /oo.
=
I -J
Het is duidelijk dat
~ onder
2
H een 0
x~-verdeling heeft. We verwerpen
H 0
als X zo is dat p( 2
a./2
1u
of zo dat
P(~
:>
i 2
2 f 2 2 - x a./ 2 o x :> x 1_a. 12 ; waarbij xy gedefinieerd is in analogie met (8.2.4) en (8.2.6),
d .w.z. a 1 s x
B. Als
~
(8.2.7')
2>
onbekend is, kunnen we dezelfde toets gebruiken, nu met 2
1n-l
n = Î
- 2 L (x.-x) -J-
ta 02 • 2
Deze grootheid is onder H xn_ -verdeeld (zie opgave 8.2.3). 1 0 De volgende voorbeelden hebben betrekking op
~
steekproeven.
Voorbeeld 8.2.5: x , ... ,xm en y , ... ,yn zijn realisaties van twee 1 1 2 hankelijke aselecte steekproeven van~ en die resp. N(~,a )- en
z
verdeeld zijn. We toetsen H : 0
À = ~
tegen H1 :
2 2 mn A: 01 en 02 bekend. Nu is <~-z) < 2 2 na +ma 1 2 Als a = 02 = a wordt dit 1
)!
À '
~.
1
N(O, I )-verdeeld (onder n ). 0
dan
-113-
2 2 2 B: cri = 02 = a onbekend. We kunnen nu de, (onder H ) t -verdeelde, toetsings0 m+n- 2 grootheid !!.-x. (E.!!:_) ! (8.2.8) t = s m+n gebruiken, waarbij s -
2
=
I
m
-
--{L(x.-x) m+n-2 -J -
2
+
I
Opmerking: Alsm=n en als de paren (x.,v.) o.o. z~Jn en simultaan normaal ver-J "-J deeld, dan passen we de toets uit voorbeeld 8.2.1 toe op de verschiZZen !!.1-z.l' ... ·~ -ln . Voorbeeld 8.2.6: x , ••• ,xm en y , ••• ,yn zijn aselecte steekproeven 1 1 2 2 van!!_ enz., waarbij !!. en 1. o.o. Z~Jn en resp. N(11 ,a )-en N(ll ,cr )-verdeeld 1 1 2 2 We toetsen H : a~= a~ tegen H1: cr~ ~a~. 0 A. 11
1
en 11
(8.2.9)
2
bekend. Als toetsingsgrootheid ligt voor de hand
2 ~OI F = ' 2 ~ 0,2
2 lm 2 2 1n 2 met ~,I 1(!!_j-lll) en ~. 2 = 1(~-~~ 2 ) • Onder H0 heeft F een F -verdeling (zie appendix 2, blz. 80). m,n
m
B. 11
n
1 en 11 2 onbekend. We vervangen nu 11 1 en 11 2 door hun schatters en vinden
(8.2.10)
2 ~I
F
2
~2
met
2
I
~I = - -
m
-2
E (x.-x)
m-:- 1 I
-J -
en s
2
- 2
In
-2
= - - l:(v.-y). n- 1 I "-J -
De grootheid_F in (8.2.10)
heeft een F -verdeling (onder H ). m- 1,n- 1 0
Opmerking 8.2.7: De toetsingsgrootheden in de bovenstaande voorbeelden kunnen natuurlijk zowel voor éénzijdige als voor tweezijdige toetsen gebruikt worden. In de volgende definitie wordt een procedure gegeven om toetsen te construeren.Alle hierboven behandelde toetsingsgrootheden kunnen illet deze procedure gevonden worden.
-114-
Definitie 8.2.8: Zij x ,x , ••. ,xn een steekproef uit een verdeling met 1 2 likelibood functie L(x , .•• ,xn;e). De (gegeneraliseerde) Zikelihood1 ratio-toets ruet onbetrouwbaarheidsdrempel a voor de hypothese H : e , n 0 0 tegen H : e e n = Q~ is de toets gebaseerd op het volgende kritieke 1
1
gebied R. We definiëren eerst het aannemelijkheidsquotient (Zikelihoodratio) À door
(8.2.11)
Vervolgens definiëren we het kritieke gebied R door
waarbij k(a) vast ligt door de eis dat sup J:l::(x , ... ,x ) is, maar
:S:
e~n
a.
~À~
Het is duidelijk dat 0
0
- 1
-n
E
R;e) zo groot mogelijk
I. Het idee achter deze procedure, die
verwant is aan het maximum likelibood principe, is dat À i.h.a. groot zal zijn (dicht bij I of gelijk aan I) als de werkelijke waarde van e in
n ligt, d.w.z. als H waar is. 0
0
Opmerking 8.2.9: Een iets algemenere toets ontstaat als we
À
vervangen
door Àl gedefineerd door
Deze toets is een echte generalisatie van de toets in stelling 8. 1.12. Hij gaat hier in over als H en H enkelvoudig zijn, d.w.z. als n 0
1
0
= {e 0 }
en n = {e }. 1 1 Voorbeeld 8.2.10: Zij x , ••• ,xn de realisatie van een aselecte steekproef 1 van x met
I I 2 f {x) = - - exp{- - (x-~) }. 2 x
oili
2o
-115-
We bepalen de likelibood-ratio-toets voor de hypothese H : ~ = ~O tegen 0 het alternatief H1: ~ ~ ~O met onbetrouwbaarheid a. We bepalen eerst 2 I ~=~ ,a 2 > 0} en À(x 1, ••. ,xn); we hebben n ={(~,a 2 )I~•JR,a 2>O},n ={(~,a)
0
dus (zie opgave 7.3.10 en voorbeeld 7.3.11), met e
0
2
=(~,a),
I
n
ma x (-1-)n/2 exp{-- I 2 2 211a 2 2a I a I
n
exp{- -.-..
L
~2 I
ao I n
=-
E
n I
sup L(x , ••• ,xn;e) = ma x 1
Sd"l
~.a
I
n
(-1-)n/2 exp{-- I 2 2 2 211a 2a I I
(x.-~)
J
2
} =
n
- 2 = (-1-)n/2 exp{- -~- L (x.-x) } 2 2 J 2a I 21T~ ~2
met a
I n
- 2
=- E (x.-x) • Voor À vinden we dus n I
J
=
{I +
Nu is À dus gelijk aan (zie (8.2.5)) = {
2
n/2
1
}
l+t / (n-1)
zodat (ga na) het kritieke gebied (8.2.11) de volgende vorm krijet:
-
rn
-
ru
met t = (x-~ 0 )--, zodat t = (x-~ 0 )--, een t -verdeling heeft (zie App. 4). s s n- 1 Het kritieke gebied K voor t wordt dus
d.w.z. we vinden de toets van voorbeeld 8.2.1 B terug.
-116-
Voorbeeld 8.2.11: In de situatie van voorbeeld 8.2.10 toetsen we nu de 2 2 . d en nu met nulhypothese H : cr ~ cr tegen H : cr2_.r cr 2 . We v1n 0 1 0 0 2 n ~ { (11,cr ) I 11 E lR ,cr 2 ~ 0 n/2 sup eEn
sup 6E>l A2 met weer cr
~
L(x 1, ••. ,xn;e) 0
L(x , ••. ,xn;6) 1
I n
n
(-1-) 2 2rrcr 0
~
exp{ -
- 2 (x.-x) } J
0
+
n - 2 (-1-)n/2 exp{(x.-x) } A2 2 L J 2rrcr 2cr I
~
- 2
- " (x.-x) . We vinden dus voor n I
~l: 2cr 1
À
J
de uitdrukking (ga na)
-2 2 n/2 e -cr 1cro }
Het kritieke gebied wordt nu van de vorm (8.2.13)
2
~ c:t.
met c(c:t) zó dat P((x , .•• ,x) E R; cr ) 0 A2 2 1 '""1J. dus gebruiken ~ /cr of 0
x
2
Als toetsingsgrootheid kunnen we
- 2 -J-
(x.-x) •
Het kritieke gebied K voor x
2
behorende bij deze likelihoed-ratio-toets
wordt nu gegeven door (8.2.14)
K
~
{/1
x
2
,;
2
XI of x
2
;,
x~},
2 2 2 2 waarbij XI en x2 voldoen aan x e -x /n P(x
De grootheid
2 2 2 1 <x < x2)
x2
~
~
nc(c:t),
terwijl c(c:t) zó is dat
1-a.
is dezelfde als die in voorbeeld 8.2.4 B en heeft dus
een x!-1-verdeling. Omdat de grenzen
x~
en
x~
zoals boven gedefinieerd
niet zo makkelijk te berekenen zijn, gebruikt men in de practijk toch vaak
- l l 7-
de toets uit voorbeeld 8.2.4 B, d.w.z. men gebruikt een kritiek gebied van de vorm (8.2.14), maar met x~ en x~ zo dat
Dit is dan geen echte likelihood-ratio-toets.
Opmerking 8.2.12: In voorbeeld 8.2.10 hangt de kansverdeling van~ niet van 2 2 o af; in voorbeeld 8.2. ll hangt de kansverdeling van X niet van~ af (vergelijk definitie 8.2.8). Opgave 8.2.13: x 1, ••• ,x 100 is de realisatie van een aselecte steekproef uit 2 een normale verdeling. Men vindt x= 4,27 en s = 0,975. a. Toets H : 0
~
= 4,00 tegen H : ~ 'f'4,00 (a= 0,01) 1 2 2 b. Toets H : o = 0,810 tegen H : o i' 0,810 (a = 0,01) en bereken het 0 1 onderscheidingsvermogen van deze toets voor o = 1,00. Opgave 8.2.14: Laat zien dat de toetsen in voorbeeld 8.2.1 A en in voorbeeld 8.2.5 A en B likelihoed-ratio-toetsen zijn. Voorbeeld 8.2.15: Zij x , ••• ,xn de realisatie van een aselecte steekproef van 1 x met P(~=O)
= l-p,
P(~=l)
= p.
We construeren de likelihoed-ratio-toets voor de nulhypothese H : p=p tegen 0 0 H : p'i'p • We vinden gemakkelijk (ga na) dat 1 0 (8. 2. 15)
k n-k Po< 1-po)
À(x , ... ,xn) = ~-_.:::---, 1 (~)k(l- ~)n-k n
n
met k = x + ••• +xn. Het kritieke gebied is dus 1
c(a)}.
Nu is het rechterlid van (8.2.1 5) stijgend voor k
<
np
0
en dalend voor
k > np , zodat het kritieke gebied voor k de volgende vorm heeft: 0
-118-
Ook hier is het weer lastig om k men k
1
en k
2
en k te vinden. In de practijk kiest 1 2 zo groot, resp. zo klein, mogelijk terwijl
Opgave 8.2.16: Men gooit 200 keer met een dobbelsteen en vindt 40 "zessen". Toets de hypothese P("zes") = 1/6 tegen het alternatief P("zes") 'f J/6 (zie opmerking 5.4.7). Kies
a=
0,05.
Opgave 8.2.17: Laat zien dat de eenzijdige toets met kritiek gebied van de vorm
uniform meest onderscheidend is voor de hypothese H : p=p tegen n : p 0 0 1 (vergelijk opgave 8.1.16).
>
p
0
Voorbeeld 8.2.18: Twee analisten bepalen telkensbeidende concentratie van stof Z in n monsters. Het resultaat bestaat uit een realisatie (x ,y ), ..• ,(xn,yn) van een aselecte steekproef van(~,~), waarbij 1 1 ~ en z niet noodzakelijk onafhankelijk zijn. We willen toetsen of beide analisten even grote concentraties vinden. We toetsen de hypothese H : P(~ > z) = P(~ < ~) ~ j tegen het alternatief H : P(~~)f'P(~<~) 0 1 (we nemen gemakshalve aan dat (~,z) een absoluut continue verdeling heeft, zodat
P(~=z)=O).
Als toetsingsgrootheid gebruiken
we~.
het aantal positieve verschillen
•.• ·~ -.Yu· Onder H heeft~ dus een binomiale verdeling 0 met parameters n en j. Men noemt deze toets, waarbij alleen op het teken van onder
~-_y
1
1
2 2
~ -_y , ~ -_y ,
wordt gelet, tekentoets.
Men gebruikt hierbij voor de tweezijdige toets een kritiek gebied bepaald door (8.2.16) en (8.2.17), weer met de conditie dat k en k
2
zo groot mogelijk is 1 zo klein mogelijk; we kunnen natuurlijk ook eenzijdig toetsen.
Opgave 8.2.19: Hoe vaak moeten we met een munt gooien om met een betrouwbaarheid van 0,01 te kunnen beslissen dat hij onzuiver is (d.w.z. niet met kansen
! kruis en munt geeft)?
-119-
8.3. Betrouwbaarheidsintervallen Betrouwbaarheidsintervallen en ,iets algemener, betrouwbaarheidsgebieden kunnen worden
opgevat als een generalisatie van schatters, in dit verband
ook wel puntschatters genoemd. Een schatter (of een schatting) geeft één enkele aannemelijke waarde voor een onbekende parameter, een betrouwbaarheirlsgebied is een verzameling van parameterwaarden, die met een zekere aannemelijkheid, betrouwbaarheid de werkelijke (onbekende) waarde bevat. Het begrip aannemelijkheid kwamen we tegen bij de schattingstheorie,het begrip onbetrouwbaarheid bij de toetsingstheorie (zie definities 7.2.1 en 3.2.5), We geven eerst een formele definitie, Definitie 8.3.1: Zij x , .•. ,x een steekproef met aannemelijkheidsfunctie - 1 --n L(x , ••• ,xn;6) (6Eû), Een betrouwbaarheidsgebied voor de (mogelijk meer1
dimensionale) parameter 6 met betrouwbaarheid 1-a is een gebied C = C(x , •.. ,xn) 1
met de eigenschap dat (8.3.1)
(6EÜ),
Speciaal, als 6 een-dimensionaal is, dan is een betrouwbaarheidsinterval voor 6 een interval
Opmerking 8.3.2: Bij gegeven waarnemingen, d.w.z. bij een realisatie van de steekproef is een betrouwbaarheidsgebied en vaste verzameling, waarover geen kansuitspraken kunnen worden gedaan. Op grond van de wet van de grote aantallen, zal wel bij dikwijls herhalen van het waarnemen in een fractie I-a van de gevallen dit gebied de gezochte parameterwaarde bevatten.
In veel gevallen vindt men betrouwbaarheidsintervallen op de volgende manier: x , ••• ,x
is de realisatie van x , ••• ,x met aannemelijkheidsfunctie - 1 --n L(x , .•• ,xn;6) (6 een-dimensionaal). De grootheid! is een schatter voor e 1 met de eigenschap dat P(! s T;6) monotoon, bijvoorbeeld dalend, is in 6 1
0
(en stijgend inT) terwijl dan P(! Men bepaalt
~
T;6) stijgend is in 6 (en dalend inT),
e 1 en e2 uit definitie 8.3.1 door van de overschrijdingskansen
voor de waargenomen waarde T te eisen dat
-120-
(8.3.2) d.w.z. die waarden van 8, waarvoor de kans op overschrijding van de gevonden waarde T gelijk is aan a/2,vormen de grenzen van het betrouwbaarheidsinterval. We hebben dan
2 2 (T)
8 ~e
en
1 1 (T),
e ~e
en e stijgend zijninT 2 1 (ga na), zodat de volgende identiteit in T geldt:
en dus voor willekeurige e E P
en evenzo
8 (~ 1 ~e)~a/2,
Q
met e
waarbij e
~
e (T) geldt 2
d.w.z.
P
8 (!2 ~e):~P 8 (e 2 (!)sS)~a/2
(8.3.3)
Dus
(~ ,! )
1
2
is een betrouwbaarheidsinterval voor 8 met betrouwbaarheid 1-a.
De samenhang met een toets voor 8 is als volgt: voor vaste 8 hebben we e
0
~
8 (T ) 1 2
~
e (T ) met T 1 2 1
<
T • Voor 8 2
~
e0
~
e
0 gaat (8.3.3)
dan over in
~P
8 0 (!~Tl
Het betrouwbaarheidsinterval
of
2
T~T ) ~
a.
met betrouwbaarheid 1-a correspondeert dus met
een toets voor 8 met kritiek gebied (T ,T )*, waarbij T en T functies zijn 2 1 2 1 van e bepaald door e ~ e (T ) ~ 8 (T ); bij vaste T bestaat het betrouwbaar1 2 2 1 heidsinterval uit al die waarden van 8 die bij toetsing niet worden verworpen:e E (e (T), e (T»~ TE (T (e), T (e)). De correspondentie tussen 1 2 2 1 betrouwbaarheidsinterval en aanvaardingsinterval is geschetst in de onderstaande figuur.
-121-
f
e,m
T
T,
Voorbeeld 8.3.3: Zij x , ••• ,xn de realisatie van een aselecte steekproef van 1 2 x met x N(~,o )-verdeeld. We zoeken een betrouwbaarheidsinterval met betrouwbaarheid 1-~ voor~. A. o
2
bekend. Als toetsingsgrootheid gebruiken
we~= (~ 1 + ••• +~)/n.
We
weten dat bij gegeven~ de grootheid ~=(~-~)ln/o een N(O,I)-verdeling heeft. We vinden dus de grenzen van het betrouwbaarheidsinterval uit de voorwaarden P(~ :;; x; ll ) = ~12 2
en dus (vergelijk voorbeeld 8.2.1 A) x-)1 2 0 - y·'n =-u~/2'
x-~
1 - -/n =u 0
~/2
zodat
B. o
2
onbekend. Bij gegeven
~
gebruiken we de toetsingsgrootheid (zie voor-
beeld 8.2. I B) ~ = (~-~)In/~, die (bij gegeven )1) een t Geheel analoog vinden we nu het interval
-verdeling heeft. n- 1
-122-
=
<;;: -
Tn \,/2'
x
Opgave 8.3.4: Zij x , ••• ,x de realisatie van een aselecte steekproef van 1 100 2 2 x met x N(~,o ) verdeeld. Zij ;;: = 1,24 en s = 0,0081. Bereken een betrouwbaarheidsinterval met betrouwbaarheid 0,96 voor a 2 , A. als
~
bekend is:
~ =
B. als
~
onbekend is (vergelijk voorbeeld 8.2.4).
I ,20,
Zoals al door het bovenstaande wordt gesuggereerd, geldt de volgende stelling. Stelling 8.3.5: Zij x , •.• ,x de realisatie van een steekproef x , ••• ,x 1 n - 1 -<> met aannemelijkheidsfunctie L(x , ••• ,xn;e) (Sdl). Zij A = A(e) c lR n het 1
aanvaardingsgebied van een toets voor de hypothese 6 met onbetrouwbaarheidsdrempel~.
d.w.z.
dan is de verzameling parameterwaarden C = C(x , ••• ,xn) 1
een betrouwbaarheidsgebied voor 6 met
betrouwbaarheid~
c
n gedefinieerd door
!-~,
d.w.z. de verza-
meling van alle parameterwaarden die bij toetsing niet verworpen worden vormen een betrouwbaarheidsgebied voor 6
(vergelijk definitie van A en R,
definitie 8.1.3).
Opmerking 8.3.6: Stelling 8.3.5 geeft ook bij een eenzijdige toets een (eenzijdig) betrouwbaarheidsgebied. Ook analoog aan (8.3.2) vinden we een eenzijdig betrouwbaarheidsinterval (-oo,62) of (6j,oo) door te eisen
of P (:!_ ;, T ;6
i) =
~ •
-123-
In voorbeeld 8.3.3 A krijgen we dan linkseenzijdig:
a
~2
=x+-r-u >'n
rechtseenzijdig:~i
a
u •
a
Opmerking 8.3.7: Stelling 8.3.5 houdt in, dat een betrouwbaarheidsinterval ook een toets levert: alle 8 i C(x , ••• ,xn) worden verworpen. 1 Voorbeeld 8.3.8: x met x
N(~,a
2
Zij x , •.• ,xn de realisatie van een aselecte steekproef van 1 )-verdeeld. We construeren een betrouwbaarheidsgebied voor de
. -x en s 2 , waarvan we parameter ( ~.a 2) . We gebru1'k en de toets1ngsgrootheden
x
weten dat ze onafhankelijk zijn, terwijl een N(~,a /;)-ve~deling heeft en 2 2 -2 n - 2 2 2 (n- l)s /a =a 1(x.-x) een x -verdeling. Omdat x en s onafhankelijk zijn, I -J n- 1 geldt (zie voorbeeld 8.2.4) x-~
2
2
P(l~nl <'uS/2' Xl-y /2 < ns /a a
2
2
2
<
2 ll,CJ)= (1-S) (1-y).
\/2
Voor (1-S)(I-Y) = 1-a vinden we o.g.v. stelling 8.3.5 als betrouwbaarheidagebied met betrouwbaarheid 1-a de volgende verzameling van (~,a )-waarden: 2
'n I { (~,a 2 ) 1 1x-~ a "
<
2 uS/ 2 , xl-y/ 2
<
Dit gebied en het corresponderende gebied in het in onderstaande figuur.
2
ns fa
2
<
2
}
xy/ 2 •
(~,a)-vlak
is geschetst
1
------~L-----------~4
-124-
Als we te maken hebben met diskrete verdelingen, dan hebben toetsen met onbetrouwbaarheidsdrempel a dikwijls een onbetrouwbaarheid die kleiner is dan a; als gevolg hiervan hebben de corresponderende betrouwbaarheidsgebieden dan een betrouwbaarheid die groter is dan 1-a. Als voorbeeld beschouwen we betrouwbaarheidsintervallen voor de kans p op succes, Voorbeeld 8.3.9: Zij x , •.• ,xn een realisatie van een aselecte steekproef 1 van x met P(~=I)=I-P(~O)=p. We bepalen een tweezijdig betrouwbaarheidsinterval voorpuitgaande van (8.3.2): we bepalen p
1
realisatie k van de toetsingsgrootheid k = x +,,,+x - 1 -n
en p
2 geldt
zó dat bij de
(8.3.4) dit is mogelijk, omdat beide kansen continu afhangen van p. Omdat (zie lemma 8.3.10) P(~ ~
P(~ ~
k;p) stijgend is in p voor alle k met I
~
k
~
n-1, en dus
k;p) dalend, zijn p
en p in (8.3.4) eenduidig bepaald: p 1=p 1(k) en 1 2 p =p (k) (zie onderstaande figuur). We definiëren p (D)=O ~n p (n) = J. 1 2 2 2
i
1
kin
/
/ --------~~------------/ /
/ ----------~~--------
I
/ I /
/
: p~
()
'
I
We berekenen nu de betrouwbaarheid van het interval (p 1,p 2 ) met p 1=p 1 (k) en p = p (k). We hebben 2 2
-125-
Bij een gegeven waarde vanpis er een kleinste waarde van k, k (p), waar1 bij p niet wordt verworpen, d.w.z. waarvoor p in het bijbehorende betrouwbaarheidsinterval ligt; evenzo is er een grootste.waarde van k, k (p), waar2 voor p in het daarbij behorende betrouwbaarheidsinterval ligt. Op grond van de monotonie geldt dan dat voor k (p) ,; k,; k (p) de waarde p in het betrouw1 2 baarheidsinterval van k ligt (en niet in het betrouwbaarheidsinterval behorende bij andere waarden van k), d.w.z.
Zij nu pi* = pl(kz(p)+l) en p * = p (k (p)-1), dan is i.h.a. (zie figuur) 2 2 1 PI* > p en p2* < p, zodat o.g.v. de monotonie (zie lemma 8.3.10) P (k,; k (p)-l) 1 p-
<
P (k,; k (p)-l) = a/2 p*1
Lemma 8. 3. 10: P(~
<: k;p):=
is stijgend in p voor k=l,2, ••• Bewijs: door differentiatie verifieert men gemakkelijk dat
(vergelijk voorbeeld 3.5.13). Opgave 8.3.11: x 1+ ••• +x 10 is een realisatie van een steekproef van x met P(~=I)=I-P(~=O)=p. Bereken de betrouwbaarheidsintervallen voor p als x 1+ •.• +xn=k voor k=O,I, ••• ,IO. Schets het verloop van de werkelijke betrouwbaarheid als functie van p door P (k:>k (p)-1) en P (k<:k (p)+l) uit te rekenen. p- I p- 2
-126-
Voor grote waarden van n benaderen we de (binomiale) verdeling van
~
weer door een normale verdeling. We bepalen de benaderende grenzen van het betrouwbaarheidsinterval dan als volgt (zie opmerking 5.4.7): k-np (
-!
1
)
= a/2
.lnpl (I-pi)
"'~(
k-np +! 2
)=a/2 •
.lnp2(1-p2)
We vinden nu p als de kleinste oplossing van 1
(k-np-!) en p
2
2
=
(ua/Z)
2
np(l-p)
als de grootste oplossing van (k-np+!)
2
=
(ua/Z)
Voor grotere n (bijv. n we vinden dan p
1
(k-np)
en p
2
=
2
>
2
np(l-p).
100) kunnen we de continuiteitscorrectie weglaten;
als de oplossingen van
(ua/ 2 )
2
np(l-p).
Een benaderende oplossing hiervan is (ga na) p
I, 2
met u = ua/ 2 benadering • p
"'p +u .lp(l-p)/n,
en p
1,2
=
u
2
2
(k+z-)/(n+u ), Voor zeer grote n gebruikt men de (verdere)
~ k - yk ---+u - ( I - -k)-I. n n n n
Opgave 8.3.12: Bij 10000 enkelvoudige geboorten zijn 5150 van de babies jongens. Geef een betrouwbaarheidsinterval met een betrouwbaarheid van 0,99 voor p:= P(jongen). Opgave 8.3.13: Hoe bepaalt men een betrouwbaarheidsinterval voor de parameter
u van een Poisson-verdeling; hoe ziet de benadering voor grote steekproeven er uit?
-127-
Opmerking 8.3.1~: Eenzijdige betrouwbaarheidsintervallen voor p vinden we door oplossing van P(~ ~ k; pl) =
a
dit levert de linkergrens voor een rechts-eenzijdig betrouwbaarheidsinterval (p;,1]. De normale benadering is analoog aan die in het tweezijdige geval.
-128-
APPENDIX A3
Ongelijkheid van Cramér-Rao We geven hier een iets algemenere versie van stelling 7.1.18.
Stelling A3. I (Ongelijkheid van Cramér-Rao): Zij
~ ,
1
••• ,~ een steekproef
met likelihoed-functie L(x , ••• ,xn;e) met (x , ••• ,xn) EX c~n ene 1
1
t(~ ,
1
(zie definitie 7.2.1) en zij!= E! = a(e) en E !
2
<
oo
voor alle e
E
En
••. ,~) een schatter voor e met
n.
Als voldaan is aan de volgende voor-
waarden (hierbij korten we L(x , ••• ,xn;e) af tot L(x;8)): 1
(i)
a ae
log L(x;8) bestaat voor alle x
J L(x;8)dx =J ä'ea L(x;8)dx
(i i)
x a
(iii)
ae
(iv)
0
<
E
(e
X en e E
n,
E
n),
x
Jx t(x)L(x;e)dx = Jx t(x) a
Ee {äe log L(~; e) l
2 <
ä'ea L(x;8)dx (e
(e
00
E
n),
E
n),
dan geldt
(A3. I)
(e
E
n).
Bewijs: de voorwaarden betekenen dat onder het integraalteken gedifferentieerd mag worden. We hebben (o.g.v. (i) is L(x;e)
>
0 voor x
E
X en
e , n) (A 3.2)
= J L(x;e)dx ~ 0 s J x
x omdat
I
a:
L(x;8)dx = E
aea log
L(~;e),
a a log aea L(x;e)dx = fae{log L(x;e)}L(x;e)dx = E ä8
op dezelfde manier
(A 3. 3)
a'(e) =
J t(x) x
a
a
äe L(x;8)dx = E! äe log
L(~;e).
L(~;e).
Verder is
-129-
Als we afkorten~:=
a aë
log 1(~;6)
(dit is o.g.v. (i) en (ii) een stochastische
grootheid) dan geldt a' (6) = E t u = E (.E_ - E.E_)~,
omdat E u= 0 (zie (A.3.2)). De ongelijkheid van Schwarz (stelling 4.2.8) levert nu
equivalent met (A 3.1). Opmerking A 3.2: als nogmaals onder het integraalteken gedifferentieerd mag worden, dan blijkt (ga na) dat _ E
2
.:a:..-=.l:::.ogió.. . .;1;:.!(:.!!<>t.!.;::.,6!..-) = E 1a log 2 a6
1(~;6)
}2.
a6
Ongelijkheid (A 3.1) gaat dan over in (A.3.4)
var t
-{a'(6)} 2
E
a2
Z
log
1(~;6)
ae
Opmerking A 3.3: Gelijkheid geldt in (A 3.1) d,e,s.d. als met kans (A 3. 5)
c (6)(t-a(6)); n
-
dit volgt ook uit stelling 4.2.8, Door de uiterste leden van (A 3.5) te kwadrateren en vervolgens de verwachting (E=E ) te nemen blijkt dat 6 = (c (6)) n
zodat (zie (A 3.1) en vergelijk opgave 7.1.21)
Je (6)j n
=
Ja'(e)j var t
2
var t
'
-130-
A4
Onafhankelijkheid van s
2
en x
onafhankelijk zijn en N(0, I)2 ... •.!u onderling 2 -1 n
~~·~ ,
Stelling A 4, I: Als
t
verdeeld, dan zijn de grootheden ~ = (~ 1 + .. , +~) /n en ~ = (n-1) onderling onafhankelijk. Bovendien heeft de grootheid (n-l)s 2 een 2 -verdeling. xn1
- 2 (~j-~)
Bewijs: we maken gebruik van het feit dat er een orthonormale matrix A bestaat, met elementen a .. (i=l,2, ... ,n; j=l,2, ... n), die behalve de eigenschappen 2
Ea .. = I enE j 1J
(A 4, I)
j
1J
a.·~·
1J
anj =
J
-k
= 0 (ifk) nog de eigenschap heeft dat
(j=l,2, ••• ,n),
Dat zo'n A bestaat is een gevolg van het feit dat we n-1 orthorrormale vectoren kunnen vinden in de ruimte {x n-1 lR •
E
lRn Jx + .. ,+x =0},die isomorf is met 1 0
We definiëren nu u ,u , ••• ,u door (in (kolom)vectornotatie) - 1- 2 -n (A
4.2)
x.
u= A
n 2 Dan is E u.
I -J
T TT T = uu=xAAx=xx= ~ -~
x: , omdat wegens de orthonormaliteit
I -J
T
van A geldt dat A A= I. Voor de kansdichtheid van u , •.• ,u hebben we dan - 1 -n (vergelijk opgave 3.7.4) a(xl •••. ,xn)
f
I
(u , ... ,u) = f u , •• • ,u n x , ••• ,x (xl(ul'"''un ), .. .,xn(ul, ... ,un )) a( u , ••• ,u ) 1 1 - 1 -n - 1 -n n n
2
I
J
n
2
L x.(u 1, .•• ,u
I
= (72IT)
n
exp{ -~1
I
n
)}.det A
u.}. I J
d.w.z. u , ... ,u zijn o.o. en N(O,I) verdeeld. Nu is wegens (A 4.1) - 1 -n n
(A
4.3)
u -n
= L x./ln = I -J
I
-131-
zodat (A 4. 4)
2
-2
(n-1).:!_
- nx
=
Uit (A 4.3) en (A 4.4) volgt nu direct dat~ en s 2 onafhankelijk nJn en dat ~) 2 2 (n-l)s = E u: een xn..,. 1 verdeling heeft (vergelijk definitie A 2.1.1). I -J
- -
Gevolg A 4.2: Als x , ... ,x o.o. zijn en 1 2 """" xens o.o., terwijl
-
N(~,o
2
)-verdeeld, dan zijn
2
een xn-l verdeling heeft. Opmerking A 4.3: Voor de matrix A in het bewijs van stelling A 4.1 kunnen we nemen
-I v'l:2
I ---
0
0
v'l:2
I
-I 12:3
12:3
2 ---
0
0
12.3
A=
0 -(n- I)
v'(n-l)n
v'(n-l)n
v'(n-l)n
v'(n-l)n
I
I
rn
rn
Opgave A 4.4: Bewijs dat (~- ~)v'n(n
V n
LI (x.-~) -J -
v'(n-l)n
I) 2
een t n- 1-verdeling heeft.
rn
rn
rn
