NOVÉ CHARAKTERISTIKY ROZDĚLENÍ A VÝBĚRŮ Z ROZDĚLENÍ

ROBUST’2004

c JČMF 2004

NOVÉ CHARAKTERISTIKY ROZDĚLENÍ A VÝBĚRŮ Z ROZDĚLENÍ Zdeněk Fabián Klíčová slova: Základní charakteristiky, core funkce, rozdělení s těžkými chvosty. Abstrakt: V článku je definujeme core funkci, Johnsonovo těžiště a Johnsonovu disperzi spojitého pravděpodobnostního rozdělení a ukážeme, že výběrové těžiště a výběrová Johnsonova disperze rozumně popisují náhodné výběry i z rozdělení, která nemají momenty.

1

Úvod

Core funkce TF absolutně spojitého rozdělení F s hustotou f regulární na nosiči, kterým je otevřený interval Σ = (a, b) ⊆ R, je ve sbornících Robustu [1]-[3] a v článcích [4]-[5] zavedena jako TF (x) = TG (η(x)),

(1)

kde TG (y) = −g ′ (y)/g(y) je skórová funkce prototypu G = F η −1 s hustotou g a kde η : Σ → R je diferencovatelné rostoucí zobrazení. V tomto článku je η pro Σ = R identické zobrazení a pro Σ 6= R je dáno předpisem  log(x − a) pokud Σ = (a, ∞)   (x − a) η(x) = log pokud Σ = (a, b) (2) (b − x)   log(b − x) pokud Σ = (−∞, b).

Zobrazení (2) zavedl Johnson [6]. Přiřazuje jednoduše matematicky vyjádřeným F jednoduché prototypy a prototyp lognormálního rozdělení je normální. Pro některá rozdělení je však možno nalézt vhodnější zobrazení, viz [2] a [3]. V tomto článku se omezíme na zobrazení (2) a budeme pro stručnost mluvit o core funkci rozdělení, i když budeme mít na mysli „Johnsonovu core funkciÿ. Snad nás k tomu opravňuje fakt, že Johnsonova core funkce je pro mnoho ve statistice užívaných rozdělení tou nejjednodušší core funkcí. V předešlých článcích bylo nutné definici (1) zobecnit pro parametrická rozdělení. V tomto článku půjdeme jinou cestou: vymezíme vhodný parametrický prostor, ukážeme, že prakticky libovolné rozdělení umíme převést na upravené rozdělení s parametry v tomto prostoru a pro upravená parametrická rozdělení definujeme (Johnsonovu) core funkci. V práci [3] jsme zavedli pojem těžiště τ rozdělení F s nosičem Σ 6= R jakožto nuly core funkce a střední informaci Iτ jakožto Fisherovu informaci o těžišti. V tomto článku definujeme Johnsonovu disperzi jako σJ2 = Iτ−1 a ukážeme na příkladech, že dvojice (τ, σJ ) popisuje i rozdělení, která nemají momenty a že dvojice jejich odhadů (ˆ τ, σ ˆJ ) pěkně charakterizuje náhodné výběry z takových rozdělení.

460

2

Zdeněk Fabián

Struktura parametrického prostoru

Označme stejně jako v [3] ΠΣ množinu regulárních rozdělení na nosiči Σ ⊆ R. Je-li G ∈ ΠR , automorfizmus [µ, s]: R → R definovaný pro (µ, s) ∈ R×(0, ∞) vztahem [µ, s] (y) = µ + sy, −1

y∈R

určuje rodinu G = {Gµ,s = G [µ, s] } s rodičem G. Platí G ⊂ ΠR a hustota rozdělení Gµ,s ∈ G je gµ,s (y) = s−1 g((y − µ)/s), y ∈ R, kde g je hustota G. Definujme pro (τ, s) ∈ Σ × (0, ∞) jedno-jednoznačné zobrazení [τ, s]: Σ → R vztahem [τ, s] = η(τ ) + sη(x), x ∈ Σ. (3) Zobrazení (3) definuje pro každou F ∈ ΠΣ parametrickou rodinu n o F = Fτ,s = F {τ, s}−1 : (τ, s) ∈ Σ × (0, ∞) s rodičem F. Parametr τ ∈ Σ,

τ = η −1 (µ),

(4)

jsme nazvali těžištěm (zde: Johnsonovým těžištěm) rozdělení Fτ,s . Pro všechna rozdělení Fτ,s ∈ F platí Fτ,s = Gη(τ ),s η, kde η je definováno v (2) a Gη(τ ),s je prvkem rodiny G s rodičem G = F η −1 . Dále F ⊂ ΠΣ a pro hustoty fτ,s rozdělení Fτ,s ∈ F platí [5, Proposition 5])   1 η(x) − η(τ ) fτ,s (x) = g η ′ (x), x ∈ Σ. s s ˜ = F˜ η −1 . Pokud je G ˜ unimoBuď nyní F˜ ∈ ΠΣ . Najdeme jeho prototyp G ∗ ˜ ˜ Není-li G ˜ unimodální, je dální, určíme jeho mód y (G) a položíme µ = y ∗ (G). ˜ pak upravíme na tvar GθR s vektorem parametrů třeba µ zvolit nějak jinak. G θR = (µ, s, λ) ∈ ΘR , kde ΘR = R × (0, ∞) × (0, ∞)m−2 a kde λ ∈ (0, ∞)m−2 je vektor tvarových parametrů. To jde vždy. GθR bude mít hustotu   1 y−µ g(y; θR ) = gλ , y ∈ R. (5) s s Buď dále ΘΣ = Σ × (0, ∞) × (0, ∞)m−2 a položme θΣ = (τ, s, λ) ∈ ΘΣ . Na Σ zkonstruujeme obraz prototypu, FθΣ = GθR η, který bude upraveným tvarem původního rozdělením F˜ a bude mít hustotu   1 η(x) − η(τ ) f (x; θΣ ) = gλ η ′ (x), x ∈ Σ. (6) s s Množinu rozdělení na Σ s hustotami (6) označíme FΘΣ . Budeme předpokládat, že splňují obvyklé podmínky regularity (např. [7, str. 462]).

461

Číselné charakteristiky

Příklad 1. Exponenciální rozdělení s nosičem Σ = (0, ∞) má hustotu f (x; τ)= 1 −x/τ . Z (2) máme η(x) = log x, η ′ (x) = 1/x a η −1 (y) = ey . Protože τe 1 y f (x; τ ) = x1 xτ e−x/τ , je hustota prototypu g(y; τ ) = τ1 ey e− τ e . Ta má mód y ∗ (G) = log τ, takže parametr τ exponenciálního rozdělení je Johnsonovým těžištěm a exponenciální rozdělení je v požadovaném tvaru.

3

Core funkce

Veličině uR = (y−µ)/s, y ∈ R budeme říkat pivotní proměnná (jako nepřesný překlad termínu pivotal quantity, [8, str. 101]). Definice 1. Buď X náhodná veličina s nosičem Σ ⊆ R s rozdělením v upraveném tvaru Fτ,s,λ ∈ FΘΣ s parametrem těžiště (4) a Gµ,s,λ = Fτ,s,λ η −1 jeho Johnsonův prototyp s hustotou ve tvaru (5). Pivotní proměnnou na Σ 6= R nazveme veličinu η(x) − η(τ ) . (7) uΣ = s Core funkci náhodné veličiny X definujeme jako TF (x; τ, s, λ) = −

gλ′ (uΣ ) . gλ (uΣ )

Core funkce je tedy skórovou funkcí svého prototypu vyjádřeného pomocí pivotní proměnné na Σ. V této stručné formulaci jsme třikrát vynechali přívlastek Johnsonova/y. Definice je ekvivalentní té v předešlých článcích [1]-[3]. Připomeňme si nejdůležitější vlastnost core funkcí [3, Věta 1]: ∂ η ′ (τ ) log f (x; τ, s, λ) = TF (x; τ, s, λ), ∂τ s

(8)

t.j. core funkce je úměrná věrohodnostnímu skóru parametru těžiště.

4

Těžiště rozdělení

V [1]-[3] jsme definovali k−tý core moment náhodné veličinyRX s rozdělením F ∈ FΘΣ a core funkcí TF vztahem Mk (F ) = ETFk (x) = Σ TFk (x) dF (x) a ukázali, že M1 (F ) = 0. Těžiště xT rozdělení F ∈ FΘΣ jsme definovali jako nulu core funkce, t.j. xT : TF (x; θΣ ) = 0 a ukázali, že pro parametrická rozdělení z FΘΣ je xT = τ kde τ je hodnota parametru těžiště pro dané rozdělení. V případě že ΘΣ = Σ a Xn = (X1 , . . . , Xn ) je náhodným výběrem z rozdělení Fτ ∈ FΘΣ , určíme výběrové těžiště τˆn z rovnice n

τˆn :

1X TF (xi ; τ ) = 0. n i=1

Z (8) je patrné, že τˆn je maximálně věrohodným odhadem těžiště rozdělení s nosičem Σ 6= R a zároveň i „těžištěmÿ datového souboru Xn .

462

5

Zdeněk Fabián

Johnsonova disperze

Připomeňme, že obvyklé podmínky regularity zajišťují existenci druhého core momentu, který navíc nezávisí na parametrech τ a s = 1/β, což snadno dokážeme: Buď TG core funkce prototypu G = F η −1 rozdělení F . Podle Definice 1 je TF (x; θΣ ) = TGλ (uΣ ). Použijeme ještě vztahy (6) a (7) máme Z Z 2 M2 (F ) = TF (x; θΣ ) f (x; θΣ ) dx = TGλ (uΣ )2 gλ (uΣ )η ′ (x) dx/s Σ Σ Z = TGλ (uR )2 gλ (uR ) duR . R

Poslední integrál je pouze funkcí λ, pišme tedy M2 (λ) místo M2 (F ). Z (8) vyplývá vztah  ′ 2 η (τ ) Iτ (θΣ ) = M2 (λ) s mezi Fisherovou informací o těžišti a druhým core momentem, kterého využijeme k definici veličiny popisující variabilitu rozdělení. Definice 2. Buď X náhodná veličina s rozdělením F ∈ FΘΣ . Její Johnsonovu disperzi σJ2 definujeme jako σJ2 = Iτ (θΣ )−1 =

s2 . η ′ (τ )2 M2 (λ)

(9)

σJ nazveme Johnsonovou směrodatnou odchylkou. Výběrovou Johnsonovu disperzi pak přirozeně definujeme jako σ ˆJ2 = 2 ′ 2 ˆ kde (ˆ ˆ je vektor maximálně věrohodných odhadů pasˆ /[η (ˆ τ ) M2 (λ)], τ , sˆ, λ) rametrů. Platí η ′ (τ ) > 0 a M2 (λ) > 0. Předpokládáme-li dále spojitost M2 vzhledem k λ, je σ ˆJ2 konzistentním odhadem Johnsonovy disperze (9). V dalším ukážeme, že i docela rozumným odhadem variability rozdělení včetně rozdělení, která nemají momenty.

6

Příklady

p Studujeme závislost Johnsonovy směrodatné odchylky σ = sτ / M2 (λ) J q ˆ a výběrové Johnsonovy směrodatné odchylky σ ˆJ = sˆτˆ/ M2 (λ) na parametrech některých rozdělení s nosičem Σ = (0, ∞) (kde η ′ (τ ) = 1/τ ). V některých případech uvádíme výsledky simulací, standardně jsme generovali 1000 náhodných výběrů délky 50 bodů z daného rozdělení a parametry odhadovali metodou maximální věrohodnosti pomocí programů z knihovny Matlab. Příklad 2. Hustoty Weibullova and Fréchetova rozdělení na Σ = (0, ∞) jsou fW (x; τ, β) = a jejich momenty

β  x β −( x )β e τ , x τ

fF (x; τ, β) =

β  x −β −( x )−β e τ x τ

463

Číselné charakteristiky

k µW k = τ Γ(1 + k/β),

k µF k = τ Γ(1 − k/β).

Momenty µF k existují pouze v případě, že k < β. Pro core funkce platí TW (x; τ, β) = (x/τ )β − 1,

TF (x; τ, β) = 1 − (τ /x)β ,

2 druhé core momenty jsou M2 = 1 a σC = τ 2 /β 2 pro obě rozdělení. Pro τ = 1 a sadu hodnot s = 1/β a jsem generoval výběry z Fréchetova rozdělení a určil odhady τˆi , i = 1, . . . , 1000. Jejich průměr τ¯ je uveden v Tabulce 1 spolu s průměrnými hodnotami aritmetického (m) ¯ a harmonického ¯ průměru. Pro hodnoty s ≥ 1 neexistuje střední hodnota Fréchetova rozdě(h) lení. τ¯ zůstává blízký jedné. Odhad těžiště je robustní, core funkce rozdělení je pro velká x ohraničená.

s m ¯ ¯ h τ¯

0.5 1.77 1.136 1.008

0.7 2.83 1.110 1.009

0.9 6.61 1.058 1.017

1 1.021 1.021

1.1 0.975 1.020

1.3 0.894 1.035

1.5 0.790 1.047

Tabulka 1: Průměrné hodnoty výběrového těžíště, aritmetického průměru a harmonického průměru pro různé hodnoty parametru měřítka Fréchetova rozdělení. Na obr. 1 jsou grafy závislosti σ a σJ na parametru s = 1/β Weibullova (a) a Fréchetova (b) rozdělení. 4

1

a

b

4

1

3 3

3

2

2

1

1

0 0

2

2

1

2 s = 1/β

0 0

1

2

s = 1/β

Obrázek 1: Míry variability Weibullova (a) a Fréchetova (b) rozdělení 1 − σ, 2 − σJ , 3 − σ ˆMAD . Na obr. 1b je i průběh MAD odhadu σ ˆMAD = 1.483∗med(|Xi −med(X)|), určený simulací. Johnsonova standardní odchylka má pro obě rozdělení lineární průběh, což je v obou případech triviální, ale robustní (porovnejte s průběhem σ ˆMAD Fréchetova rozdělení). Na obr. 2 jsou zakresleny nezávislé jedenáctibodové výběry z Fréchetova rozdělení fF (x; 1, 0.8), které nemá střední hodnotu ani rozptyl. Výběrová těžiště a výběrové Johnsonovy směrodatné odchylky se zdají docela dobře

464

Zdeněk Fabián JSO

0.42 0.62 0.77 0.93 1.25 1.28

1.84 2.40

0

2

4

6

8

10

12

14

16

18

Obrázek 2: τˆn (čárky) a σ ˆJ (JSO) náhodných výběrů z Fréchetova rozdělení. charakterizovat datové soubory. Odhady jsou robustní a odhadnuté hodnoty nejsou ovlivněny odlehlými body, které se v některých výběrech vyskytly (a nevešly se do obrázku). Příklad 3. Uvažujme rodinu FT B na Σ = (0, ∞) s hustotami ve tvaru  q q β (x/τ )βp fT B (x; τ, β, p, q) = . p B(p, q)x [(x/τ )β + q/p]p+q

(10)

Je to upravený tvar transformované rodiny beta s Johnsonovým parametrem τ, parametrem měřítka s = 1/β a tvarovými parametry λ = (p, q). Členy rodiny jsou např. log-logistické, Fisher-Snedecorovo, beta-prime a Burrovo XII rozdělení. Položme ν = p/q. k-tý moment rodiny (10) jsem spočetl jako µk =

 τ k Γ(νq + k/β)Γ(q − k/β) Γ(νq)Γ(q) ν 1/β

pro k < βq. Core funkce rodiny mají tvar TT B (x; τ, β, q, ν) = q

(x/τ )β − 1 , (x/τ )β + 1/ν

druhý core moment je M2 (ν, q) = νq 2 /[(ν + 1)q + 1]. V Tabulce 2 nalezneme hustotu, core funkci, obor existence rozptylu a vzorec pro Johnsonovu disperzi „elementárníchÿ náhodných veličin rodiny T B. fT B fT B (x; 1, β, 1, 1) =

βxβ−1 (xβ +1)2 xq−1 fT B (x; 1, 1, q, 1) = ΓΓ(2q) 2 (q) (x+1)2q ν−1 x fT B (x; 1, 1, 1, ν) = (x+1/ν) 1+ν

TT B xβ −1 xβ +1 q x−1 x+1 x−1 x+1/ν

exist. of σ 2 1 1 β < 2 1 q

<

1 2

neexistuje

σJ2 3/β 2 (2 + 1/q)/q 1 + 2/ν

Tabulka 2: Trojice ementárních rozdělení transformované rodiny beta.

465

Číselné charakteristiky

„Elementárními rozdělenímiÿ myslíme rozdělení, která mají hustoty právě s jedním parametrem různým od jedné. Grafy závislosti σ a σJ na převrácených hodnotách jednotlivých parametrů jsou na obr. 3a. Všechna σJ rostou s rostoucí převrácenou hodnotou parametru přibližně lineárně. Průběh průměrné σJ výběrů z rozdělení beta-prime s hustotou f (x; p, q) = fT B (x; p/q, 1, q, p/q) v závislosti na 1/p pro q = p je zachycen na obr. 3b spolu s průměrnou hodnotou σ ˆMAD . 3

5 a

1

b

1

4 3 2

3

4

2

5

2 1

1

2

0 0

1

1/p

2

0 0

1

1/p

2

Obrázek 3: Míry variability transformovaného beta rozdělení (a) elementární: 1 − σ(1/α), 2 − σ(1/β), 3 − σJ (1/α), 4 − σJ (1/β), 5 − σJ (1/ν), (b) beta-prime (q = p) : 1-ˆ σC , 2-ˆ σMAD V následující tabulce uvádíme přehled vzorců. rozdělení Cauchyovo lognormální exponenciální Weibullovo Fréchetovo gamma chi-kvadrát log-logistické beta beta-prime

f (x) 1 2 πs(1+( x−µ s ) ) 2 1 β − log (x/τ )β √ e 2 2πx 1 −x/τ τe β β x β −( x τ) x(τ ) e τ β τ β −( x )β (x) e xα γ α−1 −γx e Γ(α) x 1 ν/2−1 −x/2 x e 2ν/2 Γ(ν/2) β (x/τ ) β x (1+(x/τ )β )2 1 p−1 (1 − x)q−1 B(p,q) x 1 xp−1 B(p,q) (x+1)p+q

TF (x) 2( x−µ s ) 2 1+( x−µ s )
x β log τ x τ −1 x β (τ ) − 1 1 − ( τx )β γx − α




ν x 2 ν −1 (x/τ )β −1 (x/τ )β +1

(p + q)x − p qx−p x+1

τ

σJ2

µ

2s2

τ τ τ τ α/γ ν

1/β 2 τ2 2 τ /β 2 τ 2 /β 2 α/γ 2 2ν

τ

3τ 2 /β 2

p p+q p q

pq(p+q+1) (p+q)4 p(p+q+1) q3

Tabulka 3: Core funkce, těžiště a Johnsonova disperze některých rozdělení. Hustoty a core funkce některých rozdělení z Tabulky 3 pro tutéž zvolenou hodnotu σJ jsou zakresleny na obr.4. Z obrázku je patrné, že core funkce zvýrazňují chování chvostů rozdělení. Konečně na obr. 5 porovnáváme hustoty Fréchetova rozdělení při různých hodnotách parametru těžiště pro konstantní parametr měřítka (a) a konstantní Johnsonovu disperzi (b). I z tohoto obrázku je vidět, že pojem Johnsonovy disperze má docela dobrý smysl.

466

Zdeněk Fabián

0.2

10 b

a

2

1 2

1 3 4

3

0

4

0 0

10

20

30

−8 0

10

20

30

Obrázek 4: Hustoty (a) a core funkce (b) rozdělení se stejnou hodnotou σJ 1-gamma, 2-Weibullovo, 3-lognormální, 4-log-logistické, . . . Fréchetovo. 0.7

0.7 b a

1

1 2

3 4

2 3

4 0 0

4

8

0 0

4

8

Obrázek 5: Hustoty Fréchetova rozdělení pro τ = 1, 2, 3, 4. (a) s =konst. (b) σJ =konst.

Reference [1] [2] [3] [4]

Fabián Z. (1997). Geometrické momenty. Sb. Robust’96, 49 – 62. Fabián Z. (2001). MM-odhady. Robust’2000, 33 – 41. Fabián Z. (2003). Informace ve výběru z rozdělení. Robust’2002, 95 – 106. Fabián Z. (2001). Induced cores and their use in robust parametric estimation. Communications in Statistics-Theory and Methods 30, 537 – 556. [5] Fabián Z., Vajda I. (2003). Core functions and core divergences of regular distributions. Kybernetika 39, 1, 29 – 42. [6] Johnson N. L. (1949). Systems of frequency curves generated by methods of translations. Biometrika 36, 149 – 176. [7] Lehmann E. L., Casella G. (2001). Theory of point estimation. Springer. [8] Lindley J. K. (1996). Parametric statistical inference. Clarendon Press, Oxford. Poděkování: Autor děkuje Igoru Vajdovi za významnou pomoc při přípravě rukopisu. Práci podpořil grant AV ČR IAA1075403. Adresa: Z. Fabián, ÚI AV ČR, Pod Vodárenskou věží 2, 182 07 Praha 8 E-mail : [email protected]