KVAZINORMY PRO ODHADY DISKRÉTNÍCH ROZDċLENÍ PRAVDċPODOBNOSTI ZdenČk Karpíšek, Petr Jurák, Jakub Šácha Odbor stochastických a optimalizaþních metod, Ústav matematiky Fakulta strojního inženýrství, Vysoké uþení technické v BrnČ Technická 2896/2, 616 69 Brno
[email protected]
Abstrakt: Referát naznaþuje možné Ĝešení klasického statistického problému nalezení rozdČlení pravdČpodobnosti pozorované diskrétní náhodné veliþiny pomocí minimalizace tzv. Hellingerovy, Shannonovy a Pearsonovy kvazinormy za vedlejších momentových podmínek, které vycházejí z nestranných odhadĤ obecných momentĤ pozorované náhodné veliþiny. Jde vlastnČ o nalezení absolutního minima dané kvazinormy na podprostoru prostoru všech koneþných diskrétních rozdČlení vzhledem k lineárním podmínkám daným pĜedepsanými obecnými momenty. PĜíspČvek má spíše pĜehledový charakter a jeho souþástí jsou také pĜíklady výpoþtĤ na PC. Klíþová slova: f-divergence, kvazinorma, odhad diskrétního rozdČlení pravdČpodobnosti, obecné momentové podmínky, Lagrangeovy miltiplikátory AMS klasifikace: 62E17, 62H12, 62G07, 65C50, 65C60 1. Úvod Rozhodující úlohu v aplikacích metod matematické statistiky má pĜi intervalových odhadech parametrĤ a parametrických testech statistických hypotéz nalezení tvaru rozdČlení pravdČpodobnosti pozorované náhodné veliþiny nebo náhodného vektoru. Na základČ pojmu fdivergence (vzdálenosti) dvou rozdČlení je možné vyvodit postupy umožĖující takové rozdČlení odhadnout [10]. Tyto postupy však musí obvykle respektovat další podmínky kladené na toto rozdČlení. Jde nejþastČji o podmínky dané apriorním stanovením hodnot vybraných þíselných charakteristik, napĜ. stĜední hodnoty, rozptylu apod. Naší základní ideou je najít takové rozdČlení, které má nČjaké požadované vlastnosti (splĖuje zadané vedlejší podmínky) a je v jistém smyslu blízké vhodnČ zvolenému rozdČlení. PĜesnČji jde o nalezení rozdČlení, které je s takovým pevným rozdČlením totožné pĜi absenci vedlejších podmínek, ale s pĜidáváním podmínek se od tohoto pevného rozdČlení postupnČ vzdaluje pĜi souþasné minimalizaci zvolené fdivergence hledaného a daného pevného rozdČlení. 2. Divergence a kvazinormy diskrétních rozdČlení pravdČpodobnosti Oznaþme \ množinu reálných þísel a \ množinu reálných þísel rozšíĜenou o nevlastní prvky -f a +f. PĜedpokládáme, že je dán diskrétní pravdČpodobnostní prostor :, 6, P , kde
: je spoþetný základní prostor, 6 je ı-algebra a P je pravdČpodobnostní míra. Bez újmy na obecnosti mĤžeme pĜedpokládat : \ , že míĜe P odpovídá rozdČlení pravdČpodobnosti p nČjaké diskrétní náhodné veliþiny. Pomocí následujícího pojmu [1] vyjádĜíme blízkost (divergenci) dvou rozdČlení pravdČpodobnosti p a q na :, 6, P . Poznamenejme, že za maximálnČ divergentní považujeme tzv. ortogonální rozdČlení pravdČpodobnosti p a q, tj. když existují disjunktní podmnožiny E , F : , pro které je ¦ p x ¦ q x 1 . xE
8.
NÁRODNÍ KONFERENCE
xF
STATISTICKÉ DNY
V
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
NechĢ funkce f u je konvexní na (0, f ) , striktnČ konvexní v u
1 a f (1)
0.
fdivergencí rozdČlení pravdČpodobností p, q na diskrétním pravdČpodobnostním prostoru :, 6, P rozumíme funkcionál
D f p, q
§ p x ·
¦ q x f ¨ q x ¸ , ©
x
¹
§ p· §0· kde klademe 0 f ¨ ¸ 0 , 0 f ¨ ¸ pf pro všechna p 0, f a f ( ) ©0¹ ©0¹ Pro libovolnou f-divergenci platí nerovnost 0 d D f p, q d f 0 f ,
f (u ) * . u
lim u of
pĜiþemž obČ dvČ rovnosti nemohou nastat souþasnČ. Levá rovnost platí, právČ když p q a pravá rovnost platí, právČ když p a q jsou ortogonální a souþasnČ f 0 f f . Z uvedené nerovnosti dále plyne, že rozdČlení pravdČpodobnosti p, q jsou navzájem podobné, jestliže jejich f-divergence D f ( p, q ) je blízká 0. Naopak modely jsou navzájem nepodobné,
když se D f ( p, q ) blíží maximální hodnotČ f 0 f . PĜehled nejþastČji používaných f-divergencí pro stochastické modelování v rĤzných aplikaþních oblastech je v následující tabulce. f u
Parametr
f 0 f *
u log u
f
E 0,1 E
u 1
D D
DE ( p, q )
2
ȕ-divergence
¦ q x ln ¨ q x ¸ ©
x
¦ p x
E
¹
q x
E 1/ E
x
2
D1/ 2 ( p, q ) Hellingerova vzdálenost
1/ 2 · § 2 ¨1 ¦ p x q x ¸ x © ¹
1
2
Ȥ1 ( p, q ) , V ( p, q ) Totální variace
¦ p x q x
f
Ȥ D ( p, q ) Ȥ Į - divergence
p x q x
2
D 0,1
f
Ȥ 2 ( p, q ) Ȥ 2 - divergence
1
sign D 1 uD 1
D 1, f
8.
§ p x ·
I ( p, q) I-divergence
1/ 2
D 1, f
D
Tvar D f ( p, q )
Název
1/ E
E
u 1
Oznaþení D f ( p, q )
NÁRODNÍ KONFERENCE
f
STATISTICKÉ DNY
V
x
¦
D 1
q x
x
¦
D
p x q x q x
x
DD ( p, q ) Į-divergence
1 ¦ p x q x
DD ( p, q ) Į-divergence
p x
BRNĚ, BRNO 27. - 28.
2
D
1D
x
D
¦q x
ČERVNA,
1D
x
2006
1
Jestliže pozorovaná diskrétní náhodná veliþina nabývá koneþnČ mnoha možných hodnot, je vhodné za uvažované pevné diskrétní rozdČlení zvolit rozdČlení se stejnými pravdČpodobnostmi. Toto rozdČlení má maximální neurþitost vyjádĜenou pomocí entropie a navíc pro vybrané f-divergence také minimalizuje integrál f-divergencí od všech diskrétních rozdČlení z uvažovaného pravdČpodobnostního prostoru. To nás opravĖuje k zavedení následujícího pojmu [10]. Jde o jistou analogii zavedení indukované normy na lineárním prostoru s metrikou pomocí neutrálního prvku. 1· §1 NechĢ p ( p1 , ! , pm ) a p0 ¨ , ! , ¸ pro m ! 1 jsou diskrétní rozdČlení m¹ ©m z pravdČpodobnostního prostoru :, 6, P , a D f je f-divergence definovaná na daném ( p1 , ! , pm ) na :, 6, P rozumíme
prostoru. Kvazinormou rozdČlení pravdČpodobnosti p fdivergenci D f p, p0 . Pro libovolnou kvazinormu D f p, p0 platí [10]: a) D f p, p0
1 m ¦ f mp j , m j1
b) D f p, p0 je symetrická funkce promČnných p j , j
1,..., m .
Pro odhady diskrétních rozdČlení za vedlejších momentových podmínek pomocí minimálních kvazinorem volíme: a) Hellingerovu vzdálenost D1/ 2 ( p, q ) , z níž získáme tzv. Hellingerovu kvazinormu 2
§ 1· 2 m D( p, p0 ) ¦ ¨ p j 2 ¸ ¦ pj , m¹ m j1 j 1© b) I-divergenci I (p, q) , z níž získáme tzv. Shannonovu kvazinormu m
m
S( p, p0 )
§
¦ ¨© p
j ln p j
j 1
1 § 1 ·· ln ¨ ¸ m © m ¹ ¸¹
m
¦p
j
ln p j ln m ,
j 1
c) F 2 - divergenci Ȥ 2 ( p, q ) , z níž získáme tzv. Pearsonovu kvazinormu 1 m 1 P p, p0 ¦ 1. m2 j 1 p j PĜedpokládáme, že pozorovaná diskrétní náhodná veliþina X, jejíž rozdČlení pravdČpodobnosti p ( p1 , ! , pm ) chceme odhadnout, nabývá nejvýše koneþnČ mnoha navzájem rĤzných reálných hodnot x*j s neznámými pravdČpodobnostmi pj
P X
x*j , j
1, ..., m , m ! 1 .
Pozorováním náhodné veliþiny X získáme statistický soubor x1 , ! , xn a jeho roztĜídČním dostaneme roztĜídČný statistický soubor § § * f1 · § * fm · · ¨ ¨ x1 , n ¸ , ! , ¨ xm , n ¸ ¸ , ¹ © ¹¹ ©© * kde f j je absolutní þetnost pozorované hodnoty x j . Dále pĜedpokládáme, že n ! m a f j ! 0 pro všechna j
1, ! , m . Jestliže získáme po n pozorováních þetnost f j
0 , pak j-tou tĜídu
vynecháme.
8.
NÁRODNÍ KONFERENCE
STATISTICKÉ DNY
V
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
3. Hellingerova kvazinorma RozdČlení pravdČpodobnosti p
( p1 , ! , pm ) pozorované diskrétní náhodné veliþiny X má na
^x , ! , x ` ,
pravdČpodobnostním prostoru :, 6, P , kde :
1
m
m ! 1 , a 6 je množina všech
podmnožin :, tzv. minimální Hellingerovu kvazinormu za K poþáteþních momentových podmínek m
¦p x j
*k j
0, ! , K ,
Mk , k
j 1
jestliže jeho Hellingerova kvazinorma 2
D( p, p0 )
2 m
m
¦
pj
j 1
je minimální pro fj
m
¦n
Mk
x*j k , k
0, ! , K .
j 1
Pro K m 1 obdržíme [5], [6] 1
pj
1, ! , m ,
,j
2
K
§ · m ¨ ¦ Ok x*j k ¸ ©k 0 ¹ 0,! , K jsou Lagrangeovy multiplikátory pro Lagrangeovu funkci
kde Ok , k
K § m · D p, p0 ¦ Ok ¨ ¦ p j x *j k M k ¸ , Ȝ O0 , ! , OK . k 0 ©j1 ¹ Lagrangeovy multiplikátory Ok je možno urþit pomocí nelineární soustavy rovnic odpovídající nulovému gradientu Lagrangeovy funkce anebo pĜímo aplikovat nČkterou metodu nelineární optimalizace pro urþení jejího minima. Jestliže oznaþíme DK min D p Ȝ , p0 , kde p Ȝ p1 Ȝ , ! , pm Ȝ je odhad
/ p, Ȝ
rozdČlení pravdČpodobnosti s minimální Hellingerovou kvazinormou za daných K m 1 momentových podmínek, pak m
K
2 2¦ ¦ Ok x*j k .
DK
j 1 k 0
0 je p j
Pro K pj
fj n
, j
1 , j m
1, ! , m , a D0
1, ! , m , a Dm 1
2
2 mn
0 . SpeciálnČ pro K
m 1 jde o interpolaci
m
¦
f j . Platí, že D0 d " d Dm 1 .
j 1
Jestliže pozorovaná náhodná veliþina X má empirické rozdČlení f
fm · § f1 ¨ n ,! , n ¸ , pak © ¹
statistika
f
np j Ȝ
2
2 1 m fj n F f , p Ȝ ¦ ¦ np j Ȝ n j 1 p j Ȝ j 1 má pro n o f asymptoticky rozdČlení chí-kvadrát s m K 1 stupni volnosti. Asymptotickou vlastnost mĤžeme použít k testování vhodnosti nalezeného rozdČlení pravdČpodobnosti p Ȝ p1 Ȝ , ! , pm Ȝ . Pro praktické použití požadujeme [2], aby
m
2
bylo np j O ! 5 pro všechna j 8.
NÁRODNÍ KONFERENCE
j
1, ! , m . To lze pro dostateþnČ velký rozsah n dosáhnout
STATISTICKÉ DNY
V
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
slouþením sousedních tĜíd x *j , f j s malými þetnostmi. K testování vhodnosti odhadnutého rozdČlení pravdČpodobnosti
p Ȝ ,! , p Ȝ
p Ȝ
mĤžeme také využít pĜímo
m
1
Hellingerovu vzdálenost. Jde o nepĜíliš známý tzv. PitmanĤv – HellingerĤv test shody [7], který spoþívá ve skuteþnosti, že statistika 2
§ fj · 4n D f , p Ȝ 4n ¦ ¨ p j Ȝ ¸ ¨ ¸ n j 1 © ¹ má pro n o f asymptoticky rozdČlení chí-kvadrát s m k 1 stupni volnosti. Postupným pĜidáváním momentových podmínek a opakovaným odhadem rozdČlení pravdČpodobnosti pomocí minimální Hellingerovy kvazinormy lze urþit minimální potĜebný poþet K tČchto podmínek tak, aby platilo F 2 f , p Ȝ d F12D , resp. 4nD f , p Ȝ d F12D , kde F12D je m
1 D -kvantil
rozdČlení chíkvadrát s daným poþtem stupĖĤ volnosti pro hladinu
významnosti D . 4. Shannonova kvazinorma RozdČlení pravdČpodobnosti p
( p1 , ! , pm ) pozorované diskrétní náhodné veliþiny X, má na
^x , ! , x ` ,
pravdČpodobnostním prostoru :, 6, P , kde :
1
m
m ! 1 , a 6 je množina všech
podmnožin :, tzv. minimální Shannonovu kvazinormu za K momentových podmínek m
¦p x j
*k j
Mk , k
0, ! , K ,
j 1
jestliže jeho Shannonova kvazinorma m
¦p
S( p, p0 )
j
ln p j ln m
j 1
je minimální pro m
Mk
fj
¦n
x*j k , k
0, ! , K .
j 1
Pro K m 1 obdržíme [3], [4] K § · p j exp ¨ 1 ¦ Ok x *j k ¸ , j 1,! , m , k 0 © ¹ kde Ok , k 0,! , K , jsou Lagrangeovy multiplikátory pro Lagrangeovu funkci K § m · S p, p0 ¦ Ok ¨ ¦ p j x *j k M k ¸ , Ȝ O0 , ! , OK . k 0 ©j1 ¹ Lagrangeovy multiplikátory Ok je možno urþit pomocí nelineární soustavy rovnic odpovídající nulovému gradientu Lagrangeovy funkce anebo pĜímo aplikovat nČkterou metodu nelineární optimalizace pro urþení jejího minima. Jestliže oznaþíme S K min S p Ȝ , p0 , kde p Ȝ p1 Ȝ , ! , pm Ȝ je odhad
/ p, Ȝ
rozdČlení pravdČpodobnosti s minimální Shannonovou kvazinormou za daných K m 1 momentových podmínek, pak m K K § § · *k · S K ln m ¦ ¨ 1 ¦ Ok x j ¸ exp ¨ 1 ¦ Ok x *j k ¸ . j 1© k 0 k 0 ¹ ¹ ©
8.
NÁRODNÍ KONFERENCE
STATISTICKÉ DNY
V
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
0 je p j
Pro K pj
fj
1 , j m
1, ! , m , a S0
0 . SpeciálnČ pro K
m 1 jde o interpolaci
1 m ¦ f j ln f j . Platí, že S0 d " d Sm1 . n j1 n V pĜípadČ Shannonovy kvazinormy jsou odhady parametrĤ Ok maximálnČ vČrohodné,
1, ! , m , a Sm 1
, j
neboĢ jde souþasnČ o odhady parametrĤ modifikovanou metodou minimálního chíkvadrát. Dále pak mĤžeme aplikovat PearsonĤv, resp. PitmanĤv-HellingerĤv, test shody rozdČlení p Ȝ . Postupným pĜidáváním momentových podmínek a opakovaným odhadem rozdČlení pravdČpodobnosti pomocí minimální Shannonovy kvazinormy lze urþit minimální potĜebný poþet K tČchto podmínek tak, aby platilo F 2 f , p Ȝ d F12D , resp. 4nD f , p Ȝ d F12D , kde F12D je 1 D -kvantil rozdČlení chíkvadrát s m k 1 stupĖĤ volnosti pro hladinu významnosti D . Navíc má každé takto postupnČ získané rozdČlení pravdČpodobnosti p Ȝ vždy maximální entropii pro dané momentové podmínky. 5. Pearsonova kvazinorma RozdČlení pravdČpodobnosti p
( p1 , ! , pm ) pozorované diskrétní náhodné veliþiny X má na
^x , ! , x ` ,
pravdČpodobnostním prostoru :, 6, P , kde :
1
m
m ! 1 , a 6 je množina všech
podmnožin :, tzv. minimální Pearsonovu kvazinormu za K momentových podmínek m
¦p x j
*k j
0, ! , K ,
Mk , k
j 1
jestliže jeho Pearsonova kvazinorma m
1 m2
P p, p0
1
¦p j 1
1
j
je minimální pro m
Mk
fj
¦n
x*j k , k
0, ! , K .
j 1
Pro K m 1 obdržíme [9] 1
, j 1, ! , m , § · *k m ¨ ¦ Ok x j ¸ ¨ k 0 ¸ © ¹ 0,! , K , jsou Lagrangeovy multiplikátory pro Lagrangeovu funkci pj
kde Ok , k
K
K § m · P p, p0 ¦ Ok ¨ ¦ p j x *j k M k ¸ , Ȝ O0 , ! , OK . k 0 ©j1 ¹ Lagrangeovy multiplikátory Ok je možno urþit pomocí nelineární soustavy rovnic odpovídající nulovému gradientu Lagrangeovy funkce anebo pĜímo aplikovat nČkterou metodu nelineární optimalizace pro urþení jejího minima. Jestliže oznaþíme PK min P p Ȝ , p0 , kde p Ȝ p1 Ȝ , ! , pm Ȝ je odhad
/ p, Ȝ
rozdČlení pravdČpodobnosti s minimální Pearsonovou kvazinormou za daných K m 1 momentových podmínek, pak PK
8.
NÁRODNÍ KONFERENCE
1 m ¦ m j1
K
¦O x k
*k j
1.
k 0
STATISTICKÉ DNY
V
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
Pro K fj
0 je p j
1 , j m
1, ! , m , a P0
0 . SpeciálnČ pro K
m 1 jde o interpolaci
n m 1 ¦ 1 . Platí, že P0 d " d Pm1 . n m2 j 1 f j Dále pak mĤžeme aplikovat PearsonĤv, resp. PitmanĤv-HellingerĤv, test shody odhadnutého rozdČlení p Ȝ stejnČ jako v pĜípadČ Hellingerovy nebo Shannonovy pj
, j
1, ! , m , a Pm 1
kvazinormy. Postupným pĜidáváním momentových podmínek a opakovaným odhadem rozdČlení pravdČpodobnosti pomocí minimální Pearsonovy kvazinormy lze urþit minimální potĜebný poþet K tČchto momentových podmínek tak, aby platilo F 2 f , p Ȝ d F12D , resp. 4nD f , p Ȝ d F12D , kde F12D je 1 D -kvantil rozdČlení chíkvadrát s m k 1 stupĖĤ volnosti pro hladinu významnosti D . 6. Aplikace PĜíklad 1: Poþítaþovou simulací diskrétní náhodné veliþiny X s Poissonovým rozdČlením pravdČpodobnosti s parametrem O 1, 5 jsme získali statistický soubor pozorovaných hodnot xi , i 1,...,100 , zapsaný v tabulce: 0
0
1
2
1
0
2
0
1
1
2
2
1
2
1
1
1
4
0
5
2
0
2
1
1
3
4
1
3
1
2
2
1
1
1
0
2
3
0
0
5
0
5
2
2
2
1
2
3
1
1
0
1
0
1
0
2
2
1
2
3
1
1
1
0
1
2
1
2
1
1
2
1
1
2
3
6
2
1
2
0
1
5
2
1
3
2
3
0
1
0
0
0
3
0
1
0
2
2
1
Po roztĜídČní pozorovaného souboru a slouþení pĤvodních tĜí tĜíd s malými þetnostmi pro x j 4, 5, 6 dostaneme roztĜídČný statistický soubor, který je uveden v následující tabulce:
Poþet tĜíd m
j
1
2
3
4
5
x j
0
1
2
3
5
fj
21
36
27
9
7
5 a rozsah n
100 , takže 1 5 1 5 * 1.52 M 0 1, M1 x f x , M f j x j 2 4 . ¦ ¦ j j 2 100 j 1 100 j 1 Pomocí optimalizaþního nástroje ěešitel z Excelu pro urþení minima Pearsonovy kvazinormy a následujícím chí-kvadrát testem jsme získali výsledky v následujících tabulkách:
Ok
K
O0
0 1
8.
O0 O1
NÁRODNÍ KONFERENCE
pj 1
0,2
0, 291832209 0, 586222219
STATISTICKÉ DNY
pj
V
1 5
O0 O1 x*j
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
O0 0, 921662748 O1 -1,244107898 O2 0, 597057037
2
pj
1 5
O0 O1 x*j O2 x*j 2
K
fj
21
36
27
9
7
PK
F 2 f , p Ȝ
2 F 0.95
Hypotéza
0
np j
20
20
20
20
20
0
29,800000
9,4877
zamítáme
1
np j
37,0 21,3 16,6 14,0 11,1 0,182928
26,939844
7,8147
zamítáme
2
np j
20,8 38,2 22,1 12,5
2,252894
5,9915 nezamítáme
6,4
0,418853
RozdČlení pravdČpodobnosti získaná pro K 0 a K 1 vedlejších momentových podmínek na hladinČ významnosti 0,05 zamítáme. Dokládají to také odhady þetností np j v porovnání s pozorovanými þetnostmi v pĜedcházející tabulce i znázornČní výsledkĤ na následujícím obrázku. fj np
40
j
Observed
K=0 30
K=1
K=2 20
10
0 0
1
2
3
4
5
x
j
PĜíklad 2: Sledováním diskrétní náhodné veliþiny X jsme získali statistický soubor o rozsahu n 60 . Po jeho roztĜídČní jsme obdrželi bimodální diskrétní empirické rozdČlení f náhodné veliþiny X zapsané v následující tabulce, kde jsou x*j stĜedy tĜíd a f j pozorované
absolutní þetnosti: x*j
1
2
3
4
5
6
7
fj
5
12
7
5
9
14
8
Hledáme minimum Hellingerovy, Shannonovy a Pearsonovy kvazinormy za vedlejších podmínek daných prvními pČti obecnými momenty 1 m 1 m 1 m 21, 95 , M0 f j 1 , M1 f j x *j 4,25 , M 2 f j x *2 ¦ ¦ ¦ j n j1 n j1 n j1 M3
8.
1 m f j x *3j ¦ n j1
NÁRODNÍ KONFERENCE
125, 05 , M 4
STATISTICKÉ DNY
V
1 m f j x *4j ¦ n j1
750,35 .
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
Výsledky byly získány pomocí optimalizaþní úlohy v programu GAMS. Výsledky za postupného pĜidávání momentových podmínek pro všechny kvazinormy jsou ilustrovány tabulkou: Vzdálenost
M0
M 0 , M1
M 0 , M1 , M 2
M 0 , M1 , M 2 , M 3
M0 , M1 M2 M3 M4
D p, p0
0
0,0039139
0,0040676
0,0041245
0,0318283
S p, p0
0
0,0078253
0,0080530
0,0081838
0,0647159
P p, p0
0
0,0156410
0,0168758
0,0169991
0,1250675
V následující tabulce jsou vypoþtené výsledky, kde horní index odhadu þetnosti odpovídá prvnímu písmenu názvu dané kvazinormy: x*j
1
2
3
4
5
6
7
fj
5
12
7
5
9
14
8
K = 0 8,5713554 8,5713554 8,5713554 8,5713554 8,5713554 8,5713554
8,5713554
K = 1 7,0837406 7,5059091 7,9667115 8,4712092 9,0256757 9,6361857 10,3105682 f jH K = 2 6,8140661 7,4718405 8,1141235 8,7142552 9,2430972 9,6709471
9,9716705
K = 3 6,9404857 7,3613976 7,9716095 8,6898716 9,3794663 9,8351122
9,8220571
K = 4 5,1242524 11,5671081 7,3006744 5,6411748 7,7375634 14,8175968 7,8116302 K = 0 8,5714308 8,5714290 8,5714290 8,5714290 8,5714290 8,5714266
8,5714266
K = 1 7,0460292 7,5020765 7,9875133 8,5043681 9,0547706 9,6407438 10,2644986 f jS K = 2 6,8039039 7,4814708 8,1249132 8,7149421 9,2324278 9,6598879
9,9824543
K = 3 6,9441237 7,3529498 7,9726129 8,6975760 9,3802407 9,8268476
9,8256493
K = 4 5,1028021 11,6339124 7,2884065 5,4512079 8,0347816 14,6368123 7,8520771 K = 0 8,5714286 8,5714301 8,5714283 8,5714273 8,5714273 8,5714283
8,5714301
K = 1 7,1860524 7,5249401 7,9167893 8,3770081 8,9281115 9,6045808 10,4625178 f jP K = 2 6,8478907 7,4434045 8,0744790 8,7066351 9,2808154 9,7161813
9,9305940
K = 3 6,9316670 7,3813059 7,9708126 8,6703499 9,3760100 9,8571480
9,8127065
K = 4 5,1763753 11,3952488 7,3781268 6,0074991 7,1106245 15,2092506 7,7228748 Grafická ilustrace výsledkĤ je na následujících obrázcích. Z pĜedcházející tabulky i grafĤ jsou zĜejmé dobré aproximace pĤvodního neznámého rozdČlení pomocí všech tĜí kvazinorem pro K = 4. To lze také prokázat testem hypotézy o shodČ nalezeného rozdČlení pravdČpodobnosti.
8.
NÁRODNÍ KONFERENCE
STATISTICKÉ DNY
V
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
Odhad pomocí Hellingerovy kvazinormy 16
14
Orig. ýetnosti
12
K=0 K=1
10
K=2 K=3
8
K=4
6
4 0
1
2
3
4
5
6
7
8
StĜedy tĜíd
Odhad pomocí Shannonovy kvazinormy 16
14
Orig. ýetnosti
12
K=0 K=1
10
K=2 K=3
8
K=4
6
4 0
1
2
3
4
5
6
7
8
StĜedy tĜíd
Odhad pomocí Pearsonovy kvazinormy 16
14
Orig. ýetnosti
12
K=0 K=1
10
K=2 K=3
8
K=4
6
4 0
1
2
3
4
5
6
7
8
StĜedy tĜíd
8.
NÁRODNÍ KONFERENCE
STATISTICKÉ DNY
V
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
Byla rovnČž zkoumána možnost pĜímo aproximovat binomické rozdČlení a diskretizované Weibullovo, exponenciální a normální rozdČlení. V pĜípadČ uvedených spojitých rozdČlení jde vlastnČ o aproximaci pomocí po þástech rovnomČrného rozdČlení. PĜíklad 3: Pro normální rozdČlení pravdČpodobnosti se stĜední hodnotou P 0 a smČrodatnou odchylkou V 2 jsme zvolili m 9 tĜíd odpovídajících pĜibližnČ pĜípadnému výbČru o rozsahu n 1000 . Vypoþtené pĜesné hodnoty teoretických tĜídních þetností jsou v tabulce:
j
StĜedy tĜíd x*j
Horní hranice tĜíd x*j
Hodnota distribuþní funkce F x *j
PravdČpodobnost pro tĜídu Pj F x *j F x*j 1
Teoretická þetnost nPj
1
-4
-3,5
0,040059
0,040059
40,05911
2
-3
-2,5
0,105650
0,065591
65,59073
3
-2
-1,5
0,226627
0,120977
120,9774
4
-1
-0,5
0,401294
0,174666
174,6664
5
0
0,5
0,598706
0,197413
197,4125
6
1
1,5
0,773373
0,174666
174,6664
7
2
2,5
0,894350
0,120977
120,9774
8
3
3,5
0,959941
0,065591
65,59073
9
4
f
1,000000
0,040059
40,05911
Formální aplikací Hellingerovy, Shannonovy a Pearsonovy kvazinormy jsme obdrželi následující výsledky: np j pro K x
* j
nPj
np j pro K
2
4
Hellinger. Pearson. Shannon. Hellinger. Pearson. Shannon. kvazinorma kvazinorma kvazinorma kvazinorma kvazinorma kvazinorma
-4
40,05911
39,30429
48,7646
34,91677
39,24638
39,90185
39,46093
-3
65,59073
68,94502
64,20312
73,3944
69,00026
66,52592
68,11745
-2
120,9774
116,6612
93,04464
124,7692
116,775
118,5115
117,7808
-1
174,6664
173,8201
159,5983
171,5439
173,7944
178,6297
174,2833
0
197,4125
202,5388
268,7787
190,7515
202,3681
192,8621
200,7149
1
174,6664
173,8201
159,5983
171,5439
173,7944
178,6297
174,2833
2
120,9774
116,6612
93,04464
124,7692
116,775
118,5115
117,7808
3
65,59073
68,94502
64,20312
73,3944
69,00026
66,52592
68,11745
4
40,05911
39,30429
48,7646
34,91677
39,24638
39,90185
39,46093
8.
NÁRODNÍ KONFERENCE
STATISTICKÉ DNY
V
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
Získané výsledky jsou znázornČny na následujících obrázcích: K=2
fj
300
n*pj-Hellinger n*pj-Pearson
250
n*pj-Shannon
200 150 100 50 0 -6
-4
-2
0
2
4
K=4
6
fj n*pj-Hellinger n*pj-Pearson n*pj-Shannon
250 200 150 100 50 0 -6
-4
-2
0
2
4
6
Vzhledem k symetrii rozdČlení nemá smyslu uvažovat liché hodnoty K. Získané výsledky pro K 4 naznaþují možnost aplikací kavazinorem i pro diskretizovaná spojitá rozdČlení pravdČpodobnosti. FormálnČ lze také testovat kvalitu aproximace, avšak ta je ovlivnČna zvolenou hodnotou n. 7. ZávČr Empirický pĜístup k odhadĤm rozdČlení pravdČpodobnosti vyžaduje pĜi Ĝešení konkrétních úloh dostateþnou dávku zkušeností a nelze pĜitom spoléhat na profesionální statistické softwarové produkty, které navíc obsahují pouze nevelké množství rĤzných typĤ rozdČlení. Výše popsaný zpĤsob odhadu diskrétních rozdČlení pravdČpodobnosti nevyžaduje od uživatele pĜíliš mnoho statistických znalostí a jeví se jako dobĜe použitelný i v pĜípadech, kdy je statistický soubor multimodální. Z pĜíkladu je zĜejmé, že v pĜípadČ takových rozdČlení pravdČpodobnosti je odhad dostateþnČ pĜesný, avšak je zapotĜebí dodat více upĜesĖujících
8.
NÁRODNÍ KONFERENCE
STATISTICKÉ DNY
V
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
podmínek. Ukazuje se také, že metoda hledání rozdČlení pravdČpodobnosti založená na kvazinormách je vhodná i pro vícerozmČrné statistické soubory [6] a je použitelná i pro aproximace diskretizovaných spojitých rozdČlení. Popsané odhady rozdČlení pĜináší navíc nové typy tĜíd dosti flexibilních diskrétních rozdČlení pravdČpodobnosti, kde Lagrangeovy multiplikátory jsou jejich parametry. Teoretické aspekty uvedeného pĜístupu k odhadĤm nejsou zdaleka ještČ vyþerpané a odhalené, a navozují Ĝadu dalších problémĤ. Praktické PC aplikace popsaných odhadĤ jsou však omezeny kvalitou nelineárních optimalizaþních ĜešiþĤ. Zatím byl pro optimalizaci Lagrangeovy funkce vyzkoušen speciální software GAMS a Ĝešiþ v Excelu, oba s velmi dobrými výsledky. Pro výpoþty pomocí aplikace GAMS je pĜipraven nový exe file a pro výpoþty v Excelu byla vytvoĜena odpovídající makra [11]. Literatura 1. VAJDA, I.: Teória informácie a štatistického rozhodovania. Bratislava: Alfa, 1982. 2. ANDċL, J.: Statistické metody. Praha: Matfyzpress, 1993. 3. KARPÍŠEK, Z.: Statistical Properties of Discrete Probability Distributions with Maximum Entropy. Folia Fac. Sci. Nat. Univ. Masarykianae Brunensis, Mathematica 9, Brno, 2001, pp. 21-32, ISBN 80-210-2544-1. 4. KARPÍŠEK, Z., JURÁK, P.: Modelling of Probability Distribution with Maximum Entropy. In MENDEL ´01.7th International Conference on Soft Computing. Brno, 2001, pp. 232-239, ISBN 80-214-1894-X. 5. KARPÍŠEK, Z., JURÁK, P.: Estimate of Discrete Probability Distribution by Means of Hellinger Distance. In MENDEL ´02. 8th International Conference on Soft Computing. Brno, 2002, pp. 301-306, ISBN 80-214-2135-5. 6. JURÁK, P., KARPÍŠEK, Z.: Hellinger Quasinorm and Shannon Quasinorm in Ndimensional space. In MENDEL ´04. 10th International Conference on Soft Computing. Brno, 2004, pp. 210-215, ISBN 80-214-2676-4. 7. KARPÍŠEK, Z., SADOVSKÝ, Z., ŠÁCHA, J.: Pitman – Hellinger Test of Fit. In 4th International Conference APLIMAT 2005 (part II). Bratislava, 2005, pp. 471- 478, ISBN 80-969264-2-X. 8. KARPÍŠEK, Z., SADOVSKÝ, Z.: Fitování diskrétních rozdČlení pravdČpodobnosti. In Celostátní semináĜ Analýza dat 2005/II. LáznČ Bohdaneþ 2005, pp. 43-52, ISBN 80-2396552-2. 9. KARPÍŠEK, Z., JURÁK, P.: Estimate of Discrete Probability Distribution by Means of Pearson Quasinorm. In MENDEL ´05. 11th International Conference on Soft Computing. Brno, 2005, pp. 202-206, ISBN 80-214-2961-5. 10. KARPÍŠEK, Z.: F-divergence for Discrete Probability Distribution Estimation. (pĜipraveno k publikaci). 11. KALICH, D.: Odhady diskrétních rozdČlení pravdČpodobnosti. Diplomová práce. ÚM FSI VUT v BrnČ, 2006. Referát je souþástí Ĝešení projektu MŠMT ýeské republiky þís. 1M06047 „Centrum pro jakost a spolehlivost výroby CQR“ a grantového projektu GAýR reg. þ. 103/05/0292 „Optimalizace navrhování progresivních betonových konstrukcí”.
8.
NÁRODNÍ KONFERENCE
STATISTICKÉ DNY
V
BRNĚ, BRNO 27. - 28.
ČERVNA,
2006
