Entropie (opičí tým) M možných výsledků (x 1, x 2, x M ) jak přiřadit pravděpodobnosti jednotlivým výsledkům?

Entropie (opičí tým) • M možných výsledků (x1, x2, …xM) • jak přiřadit pravděpodobnosti jednotlivým výsledkům? • každou možnost reprezentujeme krabicí a náhodně do krabic rozházíme N mincí • pravděpodobnost i-tého výsledku:

pi 

ni N

(ni – počet v mincí v i-té krabici) M

• výsledkem ý jje M-tice ppravděpodobností: p (p1, p2, ... pM)

 p 1 i 1

i

• pokud to zopakujeme dostaneme jinou M-tici pravděpodobností • frekvence výskytu M-tice (p1, p2, ... pM):

F pi  

N! M N n1!n2!nM !

M

ln F  N ln M  ln N!  ln ni ! i 1

M

(Stirlingův vzorec: ln n! n ln n  n )

l F  N ln ln l M  N  pi ln l pi  konst. k tS i 1

Entropie (opičí tým) • M možných výsledků (x1, x2, …xM) • jak přiřadit pravděpodobnosti jednotlivým výsledkům? • každou možnost reprezentujeme krabicí a náhodně do krabic rozházíme N mincí n pi  i • pravděpodobnost i-tého výsledku: (ni – počet v mincí v i-té krabici) N • pokud víme, že jednotlivé možnosti nejsou stejně pravděpodobné, zvolíme různě velké krabice M

• pravděpodobnost, že mince padne do i-té krabice: mi • frekvence f k výskytu ý k t M-tice M ti (p ( 1, p2, ... pM): ) M

F pi  

m  1 i 1

i

N! m1n1 m2n2 mMnM n1!n2!nM ! (multinomické rozdělění)

M

l F  ln ln l N!  ln l ni !  ni ln l mi i 1

i 1

M

ln F   N  pi ln i 1

pi S mi

(S i li ů vzorec: ln (Stirlingův l n! n ln l nn )

Princip maximální entropie • entropie (Shannon 1948) M

S   pi ln pi i 1

• zobecněná entropie (Jaynes 1963) M p S   pi ln i mi i 1 S   px ln

S   px ln px dx

px dx mx

• princip maximální entropie: jako apriorní rozdělení bereme rozdělení s maximální entropií

m(x) Lebesqueova míra zaručuje invarianci entropie při transformaci x  y  hx

Princip maximální entropie • normalizační podmínka M

p S   pi ln i mi i 1

M

 p 1 i 1

i

• Lagrangeovy multiplikátory pi  M  F   pi ln  0 1   pi  mi i 1  i 1  M

pj F   ln 1  0  pj mj M

 p 1 i 1

i

p j  m j e10  p j  mj

0  1

po ud jsou všec pokud všechny y výs výsledky ed y stejně pravděpodobné

pj 

1 M

Princip maximální entropie • známe odhad střední hodnoty  M

p S   pi ln i mi i 1

M

M

 p 1 x p   i 1

i

i 1

i

i

• Lagrangeovy multiplikátory M pi  M    F   pi ln  0 1   pi   1    xi pi  mi i 1 i 1  i 1    M

pj F   ln 1  0  1x j  pj mj M

 p 1 i

i 1

0  1 px 

M

x p   i 1

i

i

p j  m j e10 e

1 

1



1





e

  1x j

x



Princip maximální entropie • známe odhad střední hodnoty a rozptylu 2 M

p S   pi ln i mi i 1

M

 pi  1 i 1

M

2   x   pi   2  i i 1

• Lagrangeovy multiplikátory pi  M   M  2 F   pi ln  0 1   pi   11   xi    pi  mi i 1  i 1   i1  M

pj F 2   ln 1  0  1 x j     pj mj M

 p 1 i 1

M

i

2 xi    pi   2 i 1

p j  m j e10 e

0  1 1 

1 2 2



 1 x j 

2

 x   2  1 px  exp 2  2  2   

Princip maximální entropie • entropie S   px ln l

procedura aktualizace informace:

px dx mx

pokud získáme novou hodnotu

• vazby f k x   f k x px dx,

k  1,2,K

• princip maximální entropie mx  K  px  expp  k f k x Z  k 1   K  Z   mx expp k f k x dx  k 1 

f j  x





exp   j f j x 1 přenásobit 1. ř á bit p(x) ( ) ffaktorem kt 2. renormalizovat p(x)

Metoda nejmenších čtverců a maximální věrohodnosti • Bayesův teorém f  DN  

PDN   f   PDN 

• věrohodnost L , DN   PDN   • pokud je f    konst. 

f  DN   L , DN 

metoda maximální věrohodnosti

• pokud k d známe á neurčitosti čit ti naměřených ěř ý h hodnot h d t  N  yi   f  DN   exp  2  2  i  1 i  

metoda nejmenších čtverců

Metoda nejmenších čtverců • bylo provedeno N měření veličiny  s různou přesností xi   i i  1,2,N • jaký je nejlepší odhad veličiny ? • princip maximální entropie

Gaussián

 1 N  x   2    f  xi , i   exp   i  2 i1   i   N

x 

xi

 i 1 N

1

 i 1

2 i 2 i



2

N  N 1

 i 1

f  xi , i  

N 2  2

 N   x exp 2 2 

2 i

0  x

  0

2 N

  2



Příklad – aktivační energie vzniku vakancí v Fe3Al • termodynamicky rovnovážná koncentrace vakancí  Sf cv T   exp  k

  Ef   exp     kT 

• Sf – formační entropie (změna entropie při vzniku vakance) • Ef – aktivační energie (energie potřebná pro vytvoření vakance) • Fe-Al (B2 fáze)

Al

F Fe

Příklad – aktivační energie vzniku vakancí v Fe3Al • Fe-Al (B2 fáze)

E f i   i i  1,2,N

Al

Literatura (PAS, DSC, HV,XRD, dilatometrie) 1.8

Fe

1.6

Ef 

Ef i

1.4

2 i

1.2

 i 1 N

1

 i 1

Ef (eV)

N

2 i

1.0 0.8

E  f



2

 1     2  N  i 1  i  N



1 2

0.6 0.4 0.2 30

35

40

45

Al content (at.%)

50

55

Příklad – aktivační energie vzniku vakancí v Fe3Al • Fe-Al (B2 fáze)

E f i   i i  1,2,N

Al

Literatura (PAS, DSC, HV,XRD, dilatometrie) 1.8

Fe

1.6

Ef 

Ef i

 i 1 N

1

 i 1

2 i

1.4

 0.783 eV

1.2

Ef (eV)

N

2 i

1.0 0.8

 1      2   i 1  i  N



1 2

 0.012 eV

0.6 0.4 0.2 30

35

40

45

Al content (at.%)

50

55

Příklad – aktivační energie vzniku vakancí v Fe3Al • Fe-Al (B2 fáze) • apriorní hustota pravděpodobnosti

 



f E f E f i , i 

Al



N 2  2

 NE  E f fi exp   2 2 

  2

 

35

Fe

30

Ef 

 i 1 N

f

2 i

1

 i 1

E

Ef i

25

 0.783 eV

2 i

N 1     2   i 1  i 

20

p (x)

N

15

1  2

10

 0.012 eV

5

0 0.65

0.70

0.75

0.80

Ef (eV)

0.85

0.90

Příklad – aktivační energie vzniku vakancí v Fe3Al • termodynamicky rovnovážná koncentrace vakancí  Sf cv T   exp  k

ln cv T   

  Ef   exp     kT 

kT



Sf k

•Arheniův Arheniův plot: ln cv vs. vs 1/kT

• věrohodnost ě h d t -9.0

10 0 -10.0

ln cv (att.-1)

2  Sf     y  E f xi     N  i k   1 LE f , S f DN   exp p    2 i 1  y2i     1 1  yi   i yi  ln cv,i xi  cv,i kTi

Ef

-11.0

-12.0

-13.0

-14.0 14 0 11

12

13

14 -1

1/kT (eV )

15

16

Příklad – aktivační energie vzniku vakancí v Fe3Al • termodynamicky rovnovážná koncentrace vakancí  Sf cv T   exp  k

  Ef   exp     kT 

ln cv T   

Ef kT



Sf k

1.4

• věrohodnost ě h d t 1.2

1.0

Sf (k)

2  Sf     y  E f xi     N  i k   1 LE f , S f DN   expp    2 i 1  y2i     1 1  yi   i yi  ln cv,i xi  cv,i kTi

0.8

0.6

• maximum Ef S f

xy  x y x2  x

E 

2

f

0.00 0 05 0.05 0.10 0.15 0.20

0.4

x2 N 0.2

y x2  xy x x2  x



2 y

2

S  k f

 y2 N

0.0 0.70

0.75

0.80

0.85

Ef (eV)

0.90

0.95

1.00

Příklad – aktivační energie vzniku vakancí v Fe3Al • termodynamicky rovnovážná koncentrace vakancí  Sf cv T   exp  k

  Ef   exp     kT 

ln cv T   

Ef kT



Sf k

1.4

• věrohodnost ě h d t 1.2

1.0

Sf (k)

2  Sf     y  E f xi     N  i k   1 LE f , S f DN   expp    2 i 1  y2i     1 1  yi   i yi  ln cv,i xi  cv,i kTi

0.8

0.6

• maximum E f  0.809  0.007 eV S f  0.10  0.09 k

0.00 0 05 0.05 0.10 0.15 0.20

0.4

0.2

0.0 0.70

0.75

0.80

0.85

Ef (eV)

0.90

0.95

1.00

Příklad – aktivační energie vzniku vakancí v Fe3Al • termodynamicky rovnovážná koncentrace vakancí  Sf cv T   exp  k

ln cv T   

  Ef   exp     kT 

E f  0.809  0.007 eV

Sf k

-9.0

10 0 -10.0

ln cv (att.-1)

• maximum

kT



•Arheniův Arheniův plot: ln cv vs. vs 1/kT

• věrohodnost ě h d t 2  Sf     y  E f xi     N  i k   1 LE f , S f DN   expp    2 i 1  y2i     1 1  yi   i yi  ln cv,i xi  cv,i kTi

Ef

-11.0

-12.0

-13.0

S f  0.10  0.09 k -14.0 14 0 11

12

13

14 -1

1/kT (eV )

15

16

Příklad – aktivační energie vzniku vakancí v Fe3Al • posteriorní hustota pravděpodobnosti f E f , S f DN   LE f , S f DN  f E f , S f 

• o Sf nevíme nic



 NE  E f f f E f , S f   exp p  2 2 

 Sf   y  E x   i f i k 1 N   f E f , S f DN   exp   2 i 1  y2i  

  2

2        exp  N E f  E f   2 2   

• marginální g hustota pravděpodobnosti: p p



 

  2

 

f E f DN    f E f , S f DN dS f

Příklad – aktivační energie vzniku vakancí v Fe3Al • marginální hustota pravděpodobnosti:

f E f DN    f E f , S f DN dS f

0.12

použita apriorní informace z literatury

0.10

Ef = (0.802 ± 0.006) eV

f (Ef)

0.08

0.06

0.04

žádné apriorní informace

Ef = (0.82 ± 0.02) eV

0.02

0.00 0.76

0.78

0.80

0.82

Ef (eV)

0.84

0.86

0.88

0.90

Zobecněná metoda nejmenších čtverců • pozorovatelné: y   y1, y2 , yJ 

J1

T

• teoretickýý model: • parametry:

y  yθ

• zpravidla M < J

θ  1,2 ,M 

T

M1

• apriorní p informace: T - odhad vektoru parametrů: ξ  1, 2 ,M  - kovarianční matice:

Ai, j  covi ,  j 

• apriorní hustota pravděpodobnosti: • posteriorní informace: - naměřená data:

• věrohodnost:

MM

 1  T f θ ξ, A  exp  ξ  θ A1 ξ  θ  2 

η  1,2 ,N 

- kovarianční matice:

M1

T

N1

Bi, j  covi , j 

NN

 1  T Pη yθ, B  exp  η  yθ B1 η  yθ  2 

Zobecněná metoda nejmenších čtverců • posteriorní hustota pravděpodobnosti: f θ η, B, ξ, A  Pη yθ, B f θ ξ, A 1  1  T T f θ η, B, ξ, A  exp  η  yθ B1 η  yθ  ξ  θ A1 ξ  θ 2  2 