BAB 2 MOMEN DAN ENTROPI

BAB 2 MOMEN DAN ENTROPI 2.1

Satu Peubah Acak (Univariat)

Misalkan diketahui suatu peubah acak X. Didefinisikan ekspektasi dari peubah acak X adalah sebagai berikut

⎧∑ xP ( X = x ) , X diskrit ⎪⎪ x E[ X ] = ⎨ ∞ ⎪ ∫ xf ( x ) dx, X kontinu ⎪⎩ -∞

(2.1)

dengan P(X=x) adalah fungsi massa peluang untuk X diskrit dan f(x) adalah fungsi padat

peluang

untuk

∑ x P ( X = x) < ∞ x

dan

X

kontinu.

∑ x f ( x) < ∞ .

Persamaan

(2.1)

mempunyai

syarat

Selanjutnya jika dibangun Y yaitu suatu

x

fungsi dari peubah acak X, dengan Y=g(X) maka ⎧∑ g ( x ) P ( X = x ) , X diskrit ⎪⎪ x E ⎡⎣ g ( X ) ⎤⎦ = ⎨ ∞ ⎪ ∫ g ( x ) f ( x ) dx, X kontinu ⎪⎩ - ∞

(2.2)

Khusus untuk g(X)= Xk disebut momen ke k dari peubah acak X yang dinotasikan dengan µk. Jadi, persamaan (2.1), ekspektasi X, E[X] tidak lain adalah momen pertama atau yang lebih dikenal sebagai rataan (mean).

5

BAB 2 MOMEN DAN ENTROPI

6

Selanjutnya jika g ( X ) = ( X − µ ) , dikenal sebagai momen terpusat ke k dan k

dinotasikan sebagai µ k' . Khusus untuk momen terpusat ke 2 ini, dikenal sebagai variansi, dinotasikan dengan σ2. Variansi ini dipakai sebagai ukuran penyebaran dari peubah acak. Untuk lebih jelas dapat dilihat pada Hogg dan Craig (2005, 55). Momen terpusat lain yang juga sering digunakan adalah a.

momen ketiga, skewness yang menyatakan kesimetrian distribusi, didefinisikan γ 1 =

b.

µ3 dan σ3

momen keempat, kurtosis yang menyatakan kelandaian atau kelancipan dari suatu distribusi, didefinisikan sebagai γ 2 =

µ4 σ4

⎧⎪− log P ( X = x ) , untuk X diskrit akan diperoleh suatu Kemudian, jika g ( X ) = ⎨ ⎪⎩ − log f ( x ) , untuk X kontinu

ukuran entropi yang merupakan ukuran ketidakpastian dari suatu peubah acak X dan dinotasikan H(X=x). Jadi entropi didefinisikan sebagai berikut :

⎧−∑ log ( P( X = x) ) P( X = x), X diskrit ⎪⎪ x H(X=x) = ⎨ ∞ ⎪ − ∫ log ( f ( x ) ) f ( x ) dx, X kontinu ⎪⎩ −∞

(2.3)

Mengingat definisi dari ekspektasi pada persamaan (2.1) maka entropi dari suatu peubah acak tidak lain adalah H(X=x)= E ⎡⎣ − log P ( X = x ) ⎤⎦

(2.4)

Jadi entropi dari peubah acak X tidak lain adalah ekspektasi dari –log fungsi peluang dari X sendiri. Perhatikan bahwa nilai dari entropi untuk peubah acak X

tidak

bergantung pada nilai-nilai dari peubah acak X (seperti yang terjadi di momen) melainkan pada peluang dari X.


7

Hal menarik dari entropi, karena diambil g ( X ) = − log ( P ( X = x ) ) maka untuk X yang diskrit, entropi H(X=x) bernilai non negatif. Sebaliknya untuk peubah acak kontinu, entropi dapat bernilai negatif atau positif. Entropi bernilai nol, H(X=x)= 0, jika dan hanya jika X berdistribusi degenerate, dengan p log p bernilai nol hanya jika p = 0.

Contoh 2.1

Entropi untuk peubah acak diskrit dengan fungsi massa peluang (fmp) ⎧ 26 − x , x = 1, 2,3, 4,5, 6 ⎪⎪ P ( X = x ) = ⎨ 64 ⎪ 1 , x=7 ⎪⎩ 64

dalam satuan meter. Fungsi Massa Peluang Contoh 1 3/5 1/2 P (X=x)

2/5 3/10 1/5 1/10 0 1

2

3

4

5

6

7

X (m eter)

Gambar 2.1 : Grafik Fungsi Massa Peluang

Dari grafik di atas terlihat bahwa peubah acak ini memiliki nilai peluang maksimum sebesar

32 semakin lama menuju ke nol. Berdasarkan persamaan (2.1) dan (2.2), 64


8

diperoleh rataan (momen 1) dan variansi (momen terpusat 1) masing-masing adalah sebagai berikut: 6

µ =∑x x =1

⎛

6

σ 2 = ⎜ ∑ x2 ⎝ x =1

26 − x 1 127 +7 = = 1,9844 meter dan 64 64 64

26 − x 1 ⎞ + 7 ⎟ − 1,98442 = 1, 7967 meter 2 64 64 ⎠

Sedangkan untuk entropi adalah 7

H(X=x) = −∑ log ( P ( X = x) ) P ( X = x) x =1

⎡ ⎛ 32 ⎞ 32 ⎛ 16 ⎞ 16 ⎛ 1 ⎞ 1⎤ = − ⎢log ⎜ ⎟ + log ⎜ ⎟ + ... + log ⎜ ⎟ ⎥ ⎝ 64 ⎠ 64 ⎝ 64 ⎠ 64 ⎦ ⎣ ⎝ 64 ⎠ 64

Jika diambil basis dari logaritma di atas adalah 2 maka nilai entropinya menjadi H(X=x) = −

2 63 = 1,9688 ⎡⎣16 ( −1) + 8 ( −2 ) + ... + ( −6 ) ⎤⎦ = 64 32

Sehingga µ = 1,9844 ; σ2 = 1,7967 dan H(X=x) = 1,9688. Untuk basis lain, dapat digunakan rumus perubahan basis log a x =

logb x . log a b

Dalam membicarakan suatu peubah acak, sering dibicarakan beberapa peubah acak secara bersamaan. Hal ini berguna karena peubah acak yang satu dapat bergantung dari peubah acak yang lain. Misalnya, didefinisikan suatu peubah acak baru Y=F(X), dengan F(.) adalah fungsi deterministik. Sehingga dengan mengetahui X berarti dapat diketahui pula nilai-nilai dari Y. Kedua peubah acak ini juga memiliki ukuran momen dan entropi dan dibahas pada sub bab berikut.

2.1

Momen dan Entropi Multivariat

Dalam praktek banyak observasi yang melibatkan lebih dari satu peubah acak. Untuk itu, momen dan entropi multivariat dapat dilihat sebagai berikut. Sebagai batasan


9

diambil dua peubah acak yang mempunyai keterkaitan maka dapat pula didefinisikan momen dan entropi dari dua peubah acak (bivariat) dengan syarat fungsi padat peluang gabungan diketahui. Misal X dan Y masing-masing peubah acak dengan fungsi peluang gabungan P(X=x,Y=y) untuk diskrit atau f(x,y) untuk kontinu. Perhatikan persamaan (2.2), maka untuk kasus bivariat momen didefinisikan sebagai berikut.

µ XY kl

⎧∑∑ x k y l P( X = x, Y = y ) , X dan Y diskrit ⎪⎪ y x = E ⎣⎡ X k Y l ⎦⎤ = ⎨ ∞ ∞ k l ⎪ ∫-∞ -∫∞ x y f ( x, y ) , X dan Y kontinu ⎪⎩

(2.5)

Terlihat di atas bahwa untuk X dan Y yang keduanya kontinu, akan muncul integral lipat. Sedangkan momen terpusat untuk X dan Y dituliskan dengan µ mn XY

⎧∑∑ ( x − µ X )m ( y − µY )n P ( X = x, Y = y ) , X dan Y diskrit ⎪ y x m n ⎪ = E ⎡( X − µ X ) (Y − µY ) ⎤ = ⎨ ∞ ∞ ⎣ ⎦ m n ⎪ ( x − µ X ) ( y − µY ) f ( x, y ) dxdy , X dan Y kontinu ⎪⎩ -∫∞ -∫∞

(2.6)

⎧−∑∑ log ( P( X = x, Y = y ) ) P( X = x, Y = y ), X dan Y diskrit ⎪⎪ x y H(X=x,Y=y) = ⎨ ∞ ∞ ⎪ − ∫ ∫ log ( f ( x, y ) ) f ( x, y )dxdy, X dan Y kontinu ⎪⎩ −∞ −∞ (2.7)

Terlihat bahwa dalam bivariat kontinu akan muncul integral lipat. Dalam hal ini menghitung tiga persamaan di atas menjadi tidak sesederhana seperti dalam kasus univariat (Sub Bab 2.1) di atas, khususnya persamaan (2.7), entropi untuk X dan Y kontinu. Entropi gabungan juga masih dapat dituliskan dalam ekspektasi yaitu H(X=x,Y=y) = − E X ⎡⎣ EY ⎡⎣ log ( P ( X = x, Y = y ) ) ⎤⎦ ⎤⎦

(2.8)


10

Sifat lain dari entropi gabungan dapat dilihat pada teorema berikut. Teorema 2.1

Untuk peubah –peubah acak, X dan Y maka entropi gabungan menjadi H(X=x,Y=y) ≤ H(X=x) + H(Y=y)

(2.9)

dan berlaku kesamaan jika dan hanya jika X dan Y adalah dua peubah acak yang saling bebas. Bukti : Sebagai bukti akan dipilih peubah acak diskrit, sedangkan untuk kasus kontinu, langkah-langkah yang dilakukan serupa tetapi menggunakan teknik pengintegralan. Pandang ruas kanan persamaan (2.9), maka berdasarkan definisi pada persamaan (2.3) maka ⎛

⎞

H(X=x)+H(Y=y) = − ⎜ ∑ log ( P( X = x) ) P( X = x) + ∑ log ( P(Y = y ) ) P(Y = y ) ⎟ ⎝

x

⎠

y

(2.10)

⎛ ⎞ = − ⎜ ∑∑log ( P( X = x)) P( X = x,Y = y) + ∑∑log ( P(Y = y)) P( X = x,Y = y) ⎟ y x ⎝ x y ⎠

(2.11)

dengan menggunakan sifat dari logaritma maka ⎛

⎞

H(X=x) + H(Y=y) = − ⎜ ∑∑ log ( P( X = x) P(Y = y ) ) P( X = x, Y = y ) ⎟ ⎝

x

y

(2.12)

⎠

Kemudian pandang ruas kiri persamaan (2.9), berdasarkan definisi entropi gabungan X dan Y maka H(X=x,Y=y) = − ∑∑ log ( P ( X = x, Y = y ) ) P ( X = x, Y = y ) x

y

dengan mengurangkan persamaan (2.13) terhadap persamaan (2.12) didapat H(X=x,Y=y)- H(X=x)- H(Y=y) ⎛ ⎞ ⎛ ⎞ 1 = ∑∑log ⎜ ⎟ P( X = x, Y = y) + ⎜ ∑∑log ( P( X = x)P(Y = y)) P( X = x, Y = y) ⎟ = = P X x Y y ( , ) x y ⎝ ⎠ ⎝ x y ⎠

(2.13)


11

⎛ P( X = x) P(Y = y) ⎞ = ∑∑ log ⎜ ⎟ P( X = x, Y = y) (sifat dari logaritma) x y ⎝ P ( X = x, Y = y ) ⎠

⎛ ⎞ ≤ log ⎜ ∑∑ P( X = x) P(Y = y ) ⎟ = log (1) =0 ⎝ x y ⎠ sehingga H(X=x,Y=y) ≤ H(X=x) + H(Y=y).

Selanjutnya akan dibahas entropi bagi X dan Y yang saling bebas, dengan fungsi peluang gabungan menjadi lebih sederhana.

2.2

Entropi Untuk Variabel-Variabel Yang Saling Bebas

Seperti yang telah disinggung pada bagian akhir Sub Bab 2.1, dalam distribusi bivariat dikenal istilah kebebasan yang didefinisikan sebagai berikut. Dua peubah acak X dan Y dikatakan saling bebas jika P(X=x,Y=y) = P(X=x)P(Y=y), untuk dua peubah acak diskrit f(x,y) = f(x)f(y) , untuk dua peubah acak kontinu

(2.14) (2.15)

Jika X dan Y independent (saling bebas), maka operator ekspektasi mempunyai sifatsifat

E [ X + Y ] = E [ X ] + E [Y ] dan E [ XY ] = E [ X ] E [Y ]

(2.16)

dan untuk variansi dari peubah acak gabungannya adalah

var ( X + Y ) = var ( X ) + var (Y ) dan var ( XY ) = var ( X ) var (Y )

(2.17)


12

Sifat kebebasan dua peubah acak juga dapat berlaku pada entropi. Mengingat sifat dari logaritma yaitu log (P(X=x)P(Y=y)) = log (P(X=x)) + log (P(Y=y)) maka untuk X dan Y saling bebas entropinya menjadi H(X=x,Y=y)= H(X=x)+ H(Y=y). Bukti sebagai berikut, dengan menggunakan definisi entropi pada kasus peubah acak diskrit pada persamaan (2.8) maka H(X=x,Y=y) = − ∑∑ log ( P ( X = x) P (Y = y ) ) P ( X = x) P (Y = y ) x

= −∑∑ ( log ( P( X = x) ) + log ( P(Y = y ) ) ) P( X = x) P(Y = y ) x

(2.18)

y

(2.19)

y

= −∑∑ log ( P ( X = x) ) P ( X = x) P (Y = y ) + log ( P (Y = y ) ) P ( X = x) P (Y = y ) (2.20) x

y

= −∑∑ log ( P ( X = x) ) P ( X = x) P(Y = y ) − ∑∑ log ( P(Y = y ) ) P (Y = y ) P ( X = x) (2.21) x

y

x

y

= − ∑ log ( P ( X = x ) ) P ( X = x)∑ P (Y = y ) − ∑ P ( X = x)∑ log ( P (Y = y ) )P (Y = y ) x

y

x

(2.22)

y

= − ∑ log ( P ( X = x) ) P ( X = x) − ∑ log ( P (Y = y ) ) P (Y = y ) x

y

(2.23)

= H(X=x) + H(Y=y)

(2.24)

Bukti serupa untuk peubah acak kontinu.

Dapat pula didefinisikan entropi marjinal untuk peubah acak diskrit X adalah H(X=x) = −∑ log ( P ( X = x) ) P( X = x)

(2.25)

x

= −∑∑ log ( P ( X = x) ) P ( X = x, Y = y ) x

(2.26)

y

Begitu pula dengan entropi marjinal untuk peubah acak diskrit Y yaitu H(Y=y) = −∑ log ( P (Y = y ) ) P (Y = y )

(2.27)

y

= − ∑∑ log ( P (Y = y ) ) P ( X = x, Y = y ) x

y

(2.28)


13

Kebebasan dari dua peubah acak juga dapat dihitung melalui entropi relatif dan informasi mutual yang dijelaskan pada Sub Bab 2.5. Kasus lain yang ditinjau yaitu jika dipunyai n peubah acak dituliskan sebagai X1,X2,...,Xn dan diasumsikan masingmasing peubah acak saling bebas mutual, maka H(X1, X2,..., Xn) = H(X1) + H(X2)+...+ H(Xn)

(2.29)

Contoh 2.2

Ukuran ini juga diterapkan pada kasus peubah acak diskrit, misalnya dua peubah acak X dan Y yang berdistribusi P ( X = x, Y = y ) =

( x + y) 30

, x = 0,1, 2,3 y = 0,1, 2

µ = 1,9844 , σ 2 = 1, 7967 dan H(X=x,Y=y) = 3,3523

Contoh 2.3

Untuk kasus distribusi kontinu, dapat dilihat contoh sebagai berikut. ⎧ x + y, 0 < x < 1, 0 < y < 1 f ( x, y ) = ⎨ ⎩ 0, x dan y lainnya dengan fungsi peluang marjinal masing-masing adalah ⎧⎛ ⎧⎛ 1⎞ 1⎞ 1 ⎪⎜ x + ⎟ , 0 < x < 1 dan ⎪⎜ y + ⎟ , 0 < y < 1 g ( x ) = ∫ ( x + y ) dy = ⎨⎝ h ( y ) = ∫ ( x + y ) dx = ⎨⎝ 2⎠ 2⎠ 0 0 ⎪0 ⎪0 , x lainnya , y lainnya ⎩ ⎩ 1

Rataan gabungan dari peubah acak tersebut adalah 1 1

1

0 0

0

⎛1 ⎝3

µ X ,Y = ∫ ∫ xy ( x + y ) dxdy = ∫ y ⎜ +

1 ⎞ 1 y ⎟dy = . 2 ⎠ 3

Untuk menghitung kovariansi, terlebih dahulu dicari mean untuk X dan Y yang diperoleh dari fungsi padat peluang marjinalnya yaitu 1

1 2

1

1 2

µX = ∫ x + dx = 1 , µY = ∫ y + dy = 1 , sehingga kovariansi X dan Y menjadi 0

0


14

1 1

1 1

0 0

0 0

σXY = ∫ ∫ ( x − µ X )( y − µY )( x + y ) dxdy = ∫ ∫ ( x − 1)( y − 1)( x + y ) dxdy =

1 6

Sedangkan entropi gabungan untuk fungsi peluang gabungan di atas adalah 1 1

H(X,Y)= − ∫ ∫ ln ( x + y )( x + y ) dxdy = -0,0909. 0 0

2.3

Momen dan Entropi Bersyarat

Seringkali ingin diketahui perilaku variabel X jika variabel Y dikontrol. Dalam teori peluang ini dinamakan dengan peluang bersyarat. Rataan bersyarat dari X diberikan Y = y adalah

⎧ ⎪∑ xP ( X = x Y = y ) , X dan Y peubah acak diskrit ⎪ x E ⎡⎣ X Y = y ⎤⎦ = ⎨ ∞ ⎪ ∫ xf ( x | y ) dx , X dan Y peubah acak kontinu ⎪⎩ −∞

(2.30)

Misal X dan Y menyatakan peubah acak yang mempunyai fungsi massa peluang (fpm) gabungan (bersama) P(X=x,Y=y), atau fungsi densitas peluang (fdp) f(x,y). Misal P(X=x), P(Y=y) fmp marjinal dari X dan Y, sedangkan f(x) dan f(y), fdp marjinal dari X dan Y.

Sehingga fmp bersyarat dari peubah acak Y, diberikan bahwa peubah acak diskrit

X = x adalah P(Y=y|X=x) maka P(X=x,Y=y)=P(X=x)P(Y=y|X=x)=P(Y=y)P(X=x|Y=y). Fdp bersyarat dari peubah acak Y, diberikan nilai bahwa peubah acak kontinu X = x adalah f(y|x) maka f(x,y)= f(x) f(y|x)= f(y) f(x|y). Untuk

fmp

marjinal

dari

X

dan

Y

masing-masing

sebagai

berikut

P ( X = x) = ∑ P ( X = x, Y = y ) dan P(Y = y ) = ∑ P ( X = x, Y = y ) . Sedangkan untuk y

x


15

peubah acak kontinu, peluang marjinal untuk X dan Y adalah f(x)= ∫ f ( x, y ) dy dan y

f(y)= ∫ f ( x, y ) dx . x

Momen yang sudah dikenal adalah mean dan variansi bersyarat dan didefinisikn 2 sebagai berikut. Jika ada, maka E ⎡⎣Y x ⎤⎦ adalah mean dan E ⎡⎢(Y − E [Y | x ]) ⎣

x ⎤⎥ ⎦

adalah variansi dari distribusi bersyarat dari Y, diberikan X = x, dapat dituliskan sebagai var(Y|x). Agar memudahkan dalam memahami, dinamakan mean bersyarat dan variansi bersyarat dari Y, diberikan X = x. Sehingga didapatkan var (Y | x ) = E ⎡⎣Y 2 | x ⎤⎦ − ( E [Y | x ])

2

(2.31)

Sedangkan untuk entropi bersyarat dari Y jika diberikan X = x dapat dituliskan sebagai H(Y|X=x) = −∑ log ( P (Y = y | X = x) ) P (Y = y | X = x) untuk setiap x. (2.32) y

Kemudian entropi bersyarat dari Y jika diberikan X dapat dituliskan sebagai H(Y=y|X=x) = ∑ P( X = x) H(Y|X=x) untuk setiap x.

(2.33)

x

= −∑ P ( X = x)∑ log ( P (Y = y | X = x) ) P (Y = y | X = x) x

y

= − ∑∑ log ( P (Y = y | X = x) ) P (Y = y | X = x)P ( X = x) x

y

= −∑∑ log ( P (Y = y | X = x) ) P ( X = x, Y = y ) x

y

= E ⎡⎣ − log ( P (Y = y | X = x ) ) ⎤⎦

(2.34)

Rumus ini juga berlaku untuk X dan Y peubah acak kontinu. Tentu saja menarik jika ada keterkaitan antara peubah acak yang satu dengan yang lain. Apabila kedua peubah acak tidak saling bebas maka entropi bersyarat juga dapat dihitung melalui


16

aturan rantai menggunakan entropi gabungan kedua peubah acak dengan fungsi padat peluang gabungan dan marjinal, diketahui P(X=x) atau f(x) yaitu H(Y=y|X=x) = H(X=x,Y=y) - H(X=x)

Bukti : H(X=x|Y=y) = −∑∑ log ( P ( X = x | Y = y ) ) P ( X = x | Y = y ) P ( X = x) x

y

⎛ P ( X = x, Y = y ) ⎞ = −∑∑ log ⎜ ⎟ P ( X = x, Y = y ) , p X ( x ) > 0 P( X = x) ⎠ x y ⎝ = − ∑∑ ( log ( P ( X = x, Y = y ) ) − log ( P ( X = x) ) ) P ( X = x, Y = y ) x

y

= −∑∑ log ( P( X = x, Y = y) ) P( X = x, Y = y) + ∑∑ log ( P( X = x) ) P( X = x, Y = y) x

y

x

y

= H(X=x,Y=y) + ∑ log ( P ( X = x) ) P ( X = x) x

= H(X=x,Y=y) - H(X=x) Sifat ini berlaku simetris sehingga H(X=x,Y=y) = H(Y=y|X=x) + H(X=x) = H(X=x|Y=y) + H(Y=y). Akibat dari sifat tersebut maka H(X=x|Y=y)≤ H(Y=y),

berlaku kesamaan jika dan hanya jika X dan Y saling bebas. Interpretasi entropi bersyarat dari Y jika diberikan peubah acak X adalah rata-rata informasi yang dibutuhkan untuk menentukan observasi khusus dari Y

dengan diberikan telah

mempunyai observasi X. Sebagai catatan, H(Y=y|X=x) ≠ H(X=x|Y=y).

Selanjutnya, akan dibahas entropi untuk kasus tiga peubah acak. Misalkan terdapat tiga peubah acak X, Y dan Z dengan distribusi peluang masing-masing diketahui maka entropi gabungannya adalah


H(X=x,Y=y,Z=z)

17

⎧−∑∑∑ log ( P ( X = x, Y = y, Z = z ) ) P ( X = x, Y = y, Z = z ), X , Y dan Z diskrit ⎪⎪ x y z =⎨ ∞ ∞ ∞ ⎪ − ∫ ∫ ∫ log ( f ( x, y, z ) ) f ( x, y, z ) dxdydz, X , Y dan Z kontinu ⎪⎩ −∞ −∞ −∞

(2.35)

Pada kasus tiga peubah acak ini dapat pula didefinisikan entropi marjinal untuk peubah acak diskrit X, Y dan Z adalah H(X=x) = −∑∑∑ log ( P ( X = x ) ) P ( X = x, Y = y, Z = z )

(2.36)

H(Y=y) = −∑∑∑ log ( P (Y = y ) ) P ( X = x, Y = y, Z = z )

(2.37)

H(Z=z) = −∑∑∑ log ( P ( Z = z ) ) P ( X = x, Y = y, Z = z )

(2.38)

x

y

x

x

y

y

z

z

z

Selain itu, dapat juga dituliskan entropi bersyarat dan entropi gabungan X dan Y sebagai berikut H(X=x|Y=y) = −∑∑∑ log ( P ( X = x | Y = y ) ) P ( X = x, Y = y, Z = z )

(2.39)

H(X=x,Y=y) = −∑∑∑ log ( P ( X = x, Y = y ) ) P ( X = x, Y = y, Z = z )

(2.40)

x

y

x

y

z

z

Entropi bersyarat dari X dan Y jika diberikan Z adalah H(X=x,Y=y|Z=z) = ∑ P ( Z = z ) H(X,Y|Z=z)

(2.41)

z

= −∑∑∑ log ( P ( X = x, Y = y | Z = z ) ) P ( X = x, Y = y, Z = z ) x

y

z

sedangkan entropi bersyarat dari X jika diberikan Y dan Z dituliskan H(X=x|Y=y,Z=z) = −∑∑ P (Y = y , Z = z ) H(X|Y=y,Z=z) (2.42) y

z

= −∑∑∑ log ( P ( X = x | Y = y, Z = z ) ) P ( X = x, Y = y, Z = z ) x

y

z

Jika pada peubah acak diskrit terdapat tiga penjumlahan maka untuk peubah acak kontinu, digunakan integral lipat tiga.


18

Contoh 2.4 (Hogg and Craig,2005, 122)

Pada contoh ini diberikan distribusi tiga peubah acak ⎧2( x + y + z) , 0 < x < 1, 0 < y < 1, 0 < z < 1 ⎪ f ( x, y , z ) = ⎨ 3 ⎪ x,y,z lainnya 0, ⎩ Distribusi peluang dan entropi marjinal untuk X adalah 1 1

f ( x) = ∫ ∫

2( x + y + z) 3

0 0

d ydz =

2 ( x + 1) dan 3

7 1 ⎛2 ⎞2 H(X=x)= − ∫ ln ⎜ ( x + 1) ⎟ ( x + 1)dx = − ln ( 2 ) + ln ( 3) + = - 0,0187 3 2 ⎝3 ⎠3 0 1

Sedangkan distribusi peluang dan entropi marjinal untuk Y dan Z yaitu f ( y) =

2 2 ( y + 1) , f ( z ) = ( z + 1) , H(Y=y)= - 0,0187 dan H(Z=z)= - 0,0187 3 3

Entropi gabungan untuk X, Y dan Z

⎛ 2( x + y + z) ⎞ 2( x + y + z) dxdydz H(X=x,Y=y,Z=z)= − ∫ ∫ ∫ ln ⎜ ⎟ 3 3 0 0 0 ⎝ ⎠ 1 1 1

=

1 5 13 = - 0,0588 ln ( 2 ) − ln ( 3) + 3 4 12

Fungsi gabungan Y dan Z bersyarat pada X=x0 adalah sebagai berikut 2 ( x0 + y + z ) (x + y + z) 3 f ( y, z | x0 ) = = = 0 2 f ( x0 ) ( x0 + 1) ( x0 + 1) 3 ⎧ x0 ( y + z ) , 0 < y < 1 dan 0 < z < 1 + ⎪ = ⎨ x0 + 1 x0 + 1 ⎪ 0 , y dan z lainnya ⎩ f ( x0 , y, z )

Terlihat bahwa fungsi ini merupakan penjumlahan suatu konstanta dengan rasio peubah acak Y dan Z dengan suatu konstanta. Sehingga entropi gabungan Y dan Z bersyarat pada X=x0 adalah


19

1 1 1

H(Y=y,Z=z|X=x) = − ∫ ∫ ∫ ln ( f ( y, z | x ) ) f ( x, y, z ) dxdydz 0 0 0

⎛ x + y + z ⎞ 2( x + y + z) dxdydz = − ∫ ∫ ∫ ln ⎜ ⎟ 3 ⎝ x +1 ⎠ 0 0 0 1 1 1

2 ⎛ x+ y+z⎞ ln ⎜ ⎟ ( x + y + z ) dxdydz ∫ ∫ ∫ 3 0 0 0 ⎝ x +1 ⎠ 1 1 1

=−

= - 0,04016 dengan H(Y=y,Z=z|X=x)=H(X=x,Z=z|Y=y)= H(X=x,Y=y|Z=z)=-0,04016. Fungsi gabungan X bersyarat pada Y dan Z adalah sebagai berikut f ( x0 | y, z ) =

f ( x0 , y, z ) 1

∫

f ( x, y, z ) dx

=

0

=

( x0 + y + z ) ,

⎛1 ⎞ ⎜ + y + z⎟ ⎝2 ⎠

2 ( x0 + y + z ) 3 1

2 ( x + y + z ) dx 3 ∫0

0 < y < 1 dan 0 < z < 1

Dari kasus dua dan peubah acak di atas, dapat diperumum untuk k peubah acak (multivariat). Entropi dari k peubah acak dapat dituliskan sebagai H(X1=x1,X2=x2,…,Xk=xk) ⎧−∑∑ ...∑ log ( P ( X 1 = x1 , X 2 = x2 ,..., X k = xk ) ) P ( X 1 = x1 , X 2 = x2 ,..., X k = xk ), peubah acak diskrit ⎪⎪ x1 x2 xk =⎨ ∞ ∞ ∞ ⎪ − ∫ ∫ ... ∫ log ( f ( x1 , x2 ,..., xk ) ) f ( x1 , x2 ,..., xk ) dx1dx2 ...dxk , peubah acak kontinu ⎪⎩ −∞ −∞ −∞

(2.43)

2.4

Entropi Relatif dan Informasi Mutual

Konsep umum dari entropi adalah entropi relatif yang dikenal juga dengan Kullback Leibler

distance

atau

cross

entropy.

Entropi

relatif

dinotasikan

dengan


20

D ( p r ) adalah suatu ukuran jarak antara dua distribusi dan ukuran keadaan dari

mengasumsikan bahwa distribusinya adalah r padahal distribusi sebenarnya adalah p.

Definisi 2.1 : Entropi relatif atau Kullback Leibler distance dari dua fmp, p(x) dan

r(x) didefinisikan sebagai D ( p r ) = ∑ p ( x ) log x∈Χ

p ( x)

⎡ p( X )⎤ =E p ⎢log ⎥ r ( x) r ( X ) ⎥⎦ ⎢⎣

(2.44)

Sifat-sifat dari entropi relatif 1. bernilai non negatif 2. D ( p r ) = 0 jika dan hanya jika p = r Entropi relatif bersyarat dari dua distribusi adalah

(

)

D p ( x2 | x1 ) r ( x2 | x1 ) = ∑ p ( x1 )∑ p ( x2 | x1 ) log x1

(

)

x2

(

(

)

p ( x2 | x1 )

(2.45)

r ( x2 | x1 )

D p ( x2 , x1 ) r ( x2 , x1 ) = D p ( x1 ) r ( x1 ) + D p ( x2 x1 ) r ( x2 x1 )

)

(2.46)

Konsep lain yang dapat digunakan untuk melihat hubungan dari dua distribusi peluang adalah informasi mutual dan didefinisikan sebagai berikut. Misalkan dua peubah acak, X dan Y dengan fungsi peluang gabungannya, p(x,y) dan fmp marjinal adalah p(x) dan p(y).

Definisi 2.2 : Untuk peubah acak diskrit, informasi mutual didefinisikan sebagai I(X ; Y ) = ∑∑ p ( X = x, Y = y ) log x

y

(

p ( X = x, Y = y )

p ( X = x ) p (Y = y )

= D p ( X = x, Y = y ) p ( X = x ) p ( Y = y )

)

⎡ p ( X ,Y ) ⎤ = E p( x , y ) ⎢log ⎥ p ( X ) p (Y ) ⎥⎦ ⎢⎣

sedangkan untuk peubah acak kontinu, dituliskan sebagai

(2.47)


21

I(X ; Y ) = ∑∑ f ( x, y ) log x

y

(

f ( x, y )

f ( x) f ( y)

= D f ( x, y ) f ( x ) f ( y ) Informasi mutual, I(X;Y),

)

(2.48)

merupakan ukuran kebebasan, yaitu informasi mutual

bernilai nol jika dan hanya jika dua peubah acak saling bebas. Entropi dan informasi mutual mempunyai hubungan sebagai berikut I ( X ; Y ) = ∑∑ P( X = x, Y = y ) log x

y

= ∑∑ P( X = x, Y = y ) log x

y

P ( X = x, Y = y ) P( X = x) P(Y = y ) P( X = x | Y = y ) P( X = x)

= −∑ P( X = x, Y = y ) log P( X = x) + ∑ P( X = x, Y = y ) log P( X = x | Y = y ) x, y

x, y

⎛ ⎞ = −∑ P( X = x) log P( X = x) − ⎜ −∑ P( X = x, Y = y ) log P( X = x | Y = y ) ⎟ x ⎝ x, y ⎠

= H(X=x)- H(X=x|Y=y) Begitu pula dengan informasi mutual, I ( X ; Y ) =I (Y ; X ) = H(Y=y) - H(Y=y|X=x). Sehingga dapat dituliskan hubungan-hubungan, I (X;Y) = H(X=x) – H(Y=y) = H(Y=y) - H(Y=y|X=x) = H(X=x) + H(Y=y) - H(X=x,Y=y) = I (Y;X) dan I (X;X) = H(X=x). Sebagai suatu ukuran, dikenal juga informasi mutual bersyarat yang didefinisikan sebagai I (X;Y | Z) = I ((X;Y) | Z) = H(X=x|Z=z) - H(X=x|Y=y,Z=z)

(2.49)

Sebagai catatan, penulisan entropi pada bab ini dibedakan dengan entropi untuk proses stokastik rantai Markov pada Bab 4 karena entropi pada matriks peluang transisi dilihat sebagai entropi perbaris. Untuk lebih jelas, akan dibahas pada bab 4.

BAB 2 MOMEN DAN ENTROPI

Recommend Documents