BAB 3 ENTROPI DARI BEBERAPA DISTRIBUSI Untuk lebih memahami mengenai entropi, pada bab ini akan diberikan perhitungan entropi untuk beberapa distribusi diskrit dan kontinu. 3.1
Distribusi Diskrit
Pada sub bab ini dibahas rataan, variansi dan entropi dari beberapa distribusi baik diskrit maupun kontinu. a. Geometri (p) Misalkan X menyatakan peubah acak yang berdistribusi Geometri dengan parameter (p) dan fungsi densitas peluang ⎧⎪ p (1 − p )k −1 , k = 1, 2,... P(X = k) = ⎨ , k lainnya ⎪⎩ 0 ∞
Rataan : µ = ∑ kp (1 − p )
k −1
k =0
=
1 p
(1- p ) ⎛ 1⎞ k −1 Variansi : σ = ∑ ⎜ k − ⎟ p (1 − p ) = p2 p⎠ k =0 ⎝ 2
2
∞
n
(
Entropi: H(X=x) = ∑ log p (1 − p ) k =0
k −1
23
) p (1 − p )
k −1
= − log p −
1− p log (1 − p ) p
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
24
Pada distribusi geometri ini, entropi dapat mudah dihitung seperti halnya menghitung rataan dan variansinya dengan entropi ini berlaku untuk p∈ (0,1). Tabel perhitungan entropi untuk distribusi geometri dengan beberapa nilai p, (dengan basis dua) ditampilkan di bawah ini. p
H 0,1 4,6900 0,2 3,6096 0,3 2,9376 0,4 2,4274 0,5 2,0000 0,6 1,6183 0,7 1,2590 0,8 0,9024 0,9 0,5211 Tabel 3.1 : Entropi distribusi Geometri (p) Entropi distribusi Geometri (p ) 5 4.5 4
H
3.5 3 2.5 2 1.5 1 0.5 0 0
0.1
0.2
0.3
0.4
0.5 p
0.6
0.7
0.8
0.9
1
Gambar 3.2 : Grafik entropi untuk distribusi Geometri (p) Terlihat dari tabel 3.1 dan gambar 3.1 bahwa untuk 0
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
25
a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi Binomial dengan parameter (n,p) dan fungsi padat peluang
⎧⎛ n ⎞ k n−k ⎪⎜ ⎟ p (1 − p ) , k = 0,1, 2,..., n P ( X = k ) = ⎨⎝ k ⎠ ⎪ 0 , k lainnya ⎩ n
n! n−k p k (1 − p ) k !( n − k ) !
µ = ∑k Rataan :
k =0
( n − 1)! p k −1 1 − p n−k = np ( ) k =1 ( k − 1) !( n − k ) ! n
= np ∑ n
Variansi : σ 2 = ∑ ( k − np ) k =0
2
n! n−k p k (1 − p ) = np (1 − p ) k !( n − k ) !
n ⎛⎛ n⎞ ⎞⎛ n⎞ Entropi: H(X=x) = ∑ log ⎜ ⎜ ⎟ p k (1 − p)n − k ⎟ ⎜ ⎟ p k (1 − p )n −k k =0 ⎝⎝k ⎠ ⎠⎝ k ⎠ n ⎛n⎞ ⎛n⎞ = ∑ ⎜ ⎟ p k (1 − p ) n − k log ⎜ ⎟ − np log( p ) − n(1 − p) log(1 − p) k =0 ⎝ k ⎠ ⎝k ⎠
Entropi dari distribusi binomial ini mempunyai bentuk yang cukup rumit karena dibutuhkan perhitungan logaritma dari kombinasi (n,k) berbeda dengan mean dan variansinya. Oleh karena itu, penggunaan software seperti Maple akan lebih memudahkan mencari entropinya. Di gambar berikut ditampilkan entropi untuk beberapa p dengan n sebesar 50 kali.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
Entropi Distribusi Binomial (n,p ) 120 100
p=0,03
H
80
p=0,25
60 p=0,5
40
p=0,6
20
p=0,99
0 0
10
20
30 n
40
50
60
Gambar 3.3 : Grafik entropi untuk distribusi binomial
Dari grafik di atas, terlihat bahwa n≥20 tapi proporsi, p berbeda, entropi semakin nyata perbedaannya. Dapat dikatakan bahwa untuk n≥20 tersebut, entropi binomial mendekati distribusi kontinu. Untuk p=0,25 dan p=0,6 semakin jauh letaknya untuk n≥20.
Selain itu, ingin dilihat pula pengaruh kenaikan proporsi peluang terhadap entropi. Pada distribusi binomial ini, dapat dilihat bahwa untuk parameter n yang semakin tinggi sedangkan peluang sukses, p tetap maka entropi dari distribusi binomial ini juga akan berubah menjadi semakin tinggi.
26
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
27
Sebagai perbandingan, parameter n ditetapkan sebesar 20 sedangkan proporsi peluangnya meningkat maka hasil perhitungan dapat dilihat pada tabel di bawah ini. p
0,1
0,15
0,2
0,25
0,3
0,35
0,4
0,45
0,5
H 16,3547 21,7038 26,0086 29,4606 32,1750 34,2258 35,6608 36,5108 36,7923
p
0,55
0,6
0,65
0,7
0,75
0,8
0,85
0,9
H 36,5108 35,6608 34,2258 32,1750 29,4606 26,0086 21,7038 16,3547 Tabel 3.4 : Entropi untuk distribusi binomial untuk n=20
Hasil perhitungan di atas digambarkan dalam grafik berikut. Entropi Binomial (p ; n=20) 40.00 37.00 34.00 31.00 H
28.00 25.00 22.00 19.00 16.00 13.00 10.00 0
0.2
0.4
0.6
0.8
1
p
Gambar 3.5 : Grafik entropi binomial untuk n=20
Dari tabel dan grafik di atas dapat dikatakan bahwa untuk proporsi peluang, 0
BAB 3 ENTROPI DARI BEBERAPA DISTRIBUSI
27
n
7 5,0036 8,048 10,0403 11,1811 11,5534
8 5,8379 9,3863 11,7016 13,0245 13,4558
9 6,6827 10,7373 13,3754 14,88 15,3701
10 7,5363 12,0986 15,0592 16,7449 17,2936
11 12 13 14 15 16 17 p 0,1 8,3973 9,2647 10,1376 11,0152 11,8971 12,7827 13,6716 0,2 13,4683 14,8448 16,2271 17,6143 19,0056 20,4006 21,7987 0,3 16,7508 18,4489 20,1524 21,8604 23,5724 25,2877 27,0059 0,4 18,6173 20,4959 22,3797 24,2678 26,1597 28,0548 29,9528 0,5 19,2245 21,1615 23,1036 25,0499 27,0001 28,9535 30,9096 Tabel 3.6 : Entropi untuk distribusi Binomial (n,p) dengan 2 sebagai basis logaritma
18 14,5634 23,1997 28,7267 31,8533 32,8684
19 15,4578 24,603 30,4498 33,7561 34,8293
20 16,3547 26,0086 32,175 35,6609 36,7923
p
0,1 0,2 0,3 0,4 0,5
1 0,4689 0,7219 0,8813 0,9709 1
2 1,1179 1,7639 2,1826 2,4219 2,5
3 1,8349 2,9266 3,6424 4,0542 4,1887
4 2,592 4,1552 5,1835 5,7756 5,9694
5 3,3768 5,4259 6,7735 7,5484 7,8018
6 4,1822 6,7262 8,3956 9,3536 9,6666 n
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
28
b. Poisson (λ) Misalkan X menyatakan peubah acak yang berdistribusi Poisson dengan parameter (λ) dan fungsi padat peluang, ⎧ e−λ λ k , k = 0,1, 2,... ⎪ P( X = k) = ⎨ k! ⎪ 0 , k lainnya ⎩
Rataan : µ =
∞
∑k k =0
∞ e−λ λ k λ k −1 =λ = e−λ λ ∑ k! k =1 ( k − 1) !
∞
Variansi : σ 2 = ∑ ( k − λ ) k =0
2
e−λ λ k =λ k!
∞ λ k log k ! ⎛ e− λ λ k ⎞ e− λ λ k ( ) −λ Entropi : H(X=x) = ∑ log ⎜ = λ (1 − log λ ) + e ∑ ⎟ k! k =0 k =0 ⎝ k! ⎠ k!
∞
Entropi untuk distribusi Poisson mempusnyai kerumitan dalam perhitungan yang tidak sederhana dan memerlukan analisis yang lebih kuat.
3.1
Distribusi Kontinu
a. Uniform (a,b) Misalkan X menyatakan peubah acak yang berdistribusi uniform dengan fungsi distribusi,
⎧ 1 ,a< x
Rataan : µ = ∫ x a
1 a+b dx = 2 b−a
⎛b ⎞ ⎛ a + b ⎞2 1 1 2 Variansi : σ 2 = ⎜ ∫ x 2 dx ⎟ − ⎜ ⎟ = (b − a ) ⎝ a b − a ⎠ ⎝ 2 ⎠ 12
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
29
b
1 ⎛ 1 ⎞ ln ⎜ ⎟ dx b − a b − a ⎝ ⎠ a
Entropi: H(X=x) = − ∫
⎛ 1 ⎞ = − ln ⎜ ⎟ = ln ( b − a ) ⎝b−a⎠
Dari perhitungan tersebut, entropi untuk distribusi uniform hanya ditentukan oleh lebar intervalnya. b. Normal N(α,β2) Misalkan X menyatakan peubah acak yang berdistribusi normal dengan parameter (α,β2) dan fungsi padat peluang, ⎛ ( x − α )2 ⎞ 1 ⎟ , -∞ < x < ∞ f ( x) = exp ⎜ − ⎜ 2β 2 ⎟ β 2π ⎝ ⎠
Rataan : µ =
⎛ ( x − α )2 ⎞ 1 ∫−∞ x β 2π exp ⎜⎜ − 2β 2 ⎟⎟ dx = α ⎝ ⎠ ∞
Variansi : σ 2=
∞
∫ ( x −α )
−∞
2
⎛ ( x − α )2 ⎞ 2 1 ⎟ dx = β exp ⎜ − 2 ⎜ ⎟ 2β β 2π ⎝ ⎠
Untuk menghitung entropi dari distribusi-distribusi kontinu, digunakan basis logaritmanya adalah e sehingga ∞
1 ⎛ x −α ⎞ ⎟ β ⎠
− ⎜ 1 Entropi : H(X=x) = − ∫ e 2⎝ −∞ β 2π
=
(
2
1 ⎛ x −α ⎞ ⎛ − ⎜ ⎟ 1 ⎜ log e 2⎝ β ⎠ ⎜ β 2π ⎝
2
⎞ ⎟dx ⎟ ⎠
)
1 1 2 1 + ln ( 2πβ ) = + ln ( 2πβ ) 2 2
Entropi dari distribusi normal tidak bergantung pada nilai mean melainkan pada standar deviasi. Apabila digambarkan dalam kurva maka entropi untuk distribusi normal meningkat untuk standar deviasi yang meningkat, dengan mean yang sama.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
30
Gambar 3.7 : Grafik entropi distribusi Normal
Untuk lebih memperjelas, diambil contoh kasus distribusi Normal dengan mean tetap yaitu 7, tetapi variansi meningkat. Hasilnya ditabelkan seperti di bawah ini.
β2
0,00001
0,0001
0,001
0,0625
0,125
0,25
H
-3,4186
-2,2673
-1,1160
0,9516
1,2982
1,6447
β2
0,5
1
2
4
6
8
H
1,9113
2,3379
2,6845
3,0310
3,2338
3,3776
Tabel 3.8 : Hasil perhitungan entropi distribusi normal
Dari tabel di atas dapat dilihat bahwa untuk variansi yang meningkat maka nilai entropi juga meningkat. Entropi distribusi normal akan bernilai negatif untuk variansi yang cukup kecil. Grafik yang didapat juga tampak seperti pada Gambar 3.5.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
31
c. Gamma (θ,α) Fungsi padat peluang dari distribusi Gamma adalah ⎧ θ −1 − αx ⎪⎪ x e , x > 0 f ( x ) = ⎨ Γ (θ ) α θ ⎪ ⎪⎩ 0 , x lainnya −
∞
x
1 xθ −1e α dx = Rataan : µ = ∫ x θ Γ (θ ) α Γ (θ ) α θ −∞ Variansi : σ 2 =
−
∞
∫ ( x − αθ )
−∞
2
∫
−
x
xxθ −1e α dx =
−∞
αΓ (θ + 1) = θα Γ (θ )
(3.2)
x
xθ −1e α dx = θα 2 Γ (θ ) α θ
⎛ θ −1 − αx x e Entropi : H(X=x) = − ∫ ln ⎜ ⎜ Γ (θ ) α θ ⎜ 0 ⎝ ∞
∞
(3.1)
(3.3)
⎞ θ −1 − αx ⎟ x e dx ⎟ Γ (θ ) α θ ⎟ ⎠
(3.4)
= θ + ln (αΓ (θ ) ) + (1 − θ )ψ (θ )
dengan ψ ( k ) adalah fungsi digamma, ψ (θ ) =
Γ ' (θ ) Γ (θ )
(3.5)
.
Pada distribusi Gamma, rataan dan variansi dapat dihitung dengan mudah, sedangkan pada entropinya muncul fungsi digamma. Hal ini menjadi lebih sulit karena diperlukan turunan dari fungsi gamma, terlebih untuk α bukan bilangan bulat.
Kasus khusus dari distribusi Gamma adalah distrbusi eksponensial. Untuk mendapatkan distribusi eksponensial, ditetapkan θ =1 pada persamaan (3.6), sehingga fungsi padat peluangnya menjadi ⎧ − αx ⎪e f ( x) = ⎨ α , x > 0 ⎪ ⎩0 , x lainnya
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
Rataan : µ =
∞
∫
x
e
−∞
Variansi : σ 2 =
−
x
α
α
dx =
∞
∫ ( x −α )
2
∞
1
∫
α e
−
x
α
dx =
⎛ −αx e Entropi : H(X=x) = −∫ ln ⎜ ⎜ α ⎜ α 0 ⎝ ∞
e
−
1
λ
∞
∫e 0
1
α
∞
∫ ( x −α )
2
−
x
e α dx = α2
−∞
⎞ ⎟dx ⎟ ⎟ ⎠
x
α
=−
x
xe α dx = α
−∞
α
−∞
−
32
−
x
α
⎛ ⎛ −αx ⎜ ln ⎜ e ⎝ ⎝
⎞ ⎞ ⎟ − ln (α ) ⎟dx = 1 + ln (α ) ⎠ ⎠
Entropi untuk distribusi eksponensial ini akan menjadi negatif untuk α yang kecil, seperti dapat terlihat pada grafik.
Gambar 3.9 : Grafik entropi distribusi eksponensial
Kasus lain dari distribusi Gamma yaitu distribusi chi kuadrat yang diperoleh dengan θ =
r dan α = 2 sehingga persamaan (3.6) menjadi 2 r x −1 − ⎧ 1 2 2 x e , 0< x<∞ ⎪ f ( x ) = ⎨ Γ ( r / 2 ) 2r / 2 ⎪ 0 , x lainnya ⎩
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
Rataan : µ =
∞
∫
x
−∞
Variansi : σ ² =
r x −1 − 1 1 2 2 x e dx = r/2 Γ ( r / 2) 2 Γ ( r / 2 ) 2r / 2
∞
∫ (x − r)
−∞
r
2
∞
∫
r
−1 −
33
x
xx 2 e 2 dx = r
−∞
r x −1 − 1 2 2 x e dx = 2r Γ ( r / 2 ) 2r / 2
⎛
⎛ r ⎞⎞ ⎛
r⎞ ⎛r⎞
Γ '(a)
Entropi : H(X=x) = + ln ⎜ 2Γ ⎜ ⎟ ⎟ + ⎜ 1 − ⎟ψ ⎜ ⎟ , dengan ψ ( a ) = . 2 Γ (a) ⎝ ⎝ 2 ⎠⎠ ⎝ 2 ⎠ ⎝ 2 ⎠ Perhitungan entropi untuk beberapa r dapat dilihat pada lampiran. r
H
2
1,6931
3
2,0541
4
2,2703
5
2,4231
6
2,5227
7
2,6362
8
2,7165
9
2,7858
10
2,8467
Tabel 3.10 : Perhitungan entropi untuk distribusi chi kuadrat
Pada tabel tersebut, untuk nilai derajat kebebasan (r) yang semakin meningkat maka entropi untuk peubah acak chi-kuadrat ini juga meningkat. Untuk lebih jelasnya akan digambarkan dalam grafik seperti berikut.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
34
Entropi khi kuadrat 3.0
H
2.5 2.0 1.5 1.0 0
2
4
6
8
10
12
r
Gambar 3.11 : Grafik entropi untuk distribusi chi kuadrat (r)
Dari grafik, entropi pada distribusi chi kuadrat akan meningkat dengan derajat kebebasan yang meningkat pula. Hal ini dapat dilihat karena informasi yang terkandung juga semakin banyak.
c. Pareto (α,θ) Distribusi Pareto sering digunakan untuk bidang-bidang yang berhubungan dengan sosial, asuransi, geofisika dan sains. Salah satu contohnya adalah frekuensi kata-kata untuk teks yang panjang, di mana kata-kata pendek sering digunakan dan kata yang panjang jarang digunakan. Fungsi padat peluang dari distribusi Pareto dituliskan ⎧ αθ α ,x>0 ⎪ α +1 f ( x) = ⎨ ( x +θ ) ⎪ , x lainnya ⎩0
Rataan : µ =
∞
∫
−∞
x
αθ α θ dx = α +1 α −1 ( x +θ )
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
∞
θ ⎞ ⎛ Variansi : σ ² = ∫ ⎜ x − α − 1 ⎟⎠ −∞ ⎝
2
35
αθ α θ 2α dx = α +1 2 ( x +θ ) (α − 1) (α − 2 )
∞ ⎛ αθ α ⎞ αθ α ⎟ dx Entropi : H(X=x) = − ∫ ln ⎜ α +1 α +1 ⎜ ⎟ x x θ θ + + ( ) ( ) 0 ⎝ ⎠
⎛α = ln ⎜ ⎝θ
⎞ 1 ⎟ + +1 ⎠ α
Untuk distribusi Pareto, bentuk entropi lebih sederhana dan dapat dengan mudah dihitung seperti halnya mean dan variansi. d. Lognormal (α,β ) Contoh penggunaan distribusi lognormal yaitu pada long-term return rate pada investasi barang. Fungsi padat peluang dari distribusi lognormal adalah
⎛ ( ln( x) − α )2 ⎞ ⎟ , −∞ < x < ∞ f ( x) = exp ⎜ − ⎜ ⎟ 2β 2 xβ 2π ⎝ ⎠
1
⎛ ( ln( x) − α )2 ⎞ 1 ⎞ ⎛ ⎟dx = exp ⎜ α + β 2 ⎟ exp ⎜ − Rataan : µ = ∫ x 2 ⎜ ⎟ 2β 2 ⎠ xβ 2π ⎝ −∞ ⎝ ⎠ ∞
1
⎛ ( ln( x) − α )2 ⎞ ⎜ ⎟dx exp − ⎜ ⎟ 2β 2 ⎠ ⎠ xβ 2π ⎝ ⎠
∞ Variansi : σ 2 = ∫ ⎛⎜ x − exp ⎛⎜ α + 1 β 2 ⎞⎟ ⎞⎟ −∞
⎝
⎝
2
2
( ( ) ) (
1
= exp β 2 − 1 exp 2α + β 2
)
Entropi : ⎛ ⎛ ( ln( x ) − α )2 ⎞ ⎞ ⎛ ( ln( x) − α )2 1 1 H(X=x)= − ∫ ln ⎜ ⎟⎟ exp ⎜ − exp ⎜ − ⎜ ⎟ ⎟ xβ 2π ⎜ ⎜ x β 2π 2β 2 2β 2 0 ⎝ ⎠⎠ ⎝ ⎝ ∞
=
(
)
(
⎞ ⎟ dx ⎟ ⎠
)
1 1 1 + ln 2πβ 2 + α = ln 2π eβ 2 + α 2 2 2
Entropi untuk distribusi lognormal bergantung pada parameter α dan β.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
36
Entropi dari beberapa distribusi kontinu pada Bab 3 ditampilkan pada tabel berikut. N Distribusi
Fungsi Padat Peluang
µ
⎧ 1 ,a< x
a+b 2
σ2
H
o 1 Uniform (a,b)
2 Normal (α,β2)
f ( x) =
⎛ ( x − α )2 ⎞ 1 ⎟, exp ⎜ − ⎜ 2β 2 ⎟ β 2π ⎝ ⎠
1 2 (b − a ) 12
ln ( b − a )
α
β2
1 + ln ( 2πβ ) 2
θα
θα2
θ + ln (αΓ (θ ) ) + (1 − θ )ψ (θ ) ,
-∞ < x < ∞ 3 Gamma (θ,α)
4 Eksponens ial (α)
5 Khi kuadrat (r)
6 Pareto (α,θ)
7 Lognormal (α,β )
⎧ θ −1 − αx ⎪⎪ x e f ( x ) = ⎨ Γ (θ ) α θ , x > 0 ⎪ ⎪⎩ 0 , x lainnya
ψ (θ ) =
α
⎧ − αx ⎪e f ( x) = ⎨ α , x > 0 ⎪ ⎩0 , x lainnya r x −1 − ⎧ 1 r x2 e 2 , 0 < x < ∞ ⎪ r/2 f ( x ) = ⎨ Γ ( r / 2) 2 ⎪ 0 , x lainnya ⎩
⎧ αθ α ,x>0 ⎪ α +1 f ( x) = ⎨ ( x +θ ) ⎪ , x lainnya ⎩0 f ( x) =
⎛ ( ln( x) − α )2 ⎞ , ⎟ exp ⎜ − ⎜ ⎟ 2β 2 xβ 2π ⎝ ⎠
α −1
1
e
1 2⎞ ⎛ ⎜α + β ⎟ 2 ⎠ ⎝
Γ (θ )
α2
1 + ln (α )
2r
⎛ ⎛ r ⎞⎞ ⎛ r ⎞ ⎛ r ⎞ r + ln ⎜ 2Γ ⎜ ⎟ ⎟ + ⎜ 1 − ⎟ψ ⎜ ⎟ 2 ⎝ ⎝ 2 ⎠⎠ ⎝ 2 ⎠ ⎝ 2 ⎠
ψ (a) = θ
Γ ' (θ )
⎛α ln ⎜ ⎝θ
θ 2α 2 (α − 1) (α − 2 )
Γ '(a) Γ (a)
⎞ 1 ⎟ + +1 ⎠ α
( β )−1 ( 2α +β ) 1 ln ( 2π eβ 2 ) + α e
e
2
−∞ < x < ∞ Tabel 3.12 : Entropi untuk distribusi kontinu
2
2
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
3.2
37
Entropi dari Bivariat normal
Untuk kasus bivariat, diambil contoh distribusi bivariat normal dengan fungsi padat peluang untuk mean, µX dan µY serta variansi σX dan σY dituliskan f ( x, y ) =
1 2πσ xσ y
⎛ −1 exp ⎜ 2 ⎜ 2 1− ρ 2 1− ρ ⎝
(
)
⎡⎛ x − µ ⎞ 2 ⎛ x − µx ⎞ ⎛ y − µ y x ⎢⎜ ⎟ − 2ρ ⎜ ⎟⎜ σ x ⎠ ⎜⎝ σ y ⎢⎝ σ x ⎠ ⎝ ⎣
⎞ ⎛ y − µy ⎟⎟ + ⎜⎜ ⎠ ⎝ σy
−∞ < x < ∞ , −∞ < y < ∞
⎞ ⎟⎟ ⎠
2
⎤⎞ ⎥⎟ ⎥⎟ ⎦⎠
(3.11)
Entropi untuk peubah acak yang berdistribusi bivariate normal adalah H(x,y) =
∞ ∞
∫ ∫ 2πσ σ
−∞ −∞
x
1 y
⎛ −1 exp ⎜ 2 ⎜ 2 1− ρ 2 1− ρ ⎝
(
)
2 ⎡⎛ ⎞ ⎛ ⎢⎜ x − µ x ⎟ − 2 ρ ⎜ x − µ x ⎢⎝ σ x ⎠ ⎝ σx ⎣
⎞⎛ y − µy ⎟ ⎜⎜ ⎠⎝ σ y
⎞ ⎛ y − µy ⎟⎟ + ⎜⎜ ⎠ ⎝ σy
⎞ ⎟⎟ ⎠
2
⎤⎞ ⎥ ⎟ dxdy ⎥⎟ ⎦⎠
Terlihat bahwa entropi untuk kasus bivariat kontinu semakin sulit untuk dihitung secara manual. Hal ini terpengaruh juga oleh bentuk fungsi padat peluang dari distribusi bivariat normal.