Hukum Bilangan Besar Hukum bilangan besar atau Large Law of Large Numbers (LLN) adalah teorema yang menyatakan bahwa pada percobaan yang dilakukan secara berulang, maka semakin banyak perulangannya akan terjadi kestabilan ke nilai harapan suatu peubah acak. Dalam hal, dengan barisan peubah acaknya Xi, i = 1, 2, …, n yang konvergen ke X, maka semakin besar n, nilai harapannya akan konvergen ke E(X). Pertaksamaan Seringkali pertaksamaan berikut berguna untuk menentukan estimasi dari nilai harapan. (1) Batas eksponensial
1 + x exp(x)
(2) Pertaksaman Tchebysheff P(X a)
E( X 2 ) a2
(3)Pertaksamaan Markov Jika f(.) : fungsi takturun dan taknegatif dalam [a, ), maka E ( f ( X )) P(X a) f (a) (4) Pertaksamaan Bienayme-Tchebycheff : Peubah acak X, yang mempunyai momen absolut orde n (i.e momen absolutnya ada), E(|X|n), maka akan berlaku X n P(|X| < a) E a dengan a : bilangan real Dalam hal n = 2, kita gantikan X dengan E – E(X) = X – m1 dan kita ambil a = t (di sini : simpangan, t : bil real pos), maka pertidaksamaan di atas dapat dinyatakan sebagai 1 P(|X – m1| > t ) 2 t Teorema : Diberikan peubah acak X dgn mean dan simpangan baku . Maka > 0 berlaku P(|X - | ) (pertaksamaan Tchebycheff2 ) Bukti : Kita ketahui bhw 2 = Var(X) =
(x i
i
2 2
) 2 f ( xi ) …. (1)
Pada penjumlahan di atas, kita abaikan suku-suku seperlunya supaya |xi - | < . Dengan demikian (1) menjadi 2 * ( xi ) 2 f ( xi ) i
(Penjumlahan bertanda „*‟menyatakan bhw penjumlahan untuk i |xi - | < ). Nilai penjumlahan bertanda „*‟ tsb tidak akan lebih besar apabila |xi - | digantikan dengan , i.e 2 * 2 f ( xi ) = 2 * f ( xi ) … (2) Pada (2)
i *
i
f ( xi ) adalah merupakan P(|X - | ).
i
Dengan demikian maka 2 2.P(|X - | ). Apabila kedua kedua ruas dibagai dengan 2 akan memberikan
2 P(|X - | ) 2
…. (3)
Apabila kita ambil = t (dengan t : bilangan real pos) ,maka (3) akan memberikan pertaksamaan Bienaymé-Tchebycheff : 1 P(|X - | t) 2 t (5) Pertaksamaan Jensen Untuk peubah acak X, dengan fungsi f(.) konveks, maka f(E(X)) E(f(X)) … (4) Misalkan bhw f(x) : suatu fungsi konveks i.e d2f/dx2 > 0 x. Jika f(x) konveks, maka : x
f(x) = f(a) +
f ' (t )dt
(teori fundamental kalkulus)
a x
f(a) +
f ' (a)dt
(aproksimasi Taylor orde pertama)
a
= f(a) + (x-a)f‟(a) Untuk peubah acak X, f(a) + (X-a)f‟(a) f(X) E[f(a) + (X-a)f‟(a)] E[f(X)] dengan a = E(X), memberikan
f(E(X) + (E(X) – E(X)) f‟(E(X)) E[f(X)] f(E(X)) E[f(X)]
2
Konvergensi barisan peubah acak Konvergen lemah (Weak law of large numbers) Teorema : Diberikan barisan peubah acak X1, X2, …, Xn yang i.i.d dengan mean dan X X 2 ..... X n simpangan baku , dengan S n 1 . Maka > 0 berlaku n lim P(| S n | ) = 0 atau lim P(| S n | ) = 1 … (5) n
n
Catatan: (i) Dikatakan bhw X1, X2, …, Xn bersifat i.i.d (independent indentically distributed), jika X1, X2, …, Xn saling bebas dan berdistribusi sama, i.e FX n Fx1 n (ii) Dengan (5) tersebut di atas, menyatakan bahwa bahwa S n (rata-rata barisan peubah acak) akan sama dengan (mean) Bukti teorema: Kita ketahui bhw E ( X 1 ) E ( X 2 ) ..... E ( X n ) n = = n n Oleh karena X1, X2, …, Xn bersifat i.i.d, maka Var(X1 + X2 +… + Xn) = Var(X1) + Var (X2) +… + Var(Xn) = n2 .
E (S n ) =
Dari teorema Tchebycheff, diperoleh P(|X - | )
2 . n 2
Dengan demikian untuk n , akan diperoleh lim P(| S n | ) = 0, > 0. ..(6) n
Catatan : Dalam hal kontinu, kita tinggal menggantikan penjumlahan dengan integral (kenapa berlaku demikian ?) Konvergensi lemah tsb di atas, sering disebut dengan Konvergensi dalam Probabilitas, dan sering ditulis sebagai :
Pada buku JC Taylor, (5) dinyatakan sebagai : lim P(| S n | ) = 0 n
(6) dinyatakan sebagai : untuk > 0, P(|Xn – X| . ) 0, untuk n
3
Konvergen dalam ukuran Barisan fungsi terukur X1, X2, …, Xn konvergen (dalam ukuran) ke fungsi terukur X, jika untuk > 0, ({|Xn-X| }) 0, untuk n dan sering ditulis sebagai
(m : measure (ukuran)) Dalam ruang probabilitas (,F,P), dengan barisan peubah acak X1, X2, …, Xn (terukur), konvergen dalam probabilitas adalah sama dengan konvergen dalam uukuran
Konvergensi Kuat ( Strong Law of Large Numbers) Teorema : Diberikan barisan peubah acak X1, X2, …, Xn yang i.i.d dengan mean i , maka untuk n :
dengan mn = n , > 0. Pernyataan tersebut dapat dinyatakan pula sebagai: Barisan peubah acak X1, X2, …, Xn akan konvergen (secara kuat) ke peubah acak X, jika P( lim X n X ) = 1. n
Hal ini sering disebut dengan konvergen hampir pasti (almost sure convergence disingkat a.s convergence), dan ditulis sebagai:
Konvergensi dalam Ruang Lp p Barisan peubah acak X1, X2, …, Xn yang i.i.d disebut konvergen dalam ruang L jika E(| Xn – X|p ) 0, untuk n Catatan: Dalam ruang terujur (S, , ), diberikan fungsi terukur f : S R. Ruang Lp, merupakan himpunan f yang bersifat:
||f||p = | f | p d S
1/ p
<
, dengan 1 p
integral Lebesque berhingga
4
Teorema Limit Sentral
Merupakan teorema akhir dalam pembahasan teori probabilitas, yang merupakan kelanjutan dari Hukum Bilangan Besar (khususnya hukum lemah).
Teorema Hukum Lemah Bil Besar: Misal X1, X2, ....., Xn n buah p.a bebas dengan mean dan variansi yang sama yaitu dan 2 dan Sn = X1+ X2 + ..... + Xn . Untuk bil real (tetap) , berlaku S lim P | n | ) = 1 n n 2 Dalam hal ini, dengan EXi = , var (Xi) = , maka S prob n mendekati untuk n yg semakin besar adalah 1 n Teorema limit sentral. Terdapat beberapa klasifikasi teorema limit sentral, yang dibedakan menurut sifat distribusi barisan peubah acaknya. A.Barisan peubah acaknya saling bebas dan berdistribusi sama (i.i.d). Terdapat beberapa versi. Teorema (versi 1) : Misalkan {Xi , i=1,2, ..n} barisan peubah acak i.i.d dengan mean = 0, dan variansi 2= 1. Apabila Sn = X1+ X2 + ..... + Xn , maka Sn konvergen lemah ke distribusi normal baku (i.e N(0,1)) n Bukti : (biasanya menggunakan fungsi karakteristik) Nyatakan X sebagai fungsi karakteristik p.a X. X mempunyai momen kedua berhingga, oleh karenanya X mempunyai derivatif kedua yg kontinu. Dengan menggunakan teorema Taylor: X(t) = X(0) + ‟X(0).t + ”X(0)t2/2 + R(t), dengan R(t) : suku sisa atau residu, yang dalam hal ini |R(t)/t2 0 untuk |T| 0 Dengan demikian, X(t) = 1 -t2/2 + R(t). Selanjutnya, Sn/m (t) = Sn(t/n ) = (X(t/n))n
5
n
t2 t = 1 R( ) n 2n t Oleh karena untuk n , maka 0. n
Sehingga Sn/m (t)
e
t2 2
.
Sn
Ini menunjukkan bahwa
konvergen ke N(0,1) n (pertanyaan: mengapa konvergensinya lemah ?)
Teorema (versi 2): ... dengan asumsi yang sama, maka S n n
n
N(0,1)
Teorema (versi 3): {Xi , i=1,2, ..n} barisan peubah acak i.i.d dengan mean , dan variansi 2. X X 2 .... X n Nyatakan X n = 1 n Jila n adalah bilangan besar, maka p.a X n mendekati hukum normal N , n Catatan: (i)Apakah perbedaan ketiga versi di atas ?. (ii)Masih terdapat banyak versi yang lain. (iii)f(x) berdistribusi N(, 2), i.e
1 f(x) =
dengan transformasi t =
x
(t) =
2
e
( x )2
2
, akan menjadikan
1 2
e
t2 2
(distribusi N(0,1))
Pertanyaan : Bagaimana teorema tsb dinyatakan dalam bukunya JC Taylor berikut pembuktiannya ? (hal.275)
6
B.Barisan peubah acaknya tidak diketahui sifat distribusinya Coba Anda pelajari : 1.Kondisi Lyapunov 2.Kondisi Lindeberg (bukunya JC Taylor hal 277-281)
Tambahan : Untuk memahami (intuitif) terjadinya keadaan pada teoerema limit sentral, sebaiknya Anda melakukan simulasi dengan menggunakan program komputer (sebagai tugas)
Apabila kita telah melakukan simulasi di atas, kita dapat melihat bahwa n semakin besar akan mendekati distribusi normal.
Aproksimasi Binomial oleh Normal Teorema: Untuk n yg besar dan p tidak dekat dgn 0 juga tidak dekat dengan 1, B(n,p) N(, 2 ) , dengan = np dan = npq , dalam hal ini q = 1-p
X = Sn =
X 1 X 2 .... X n n
X N(,2 )
Tugas Baca Dikatakan bahwa distribusi binomial akan mendekati distribusi normal untuk n yang „besar‟. Banyak orang berusaha membuktikan secara matematis, namun sampai saat ini dianggap belum memuaskan. Dibawah ini diberikan tulisan dengan menggunakan hampiran (aproksimasi)
Normal approximation to the binomial distribution Error in the normal approximation to the binomial distribution The binomial distribution can often be well approximated by a normal distribution. But how can you know when the approximation will be good? Most textbooks are vague on this point, saying “n should be large” or “np should be large.” How large? Why?
7
These notes will look carefully at the error in the normal approximation to the binomial distribution. We will look at how the error varies as a function of the binomial parameters n and p and demonstrate how the continuity correction improves the approximation. Central Limit Theorem A binomial(n, p) random variable X can be thought of as the sum of n Bernoulli random variables Xi. Applying the Central Limit Theorem to this sum shows that FX, the CDF (cumulative distribution function) of X, is approximately equal to FY, the CDF of a normal random variable Y with the name mean and variance as X. That is, Y has mean np and variance npq where q = 1-p. But how good is the approximation? The Berry-Esséen theorem gives an upper bound on the error. It says the error is uniformly bounded by C ρ/σ3√n where C is a constant less than 0.7655, ρ = E(|Xi - p|3) and σ is the standard deviation of Xi. It's easy to calculate ρ = pq(p2 + q2) and σ = √(pq) for the Bernoulli random variables Xi. Therefore the error in the normal approximation to a binomial(n, p) random variable is bounded by C(p2 + q2) /√(npq). Error as a function of n
For fixed p, the bound C(p2 + q2) /√(npq) from the Berry-Esséen theorem says that the maximum error decreases proportional to 1/√n. Hence the recommendation that the approximation be used for large n. Error as a function of p
The term (p2 + q2) /√(pq) is smallest when p = 1/2. This suggests that for a given value of n, the normal approximation is best when p is near 1/2. However, the function (p2 + q2) /√(pq) is unbounded as p approaches either 0 or 1. Assume p < 1/2 (or else reverse the rolls of p and q). For 0 < p < 1/2, one can show that (p2 + q2) /√(pq) < 1/√p. Therefore the approximation error is bounded by a constant times 1/√(np), hence the suggestion that np should be "large." So a conservative estimate on the error is 0.7655/√(np) when p < 1/2. Examples The following plot shows the error in the normal approximation to the CDF of a binomial(10, 0.5) random variable. Here we are computing FX(n) - FY(n) for n = 0, 1, ..., 10.
8
Next we compute the error again, but using the continuity correction, FX(n) - FY(n+1/2).
The continuity correction lowers the maximum error from 0.123 to 0.00267, making the error 47 times smaller. We expect the error would be larger for p = 0.1 than it was for p = 0.5 above. Indeed this is the case. For a binomial(10, 0.1) random variable, the maximum error in the normal approximation is 0.05 even when using the continuity correction. For another example we consider a binomial(100, 0.1) random variable. The following graph gives the approximation without continuity correction.
9
And here is the error when using the continuity correction.
In this case, n is larger and the benefit of the continuity correction is not as large. Still, the correction reduces the error by a factor of 4.8.
Approximating the PMF Up to this point we have only looked at approximating the CDF. Now we look at approximating the probability of individual points, i.e. we look at the probability mass function (PMF). The naive approximation would be to approximate fX(n) with fY(n). However, the continuity correction requires we approximate fX(n) by the integral
As the examples above suggest, the continuity correction greatly improves the accuracy of the approximation.
10
Other normal approximations The Camp-Paulson approximation for the binomial distribution function also uses a normal distribution but requires a non-linear transformation of the argument. The result is an approximation that can be one or two orders of magnitude more accurate. See also notes on the normal approximation to the beta, gamma, Poisson, and student-t distributions.
Camp-Paulson normal approximation to the binomial distribution If X ~ Binomial(n, p) the Central Limit Theorem provides an approximation to the CDF FX. This approximation is given by FX(k) ≈ Φ((k + 0.5 - np)/√ (npq)). Here Φ is the CDF of a standard normal (Gaussian) random variable and q = 1-p. The central limit theorem approximation is studied in these notes. The Camp-Paulson approximation improves on the classical approximation by using a non-linear transformation of the argument k. This approximation uses
FX(k) ≈ Φ((c - μ)/σ) where c = (1-b)r1/3, μ = 1 - a, σ = √(br2/3 + a), a = 1/(9n-9k), b = 1/(9k+9), and r = (k+1)(1-p)/(np-kp). Johnson and Kotz prove that the error in the Camp-Paulson approximation is never more than 0.007/√ (npq). The Camp-Paulson approximation is often one or two orders of magnitude more accurate than the classical approximation arising directly from the Central Limit Theorem. For more information, see "Some Suggestions for Teaching About Normal Approximation to Poisson and Binomial Distribution Functions" by Scott M. Lesch and Daniel R. Jeske, The American Statistician, August 2009, Vol 63, No 3. See also notes on the normal approximation to the beta, binomial, gamma, and student-t distributions. Saran : Untuk Anda yang tertarik pada pendekatan hampiran Normal, Anda dapat mulai membaca dari artikel (lama) dari Peter Hall, Improving the normal approximation when constructing one-side confidence intervals for binomial or Poisson parameters, Biometrika (1982), 60, 3, pp 647-652
11
12
