Matematika REML. A workshop conducted at Universitas Brawijaya, Malang, Indonesia. December 2013

Matematika REML

A workshop conducted at Universitas Brawijaya, Malang, Indonesia December 2013

Mick O'Neill Statistical Advisory & Training Service Pty Ltd [email protected] www.stats.net.au

Daftar Isi Pengantar REML ..................................................................................................................... 1 Pengembangan REML ............................................................................................................ 4 Solusi REML untuk sebaran normal ..................................................................................... 5 Matriks umum dalam pengembangan REML ....................................................................... 7 Properti statistika dari peubah transformasi ........................................................................... 9 Fungsi kepekatan normal multivariat ..................................................................................... 9 Transformasi ortogonal ........................................................................................................ 10 Transformasi melibatkan matriks setangkup idempoten ..................................................... 13 Model Linier Umum (GLM) dengan hanya pengaruh tetap ............................................ 14 Example 1 – Contoh acak sederhana dari sebaran normal .................................................. 10 Example 2 Regresi Linier Sederhana ................................................................................ 17 Example 3 Regresi Linier Berganda .................................................................................. 24 Example 4 Rancangan perlakuan Satu-arah ....................................................................... 27 Example 5 - Uji t tidak berpasangan– ragam sama ............................................................. 35 Example 6 – Uji t tidak berpasangan – ragam berbeda ....................................................... 36 Model Campuran Linier (LMM) ......................................................................................... 40 1. LMM umum ................................................................................................................... 40 2. Transformasi untuk memisahkan pengaruh tetap .......................................................... 42 3. Dua fungsi logLikelihood .............................................................................................. 45 4. Solusi REML untuk pengaruh acak ............................................................................. 47 5. Solusi REML untuk pengaruh tetap ............................................................................. 50 6. Menguji pengaruh tetap: uji Wald ................................................................................ 52 7. Uji Wald untuk pengaruh tetap menggunakan REML ................................................ 54 8. Menguji pengaruh acak ................................................................................................ 55 Teladan struktur sisa berkorelasi ........................................................................................ 57 Teladan 1 – struktur uniform: model-model blok acak ....................................................... 58 Teladan 2

matriks diagonal: Rancangan perlakuan Satu-Arah dengan perubahan ragam perlakuan ........... 64

Teladan 3

Contoh acak sederhana dengan sisa berkorelasi AR(1) .................................. 70

Teladan 4

Data pengukuran berulang, tak berstruktur/antedependence .......................... 77

Teladan 5

Model-model Spasial, struktur AR1 × AR1 ................................................... 85

The Mathematics of REML

Perkenalan tentang REML REML adalah kepanjangan dari REsidual Maximum Likelihood atau kadang REstricted Maximum Likelihood Atau bahkan REduced Maximum Likelihood

(Patterson and Thompson, 1971)

Apa itu Maximum Likelihood? Likelihood suatu contoh adalah peluang prior untuk memperoleh data dalam contoh. Ini memerlukan asumsi tentang sebaran data, seperti Binomial atau Poisson untuk d count (hasil menghitung) Normal atau LogNormal untuk data kontinu Setiap sebaran melibatkan paling tidak satu parameter yang tidak diketahui yang harus diduga dari data. Pendugaan dilakukan dengan mendapatkan suatu nilai parameter yang memaksimumkan likelihood. Nilai ini disebut penduga maximum likelihood untuk parameter. Catatan. Sesungguhnya memaksimumkan log-likelihood ekivalen dengan memaksimumkan likelihood dan lebih mudah ditangani (untuk akurasi numerik).

1

The Mathematics of REML Teladan 1

percobaan perkecambahan benih

Ambil 100 benih dan inspeksi apakah setiap benih berkecambah (G) atau tidak (NG). Apa penduga ML bagi p, peluang bahwa satu benih berkecambah? Jika 100 benih berkecambah (atau tidak) mengikuti pola berikut: G

NG

G

G

…

NG

G

p

 (1 - p)

p

p

…

 (1 - p)

p

Maka Likelihood =

Jika dari n benih, g adalah banyaknya benih yang berkecambah (dan banyaknya benih yang tidak berkecambah n-g). Maka likelihood adalah Likelihood = pg  (1 - p)n-g Tidak mudah untuk dimaksimumkan (menurunkan secara matematis) sebagaimana logaritmanya: logLikelihood =

g ln(p) + (n-g) ln(1 - p)

Maka solusi ML yang didapat dari memaksimumkan Likelihood sama dengan yang dihasilkan dari memaksimumkan logLikelihood.

Solusi matematis: Turunan log likelihood:

𝑑 (𝑔 log(𝒑) + (𝑛 − 𝑔) log(1 − 𝒑)) 𝑑𝑝

Samakan dengan 0

𝑔 𝑛−𝑔 − =0 𝑝̂ 1 − 𝑝̂ 𝑔 𝑛−𝑔 = 𝑝̂ 1 − 𝑝̂ 𝑔(1 − 𝑝̂ ) = 𝑝̂ (𝑛 − 𝑔) −𝑝̂ 𝑔

𝑔 − 𝑝̂ 𝑔 = 𝑝̂ 𝑛 − 𝑝̂ 𝑔

terdapat di dua ruas, sehingga dapat dibuang 𝑔 = 𝑝̂ 𝑛 𝑔

𝑝̂ = 𝑛 2


Flesh hue of freshly cut mangoes

Asumsikan bahwa flesh hue menyebar normal. Apa penduga ML bagi 𝜇, rata-rata flesh hue, dan 𝜎 2 , ragam dalam flesh hue? Ambil n mangga secara acak dan ukur their flesh hues yang dilambangkan dengan y1, y2, …, yn. Untuk peubah kontinu, likelihood didefinisikan sebagai perkalian fungsi kepekatan pada setiap titik contoh:

𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 =

1 √2𝜋𝜎 2

𝑒

−

(𝑦1 −𝜇)2 2𝜎2

×

1 √2𝜋𝜎 2

𝑒

−

(𝑦2 −𝜇)2 2𝜎2

× ⋯×

1 √2𝜋𝜎 2

𝑒

−

(𝑦𝑛 −𝜇)2 2𝜎2

Seperti yang akan kita lihat, diperlukan transformasi, karena Jacobian dari transformasi mungkin dilibatkan.

Juga, ini merupakan ekspresi matematis yang sulit diturunkan, maka maximumkan logLikelihood yang akan memberikan hasil sama.

=

1 −2log(2𝜋𝜎 2 )

(𝑦1 − 𝜇)2 1 (𝑦2 − 𝜇)2 (𝑦𝑛 − 𝜇)2 1 2) 2) − − 2log(2𝜋𝜎 − … − 2log(2𝜋𝜎 − 2𝜎 2 2𝜎 2 2𝜎 2

Gabungkan suku sejenis menjadi: 𝑛

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 =

𝑛 − 2log(2𝜋)

−

𝑛 log(𝜎 2 ) 2

(𝑦𝑖 − 𝜇)2 −∑ 2𝜎 2

(1)

𝑖=1

Solusi matematis: Maksimumkan log likelihood dengan cara menurunkannya terhadap 𝜇: 𝑛 ∂ 𝑛 (− 2log(2𝜋) ∂µ

−

𝑛 log(𝜎 2 ) 2

−∑ 𝑖=1

(𝑦𝑖 − 𝜇)2 ) 2𝜎 2 𝑛

∂ ∂µ

𝑛 (− 2log(2𝜋))

−

∂ 𝑛 ( log(𝜎 2 ) ∂µ 2 𝑛

0 − −0 − 2(−1) ∑ 𝑖=1

3

(𝑦𝑖 − 𝜇)2 − (∑ ) 2𝜎 2 ∂ ∂µ

𝑖=1

(𝑦𝑖 − 𝜇) 𝜎2


Samakan dengan nol 𝑛

∑ 𝑖=1

(𝑦𝑖 − 𝜇̂ ) =0 𝜎̂ 2

∑𝑛𝑖=1(𝑦𝑖 − 𝜇̂ ) = 0; ∑𝑛𝑖=1 𝑦𝑖 − ∑𝑛𝑖=1 𝜇̂ = 0 ; ∑𝑛𝑖=1 𝑦𝑖 − 𝑛𝜇̂ = 0

𝜇̂ = 𝑦̅

Menurunkan terhadap 𝜎 2 𝑛

∂ 𝑛 (− 2log(2𝜋) ∂𝜎2

∂ 𝑛 (− 2log(2𝜋)) ∂𝜎2

−

−

𝑛 log(𝜎 2 ) 2

(𝑦𝑖 − 𝜇)2 −∑ ) 2𝜎 2

∂ 𝑛 ( log(𝜎 2 ) ∂𝜎2 2

𝑖=1

−

𝑛 (𝑦𝑖 − 𝜇)2 ∂ (∑ ) ∂𝜎2 2𝜎 2 𝑖=1

𝑛

(𝑦𝑖 − 𝜇)2 𝑛 0−0− 2+∑ 2𝜎 2𝜎 4 𝑖=1

Karena samakan dengan nol, maka akan 2𝜎̂ 2 hilang, ganti 𝜇 dengan penduganya 𝑦̅ 𝑛

(𝑦𝑖 − 𝜇̂ )2 𝑛 − 2+∑ =0 2𝜎̂ 2𝜎̂ 4 𝑖=1

∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 =𝑛 𝜎̂ 2 ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 𝜎̂ = 𝑛 2

Catatan penting tentang penduga ML sebaran normal:   

4

Penduga ML bagi rata-rata populasi 𝜇 bersifat tak bias Penduga ML bagi ragam populasi 𝜎 2 berbias (karena menggunakan pembagi 𝑛 bukan 𝑛 − 1. Karena bukan REML, Log likelihood tidak perlu diuraikan menjadi dua bagian.


Pengembangan REML Dimungkinkan untuk menguraikan likelihood ke dalam dua bagian: likelihood yang mengandung parameter rata-rata 𝜇 (juga parameter ragam 𝜎 2 ), dan residual likelihood yang hanya mengandung parameter ragam 𝜎 2 sedemikian sehingga likelihood pertama dapat dimaksimumkan untuk menduga parameter rata-rata 𝜇 (dan solusinya tidak tergantung pada penduga 𝜎 2 ); dan

residual likelihood dapat dimaksimumkan untuk menduga parameter ragam 𝜎 2 . Solusi ini dikenal sebagai penduga REML bagi 𝜎 2 (berbeda dari solusi penduga ML).

Untuk sebaran normal dan teladan 2, cara cepat untuk mengembangkan ide ini tergantung pada fakta: 𝑛

𝑛

𝑛

2

∑(𝑦𝑖 − 𝜇) = ∑[(𝑦𝑖 − 𝑦̅) + (𝑦̅ − 𝜇)] = ∑(𝑦𝑖 − 𝑦̅)2 + 𝑛(𝑦̅ − 𝜇)2 𝑖=1

2

𝑖=1

𝑖=1

Langkah pertama dalam memisahkan dua likelihood adalah menulis kembali logLikelihood untuk sebaran normal: 𝑛



−

𝑛 log(𝜎 2 ) 2

−∑ 𝑖=1

(𝑦𝑖 − 𝜇)2 2𝜎 2

sebagai 𝑛



−

𝑛 log(𝜎 2 ) 2

−∑ 𝑖=1

(𝑦𝑖 − 𝑦̅)2 𝑛(𝑦̅ − 𝜇)2 − 2𝜎 2 2𝜎 2

Lihat hasil berikut. Jika contoh acak berukuran n ditarik dari sebaran normal N(𝜇, 𝜎 2 ), maka rata-rata contoh 𝑦̅ juga menyebar normal dengan rata-rata 𝜇 dan ragam 𝜎 2 /𝑛. Dengan demikian likelihood untuk rata-rata 𝑦̅ adalah: 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 𝑓 − 𝑜𝑟 𝑦̅ =

5

1 √2𝜋 𝜎 2 ⁄𝑛

𝑒

−

(𝑦̅−𝜇)2 2𝜎2 ⁄𝑛

𝑛(𝑦̅−𝜇)2 𝑛 − =√ 𝑒 2𝜎2 2𝜋𝜎 2

The Mathematics of REML Sehingga logLikelihood untuk rata-rata contoh 𝑦̅ adalah 1

1

1

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 for 𝑦̅ = 2log(𝑛) − 2log(2𝜋) − 2log(𝜎 2 ) −

𝑛(𝑦̅ − 𝜇)2 2𝜎 2

Kembali ke log-Likelihood untuk contoh acak dari sebaran normal, yakni 𝑛



−

𝑛 log(𝜎 2 ) 2

−∑ 𝑖=1

(𝑦𝑖 − 𝑦̅)2 𝑛(𝑦̅ − 𝜇)2 − 2𝜎 2 2𝜎 2

Dan pisahkan logLikelihood dari rata-rata contoh 𝑦̅: (gunakan 𝑛 = 𝑛 − 1 + 1 = 1 + (𝑛 − 1) 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 contoh acak berukuran 𝑛 dari sebaran normal = 1 −2log(2𝜋)

−

1 log(𝜎 2 ) 2

𝑛(𝑦̅ − 𝜇)2 − 2𝜎 2

−𝑛−1 log(2𝜋) − 𝑛−1 log(𝜎 2 ) − ∑𝑛𝑖=1 2 2 Catat bahwa

(𝑦𝑖 −𝑦̅)2 2𝜎2

𝑛 = 𝑛 + 1 − 1 = 1 + (𝑛 − 1) untuk penguraian

Tampak bahwa baris pertama (hampir) loglikelihood dari rata-rata contoh 𝑦̅, berbeda hanya dalam konstanta ½ ln(n). Hal ini tidak berpengaruh terhadap pemaksimuman fungsi terhadap  dan sesungguhnya hilang di bawah transformasi. Kita akan kembali ke sini. Baris kedua hanya mengandung parameter ragam 𝜎 2 . Ini adalah loglikelihood dari himpunan n-1 peubah acak yang bebas terhadap rata-rata contoh, dan membentuk ragam contoh 𝒔𝟐 sebagai penduga bagi 𝜎 2 (kita akan kembali ke sini).

Baris kedua disebut REsidual (atau Restricted atau Reduced) Likelihood. Likelihood ini dimaksimumkan secara terpisah dari likelihood pertama, untuk rata-rata contoh. Hasil memaksimumkan likelihood ini dikenal sebagai penduga REML bagi ragam 𝜎 2 . Fungsi pada baris pertama dimaksimumkan secara terpisah untuk mendapatkan penduga bagi 𝜇.

6


Solusi REML untuk sebaran normal: 1. Maksimumkan 𝑛 1 −2log(𝑛)

−

𝑛−1 log(2𝜋) 2

−

𝑛−1 log(𝜎 2 ) 2

−∑ 𝑖=1

(𝑦𝑖 − 𝑦̅)2 2𝜎 2

terhadap 𝜎 2 :

∂ 1 (−2log(𝑛)) ∂𝜎2

−

∂ 𝑛−1 ( 2 log(2𝜋)) ∂𝜎2

−

∂ 𝑛−1 ( 2 log(𝜎 2 )) ∂𝜎2

−

𝑛 (𝑦𝑖 − 𝑦̅)2 ∂ (∑ ) ∂𝜎2 2𝜎 2 𝑖=1

𝑛

(𝑛 − 1) (𝑦𝑖 − 𝑦̅)2 0−0− + ∑ 2𝜎 2 2𝜎 4 𝑖=1

Samakan dengan nol 𝑛

(𝑛 − 1) (𝑦𝑖 − 𝑦̅)2 − +∑ =0 2𝜎̂ 2 2𝜎̂ 4 𝑖=1

∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 = (𝑛 − 1) 𝜎̂ 2 ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 𝜎̂ = (𝑛 − 1) 2

2. Maksimumkan 1

1

1

+2log(𝑛) − 2log(2𝜋) − 2log(𝜎 2 ) −

𝑛(𝑦̅ − 𝜇)2 2𝜎 2

terhadap 𝜇: ∂ 1 ( log(𝑛)) ∂𝜇 2

−

∂ 1 ( log(2𝜋) ∂𝜇 2

0 − −0 − 0 − Samakan dengan nol

7

∂ 1

− ∂𝜇(2log(𝜎 2 ) −

2𝑛(𝑦̅ − 𝜇) 2𝜎 2

∂ 𝑛(𝑦̅ − 𝜇)2 ( ) ∂𝜇 2𝜎 2

The Mathematics of REML 2𝑛(𝑦̅ − 𝜇̂ ) =0 2𝜎 2 (𝑦̅ − 𝜇̂ ) = 0 𝜇̂ = 𝑦̅

Tampak bahwa untuk sebaran normal, Solusi untuk 𝜇 (dalam hal ini) tidak tergantung pada parameter 𝜎 2 , Solusi untuk 𝜎 2 adalah ragam contoh sebagai penduga takbias bagi ragam.

8


Matriks dalam pengembangan REML Matriks memegang peranan penting dalam statistika matematika, maka perlu mengingat kembali beberapa matriks, sifat-sifat dan penggunaannya.

Matriks Khusus 1. Matriks identitas I adalah matriks di mana diagonal utama bernilai 1 dan 0 di luar diagonal. Kadang subskrip digunakan untuk menjelaskan dimensi . 1 I 3 = (0 0

0 0 1 0) 0 1

2. Matriks nol terdiri dari 0 0 0 0 𝑶3 = (0 0 0) 0 0 0 3. Suatu matriks yang semua unsurnya bernilai 1 kadang dilambangkan dengan J , dengan dimensi banyaknya baris kali banyaknya kolom. Untuk matriks segi, jika diperlukan hanya ditulis subskrip tunggal.

J34

1 = (1 1

1 1 1 1 1 1

1 1) (3 baris dan 4 kolom) 1

Matriks ini dihasilkan dari perkalian vector kolom 1 sebagai vektor pengganda awal dengan vector baris 1 (pengganda akhir). Vektor kolom 1 sebanyak 4 baris ditulis demikian 14 :

13 ⊗ 14 =

13 1𝑇4

1 = (1) (1 1

1 1

1 1 1 ) 1 = (1 1 1 1 1 1

1 1) = J34 1

4. Matriks 𝑴 bersifat idempotent jika 𝑴2 = 𝑴. Pandang M = 1

1

1

1 J , 𝑛 𝑛

mudah ditunjukkan bahwa

1

(𝑛 J𝑛 ) (𝑛 J𝑛 ) = (𝑛 J𝑛 ) maka (𝑛 J𝑛 ) idempoten. 5. Matriks 𝑷 dikatakan ortogonal sedemikian sehingga 𝑷𝑷𝑇 = 𝑷𝑇 𝑷 = 𝑰. Matriks Helmert 𝑯 adalah ortogonal. Pandang pola matriks di ruas kiri:

9


(

1 1 ), 1 −1

(

1/√2 1/√2 ) 1/√2 −1/√2

1 1 1 (1 −1 0 ), 1 1 −2

1/√3 1/√3 1/√3 (1/√2 −1/√2 0 ) 1/√6 1/√6 −2/√6

1 1 ( 1 1

1 1 0 0 ), −2 0 1 −3

1/√4 1/√2 1/√6 (1/√12

1/√4 −1/√2 1/√6 1/√12

1/√4 1/√4 0 0 −2/√6 0 1/√12 −3/√12)

1 1 1 0 0 0 −2 0 0 , 1 −3 0 1 1 −4)

1/√5 1/√2 1/√6 1/√12 (1/√20

1/√5 −1/√2 1/√6 1/√12 1/√20

1/√5 1/√5 1/√5 0 0 0 −2/√6 0 0 1/√12 −3/√12 0 1/√20 1/√20 −4/√20)

1 −1 1 1

1 1 1 −1 1 1 1 1 1 (1

dan seterusnya Baris pertama setiap matriks di kiri adalah 1. Kemudian {1, -1}, {1, 1, -2}, {1, 1, 1, -3} {1, 1, 1, -4} sehingga baris terakhir matriks berukuran 5×5 adalah {1, 1, 1, 1, -5} dst.

Jika matriks-matriks di ruas kiri dikalikan dengan vektor pengganda awal yakni vektor data 𝒚, maka baris pertama vektor baru (vector kolom) ini adalah jumlah data (𝑦1 + 𝑦2 + ⋯ + 𝑦𝑛 ). Elemen kedua adalah (𝑦1 − 𝑦2 ), elemen ketiga (𝑦1 + 𝑦2 − 2𝑦3 ), kemudian (𝑦1 + 𝑦2 + 𝑦3 − 3𝑦4 ), dan seterusnya. Apabila setiap elemen dalam baris dibagi dengan akar pangkat dua dari jumlah kuadrat bilangan dalam baris tersebut, akan menghasilkan matriks ortogonal Helmert yang tertulis di bagian kanan. Catat bahwa kebalikan dari matriks ortogonal 𝑷 adalah putarannya, 𝑷𝑇 (𝑷−1 = 𝑷𝑇 )

Properti Statistika dari peubah transformasi 10


1. Fungsi kepekatan peluang normal multivariat 𝑦1 Peubah acak {𝑦1 , … , 𝑦𝑛 } ditata dalam vektor kolom 𝒚 = ( ⋮ ). Peubah acak ini mungkin saja 𝑦𝑛 tidak memiliki rata-rata sama dan saling berkorelasi. Nyatakan vektor rata-rata sebagai 𝝁 dan matriks ragam-peragam 𝚺. Maka fungsi kepekatan peluang normal multivariat adalah: 𝑓(𝑦1 , 𝑦2 , … , 𝑦𝑛 ) =

1

1 (𝒚−𝝁)𝑇 𝚺−1 (𝒚−𝝁)

(2𝜋)𝑛⁄2 |𝚺|1⁄2

𝑒 −2

2. Kasus khusus contoh acak dari sebaran normal univariat Pandang {𝑦1 , … , 𝑦𝑛 } sebagai contoh acak yang berasal dari sebaran normal tunggal N(𝜇, 𝜎 2 ). Rata-rata di bagian sebelumnya sama, ragam juga sama dan semua peragam/korelasi bernilai nol. Ekspresi matriks mereduksi menjadi likelihood data yang telah dipertimbangkan: 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 =

1 √2𝜋𝜎 2

𝑒

−

(𝑦1 −𝜇)2 2𝜎2

×

1 √2𝜋𝜎 2

𝑒

−

(𝑦2 −𝜇)2 2𝜎2

× ⋯×

diekspresikan dalam matriks sebagai: 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 =

1 1 − 2 (𝒚−𝝁)𝑇 (𝒚−𝝁) 2𝜎 𝑒 (2𝜋)𝑛⁄2 (𝜎 2 )𝑛⁄2

di mana vektor rata-rata dapat ditulis sebagai 𝝁 = 𝜇1.

11

1 √2𝜋𝜎 2

𝑒

−

(𝑦𝑛 −𝜇)2 2𝜎2

The Mathematics of REML Transformasi Ortogonal Pandang matriks ortogonal 𝑷 dan transformasi 𝒚 (tanpa asumsi data menyebar identik dan tak berkorelasi) menjadi 𝒖 = 𝑷𝒚 maka 𝐸(𝒖) = 𝑷𝝁 dan 𝑣𝑎𝑟(𝒖) = 𝑷𝚺𝑷𝑇 Untuk transformasi dari 𝒚 ke 𝒖 diperlukan Jacobian yaitu nilai positif dari determinan matriks yang terlibat dalam hal ini 𝑷. Dari definisi dasar tentang 𝑷, 𝑑𝑒𝑡(𝑷𝑇 𝑷) = 𝑑𝑒𝑡(𝑷𝑷𝑇 ) = 𝑑𝑒𝑡(𝑰), maka [𝑑𝑒𝑡(𝑷)]2 = 𝑑𝑒𝑡(𝑰) = 1 sehingga 𝑑𝑒𝑡(𝑷) = ±1 dengan demikian Jacobian adalah +1. Elemen 𝒚 menyebar secara identic dan tak berkorelasi sehingga 𝝁 = 𝜇𝟏 dan 𝚺 = 𝜎 2 𝑰 di mana 𝑰 adalah matriks identitas berukuran n×n. Maka Elemen-elemen {𝑢1 , … , 𝑢𝑛 } dari 𝒖 = 𝑷𝒚 tidak berkorelasi dan menyebar normal. Kemudian, jika 𝑷 dipilih sebagai matriks Helmert, atau matriks ortogonal apa pun yang memiliki baris pertama {1, 1, …, 1}/n, maka 𝑢1 = √𝑛𝑦̅ menyebar normal dengan rata-rata √𝑛𝜇 dan ragam 𝜎 2 , bebas terhadap 𝑢2 , 𝑢3 , … , 𝑢𝑛 yang semuanya bebas, menyebar normal dengan rata-rata 0 (karena baris 2 hingga n dari 𝑷 ortogonal terhadap baris 1) dan ragam 𝜎 2 . Dengan pilihan 𝑷 seperti ini, dapat dipertahankan (1) kenormalan, (2) kebebasan dan (3) jumlah kuadrat total. Properti terakhir terjadi jika definisi keortogonalan digunakan (yakni 𝑷𝑷𝑇 = 𝑷𝑇 𝑷 = 𝑰) dalam: ∑𝑛𝑖=1 𝑢𝑖2 = 𝒖𝑇 𝒖 = (𝑷𝒚)𝑇 (𝑷𝒚) = 𝒚𝑇 𝑷𝑇 𝑷𝒚 = 𝒚𝑇 𝑰𝑛 𝒚 = 𝒚𝑇 𝒚 = ∑𝑛𝑖=1 𝑦𝑖2

12

The Mathematics of REML Tampak bahwa 𝑢1 = √𝑛𝑦̅ sehingga 𝑢12 = 𝑛𝑦̅ 2 . Apa yang telah dicapai melalui prosedur ini adalah bahwa transformasi ortogonal mengisolasi rata-rata contoh dari n-1 peubah yang membentuk ragam contoh. Jumlah kuadrat preserved, maka ∑𝑛𝑖=1 𝑦𝑖2 = ∑𝑛𝑖=1 𝑢𝑖2 = 𝑢12 + ∑𝑛𝑖=2 𝑢𝑖2 = 𝑛𝑦̅ 2 + ∑𝑛𝑖=2 𝑢𝑖2 . Pindahkan 𝑛𝑦̅ 2 ke ruas kiri persamaan, menghasilkan 𝑛

∑ 𝑦𝑖2 𝑖=1

𝑛

− 𝑛𝑦̅ 2 = ∑ 𝑢𝑖2 . 𝑖=2

Namun, ∑𝑛𝑖=1 𝑦𝑖2 − 𝑛𝑦̅ 2 adalah ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 , dan walaupun ekspresi ini melibatkan n suku, telah diperlihatkan bahwa jumlah kuadrat n-1 peubah normal bebas {𝑢2 , 𝑢3 , … , 𝑢𝑛 } yang semua rata-rata bernilai 0 dan juga semua ragam 𝜎 2 . Kemudian n-1 peubah normal bebas juga bebas terhadap 𝑢1 = √𝑛𝑦̅. Berdasarkan definisi, peubah 2 dengan derajat bebas  adalah jumlah dari kuadrat  peubah normal baku N(0,1) yang saling bebas. Ingat juga bahwa penduga takbias bagi 𝜎 2 adalah ragam contoh yang didefinisikan sebagai: ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 𝑠 = , 𝑛−1 2

Dari padanya didapatkan ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 = (n-1) 𝑠 2 . Karena ini merupakan jumlah dari kuadrat n-1 peubah normal {𝑢2 , 𝑢3 , … , 𝑢𝑛 } yang saling bebas dengan rata-rata 0 dan ragam 𝜎 2 , telah ditunjukkan bahwa, untuk contoh acak berukuran n dari populasi normal,

𝑦̅ ∼ 𝑁 (𝜇,

13

𝜎2 (𝑛 − 1)𝑠 2 2 ) , 𝑏𝑒𝑏𝑎𝑠 𝑡𝑒𝑟ℎ𝑎𝑑𝑎𝑝 ∼ 𝜒𝑛−1 𝑛 𝜎2

The Mathematics of REML Kembali ke logLikelihood untuk contoh acak normal {𝑦1 , … , 𝑦𝑛 }. Bentuk terakhir pada halaman 4 adalah: 𝑛

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk {𝑦1 , … , 𝑦𝑛 } =


−

𝑛 log(𝜎 2 ) 2

(𝑦𝑖 − 𝑦̅)2 𝑛(𝑦̅ − 𝜇)2 −∑ − 2𝜎 2 2𝜎 2 𝑖=1

Pandang suku terakhir: 2 2 𝑢1 𝑢1 2 𝑛 ( − 𝜇) ( 𝑛 − 𝑛𝜇) √ √ (𝑢1 − √𝑛𝜇) 𝑛(𝑦̅ − 𝜇)2 𝑛 𝑛 √ √ = = = 2𝜎 2 2𝜎 2 2𝜎 2 2𝜎 2

Daripada memandang logLikelihood untuk himpunan peubah ini, pandang logLikelihood sebagai himpunan peubah transformasi {𝑢1 , 𝑢2 , … , 𝑢𝑛 } di mana Jacobian adalah 1 (dan ingat bahwa 𝑢1 = √𝑛𝑦̅ dan ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 = ∑𝑛𝑖=2 𝑢𝑖2 ): pada halaman 13 𝑛

(𝑢1 − √𝑛𝜇) 𝑛 𝑛 𝑢𝑖2 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk {𝑢1 , … , 𝑢𝑛 } = − log(2𝜋) − log(𝜎 2 ) − ∑ 2 − 2 2 2𝜎 2𝜎 2

2

𝑖=2

Ingat bahwa 𝑢1 menyebar normal dengan rata-rata √𝑛𝜇 dan ragam 𝜎 2 , fungsi dipisahkan menjadi dua, maka logLikelihood untuk himpunan peubah transformasi {𝑢1 , 𝑢2 , … , 𝑢𝑛 } adalah 2

𝑛

(𝑢1 − √𝑛𝜇) 1 1 𝑛−1 𝑛−1 𝑢𝑖2 2) [− (2𝜋) − log(𝜎 2 ) − ] + [− log(2𝜋) − log(𝜎 − ∑ ] 2 2 2𝜎 2 2 2 2𝜎 2 𝑖=2

Memaksimumkan likelihood pertama untuk 𝑢1 akan menghasilkan penduga ML/REML bagi 𝜇. Bagian kedua adalah likelihood untuk himpunan peubah {𝑢2 , 𝑢3 , … , 𝑢𝑛 } yang bebas terhadap 𝑢1 , dan menyediakan penduga REML bagi 𝜎 2 . Ini merupakan pendekatan untuk menggeneralisir pendugaan parameter ragam dengan metode REML untuk model campuran linier umum mana pun general linear mixed model (bagian “campuran” menjelaskan berapa pun pengaruh acak dan tetap dalam model). Ide REML akan dibangun dengan lambat.

14

The Mathematics of REML 3. Transformasi menyangkut matriks idempoten setangkup

Hasil dasar untuk GLM. Pandang vektor 𝒛 berukuran n peubah normal baku, saling bebas N(0,1). Berdasarkan definisi 𝒛𝑇 𝒛~𝜒𝑛2 . Nyatakan 𝑨 sebagai matriks idempotent setangkup, maka 𝒛𝑇 𝑨𝒛~𝜒 2 dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑨). Nyatakan pula 𝑩 sebagai matriks idempotent setangkup, maka 𝒛𝑇 𝑩𝒛~𝜒 2 dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑩), dan bebas terhadap 𝒛𝑇 𝑨𝒛 jika dan hanya jika 𝑨𝑩 = 𝑶.

15


Model Linier Umum dengan hanya pengaruh tetap Teladan 1 – contoh acak sederhana dari sebaran normal Model paling sederhana adalah untuk contoh acak berukuran n dari populasi tunggal normal (untuk selanjutnya diasumsikan normal), semua bebas dengan rata-rata 𝜇 dan ragam 𝜎 2 . Nilai pengamatan contoh ditulis secara sederhana sebagai: 𝑦𝑖 = 𝜇 + 𝜀𝑖 Dalam bentuk matriks, 𝒚 = 𝑿𝜷 + 𝛜 di mana {𝑦1 , … , 𝑦𝑛 } adalah elemen dari 𝒚, 𝑿 = 1𝑛 , vector kolom berisi n buah 1, 𝜷 adalah kolom vektor parameter, dalam hal ini berupa skalar sama dengan rata-rata 𝜇, dan vektor kolom sisaan acak 𝛜 . Model kompleks lain memiliki struktur sama, kita teliti kasus umum di mana 𝜷 mengandung p parameter.

Pendugaan melalui kuadrat terkecil Metode ini menyajikan penduga kuadrat terkecil untuk parameter 𝜷 dengan meminimumkan jumlah kuadrat sisa 𝛜𝑇 𝛜, yakni (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷). Solusi adalah latihan sederhana dalam turunan matriks. Nyatakan 𝒃 sebagai penduga bagi 𝜷, 𝒃 = (𝑿𝑇 𝑿)−1 𝑿𝑇 𝒚. Gunakan solusi ini dalam (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷) untuk menghitung Residual Sum of Squares (Res SS):

Res SS = (𝒚 − 𝑿𝒃)𝑇 (𝒚 − 𝑿𝒃) = (𝒚 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 𝒚)𝑇 (𝒚 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 𝒚) Keluarkan vector 𝒚 ( 𝒚 𝑇 dari kurung kiri dan 𝒚 dari kanan) dari dalam kedua kurung menghasilkan:

16


Res SS = 𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝒚 Matriks (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 ) setangkup dan idempoten (check this!), maka

Res SS = 𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝒚 = 𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1𝑿𝑇 )𝒚 Dengan sifat 4 pada halaman 14 dapat disimpulkan bahwa 𝑅𝑒𝑠 𝑆𝑆~𝜒 2 dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 ). Secara umum 𝑡𝑒𝑟𝑎𝑠(𝑨𝑩𝑪) = 𝑡𝑒𝑟𝑎𝑠(𝑪𝑨𝑩) = 𝑡𝑒𝑟𝑎𝑠(𝑩𝑪𝑨). Dengan demikian = 𝑡𝑒𝑟𝑎𝑠(𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 ) = 𝑡𝑒𝑟𝑎𝑠(𝑰) − 𝑡𝑒𝑟𝑎𝑠(𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 ) = 𝑛 − 𝑡𝑒𝑟𝑎𝑠(𝑿𝑇 𝑿(𝑿𝑇 𝑿)−1 )

Matriks berdimensi p×p , secara umum (di mana p = 1 pada teladan sebelumnya) maka 𝑿𝑇 𝑿(𝑿𝑇 𝑿)−1 adalah matriks identitas berdimensi p×p, 𝑰𝑝 yang memiliki teras p. Matriks (𝑰 − 𝑿(𝑿𝑇 X)−1 𝑿𝑇 ) setangkup, idempoten dengan teras (n-p), gunakan hasil ini, untuk menunjukkan bahwa: Res SS = 𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝒚~ 𝜎 2 𝜒 2 dengan derajat bebas (n-p). Untuk contoh sederhana p = 1, 𝜷 adalah skalar 𝜎 2 , 𝑿𝑇 𝑿 = 1T 1 = 𝑛, X T 𝒚 = 1T 𝒚 = 𝑦1 + ⋯ + 𝑦𝑛 maka: Penduga bagi 𝜇 = (𝑿𝑇 𝑿)−1 𝑿𝑇 𝒚 = (𝑛)−1 (𝑦1 + ⋯ + 𝑦𝑛 ) = 𝑦̅. Kemudian struktur Res SS untuk contoh sederhana ini, yakni: 1 1 𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 = 𝑰 − 1(1T 1)−1 1T = 𝑰 − 11𝑇 = 𝑰𝑛 − 𝑱𝑛 𝑛 𝑛

17

The Mathematics of REML dengan demikian 1 1 𝑅𝑒𝑠 𝑆𝑆 = 𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1𝑿𝑇 )𝒚 = 𝒚𝑇 (𝑰 − 11𝑇 ) 𝒚 = 𝒚𝑇 𝒚 − 𝒚𝑇 11𝑇 𝒚 𝑛 𝑛 Karena 𝒚𝑇 𝒚 = ∑𝑛𝑖=1 𝑦𝑖2 dan 𝒚𝑇 1 adalah ∑𝑛𝑖=1 𝑦𝑖 = 𝑛𝑦̅, sehingga, untuk contoh acak sederhana dari sebaran normal: 𝑅𝑒𝑠 𝑆𝑆 = ∑𝑛𝑖=1 𝑦𝑖2 − 𝑛𝑦̅ 2 = ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 = (𝑛 − 1)𝑠 2 ~ 𝜎 2 𝜒 2 dengan derajat bebas n-1. Catat bahwa jika 𝒚~N(µ1, 𝜎 2 I) penduga kuadrat terkecil bagi vektor parameter  identik dengan penduga ML karena persamaan yang sama diselesaikan dalam kedua kasus.

18


Regresi Linier Sederhana

Model regresi linier sederhana 𝑦𝑖 = 𝛼 + 𝛽𝑥𝑖 + 𝜀𝑖 Memiliki 2 parameter yang tidak diketahui, dan {𝑥1 , … , 𝑥𝑛 } diasumsikan tetap. Dalam bentuk matriks, perbedaan utama antar model ini dan model sebelumnya adalah matriks rancangan 𝑿: 1 𝑥1 1 𝑥2 𝑿=[ ] ⋮ ⋮ 1 𝑥𝑛 dengan 𝜷 vektor kolom mengandung dua parameter dan .

Penduga Kuadrat Terkecil / ML untuk intersep dan slope

Pandang, 𝑿𝑇 𝑿 = [

1 𝑥1

⋯ ⋯

1 𝑥1 𝑛 1 ] [⋯ ⋯ ] = [𝑛𝑥̅ 𝑥𝑛 1 𝑥𝑛

𝑛𝑦̅ 𝑛𝑥̅ 𝑇 ]. 2 ] dan juga 𝑿 𝒚 = [ ∑ 𝑥𝑖 ∑ 𝑥𝑖 𝑦𝑖

Determinan 𝑿𝑇 𝑿 adalah 𝑛(∑ 𝑥𝑖2 − 𝑛𝑥̅ 2 ) = 𝑛 ∑(𝑥𝑖 − 𝑥̅ )2 . Dengan demikian

(XT X)−1 𝑿𝑇 𝒚

1 ∑ 𝑥𝑖2 = [ 𝑛 ∑(𝑥𝑖 − 𝑥̅ )2 −𝑛𝑥̅

−𝑛𝑥̅ ] [ 𝑛

𝑛𝑦̅ ∑ 𝑥𝑖 𝑦𝑖

]

𝑛𝑦̅ ∑ 𝑥𝑖2 − 𝑛𝑥̅ ∑ 𝑥𝑖 𝑦𝑖 1 = [ ] 𝑛 ∑(𝑥𝑖 − 𝑥̅ )2 −𝑛2 𝑥̅ 𝑦̅ + 𝑛 ∑ 𝑥 𝑦 𝑖 𝑖

Pandang −𝑛2 𝑥̅ 𝑦̅ + 𝑛 ∑ 𝑥𝑖 𝑦𝑖 = 𝑛(∑ 𝑥𝑖 𝑦𝑖 − 𝑛𝑥̅ 𝑦̅) = 𝑛 ∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅), maka solusi kuadrat terkecil/ML untuk slope adalah:

19


𝑏=

∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) ∑(𝑥𝑖 − 𝑥̅ )2

Juga, 𝑛𝑦̅ ∑ 𝑥𝑖2 − 𝑛𝑥̅ ∑ 𝑥𝑖 𝑦𝑖 dapat ditulis sebagai 𝑛𝑦̅ ∑(𝑥𝑖 − 𝑥̅ )2 − 𝑛𝑥̅ ∑ (𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) maka solusi kuadrat terkecil/ML untuk intersep adalah:

𝑎=

𝑛𝑦̅ ∑(𝑥𝑖 − 𝑥̅ )2 − 𝑛𝑥̅ ∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) = 𝑦̅ − b𝑥̅ . 𝑛 ∑(𝑥𝑖 − 𝑥̅ )2

Dua pendekatan untuk memperlihatkan bahwa (*) = (**) (*)

𝑛𝑦̅ ∑ 𝑥𝑖2 − 𝑛𝑥̅ ∑ 𝑥𝑖 𝑦𝑖

(**) 𝑛𝑦̅ ∑(𝑥𝑖 − 𝑥̅ )2 − 𝑛𝑥̅ ∑ (𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) Gunakan fakta bahwa a. Jumlah Kuadrat dapat ditulis dalam bentuk: 

∑(𝑥𝑖 − 𝑥̅ )2 = ∑ 𝑥𝑖 2 − 𝑛𝑥̅ 2



∑ 𝑥𝑖 2 = ∑(𝑥𝑖 − 𝑥̅ + 𝑥̅ )2 = ∑(𝑥𝑖 − 𝑥̅ )2 + ∑ 𝑥̅ 2 = ∑(𝑥𝑖 − 𝑥̅ )2 + 𝑛𝑥̅ 2

sehingga

(1) ∑ 𝑥𝑖 2 = ∑(𝑥𝑖 − 𝑥̅ )2 + 𝑛𝑥̅ 2 atau

b. Jumlah hasil kali deviasi ditulis dalam bentuk  ∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) = ∑ 𝑥𝑖 𝑦𝑖 − 𝑛𝑥̅ 𝑦̅

sehingga (2) ∑ 𝑥𝑖 𝑦𝑖 = ∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) + 𝑛𝑥̅ 𝑦̅

 ∑ 𝑥𝑖 𝑦𝑖 = ∑(𝑥𝑖 − 𝑥̅ + 𝑥̅ )(𝑦𝑖 − 𝑦̅ + 𝑦̅) = ∑((𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) + 𝑥̅ 𝑦̅) = = ∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) + ∑ 𝑥̅ 𝑦̅ = ∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) + 𝑛𝑥̅ 𝑦̅ Substitusi (1) dan (2) ke dalam persamaan (*) 𝑛𝑦̅(∑(𝑥𝑖 − 𝑥̅ )2 + 𝑛𝑥̅ 2 ) − 𝑛𝑥̅ (∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) + 𝑛𝑥̅ 𝑦̅) 𝑛𝑦̅ ∑(𝑥𝑖 − 𝑥̅ )2 + 𝑛𝑥̅ 2 𝑦̅ − 𝑛𝑥̅ ∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) − 𝑛𝑥̅ 2 𝑦̅

sama dengan (**)

Penduga ML bagi parameter ragam Likelikood untuk {𝑒1 , … , 𝑒𝑛 } adalah contoh acak dari secaran normal N(0, 𝜎 2 ) di mana 𝑒𝑖 = 𝑦𝑖 − 𝛼 − 𝛽𝑥𝑖

20


𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 =

1 √2𝜋𝜎 2

𝑒 2 − 12 2𝜎 𝑒

×

𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = (2𝜋)

𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = (2𝜋)

−

1 √2𝜋𝜎 2

−

𝑛 2

𝑛 2

×

𝑒 2 − 22 2𝜎 𝑒

𝑛 (𝜎 2 )− 2

𝑛 (𝜎 2 )− 2

𝑒

×⋯×

×

− ∑𝑛 𝑖=1

1 √2𝜋𝜎 2

𝑒 2 − 𝑛2 2𝜎 𝑒

𝑒2 − ∑ 𝑖2 𝑒 2𝜎

(𝑦𝑖 −𝛼−𝛽𝑥𝑖 )2 2𝜎2

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑒1 , … , 𝑒𝑛 } = −𝑛2log(2𝜋) − 𝑛2log(𝜎 2 ) − ∑𝑛𝑖=1


Turunan langsung logLikelihood model ini terhadap 𝜎 2 , menghasilkan penduga bagi 𝜎 2 : ∂ ∂𝜎2

∂

(− 𝑛2 log(2𝜋)) − ∂𝜎2 (𝑛2 log(𝜎 2 )) − ∂𝜎∂2(∑𝑛𝑖=1


)

𝑛

(𝑦𝑖 − 𝛼 − 𝛽𝑥𝑖 )2 𝑛 0− 2+∑ 2𝜎 2𝜎 4 𝑖=1

Samakan dengan nol, dan selesaikan, menghasilkan penduga ML: 𝑛 2 (𝑦𝑖 − 𝛼̂ − 𝛽̂ 𝑥𝑖 ) 𝑛 − 2+∑ =0 2𝜎̂ 2𝜎̂ 4 𝑖=1

∑𝑛𝑖=1(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖 )2 =𝑛 𝜎̂ 2 ∑𝑛𝑖=1(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖 )2 𝜎̂ = 𝑛 2

Substitusi 𝑎 = 𝑦̅ − b𝑥̅ 𝜎

2

∑(𝑦𝑖 − 𝑎 − b𝑥𝑖 )2 ∑(𝑦𝑖 − 𝑦̅ − b𝑥̅ − b𝑥𝑖 )2 ∑(𝑦𝑖 − 𝑦̅ − b(𝑥𝑖 − 𝑥̅ )) = = = 𝑛 𝑛 𝑛

2

Pembilang dapat diuraikan menjadi:

Penduga ML bagi 𝜎 2 =

∑(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖 )2 ∑(𝑦𝑖 − 𝑦̅)2 − 𝑏 2 ∑(𝑥𝑖 − 𝑥̅ )2 = , 𝑛 𝑛

Walaupun terdapat banyak cara menuliskan rumus ini. Anda mungkin ingat akan pembilang sebagai selisih JK Total dan JKRegresi dalam ANOVA-regresi linier sederhana. 21


Untuk mengembangkan penduga REML, lihat kembali pendekatan matriks dalam pendugaan ML. Ekspresi matriks untuk logLikelihood adalah sebagai berikut. Vektor peubah acak 𝒚 memiliki rata-rata 𝑿𝜷 dan ragam 𝜎 2 𝑰 (dan catat bahwa 𝑑𝑒𝑡𝑒𝑟𝑚(𝜎 2 𝑰) = 𝜎 2𝑛 . Maka 𝑛

𝑛

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑦1 , … , 𝑦𝑛 } = − 2log(2𝜋) − 2log(𝜎 2 ) −

1 (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷). 2 2𝜎

Turunkan terhadap 𝜎 2 dan substitusi penduga ML untuk 𝜷 menghasilkan: −

∂ ∂ ∂ 1 𝑛 𝑛 (2log(2𝜋)) − 2 (2 log(𝜎 2 )) − 2 ( 2 (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷)) 2 ∂𝜎 ∂𝜎 ∂𝜎 2𝜎 0−

𝑛 1 (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷) = 0 + 2𝜎̂ 2 2𝜎̂ 4 (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷) =𝑛 𝜎̂ 2

Penduga ML bagi 𝜎

2

(𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷) = 𝑛

Sama dengan solusi sebelumnya. Pandang transformasi ortogonal 𝒖 = 𝑷𝒚 di mana 𝑷 adalah matriks ortogonal berdimensi n×n berbentuk: 1⁄√𝑛

⋯

𝑷 = [(𝑥 − 𝑥̅ )⁄√∑(𝑥 − 𝑥̅ )2 1 𝑖

1⁄√𝑛

⋯ (𝑥𝑛 − 𝑥̅ )⁄√∑(𝑥𝑖 − 𝑥̅ )2 ]

⋮

⋮

⋮

Jumlah kuadrat elemen-elemen baris pertama dan kedua adalah 1. 2

2

2

Baris 1: (1⁄√𝑛) + (1⁄√𝑛) + ⋯ + (1⁄√𝑛) = ∑ 1⁄𝑛 = 𝑛(1⁄𝑛) = 1 Baris 2: (𝑥1 − 𝑥̅ )

2

(𝑥2 − 𝑥̅ )

2

(𝑥𝑛 − 𝑥̅ )

2

( ) +( ) + ⋯+ ( ) = √∑(𝑥𝑖 − 𝑥̅ )2 √∑(𝑥𝑖 − 𝑥̅ )2 √∑(𝑥𝑖 − 𝑥̅ )2 22

The Mathematics of REML (𝑥1 − 𝑥̅ )2 (𝑥2 − 𝑥̅ )2 (𝑥𝑛 − 𝑥̅ )2 ∑(𝑥𝑖 − 𝑥̅ )2 + + ⋯+ = =1 ∑(𝑥𝑖 − 𝑥̅ )2 ∑(𝑥𝑖 − 𝑥̅ )2 ∑(𝑥𝑖 − 𝑥̅ )2 ∑(𝑥𝑖 − 𝑥̅ )2 Jumlah hasil kali elemen baris pertama dan kedua adalah 0, syarat keortogonalan. Mathematicians telah membuktikan bahwa matriks demikian ada.

Misal baris 3 dapat berupa: (𝑥2 − 𝑥3

𝑥3 − 𝑥1

𝑥1 − 𝑥2

0

0 ⋯ 0)

di mana setiap elemen dibagi √(𝑥2 − 𝑥3 )2 + (𝑥3 − 𝑥1 )2 + (𝑥1 − 𝑥2 )2. Jumlah kuadrat baris 3 juga 1. (𝑥2 − 𝑥3 )2 + (𝑥3 − 𝑥1 )2 + (𝑥1 − 𝑥2 )2 + 0 + ⋯ + 0 (√(𝑥2 − 𝑥3 )2 + (𝑥3 − 𝑥1 )2 + (𝑥1 − 𝑥2 )2 )

2

(𝑥2 − 𝑥3 )2 + (𝑥3 − 𝑥1 )2 + (𝑥1 − 𝑥2 )2 =1 (𝑥2 − 𝑥3 )2 + (𝑥3 − 𝑥1 )2 + (𝑥1 − 𝑥2 )2 Jelas bahwa jumlah hasil kali baris 1 dan 2, demikian pula baris 1 dan 3, juga baris 2 dan 3 adalah 0. Baris 1 dan 2: (𝑥1 − 𝑥̅ ) + (𝑥2 − 𝑥̅ ) + ⋯ + (𝑥𝑛 − 𝑥̅ ) ∑(𝑥𝑖 − 𝑥̅ ) 0 ( )= = =0 √𝑛 √∑(𝑥𝑖 − 𝑥̅ )2 √𝑛 ∑(𝑥𝑖 − 𝑥̅ )2 √𝑛 ∑(𝑥𝑖 − 𝑥̅ )2 1

Baris 1 dan 3: 1

(

𝑥2 − 𝑥3 +

𝑥3 − 𝑥1 +

𝑥1 − 𝑥2

√𝑛 √(𝑥2 − 𝑥3 )2 + (𝑥3 − 𝑥1 )2 + (𝑥1 − 𝑥2 )2 0 √𝑛((𝑥2 − 𝑥3 )2 + (𝑥3 − 𝑥1 )2 + (𝑥1 − 𝑥2 )2 )

)

=0

Baris 2 dan 3: (𝑥1 − 𝑥̅ )(𝑥2 − 𝑥3 ) + (𝑥2 − 𝑥̅ )(𝑥3 − 𝑥1 ) + (𝑥3 − 𝑥̅ )(𝑥1 − 𝑥2 ) √∑(𝑥𝑖 − 𝑥̅ )2 (𝑥2 − 𝑥3 )2 + (𝑥3 − 𝑥1 )2 + (𝑥1 − 𝑥2 )2

=0

Pembilang sama dengan 0, (𝑥1 − 𝑥̅ )(𝑥2 − 𝑥3 ) + (𝑥2 − 𝑥̅ )(𝑥3 − 𝑥1 ) + (𝑥3 − 𝑥̅ )(𝑥1 − 𝑥2 ) = 0 Dua manfaat dari pendekatan ini: pertama adalah pembuktian secara mudah property sebaran apa pun menyangkut regresi linier sederhana. Kedua mengarah pada solusi REML untuk pendugaan parameter ragam.

23

The Mathematics of REML Gunakan sifat matriks diagonal: ∑𝑛𝑖=1 𝑦𝑖2 = ∑𝑛𝑖=1 𝑢𝑖2 Peubah acak {𝑢1 , 𝑢2 , 𝑢3 , … , 𝑢𝑛 } saling bebas, menyebar normal dengan ragam 𝜎 2 . Terutama mengevaluasi dua peubah vektor transformasi 𝑢1 dan 𝑢2 𝑢1 = √𝑛𝑦̅ 𝑢2 = ∑(𝑥𝑖 − 𝑥̅ )𝑦𝑖 ⁄√∑(𝑥𝑖 − 𝑥̅ )2 = ∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅)⁄√∑(𝑥𝑖 − 𝑥̅ )2 = 𝑏√∑(𝑥𝑖 − 𝑥̅ )2 Kemudian, 𝐸(𝒖) = 𝐸(𝑷𝒚) = 𝑷𝑿𝜷, maka E(𝑢1 ) 1⁄√𝑛 E(𝑢2 ) E(𝑢3 ) = [(𝑥1 − 𝑥̅ )⁄√∑(𝑥𝑖 − 𝑥̅ )2 ⋮ ⋮ [E(𝑢𝑛 )]

⋯ ⋯ ⋮

1⁄√𝑛

1 (𝑥𝑛 − 𝑥̅ )⁄√∑(𝑥𝑖 − 𝑥̅ )2 ] [⋯ 1 ⋮

𝑥1 𝛼 ⋯ ] [𝛽 ] 𝑥𝑛

Ingat bahwa baris 3 hingga n dari matriks 𝑷 ortogonal terhadap baris 1 dan 2, dan catat bahwa 2 kolom pada matriks rancangan 𝑿 proporsional terhadap baris 1 and 2 matriks 𝑷. Dengan demikian berdasarkan keortogonalan, semua rata-rata {𝑢3 , … , 𝑢𝑛 } harus 0. Kemudian, perhatikan hanya 2 baris pertama matriks ini dan gunakan fakta ∑(𝑥𝑖 − 𝑥̅ )𝑥𝑖 ⁄√∑(𝑥𝑖 − 𝑥̅ )2 = ∑(𝑥𝑖 − 𝑥̅ )2 ⁄√∑(𝑥𝑖 − 𝑥̅ )2 = √∑(𝑥𝑖 − 𝑥̅ )2 , Pandang pembilang: ∑(𝑥𝑖 − 𝑥̅ )𝑥𝑖 = ∑(𝑥𝑖2 − 𝑥̅ 𝑥𝑖 ) = ∑ 𝑥𝑖2 − ∑ 𝑥̅ 𝑥𝑖 = ∑ 𝑥𝑖2 − 𝑥̅ ∑ 𝑥𝑖 = ∑ 𝑥𝑖2 − 𝑛𝑥̅ 2 =∑(𝑥𝑖 − 𝑥̅ )2 Perkalian matriks 𝑷𝑿 Unsur 11 1⁄ (1) + 1⁄ (1) + ⋯ + 1⁄ (1) = 1⁄ (∑ 1) = 𝑛 = √𝑛 √𝑛 √𝑛 √𝑛 √𝑛 √𝑛 Unsur 12

24

The Mathematics of REML 1⁄ (𝑥 ) + 1⁄ (𝑥 ) + ⋯ + 1⁄ (𝑥 ) = ∑ 𝑥𝑖 = 𝑛𝑥̅ = √𝑛𝑥̅ 1 2 𝑛 √𝑛 √𝑛 √𝑛 √𝑛 √𝑛 Unsur 21 (𝑥1 − 𝑥̅ ) + (𝑥2 − 𝑥̅ ) + ⋯ + (𝑥𝑛 − 𝑥̅ ) √∑(𝑥𝑖 − 𝑥̅ )2

=

∑(𝑥𝑖 − 𝑥̅ ) √∑(𝑥𝑖 − 𝑥̅ )2

=

0 √∑(𝑥𝑖 − 𝑥̅ )2

=0

Unsur 22 (𝑥1 − 𝑥̅ )𝑥1 + (𝑥2 − 𝑥̅ )𝑥2 + ⋯ + (𝑥𝑛 − 𝑥̅ )𝑥𝑛 √∑(𝑥𝑖 − 𝑥̅ )2 Kalikan

√∑(𝑥𝑖 −𝑥̅ )2 √∑(𝑥𝑖 −𝑥̅ )2

∑(𝑥𝑖 −𝑥̅ )2 √∑(𝑥𝑖 −𝑥̅ )2

𝑥

=

∑(𝑥𝑖 − 𝑥̅ )𝑥𝑖 √∑(𝑥𝑖 − 𝑥̅ )2

=

∑(𝑥𝑖 − 𝑥̅ )2 √∑(𝑥𝑖 − 𝑥̅ )2

, menjadi

√∑(𝑥𝑖 −𝑥̅ )2 √∑(𝑥𝑖 −𝑥̅ )2

∑(𝑥 −𝑥̅ )2

= ∑(𝑥𝑖 −𝑥̅ )2 𝑥√∑(𝑥𝑖 − 𝑥̅ )2 = √∑(𝑥𝑖 − 𝑥̅ )2 𝑖

Sesudah perkalian matriks, diperoleh: E(𝑢1 )= √𝑛 𝛼 + √𝑛𝑥̅ 𝛽 = √𝑛 (𝛼 + 𝛽𝑥̅ ) E(𝑢2 )=0+√∑(𝑥𝑖 − 𝑥̅ )2 𝛽

√𝑛 E(𝑢1 ) [ ]=[ E(𝑢2 ) 0

√𝑛(𝛼 + 𝛽𝑥̅ ) 𝛼 ][ ] = [ ] √∑(𝑥𝑖 − 𝑥̅ )2 𝛽 √∑(𝑥𝑖 − 𝑥̅ )2 𝛽 √𝑛𝑥̅

Sekarang 𝑛

𝑛

𝐿𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑦1 , … , 𝑦𝑛 } = − 2log(2𝜋) − 2log(𝜎 2 ) −

1 (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷) 2𝜎 2

Dengan menggunakan transformasi = 𝑷𝒚 , substitusi 𝒚 = 𝑷−1 𝒖 = 𝑷𝑇 𝒖 (karena 𝑷 ortogonal) ke dalam persamaan di atas. Juga, Jacobian dari transformation adalah 1 (juga karena 𝑷 ortogonal dan 𝑑𝑒𝑡𝑒𝑟𝑚(𝑷) = 1), menghasilkan: 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of of {𝑢1 , 𝑢2 , 𝑢3 , … , 𝑢𝑛 } 𝑛

𝑛

= − 2log(2𝜋) − 2log(𝜎 2 ) −

1 (𝑷𝑇 𝒖 − 𝑿𝜷)𝑇 (𝑷𝑇 𝒖 − 𝑿𝜷) 2𝜎 2

Kemudian 𝑷𝑇 𝑷 = 𝑰 ditambahkan ke dalam kedua kurung tanpa mengubah hasil.

25

The Mathematics of REML 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢1 , 𝑢2 , 𝑢3 , … , 𝑢𝑛 } 𝑛

𝑛

= − 2log(2𝜋) − 2log(𝜎 2 ) −

1 (𝑷𝑇 𝒖 − 𝑷𝑇 𝑷𝑿𝜷)𝑇 (𝑷𝑇 𝒖 − 𝑷𝑇 𝑷𝑿𝜷) 2𝜎 2

Keluarkan 𝑷𝑇 dari kedua kurung, ingat sifat perkalian matriks (dimensi) dan catat bahwa (𝑷𝑇 )𝑇 = 𝑷 menghasilkan: 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢1 , 𝑢2 , 𝑢3 , … , 𝑢𝑛 } 𝑛

𝑛

= − 2log(2𝜋) − 2log(𝜎 2 ) −

1 (𝒖 − 𝑷X𝜷)𝑇 𝑷𝑷𝑇 (𝒖 − 𝑷X𝜷) 2𝜎 2

Namun, 𝑷𝑇 𝑷 = 𝑰 sehingga suku di tengah dapat diabaikan. Kemudian, 𝑷X𝜷 telah dijelaskan sebelumnya berupa kolom di mana elemen pertama adalah √𝑛(𝛼 + 𝛽𝑥̅ ), elemen kedua √∑(𝑥𝑖 − 𝑥̅ )2 𝛽 dan elemen lain 0. Hal ini memungkinkan logLikelihood dipisahkan ke dalam tiga komponen: (ingat bahwa 𝑛 = 𝑛 + 1 + 1 − 2 = 1 + 1 + (𝑛 − 2) 1

1

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢1 , 𝑢2 , 𝑢3 , … , 𝑢𝑛 } = −2log(2𝜋) − 2log(𝜎 2 ) − 1 −2log(2𝜋)

−

1 log(𝜎 2 ) 2

2 1 (𝑢1 − √𝑛(𝛼 + 𝛽𝑥̅ )) 2 2𝜎 2

1 − 2 (𝑢2 − √∑(𝑥𝑖 − 𝑥̅ )2 𝛽) 2𝜎 𝑛

𝑛−2 − 2 log(2𝜋)

−

𝑛−2 log(𝜎 2 ) 2

1 − 2 ∑ 𝑢𝑖2 2𝜎 𝑖=3

Ringkasan, 𝑢1 = √𝑛𝑦̅ menyebar normal dengan rata-rata √𝑛(𝛼 + 𝛽𝑥̅ ) dan ragam 𝜎 2 , bebas terhadap 𝑢2 = 𝑏√∑(𝑥𝑖 − 𝑥̅ )2, menyebar normal dengan rata-rata 𝛽√∑(𝑥𝑖 − 𝑥̅ )2 dan ragam 𝜎 2 . Kedua 𝑢1 dan 𝑢2 bebas terhadap {𝑢3 , … , 𝑢𝑛 } yang semuanya bebas, dan menyebar normal dengan rata-rata 0 dan ragam 𝜎 2 .

Juga, 𝑢22 = 𝑏 2 ∑(𝑥𝑖 − 𝑥̅ )2 berupa Regression SS dalam ANOVA regresi linier sederhana, dan di bawah hipotesis bahwa  = 0, besaran ini harus menyebar secara 𝜎 2 2 dengan derajat bebas 26

The Mathematics of REML 1, dan bebas terhadap {𝑢3 , ⋯ , 𝑢𝑛 }, di mana ∑𝑛𝑖=3 𝑢𝑖2 = Residual SS dalam ANOVA regresi linier sederhana karena alasan berikut ini: 𝑛

𝑛

∑ 𝑦𝑖2 𝑖=1

=

∑ 𝑢𝑖2 𝑖=1

𝑛

=

𝑢12

+

𝑢22

+

∑ 𝑢𝑖2 𝑖=3

𝑛 2

2

= 𝑛𝑦̅ + 𝑏 ∑(𝑥𝑖 − 𝑥̅

)2

+ ∑ 𝑢𝑖2 𝑖=3

Sususn kembali persamaan ini dan ingat bahwa ∑𝑛𝑖=1 𝑦𝑖2 - 𝑛𝑦̅ 2 = ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2: maka

∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 − 𝑏 2 ∑(𝑥𝑖 − 𝑥̅ )2 = ∑𝑛𝑖=3 𝑢𝑖2

Suku pertama adalah Total SS dalam ANOVA regresi linier sederhana dan suku kedua adalah Regression SS, sehingga ∑𝑛𝑖=3 𝑢𝑖2 adalah Residual SS dalam ANOVA regresi linier sederhana. Karena n-2 peubah {𝑢3 , ⋯ , 𝑢𝑛 } saling bebas, menyebar normal dengan rata-rata 0 dan ragam 𝜎 2 , telah diperlihatkan bahwa Residual SS dalam ANOVA regresi linier sederhana menyebar secara 𝜎 2 2 dengan derajat bebas n-2 (tak perlu kebenaran hipotesis bahwa slope sama dengan nol), bebas terhadap Regression SS dalam ANOVA regresi linier sederhana menyebar secara 𝜎 2 2 dengan derajat bebas 1 (hanya jika hipotesis tentang slope nol benar).

Penduga REML untuk parameter ragam Fungsi logLikelihood untuk 𝒖 telah memisahkan residual likelihood yang hanya mengandung parameter ragam 𝜎 2 . Bagian ketiga bersifat acak dan 2 bagian pertama fixed (tetap), karena mengandung α dan β. 1

2

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒖 = −12log(2𝜋) − 12log(𝜎 2 ) − 2𝜎2 (𝑢1 − √𝑛(𝛼 + 𝛽𝑥̅ )) fixed term 1

2

−12log(2𝜋) − 12log(𝜎 2 ) − 2𝜎2 (𝑢2 − √∑(𝑥𝑖 − 𝑥̅ )2 𝛽) fixed term

27

The Mathematics of REML 1

−𝑛−2 log(2𝜋) − 𝑛−2 log(𝜎 2 ) − 2𝜎2 ∑𝑛𝑖=3 𝑢𝑖2 random 2 2 Diferensiasi langsung bagian ketiga (residual likelihood) terhadap 𝜎 2 menghasilkan solusi REML: 𝑛

∂ ∂ ∂ 1 𝑛−2 𝑛−2 − 2 ( 2 log(2𝜋)) − 2 ( 2 log(𝜎 2 )) − 2 ( 2 ∑ 𝑢𝑖2 ) ∂𝜎 ∂𝜎 ∂𝜎 2𝜎 𝑖=3

𝑛

𝑛−2 1 0− + 4 ∑ 𝑢𝑖2 = 0 2 2𝜎̂ 2𝜎̂ 𝑖=3

𝑛

1 −(𝑛 − 2) + 2 ∑ 𝑢𝑖2 = 0 𝜎̂ 𝑖=3

𝑛

1 ∑ 𝑢𝑖2 = (𝑛 − 2) 𝜎̂ 2 𝑖=3

∑𝑛𝑖=3 𝑢𝑖2 𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑆𝑆 Penduga REML bagi 𝜎 = = = 𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑀𝑆 𝑛−2 𝑛−2 2

Penduga REML untuk ragam dalam model regresi linier sederhana bersifat takbias, karena nilai 2 ) harapan peubah 2 dengan derajat bebas n-2 adalah n-2 , 𝐸 (𝜒𝑛−2 =𝑛−2

28


Regresi Linier Berganda

Regresi linier berganda mengandung p peubah penjelas 𝑦𝑖 = 𝛼 + 𝛽1 𝑥1𝑖 + 𝛽2 𝑥2𝑖 + ⋯ 𝛽𝑝 𝑥𝑝𝑖 + 𝜀𝑖 memiliki p+1 parameter yang tidak diketahui, di mana {𝑥1𝑖 , … , 𝑥𝑝𝑖 , 𝑖 = 1, ⋯ , 𝑛} diasumsikan tetap dan {i} diasumsikan bebas, menyebar normal dengan rata-rata 0 dan ragam 𝜎 2 . Bentuk matriks model, 𝒚 = 𝑿𝜷 + 𝛜 melibatkan:

1 𝑿 = [⋯ 1

𝛼 𝑥11 ⋯ 𝑥𝑝1 𝛽1 ⋯ ⋯ ⋯ ], 𝜷 = [ ⋮ ] 𝑥1𝑛 ⋯ 𝑥𝑝𝑛 𝛽p

Penduga ML untuk parameter Solusi ML untuk 𝜷, vector kolom parameter untuk model umum telah diperlihatkan sebagai 𝒃 = (𝑿T 𝑿)−1 𝑿T 𝒚. Menurunkan terhadap 𝜎 2 dalam

𝑛

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = −log(2𝜋) − 2log(𝜎 2 ) −

1 (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷) 2 2𝜎

dan menggunakan penduga ML untuk pengaruh tetap parameter menghasilkan penduga bagi 𝜎 2:

Penduga ML bagi 𝜎 2 =

(𝒚 − 𝑿𝒃)𝑇 (𝒚 − 𝑿𝒃) 𝑛

yakni Residual SS dalam ANOVA regresi linier berganda dibagi n, bukan (n-1-p) sebagaimana dalam kasus Residual MS dalam ANOVA.

29

The Mathematics of REML Sama dengan contoh acak yang berasal dari populasi normal, penduga ML untuk ragam bersifat bias.

30

The Mathematics of REML Penduga REML untuk parameter ragam 𝝈𝟐

Matematika model ini menjadi lebih kompleks, sehingga pendekatan secara pasti tidak dilakukan ketika mempertimbangkan General Linear Mixed Model. Dalam hal ini, secara sederhana akan ditunjukkan cara menguraikan menjadi dua ekspresi, satu mengandung informasi parameter tetap 𝜷, dan yang lain hanya mengandung parameter ragam 𝜎 2 .

Pandang contoh acak dari populasi normal yang dinyatakan sebagai: 𝑦 − 𝜇 = (𝑦 − 𝑦̅) + (𝑦̅ − 𝜇) ̅ = 𝑿𝒃 Parameter 𝝁 adalah kasus khusus 𝑿𝜷 dan 𝒚 𝒚 − 𝑿𝜷 = (𝒚 − 𝑿𝒃) + (𝑿𝒃 − 𝑿𝜷) = (𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷) Dan uraikan dua besaran dalam kurung pada suku ketiga 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑:

𝑛

𝑛

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = − 2log(2𝜋) − 2log(𝜎 2 ) −

1 (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷) 2𝜎 2

Maka (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷) = [(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)]𝑇 [(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)] = [(𝒚 − 𝑿𝒃)𝑇 + (𝒃 − 𝜷)𝑇 𝑿𝑇 ] [(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)] (𝒚 − 𝑿𝒃)𝑇 (𝒚 − 𝑿𝒃) + (𝒃 − 𝜷)𝑇 𝑿𝑻 (𝒚 − 𝑿𝒃) + (𝒚 − 𝑿𝒃)𝑇 𝑿(𝒃 − 𝜷) + (𝒃 − 𝜷)𝑇 𝑿𝑇 𝑿(𝒃 − 𝜷) Karena berupa skalar, maka (𝒃 − 𝜷)𝑇 𝑿𝑻 (𝒚 − 𝑿𝒃) = (𝒚 − 𝑿𝒃)𝑇 𝑿(𝒃 − 𝜷), sehingga = (𝒚 − 𝑿𝒃)𝑇 (𝒚 − 𝑿𝒃) + 2(𝒚 − 𝑿𝒃)𝑇 𝑿(𝒃 − 𝜷) + (𝒃 − 𝜷)𝑇 𝑿𝑇 𝑿(𝒃 − 𝜷)

Pandang suku kedua dan masukkan X ke dalam kurung di kiri: 2(𝒚 − 𝑿𝒃)𝑇 𝑿(𝒃 − 𝜷) = 2(𝑿𝑇 𝒚 − 𝑿𝑇 𝑿𝒃)𝑇 (𝒃 − 𝜷)

31

The Mathematics of REML Tetapi 𝑿𝑇 𝒚 − 𝑿𝑇 𝑿𝒃 = 0 karena persamaan ini digunakan untuk meminimumkan (p+1) parameter tetap (ingat solusi untuk 𝒃 adalah 𝒃 = (𝑿𝑇 𝑿)−1 𝑿𝑇 𝒚). Dengan demikian suku di tengah dapat dibuang dan menghasilkan: (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷) = (𝒚 − 𝑿𝒃)𝑇 (𝒚 − 𝑿𝒃) + (𝒃 − 𝜷)𝑇 𝑿𝑇 𝑿(𝒃 − 𝜷)

Catatan tentang suku kedua, mengapa nol: 𝑿𝑇 𝒚 − 𝑿𝑇 𝑿𝒃 = 𝑿𝑇 𝒚 − 𝑿𝑇 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 𝒚 = 𝑿𝑇 𝒚 − 𝑰 𝑿𝑇 𝒚 = 𝑿𝑇 𝒚 − 𝑿𝑇 𝒚 = 0 Suku kedua adalah fungsi dari (p+1) parameter dalam 𝜷. Suku pertama tidak mengandung (bebas dari) vektor parameter, dan biasa ditulis sebagai (𝒚 − 𝑿𝒃)𝑇 (𝒚 − 𝑿𝒃)= (𝒚 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 𝒚)𝑇 (𝒚 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 𝒚) = 𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝒚 Sesungguhnya matriks 𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 simetrik dan idempoten, maka pengaruh acak: (𝒚 − 𝑿𝒃)𝑇 (𝒚 − 𝑿𝒃) = 𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝒚

Ditulis dalam bentuk pengaruh acak ditambah dengan pengaruh tetap: (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷) = 𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝒚 + (𝒃 − 𝜷)𝑇 𝑿𝑇 𝑿(𝒃 − 𝜷)

Fungsi logLikelihood regresi linier berganda adalah: Pandang

𝑛 = 𝑛 − 1 + 1 − 𝑝 + 𝑝 = (𝑝 + 1) + (𝑛 − 1 − 𝑝) untuk penguraian 1

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = −𝑝+1 log(2𝜋) − 𝑝+1 log(𝜎 2 ) − 2𝜎2 (𝒃 − 𝜷)𝑇 𝑿𝑇 𝑿(𝒃 − 𝜷) tetap 2 2 1

−𝑛−1−𝑝 log(2𝜋) − 𝑛−1−𝑝 log(𝜎 2 ) − 2𝜎2 𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝒚 2 2

acak

Turunan bagian kedua terhadap 𝜎 2 menghasilkan solusi REML untuk 𝜎 2 : ∂

∂

∂

1

− ∂𝜎2 (𝑛−1−𝑝 log(2𝜋)) − ∂𝜎2 (𝑛−1−𝑝 log(𝜎 2 )) − ∂𝜎2 (2𝜎2 𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝒚) 2 2

0− 32

𝑛−1−𝑝 1 𝑇 + 𝒚 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝒚 = 0 2𝜎̂ 2 2𝜎̂ 4

The Mathematics of REML 𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝒚 =𝑛−1−𝑝 𝜎̂ 2

Penduga REML untuk 𝜎

2

𝒚𝑇 (𝑰 − 𝑿(𝑿𝑇 𝑿)−1 𝑿𝑇 )𝒚 (𝒚 − 𝑿𝒃)𝑇 (𝒚 − 𝑿𝒃) = = 𝑛−1−𝑝 𝑛−1−𝑝

yaitu Residual MS ANOVA regresi linier berganda dan penduga takbias bagi parameter.

33


Rancangan Perlakuan Satu Arah

Ambil n ulangan untuk data dari t populasi normal yang semuanya memiliki ragam sama. Ini merupakan kasus khusus dari regresi linier berganda, tetapi kita akan mengembangkan matematika terpisah untuk model ini dan melibatkan pembuktian transformasi matriks ortogonal untuk sebaran-sebaran komponen ANOVA. Kita mempertimbangkan kasus ulangan sama untuk membuat ekspresi menjadi sederdana, prosedur yang sama diterapkan pada rancangan dengan ulangan tidak sama.

Model adalah: 𝑦𝑖𝑗 = 𝜇 + 𝜏𝑖 + 𝜀𝑖𝑗 , 𝑖 = 1, ⋯ , 𝑡; 𝑗 = 1, ⋯ , 𝑛 Dalam bentuk GLM, 𝒚 = 𝑿𝜷 + 𝛜, terdapat banyak parameter dalam model di atas (dengan perlakuan t , terdapat t rata-rata dan satu ragam, model di atas memilik t+1 parameter {𝜇, 𝜏1 , ⋯ , 𝜏𝑡 } dan parameter ragam 𝜎 2 ). Cara termudah adalah memilih satu restriksi (batasan) di antara parameter {𝜇, 𝜏1 , ⋯ , 𝜏𝑡 }. Agar sederhana, pilih batasan 𝜏1 + ⋯ + 𝜏𝑡 = 0, dan ganti (katakan) 𝜏𝑡 dengan (−𝜏1 − ⋯ − 𝜏𝑡−1 ). Restriksi mana pun yang dipilih akan menghasilkan solusi sama untuk komponen-komponen ANOVA. Vektor data 𝒚 memiliki n pengamatan dalam t perlakuan, menghasilkan vektor sepanjang nt. Secara umum, 𝜷 = (𝜇, 𝜏1 , 𝜏2 , ⋯ , 𝜏𝑡 ), terdapat t+1 parameter Kasus 1: Jika 𝜇 = 0, vektor 𝜷 = (𝜏1 , 𝜏2 , ⋯ , 𝜏𝑡 ) akan mengandung t parameter Ilustrasi t = 3 (i=1,2,3) dan n = 4 (j=1, 2, 3, 4), 𝜷 = (𝜏1 , 𝜏2 , 𝜏3 ) terdiri dari 3 parameter Terdapat nt = 4(3) = 12 persamaan linier 𝑦11 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀11 𝑦12 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀12 𝑦13 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀13 𝑦14 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀14 𝑦21 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀21 𝑦22 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀22 𝑦23 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀23 34

The Mathematics of REML 𝑦24 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀24 𝑦31 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀31 𝑦32 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀32 𝑦33 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀33 𝑦34 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀34 Karena, suku pertama dalam model bernilai nol, tidak perlu ditulis, apalagi hanya terdapat 3 parameter, sehingga matriks rancangan berdimensi 𝑛𝑡 × 𝑡 = 12 × 3 𝜏1 𝜏2 𝜏3

Matriks rancangan adalah:

1 1 1 1 0 0 𝑿= 0 0 0 0 0 (0

1 1 𝑿𝑇 𝑿 = (0 0 0 0

4 𝑿 𝑿 = (0 0 𝑇

35

1 1 0 0 0 0

0 0 1 0 4 0 ) = 4 (0 1 0 4 0 0

0 0 0 0 1 1 1 1 0 0 0 0

0 0 0 0 0 14 0 =(04 0 04 0 1 1 1 1)

0 0 0 1 1 1 0 0 0

04 04 14 04 ) 04 14

0 0 0 1 0 0 0 1 1

1 1 1 1 0 0 0 0 0 0) 0 1 1 0 0 0 0 (0

0 0 0 0 1 1 1 1 0 0 0 0

0 0) = 4 𝑰3 secara umum 𝑿𝑇 𝑿 = 𝑛𝑰𝑡 1

0 0 0 0 0 0 0 0 1 1 1 1)


1 1 1 𝑿𝑇 𝒚 = (0 0 0 0 0 0

1 0 0 0 1 1 0 0 0

𝑦̅1 𝑦 𝑿 𝒚 = 4 ( ̅2 ) secara umum 𝑦̅3 𝑇

0 0 1 1 0 0

0 0 0 0 0 0 1 1 1

𝑦11 𝑦12 4 𝑦13 ∑ 𝑦1𝑗 𝑦14 𝑗=1 𝑦21 4 4𝑦̅1 0 𝑦22 = ∑ 𝑦2𝑗 = (4𝑦̅2 ) 0) 𝑦 23 4𝑦̅3 1 𝑗=1 𝑦24 4 𝑦31 ∑ 𝑦3𝑗 𝑦32 (𝑗=1 ) 𝑦33 (𝑦34 )

̅𝑖 𝑿𝑇 𝒚 = 𝑛𝒚

Kasus 2: Jika 𝜏1 , = 0, vektor 𝜷 = (𝜇, 𝜏2 , ⋯ , 𝜏𝑡 ) atau 𝜷 = (𝜇, 𝜏2 , 𝜏3 ) 𝑦11 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀11 𝑦12 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀12 𝑦13 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀13 𝑦14 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀14 𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀21 𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀22 𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀23 𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀24 𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀31 𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀32 𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀33 𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀34

36

The Mathematics of REML 𝜇 𝜏2 𝜏3 1 1 1 1 1 1 𝑿= 1 1 1 1 1 (1

1 1 𝑿𝑇 𝑿 = (0 0 0 0

12 𝑿 𝑿=(4 4 𝑇

1 1 0 0 0 0

1 1 1 1 1 1 0 0 0

𝑡

1𝑡−1

37

1 1 1 0 0 0 0 0 0

0 0 0 0 0 14 0 =(14 0 14 0 1 1 1 1)

04 04 14 04 ) 04 14

1 1 1 1 0 0 0 1 1

4 4 3 1 1 3 1 4 0) = 4 (1 1 0) = 4 (1 1 0 4 1 0 1 1 0

secara umum 𝑿𝑇 𝑿 = 𝑛 (

1 𝑿𝑇 𝒚 = (0 0

0 0 0 0 1 1 1 1 0 0 0 0

1 1 1 1 1 1 0 0 0

1𝑇𝑡−1 𝑰𝑡−1

1 1 1 1 1 1 1 1 0 0) 1 1 1 1 1 1 1 (1

0 0 0 0 1 1 1 1 0 0 0 0

1 3 0) = 4 ( 13−1 1

0 0 0 0 0 0 0 0 1 1 1 1)

1𝑇3−1 𝑰3−1

)

)

1 1 1 1 0 0 0 1 1

𝑦11 𝑦12 𝑦13 ∑ ∑ 𝑦𝑖𝑗 𝑦14 4 𝑦21 (4 × 3)𝑦̅ 1 1 𝑦22 ∑ 𝑦2𝑗 = = ( 4𝑦̅2 ) 0 0) 𝑦 𝑗=1 23 4𝑦̅3 1 1 4 𝑦24 𝑦31 ∑ 𝑦3𝑗 𝑦32 ( 𝑗=1 ) 𝑦33 (𝑦34 )

The Mathematics of REML 3𝑦̅ 𝑿 𝒚 = 4 ( 𝑦̅2 ) 𝑦̅3 𝑇

Kasus 3: Jika 𝜏2 , = 0, vektor 𝜷 = (𝜇, 𝜏1 , 𝜏3 , ⋯ , 𝜏𝑡 ) atau 𝜷 = (𝜇, 𝜏1 , 𝜏3 ) 𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀11 𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀12 𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀13 𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀14 𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀21 𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀22 𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀23 𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀24 𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀31 𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀32 𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀33 𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀34 𝜇 𝜏1 𝜏3 1 1 1 1 1 1 𝑿= 1 1 1 1 1 (1

38

1 1 1 1 0 0 0 0 0 0 0 0

0 0 0 0 0 14 0 =(14 0 14 0 1 1 1 1)

14 04 04 04 ) 04 14


1 1 𝑿𝑇 𝑿 = (1 1 0 0

12 𝑿𝑇 𝑿 = ( 4 4

1 1 1 1 0 0

4 4 4 0) = 4 0 4

secara umum 𝑿𝑇 𝑿 = 𝑛 (

𝑡

1 1 1 0 0 0 0 0 0

3 1 1 (1 1 0 ) = 4 1 0 1

1𝑡−1

1 𝑿 𝒚 = (1 0 𝑇

1 1 1 1 1 1 0 0 0

1 1 1 0 0 0 0 0 0

1 1 1 0 0 0 0 1 1


3 1 (1 1 1 0

1 1 1 1 1 1 1 1 0 0) 1 1 1 1 1 1 1 (1

1 3 0) = 4 ( 13−1 1

0 0 0 0 0 0 0 0 1 1 1 1)

1𝑇3−1 𝑰3−1

)

)

1 1 1 0 0 0 0 1 1


3𝑦̅ 𝑿𝑇 𝒚 = 4 ( 𝑦̅1 ) 𝑦̅3 Kasus 4: Jika 𝜏3 , = 0, vektor 𝜷 = (𝜇, 𝜏1 , 𝜏2 , 𝜏4, , ⋯ , 𝜏𝑡 ) atau 𝜷 = (𝜇, 𝜏1 , 𝜏2 ) 𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀11 𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀12 𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀13 𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀14 𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀21 39

1 1 1 1 0 0 0 0 0 0 0 0

The Mathematics of REML 𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀22 𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀23 𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀24 𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀31 𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀32 𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀33 𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀34 𝜇 𝜏1 𝜏2 1 1 1 1 1 1 𝑿= 1 1 1 1 1 (1

1 1 𝑿𝑇 𝑿 = (1 1 0 0

1 1 1 1 0 0

1 1 1 1 0 0 0 0 0 0 0 0

0 0 0 0 0 14 1 =(14 1 14 1 0 0 0 0)

1 1 1 0 0 0 1 1 1

14 04 04 14 ) 04 04

1 1 1 0 0 0 1 0 0

1 1 1 1 1 1 1 1 0 0) 1 0 0 1 1 1 1 (1

1 1 1 1 0 0 0 0 0 0 0 0

0 0 0 0 1 1 1 1 0 0 0 0)

1𝑇4 1𝑇4 1𝑇4 14 14 04 4(3) 4(1) 4(1) 𝑇 𝑇 𝑇 𝑇 1 0 1 𝑿 𝑿 = (14 04 04 ) ( 4 4 4 ) = (4(1) 4(1) 4(0)) 𝑇 𝑇 𝑇 1 0 0 4(1) 4(0) 4(1) 4 4 4 04 14 04 12 𝑿𝑇 𝑿 = ( 4 4

40

4 4 3 1 1 3 1 4 0) = 4 (1 1 0) = 4 (1 1 0 4 1 0 1 1 0

1 3 0) = 4 ( 13−1 1

1𝑇3−1 𝑰3−1

)

The Mathematics of REML secara umum 𝑿𝑇 𝑿 = 𝑛 (

𝑡

1𝑡−1

1 𝑿𝑇 𝒚 = (1 0

1 1 1 1 1 1 0 0 0

1 1 1 0 0 0 1 1 1


)

1 1 1 0 0 0 1 0 0


3𝑦̅ 𝑿 𝒚 = 4 ( 𝑦̅1 ) 𝑦̅2 𝑇

Apa pun batasan yang dibuat tentang, selalu memberikan hasil sama 𝑿𝑇 𝑿 = 𝑛 (

𝑡

1𝑡−1

𝑿=

1𝑛 1𝑛 1𝑛 ⋮

1𝑛 0𝑛 0𝑛 ⋮

0𝑛 1𝑛 0𝑛 ⋮

1𝑛 0𝑛 0𝑛 [1𝑛 −1𝑛 −1𝑛

⋯ ⋯ ⋯ ⋮ ⋯ ⋯

0𝑛 0𝑛 0𝑛

𝜇 𝜏1 ,𝜷=[ ⋮ ] ⋮ 𝜏𝑡−1 1𝑛 −1𝑛 ]

Memperlihatkan matriks di atas Kasus 1: 𝜏3 = − 𝜏1 − 𝜏2 ; 𝜷 = (𝜇, 𝜏1 , 𝜏2 , , ⋯ , 𝜏𝑡−1) atau 𝜷 = (𝜇, 𝜏1 , 𝜏2 ), 𝜏3 = 0 𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀11 𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀12 𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀13 𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀14 𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀21 𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀22 𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀23 𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀24 𝑦31 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 𝜀31 𝑦32 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 𝜀32 𝑦33 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 𝜀33 41


)

The Mathematics of REML 𝑦34 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 𝜀34 𝜇 𝜏1 𝜏2 1 1 1 1 1 1 𝑿= 1 1 1 1 1 (1

1 1 𝑿 𝑿 = (1 1 0 0 𝑇

1 1 1 1 1 0 0 0 1

1 1 1 1 0 0 0 0 −1 −1 −1 −1

1 1 0 0 1 1

12 0 𝑿 𝑿=(0 8 0 4 𝑇

0 0 0 0 1 14 1 =(14 1 14 1 −1 −1 −1 −1)

14 04 04 14 ) −14 −14

1 1 1 1 0 −1 −1 −1 1 −1 −1 −1

0 3 4) = 4 (0 8 0

0 2 1

1 1 1 1 1 1 1 −1) 1 −1 1 1 1 1 (1 0 1) 2

1 1 1 1 0 0 0 0 −1 −1 −1 −1

0 0 0 0 0 1 1 1 −1 −1 −1 −1)

1𝑇4 1𝑇4 1𝑇4 14 14 04 12 0 0 3 0 0 𝑇 𝑇 𝑇 𝑇 14 )=( 0 8 4) = 4 (0 2 1) 𝑿 𝑿 = (14 04 −14 ) (14 04 0 4 8 0 1 2 0𝑇4 1𝑇4 −1𝑇4 14 −14 −14 Anak matriks bagian (21), berukuran (3-1)×(3-1) memiliki struktur (𝑰𝑡−1 + 1𝑡−1 1𝑇𝑡−1 ) = (𝑰3−1 + 13−1 1𝑇3−1 ) 2 ( 1

42

1 1 )=( 0 2

0 1 1 ) + ( ) (1 1 ) = ( 1 0 1

0 1 )+( 1 1

1 ) 1


1 1 𝑿𝑇 𝒚 = (1 1 0 0

1 1 1 1 1 0 0 0 1

1 1 0 0 1 1

𝑦11 𝑦12 3 4 𝑦13 ∑ ∑ 𝑦𝑖𝑗 𝑦14 𝑖=1 𝑗=4 𝑦21 4 4 1 1 1 1 1 𝑦22 = ∑ 𝑦1𝑗 − ∑ 𝑦3𝑗 0 −1 −1 −1 −1) 𝑦 23 1 −1 −1 −1 −1 𝑗=1 𝑗=1 𝑦24 4 4 𝑦31 ∑ 𝑦2𝑗 − ∑ 𝑦3𝑗 𝑦32 (𝑗=1 ) 𝑗=1 𝑦33 (𝑦34 )

𝑛𝑡𝑦̅.. (4 × 3)𝑦̅.. (4 × 3)𝑦̅.. (4𝑦̅1. − 4𝑦̅3. ) = (4(𝑦̅1. − 𝑦̅3. )) = (𝑛(𝑦̅1. − 𝑦̅3. )) 4𝑦̅2. − 4𝑦̅3. 𝑛(𝑦̅2. − 𝑦̅3. ) 4(𝑦̅2. − 𝑦̅3. ) Kasus 2: 𝜏2 = − 𝜏1 − 𝜏3 ; 𝜷 = (𝜇, 𝜏1 , 𝜏2 , , ⋯ , 𝜏𝑡−1) atau 𝜷 = (𝜇, 𝜏1 , 𝜏3 ), 𝜏2 = 0 𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀11 𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀12 𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀13 𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 𝜀14 𝑦21 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 𝜀21 𝑦22 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 𝜀22 𝑦23 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 𝜀23 𝑦24 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 𝜀24 𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀31 𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀32 𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀33 𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀34

43


1 1 𝑿 𝑿 = (1 1 0 0 𝑇

𝜇

𝜏1

1 1 1 1 1 1 𝑿= 1 1 1 1 1 (1

1 1 1 1 −1 −1 −1 −1 0 0 0 0

1 1 1 1 1 −1 0 0 −1

0 0 0 0 −1 14 −1 =(14 −1 14 −1 1 1 1 1)

14

−14

04

1 1 1 1 1 1 −1 −1 −1 0 0 0 −1 −1 −1 1 1 1

12 0 𝑿 𝑿=(0 8 0 4 𝑇

𝜏3

0 3 4) = 4 (0 8 0

04

−14 )

14

1 1 1 1 1 1 1 0) 1 1 1 1 1 1 (1

1 1 1 1 −1 −1 −1 −1 0 0 0 0

0 0 0 0 −1 −1 −1 −1 1 1 1 1)

0 0 2 1) 1 2

1𝑇4 1𝑇4 1𝑇4 14 14 04 12 0 0 3 0 0 𝑇 𝑇 𝑇 𝑇 𝑿 𝑿 = (14 −14 04 ) (14 −14 −14 )=( 0 8 4) = 4 (0 2 1) 14 0 4 8 0 1 2 0𝑇4 −1𝑇4 1𝑇4 14 04

1 1 𝑿𝑇 𝒚 = (1 1 0 0

44

1 1 1 1 1 −1 0 0 −1

1 1 1 1 1 1 −1 −1 −1 0 0 0 −1 −1 −1 1 1 1

𝑦11 𝑦12 3 4 𝑦13 ∑ ∑ 𝑦𝑖𝑗 𝑦14 𝑖=1 𝑗=1 𝑦21 4 4 1 𝑦22 = ∑ 𝑦1𝑗 − ∑ 𝑦2𝑗 0) 𝑦 23 1 𝑗=1 𝑗=1 𝑦24 4 4 𝑦31 ∑ 𝑦3𝑗 − ∑ 𝑦2𝑗 𝑦32 (𝑗=1 ) 𝑗=1 𝑦33 (𝑦34 )

The Mathematics of REML 𝑛𝑡𝑦̅.. (4 × 3)𝑦̅.. (4 × 3)𝑦̅.. (4𝑦̅1. − 4𝑦̅2. ) = (4(𝑦̅1. − 𝑦̅2. )) = (𝑛(𝑦̅1. − 𝑦̅2. )) 4𝑦̅3. − 4𝑦̅2. 𝑛(𝑦̅3. − 𝑦̅2. ) 4(𝑦̅3. − 𝑦̅2. ) Kasus 3: 𝜏1 = − 𝜏2 − 𝜏3 ; 𝜷 = (𝜇, 𝜏1 , 𝜏2 , , ⋯ , 𝜏𝑡−1) atau 𝜷 = (𝜇, 𝜏2 , 𝜏3 ), 𝑦11 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 𝜀11 𝑦12 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 𝜀12 𝑦13 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 𝜀13 𝑦14 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 𝜀14 𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀21 𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀22 𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀23 𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 𝜀24 𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀31 𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀32 𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀33 𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 𝜀34

𝜇

45

𝜏2

𝜏3

𝜏1 = 0

The Mathematics of REML 1 1 1 1 1 1 𝑿= 1 1 1 1 1 (1

−1 −1 −1 −1 1 1 1 1 0 0 0 0

1 1 1 1 1 𝑿𝑇 𝑿 = (−1 −1 −1 −1 1 −1 −1 −1 −1 0

12 0 𝑿𝑇 𝑿 = ( 0 8 0 4

−1 −1 −1 −1 0 14 0 =(14 0 14 0 1 1 1 1)

1 1 1 1 1 1 0 0 0

−14

14 04

1 1 1 0 0 0 1 1 1

0 3 4) = 4 (0 8 0

−14

04 ) 14

1 1 1 1 1 1 1 0) 1 1 1 1 1 1 (1

−1 −1 −1 −1 1 1 1 1 0 0 0 0

−1 −1 −1 −1 0 0 0 0 1 1 1 1)

0 0 2 1) 1 2

1𝑇4 1𝑇4 1𝑇4 14 −14 −14 12 0 0 3 0 0 𝑇 𝑇 𝑇 𝑇 04 )=( 0 8 4) = 4 (0 2 1) 𝑿 𝑿 = (−14 14 04 ) (14 14 𝑇 𝑇 𝑇 1 0 14 0 4 8 0 1 2 4 4 −14 04 14

1 1 1 1 1 𝑿𝑇 𝒚 = (−1 −1 −1 −1 1 −1 −1 −1 −1 0

46

1 1 1 1 0 0

1 1 1 1 0 0 0 1 1

𝑦11 𝑦12 3 4 𝑦13 ∑ ∑ 𝑦𝑖𝑗 𝑦14 𝑖=1 𝑗=1 𝑦21 4 4 1 1 𝑦22 = ∑ 𝑦2𝑗 − ∑ 𝑦1𝑗 0 0) 𝑦 23 1 1 𝑗=1 𝑗=1 𝑦24 4 4 𝑦31 ∑ 𝑦3𝑗 − ∑ 𝑦1𝑗 𝑦32 ( ) 𝑗=1 𝑗=1 𝑦33 (𝑦34 )

The Mathematics of REML 𝑛𝑡𝑦̅.. (4 × 3)𝑦̅.. (4 × 3)𝑦̅.. (4𝑦̅2. − 4𝑦̅1. ) = (4(𝑦̅2. − 𝑦̅1. )) = (𝑛(𝑦̅2. − 𝑦̅1. )) 4𝑦̅3. − 4𝑦̅1. 𝑛(𝑦̅3. − 𝑦̅1. ) 4(𝑦̅3. − 𝑦̅1. ) Catatan penting: Batasan mana pun yang digunakan (t=3, n=4), selalu menghasilkan : 

𝑿𝑇 𝑿 sama



Bentuk umum 𝑿𝑇 𝒚 𝜏1 = 0

𝜏2 = 0

𝜏3 = 0

𝑿

14 −14 −14 04 ) (14 14 14 04 14

14 14 04 (14 −14 −14 ) 14 04 14 𝑿𝑇 𝑿 = 𝑛 (

𝑡

0𝑡−1

14 14 04 14 ) (14 04 14 −14 −14

0𝑇𝑡−1 ) 𝑰𝑡−1 + 1𝑡−1 1𝑇𝑡−1

𝑡 𝑿𝑇 𝑿 = 𝑛 (0 0

0 0 3 0 0 2 1) = 4 (0 2 1) 1 2 0 1 2 𝑛𝑡𝑦̅.. 𝑛(𝑦̅1. − 𝑦̅𝑡. ) 𝑿𝑇 𝒚 = ( ) ⋮ 𝑛(𝑦̅𝑡−1. − 𝑦̅𝑡. )

𝑡=1

𝑡=2

𝑡=3

(4 × 3)𝑦̅.. 4(𝑦 ( ̅2. − 𝑦̅1. )) 4(𝑦̅3. − 𝑦̅1. )

(4 × 3)𝑦̅.. 4(𝑦 ( ̅1. − 𝑦̅2. )) 4(𝑦̅3. − 𝑦̅2. )

(4 × 3)𝑦̅.. 4(𝑦 ( ̅1. − 𝑦̅3. )) 4(𝑦̅2. − 𝑦̅3. )

Dengan definisi 𝑿 ini: 𝑡 0 𝑿𝑇 𝑿 = 𝑛 0 ⋮ [0

0 2 1 ⋮ 1

0 1 2 ⋮ 1

⋯ ⋯ ⋯ ⋱ ⋯

0 1 1 ⋮ 2]

Anak matriks bagian bawah berukuran (t-1)×(t-1) memiliki struktur (𝑰𝑡−1 + 1𝑡−1 1𝑇𝑡−1 ). Kemudian, kebalikan matriks jenis ini adalah

(𝑫 + 𝒖𝒗𝑇 )−1 = 𝑫−1 −

47

𝑫−1 𝒖𝒗𝑇 𝑫−1 1 + 𝒗𝑇 𝑫−1 𝒖


Di sini 𝑫 = 𝑰𝑡−1 dan 𝒖 = 𝒗 = 1𝑡−1 sehingga 1 (𝑰𝑡−1 + 1𝑡−1 1𝑇𝑡−1 )−1 = 𝑰𝑡−1 − 𝑱𝑡−1 𝑡 Di mana 𝑱𝑡−1 adalah matriks berelemen 1. Jadi,

(𝑿𝑇

𝑿)

−1

1 1 𝑡 = [ 𝑛

0𝑡−1

0𝑇𝑡−1 1 𝑰𝑡−1 − 𝑱𝑡−1 𝑡

]

Struktur terakhir yang harus dilihat adalah 𝑿𝑇 𝒚 di mana, berdasarkan perkalian, menjadi sederhana 𝑛𝑡𝑦̅ 𝑛(𝑦̅1. − 𝑦̅𝑡. ) 𝑿𝑇 𝒚 = [ ] ⋮ 𝑛(𝑦̅𝑡−1. − 𝑦̅𝑡. ) Akhirnya, 1 1 𝒃 = (𝑿𝑇 𝑿)−1 𝑿𝑇 𝒚 = [ 𝑡 𝑛

0𝑡−1

𝑛𝑡𝑦̅.. 𝑛(𝑦̅1. − 𝑦̅𝑡. ) ][ ] 1 ⋮ 𝑰𝑡−1 − 𝑱𝑡−1 𝑛(𝑦̅ ̅𝑡. ) 𝑡−1. − 𝑦 𝑡

0𝑇𝑡−1

Elemen pertama dalam vektor kolom hasil adalah 𝑦̅, yakni penduga bagi 𝜇.

Elemen berikut adalah ciri solusi tersisa. Berdasarkan perkalian matriks, diperoleh penduga bagi 𝜏1 yakni 𝑡−1

𝑡

𝑖=1

𝑖=1

1 1 𝑃𝑒𝑛𝑑𝑢𝑔𝑎 𝑏𝑎𝑔𝑖 𝜏1 = (𝑦̅1. − 𝑦̅𝑡. ) − ∑(𝑦̅𝑖. − 𝑦̅𝑡. ) = (𝑦̅1. − 𝑦̅𝑡. ) − ∑(𝑦̅𝑖. − 𝑦̅𝑡. ) 𝑡 𝑡

48

The Mathematics of REML 𝑡

1 = (𝑦̅1. − 𝑦̅𝑡. ) − ∑[(𝑦̅𝑖. − 𝑦̅) − (𝑦̅𝑡. − 𝑦̅)] = (𝑦̅1. − 𝑦̅𝑡. ) + (𝑦̅𝑡. − 𝑦̅) = (𝑦̅1. − 𝑦̅) 𝑡 𝑖=1

Untuk rancangan satu-arah dengan ulangan sama, ketika memilih {𝜇, 𝜏1 , ⋯ , 𝜏𝑡 } sedemikian sehingga ∑𝑡𝑖=1 𝜏𝑖 = 0, penduga bagi parameter 𝜇 adalah 𝑦̅, rata-rata umum dari data, dan penduga bagi pengaruh perlakuan ke i adalah (𝑦̅𝑖. − 𝑦̅).

Berikut, 𝒃𝑇 𝑿𝑇 𝒚 = [𝑦̅

(𝑦̅1. − 𝑦̅) ⋯

𝑛𝑡𝑦̅.. 𝑛(𝑦̅1. − 𝑦̅𝑡. ) (𝑦̅𝑡−1. − 𝑦̅)] [ ] ⋮ 𝑛(𝑦̅𝑡−1. − 𝑦̅𝑡. )

= 𝑛𝑡𝑦̅ 2 + 𝑛 ∑𝑡−1 ̅𝑖. − 𝑦̅)(𝑦̅𝑖. − 𝑦̅𝑡. ) 𝑖=1 (𝑦 = 𝑛𝑡𝑦̅ 2 + 𝑛 ∑𝑡−1 ̅𝑖. − 𝑦̅)[(𝑦̅𝑖. − 𝑦̅) − (𝑦̅𝑡. − 𝑦̅)] 𝑖=1 (𝑦 = 𝑛𝑡𝑦̅ 2 + 𝑛 ∑𝑡−1 ̅𝑖. − 𝑦̅)2 − 𝑛(𝑦̅𝑡. − 𝑦̅) ∑𝑡−1 ̅𝑖. − 𝑦̅) 𝑖=1 (𝑦 𝑖=1 (𝑦 Karena ∑𝑡𝑖=1(𝑦̅𝑖. − 𝑦̅) = 0 diperoleh ∑𝑡−1 ̅𝑖. − 𝑦̅) = −(𝑦̅𝑡. − 𝑦̅) 𝑖=1 (𝑦 Dan juga: 𝑡 𝑇

𝑇

2

𝒃 𝑿 𝒚 = 𝑛𝑡𝑦̅ + 𝑛 ∑(𝑦̅𝑖. − 𝑦̅)2 𝑖=1

Jika hipotesis nol (𝜏𝑖 =0 untuk semua i) benar, hanya satu parameter tersisa yakni 𝜇 dengan penduga 𝑦̅, dan kemudian 𝒃𝑇 𝑿𝑇 𝒚 = 𝑛𝑡𝑦̅ 2 . Untuk menguji hipotesis ini, gunakan n∑𝑡𝑖=1(𝑦̅𝑖. − 𝑦̅)2. Ini adalah Treatment SS dalam ANOVA satu-arah.

Residual SS berdasarkan model asli adalah 𝑡

𝑛

2 ∑ ∑ 𝑦𝑖𝑗 𝑖=1 𝑗=1

49

𝑡 2

𝑡

𝑛

2

− 𝑛𝑡𝑦̅ − 𝑛 ∑(𝑦̅𝑖. − 𝑦̅) = ∑ ∑(𝑦𝑖𝑗 − 𝑦̅𝑖. ) 𝑖=1

𝑖=1 𝑗=1

2


yakni Residual SS dalam ANOVA satu-arah. Cara lain menulis ekspresi ini adalah: 𝑡

𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑆𝑆 = (𝑛 − 1) ∑ 𝑠𝑖2 𝑖=1

di mana 𝑠𝑖2 adalah ragam contoh (takbias) untuk perlakuan ke-i. Derajat bebas Residual SS adalah (nt-1)-(t-1) = nt-t = t(n-1), mengilustrasikan kenyataan bahwa untuk rancangan satu-arah, Residual MS dalam Anova satu-arah ulangan sama, merupakan rata-rata t ragam contoh perlakuan. Pada rancangan yang diulang tidak sama, maka Residual MS adalah rata-rata terbobot dari t ragam contoh di mana bobot adalah derajat bebas setiap perlakuan, namakan (𝑛𝑖 − 1). Residual MS dalam ANOVA satu-arah bersifat takbias bagi parameter ragam 𝜎 2 . Kita akan melihat bahwa penduga ML memiliki penyebut N=nt, dengan demikian penduga ini bias. Namun, dalam proses pendugaan, kita akan menggunakan transformasi ortogonal terhadap data.

50

The Mathematics of REML Penduga ML bagi parameter ragam 𝝈𝟐 untuk rancangan satu-arah Pilih matriks orthogonal 𝑷 sedemikian sehingga Baris pertama proporsional terhadap vector satu, yakni, 1nt, di mana setiap elemen dibagi dengan √𝑛𝑡; Sisa baris (t-1) berupa kontras antara rata-rata t perlakuan. Ini termasuk ortogonal polinomial (apabila perlakuan berupa pemupukan), atau matriks kontras sederhana Helmert seperti Perlakuan 1 versus 2, Perlakuan 1 & 2 versus 3, Perlakuan 1 sampai 3 versus 4 dan seterusnya. Treatment 1 versus 2, Treatments 1 & 2 versus 3, Treatments 1 to 3 versus 4 dan seterusnya, menghasilkan baris {1, -1, 0, …, 0}, {1, 1, -2, …, 0}, {1, 1, 1, -3, …, 0} dst.

Gunakan aturan matriks ortogonal untuk melengkapi baris-baris lain yang merupakan kontras antara pengamatan dalam setiap perlakuan.

Jika t=3, matriks dasar untuk pembandingan antar perlakuan adalah (di kolom kanan jumlah kuadrat): 1/√3 1/√3 1 1 1 3 (1 −1 0 ) 2 menjadi matriks ortogonal (1/√2 −1/√2 1 1 −2 6 1/√6 1/√6

1/√3 1 0 )1 −2/√6 1

Jika n = 4, maka nt = 12, ruas kiri menjadi 1 1 1 1 1 1 0 0 0 0 0 (0

1 1 1 1 1 1 1 1 1 1 1 1 −1 −1 −1 −1 0 0 1 1 1 1 1 1 1 −2 −2 −1 0 0 0 0 0 0 0 0 1 −2 0 0 0 0 0 0 0 1 1 −3 0 0 0 0 0 0 0 0 0 1 −1 0 0 0 0 0 0 0 1 1 −2 0 0 0 0 0 0 1 1 1 −3 0 0 0 0 0 0 0 0 0 1 −1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 1 1

1 1 12 0 0 8 −2 −2 24 0 0 2 0 0 6 0 0 12 0 0 2 0 0 6 0 0 12 0 0 2 −2 0 6 1 −3) 12

Membagi dengan akar jumlah kuadrat (kolom terluar) menghasilkan matriks ortogonal 𝑷:

51


1

1

1

1

1

√12 √12 1 1

√12 √12 √12 1 1 −1

√12 √12 −1 −1

√8 1

√8 1

√8 1

√8 1

√24 √24 1 −1

√8 1

√8 1

√24 √24 √24 0

√2 1

√2 1

−2

√6 1

√6 1

√6 1

√12 √12

(

1

1

1

1

1

1

√12 √12

√8 1

√12 √12 √12 −1 0 0 √8 1 −2 −2

√24 √24

√24 √24 √24

√24 √24

0

0

−2

−2

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

1

−1

√2 1

√2 1

0

0

0

0

0

0

−2

√6 1

√6 1

√6 1

0

0

0

0

0

−3

√12

√12 √12

√12

0

0

0

0

1

−1

√2 1

√2 1

0

0

−2

√6 1

√6 1

√6 1

−3

√12 √12

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

√12 √12

0 −3

√12 √12 )



Baris pertama bukan kontras, untuk menghitung rata-rata umum



Dua baris kedua (t-1)=3-1=2 adalah kontras untuk membandingkan perlakuan=comparing treatment means.



Baris 4-6, 7-9 dan 10-12 berukuran (𝑛 − 1) × 4 untuk membandingkan pengamatan dalam setiap perlakuan (comparisons of data within treatment) – berisi kontras (jumlah setiap baris 0, jumlah kuadrat setiap baris 1 dan jumlah hasil kali antar baris 0), matriks sama yakni:

1/√2

−1/√2

0

0

𝑲 = ( 1/√6

1/√6

−2/√6

0

1/√12

1/√12

1/√12

−3/√12

Ini bukan matriks ortogonal, tetapi bagian dari matriks ortogonal.

52

)

The Mathematics of REML Matriks 𝑷 berukuran 𝑛𝑡 × 𝑛𝑡 = 4(3) × 4(3) = 12 × 12 dapat diringkas menjadi: √ 1𝑇4 12

1

√ 1𝑇4 12

√ 1𝑇4 12

1

√

1 1𝑇 3𝑥4 4

√ 1𝑇4 8

1

−√8 1𝑇4

1

0𝑇4

√

1 1𝑇 2𝑥4 4

1

√ 1𝑇4 24

1

−2√24 1𝑇4

√

1 1𝑇 6𝑥4 4

𝑶3𝑥4 𝑲3𝑥4 𝑶3𝑥4

𝑶3𝑥4 𝑶3𝑥4 𝑲3𝑥4

√ 1𝑇4 24

1

𝑲3𝑥4 𝑶3𝑥4 ( 𝑶3𝑥4

=

1

1 1𝑇 3𝑥4 4

√

)

1

0𝑇4

1 1𝑇 6𝑥4 4

−2√6𝑥4 1𝑇4

−√2𝑥4 1𝑇4 √

𝑲3𝑥4 𝑶3𝑥4 ( 𝑶3𝑥4

1 1𝑇 3𝑥4 4

√


1

𝑶3𝑥4 𝑶3𝑥4 𝑲3𝑥4

)

Definisikan 𝒖 = 𝑷𝒚 (dengan Jacobian = 1) dengan berharap agar elemen pertama akan menduga rata-rata umum dan t-1 elemen berikut akan menduga kontras antar rata-rata secara konsisten dengan bagaimana kontras dinyatakan dalam 𝑷.

𝑛𝑡

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 bagi 𝒖 = − 2 𝑙𝑛(2𝜋) −

𝑛𝑡 𝑙𝑛(𝜎 2 ) 2

−

1 (𝑷𝑇 𝒖 − 𝑿𝜷)𝑇 (𝑷𝑇 𝒖 − 𝑿𝜷) 2𝜎 2

Ini telah dimanipulasi untuk regresi linier sederhana, di mana kita memperoleh (ganti n, ukuran contoh untuk model itu, dengan nt):

𝑛𝑡

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk 𝒖 = − 2 𝑙𝑛(2𝜋) −

𝑛𝑡 𝑙𝑛(𝜎 2 ) 2

−

1 (𝒖 − 𝑷𝑿𝜷)𝑇 (𝒖 − 𝑷𝑿𝜷) 2𝜎 2

Maka 𝑷𝑿 tetap dihitung. Pertama, perhatikan tiga baris pertama matriks 𝑷: √

√

1 𝑇 1 2𝑛 𝑛

−√

√

1 𝑇 1 6𝑛 𝑛

𝑷=

1 √ 1𝑇𝑛 𝑛𝑡

[

⋮

1 𝑇 1 𝑛𝑡 𝑛 1 𝑇 1 2𝑛 𝑛

1 √ 1𝑇𝑛 6𝑛 ⋮

Sesudah penyederhanaan: 𝑢1 = √𝑛𝑡𝑦̅, 𝑢2 = √𝑛⁄2 [(𝑦̅1. − 𝑦̅2. )], 53


0𝑛 −2√

1 𝑇 1 6𝑛 𝑛 ⋮

⋯ √

1 𝑇 1 𝑛𝑡 𝑛

⋯

0𝑛

⋯

0𝑛

⋱ ⋯

⋮

]

The Mathematics of REML 𝑢3 = √𝑛⁄6 [(𝑦̅1. − 𝑦̅3. ) + (𝑦̅2. − 𝑦̅3. )] dan seterusnya, hingga 𝑢𝑡−1 . Catatan: jika t=3, maka hanya terdapat 3 kolom pada matriks 𝑷 dan matriks 𝑷𝑿 Juga:


√

1 𝑇 1 2𝑛 𝑛

−√

√

𝑷𝑿𝜷=

√ [

=

1

1 𝑇 1 6𝑛 𝑛

1 𝑇 1 𝑛𝑡 𝑛 1 𝑇 1 2𝑛 𝑛

1 √ 1𝑇𝑛 6𝑛

⋮


0𝑛

0

0

√2

0

−2√

0 −√2

√6

𝑛

√6

⋮

⋮

0 ⋮ 0

1

1 𝑇 1 6𝑛 𝑛

⋮

𝑛

⋮ 0 0 ⋮ [ 0

⋯

𝑛

𝑛

1 𝑇 1 𝑛𝑡 𝑛

1𝑛 1𝑛 1𝑛

0𝑛

1𝑛 0𝑛 0𝑛

⋮

⋮

√𝑛𝑡

⋯ √

0

⋯

0

0

⋯

0

𝑛

−2√ 6

⋯

0 ⋮ 0

⋮ 0

⋮ ⋯ ⋯ ⋱ ⋯

1

𝑛2

𝑛

⋯

0𝑛

⋱ ⋯

⋮

⋮

0𝑛 1𝑛 0𝑛 ⋮

1𝑛 0𝑛 0𝑛 [1𝑛 −1𝑛 −1𝑛

𝜇 ⋯ 0𝑛 𝜏 ⋯ 0𝑛 1 𝜏2 ⋯ 0𝑛 ⋮ ⋮ ⋮ ⋯ 1𝑛 𝜏𝑡−2 ⋯ −1𝑛 ] [𝜏𝑡−1 ]

] √𝑛𝑡𝜇

√𝑛𝑡𝜇 𝑐1 𝛿1 µ 𝑐 𝑛 2 𝛿2 0 𝜏1 √6 (𝜏1 + 𝜏2 − 2𝜏3 ) ⋮ 𝜏2 = = 𝑐 𝑡−1 𝛿𝑡−1 ⋮ ⋮ ⋮ 0 𝑒𝑡𝑐 [𝜏𝑡−1 ] ⋮ 0 0 [ ] 0 ⋮ [ ] 0 0] 𝑛

√ 2 (𝜏1 − 𝜏2 )

1𝑇 × √2𝑛 1𝑇𝑛 = 𝑛√2𝑛 = √2𝑛 = √2 2𝑛 𝑛

√

Yang mengalihkan perhatian kita dari rata-rata perlakuan 𝜇 + 𝜏1, 𝜇 + 𝜏2 , …, 𝜇 + 𝜏𝑡−1 hingga selisih antar rata-rata 𝛿1 = 𝜏1 − 𝜏2 , 𝛿2 = 𝜏1 + 𝜏2 − 2𝜏3 = (𝜏1 − 𝜏3 ) + (𝜏2 − 𝜏3 ), dst. Catat bahwa 𝑐𝑖 adalah kontras sederhana. Perkalian 𝑷𝑿𝜷=

54


1 √ 1𝑇4 12

√

1 √ 1𝑇4 8

1 −√ 1𝑇4 8

1 √ 1𝑇4 24

√

𝑲3𝑥4 𝑶3𝑥4 ( 𝑶3𝑥4

1 𝑇 1 12 4

1 𝑇 1 24 4


1 1 1 1 𝑇 1 04 1 1 1 𝑇 1 −2√ 14 24 1 1 𝑶3𝑥4 1 𝑶3𝑥4 ( 𝑲3𝑥4 ) 1 √

1 𝑇 1 12 4

1 1 1 1 0 0 0 0 −1 −1 −1 −1

0 0 0 0 1 𝜇 1 (𝜏1 ) 1 𝜏2 1 −1 −1 −1 −1)

atau 1 √ 1𝑇4 12

√

1 √ 1𝑇4 8

1 −√ 1𝑇4 8

1 √ 1𝑇4 24

√

𝑲3𝑥4 𝑶3𝑥4 ( 𝑶3𝑥4

1 𝑇 1 12 4

1 𝑇 1 24 4


√12 0 0 0 0 0 0 0 0 0 0 ( 0

1 √ 1𝑇4 12

0𝑇4

𝜇 14 14 04 14 ) (𝜏1 ) (14 04 14 −14 −14 𝜏2

1 −2√ 1𝑇4 24 𝑶3𝑥4 𝑶3𝑥4 𝑲3𝑥4

)

√12𝜇 0 0 √2(𝜏1 − 𝜏2 ) √2 −√2 √6 √6 √6(𝜏1 + 𝜏2 ) 0 0 0 0 0 𝜇 0 0 0 0 (𝜏1 ) = 0 0 𝜏2 0 0 0 0 0 0 0 0 0 0 0 0 0 ( ) 0 0 ) 0

Catatan penting: 𝑛

𝑛

Karena batasan 𝜏3 =0, maka √ 6 (𝜏1 + 𝜏2 − 2𝜏3 ) = √ 6 (𝜏1 + 𝜏2 ) Transformasi ortogonal telah menghasilkan himpuran peubah dengan properti berikut: 55


𝑢1 = √𝑛𝑡(𝑦̅ − 𝜇) menyebar normal dengan rata-rata 0 dan ragam 𝜎 2 , dan bebas terhadap setiap peubah (𝑢𝑖 − 𝑐𝑖 𝛿𝑖 ), 𝑖 = 2, ⋯ , 𝑡, yang semuanya bebas dengan rata-rata 0 dan ragam 𝜎 2 , dan t peubah pertama {𝑢𝑖 , 𝑖 = 1, ⋯ , 𝑡 } semua bebas terhadap nt - t = t(n - 1) peubah {𝑢𝑖 , 𝑖 = 𝑡 + 1, ⋯ , 𝑛𝑡 } yang semuanya juga bebas dengan rata-rata 0 dan ragam 𝜎 2 . Fungsi logLikelihood untuk {𝑢𝑖 } dapat dipisahkan menjadi tiga bagian: 1

1

1

1

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk 𝒖 = [−2𝑙𝑛(2𝜋) − 2𝑙𝑛(𝜎 2 ) − 𝑡

+ ⌈∑ {−2𝑙𝑛(2𝜋) − 2𝑙𝑛(𝜎 2 ) − 𝑖=2

1 2 (𝑢1 − √𝑛𝑡𝜇) ] 2 2𝜎 1 (𝑢 − 𝑐𝑖 𝛿𝑖 )2 }⌉ 2𝜎 2 𝑖

𝑛𝑡

𝑡(𝑛−1) + [− 2 𝑙𝑛(2𝜋)

−

𝑡(𝑛−1) 𝑙𝑛(𝜎 2 ) 2

1 − 2 ∑ 𝑢𝑖2 ] 2𝜎 𝑖=𝑡+1

Di bawah hipotesis bahwa rata-rata semua perlakuan sama, (yakni semua 𝜏𝑖 = 0, atau ekivalen dengan semua 𝛿𝑖 = 0), ∑𝑡𝑖=2 𝑢𝑖2 dalam bagian kedua adalah Treatment SS dalam ANOVA, dan karenanya menyebar secara peubah 𝜎 2 𝜒 2 dengan derajat bebas t-1. Pun pula, setiap komponen dalam Treatment SS menguji kontras sehimpunan rata-rata terhadap himpunan rata-rata lain, dan menyebar secara 𝜎 2 𝜒 2 dengan derajat bebas 1. 2 Ekspresi akhir dalam logLikelihood dari {𝑢𝑖 } melibatkan ∑𝑛𝑡 𝑖=𝑡+1 𝑢𝑖 , yang merupakan

Residual SS dalam ANOVA satu-arah dan dengan demikian menyebar secara peubah 𝜎 2 𝜒 2 dengan derajat bebas nt-t = t(n-1), irrespective of whether the treatment means are all equal or not. Juga bebas terhadap Treatment SS. Jadi

Nisbah Treatment MS terhadap Residual MS dalam ANOVA satu-arah, di bawah hipotesis bahwa semua rata-rata perlakuan sama, menyebar secara sebaran F dengan derajat bebas pembilang t-1 dan penyebut t(n-1). 56


Nilai F setiap komponen kontras menyebar secara peubah dengan derajat bebas pembilang 1 dan derajat bebas penyebut t(n-1) di bawah asumsi bahwa kontras salah satu rata-rata tertentu adalah 0.

Ingat bahwa Residual MS dapat ditulis sebagai

𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑀𝑆 =

∑𝑡𝑖=1 ∑𝑛𝑗=1(𝑦𝑖𝑗 − 𝑦̅𝑖. ) 𝑡(𝑛 − 1)

2

∑𝑡𝑖=1(𝑛 − 1)𝑠𝑖2 ∑𝑡𝑖=1 𝑠𝑖2 = = 𝑡(𝑛 − 1) 𝑡

yang merupakan rata-rata dari ragam contoh. Untuk ANOVA satu-arah ulangan tak sama, ini berupa rata-rata terboboti, dengan bobot (𝑛𝑖 − 1). Penduga ML untuk 𝝈𝟐 sama dengan di atas, kecuali bahwa penyebut adalah tn. Penduga ini bias. Penduga REML untuk 𝝈𝟐 sama dengan Residual MS dan takbias.

Teladan yang digunakan sejauh ini melibatkan penarikan contoh dari satu atau lebih sebaran normal yang saling bebas dan memiliki ragam sama. Kita beralih pada matriks umum dari model campuran linier, tetapi menggunakan model sederhana.

57

The Mathematics of REML Teladan 5 – uji t tidak berpasangan – ragam sama Ini merupakan kasus khusus rancangan yang telah dibahas sebelumnya, yakni, rancangan perlakuan satu-arah tanpa pemblokan. Namun, kita akan mendekatinya sebagai kasus khusus untuk menjelaskan mengapa pendekatan umum diperlukan.

Untuk dua contoh bebas yang diambil dari sebaran normal dengan rata-rata berbeda dan ragam sama, kita dapat menggunakan property contoh acak sederhana dari sebarab normal: 𝜎2

Untuk contoh acak berukuran 𝑛1 , 𝑦̅1 menyebar normal dengan rata-rata 𝜇1 dan ragam 𝑛 , 1

bebas terhadap 𝜎2

𝑦̅2 , yakni, untuk contoh acak 𝑛2 , menyebar normal dengan rata-rata 𝜇2 dan ragam 𝑛 . 2

𝜎2

𝜎2

1

2

Maka 𝑦̅1 − 𝑦̅2 menyebar normal dengan rata-rata (𝜇1 − 𝜇2 ) dan ragam (𝑛 + 𝑛 ).

Akhir Selasa, 10 Maret 2015 Kemudian, karena dua ragam contoh bebas terhadap dua rata-rata contoh, dan setiap rata-rata benas terhadap ragam contoh:

(𝑦̅1 − 𝑦̅2 ) bebas terhadap dua sebaran: (𝑛2 −1)𝑠22 𝜎2

(𝑛1 −1)𝑠12 𝜎2

~χ2 dengan derajat bebas (𝑛1 − 1), dan

~χ2 dengan derajat bebas (𝑛2 − 1).

Dengan demikian, kita mempunyai dua penduga (bersaing), yang sama-sama menduga ragam yang sama 𝜎 2 . Kita tahu bahwa jumlah dari dua peubah χ2 yang saling bebas adalah juga peubah χ2 dengan derajat bebas gabungan (jumlah dua derajat bebas). Maka, untuk kasus ulangan tidak sama,

(𝑛1 −1)𝑠12 +(𝑛2 −1)𝑠22 𝜎2

menyebar secara χ2 dengan derajat bebas ((𝑛1 − 1) +

(𝑛2 − 1)).

Akhirnya, berdasarkan definisi, peubah t, adalah nisbah peubah normal baku terhadap akar

pangkat dua dari peubah χ2 bebas yang diskalakan dengan membaginya dengan derajat (yang juga menjadi derajat bebas peubah t ). Dengan demikian, jika (𝜇1 − 𝜇2 ) = 0, 58


(𝑦̅1 − 𝑦̅2 ) ⁄ 𝜎2 𝜎2 √( + ) 𝑛1

𝑛2

(𝑛1 − 1)𝑠12 + (𝑛2 − 1)𝑠22 ⁄ 𝜎2 √ ((𝑛1 − 1) + (𝑛2 − 1))

(𝑦̅1 − 𝑦̅2 )

= √

(𝑛1 − 1)𝑠12 + (𝑛2 − 1)𝑠22 1 1 (𝑛 + 𝑛 ) ( 𝑛 1 − 1) + ( 𝑛 2 − 1 ) 1 2

Akan menyebar secara peubah 𝑡 dengan derajat bebas ((𝑛1 − 1) + (𝑛2 − 1)).

Teladan 6 – uji t tidak berpasangan – ragam berbeda Penyesuaian terhadap argumen sebelumnya bersifat minor (sederhana) sampai pada titik menggabungkan ragam contoh.

Untuk dua contoh bebas yang ditarik dari sebaran-sebaran normal, dengan rata-rata berbeda dan ragam berbeda, kita dapat menggunakaan properti contoh acak sederhana dari sebaran normal: 𝜎2

Untuk contoh acak berukuran 𝑛1 , 𝑦̅1 menyebar normal dengan rata-rata 𝜇1 dan ragam 𝑛1 , 1

bebas terhadap Statistik 𝑦̅2 , dari contoh acak berukuran 𝑛2 , menyebar normal dengan rata-rata 𝜇2 dan ragam 𝜎22 . 𝑛2

𝜎2

𝜎2

1

2

Maka (𝑦̅1 − 𝑦̅2 ) akan menyebar normal dengan rata-rata (𝜇1 − 𝜇2 ) dan ragam (𝑛1 + 𝑛2 ).

Kemudian, karena kedua ragam contoh bebas terhadap dua rata-rata contoh, dan setiap rata-rata contoh bebas terhadap ragam contoh:

59

The Mathematics of REML (𝑦̅1 − 𝑦̅2 ) bebas terhadap dua peubah, baik pun

(𝑛2 −1)𝑠22 𝜎22

(𝑛1 −1)𝑠12 𝜎12

~χ2 dengan derajat bebas (𝑛1 − 1), mau

~χ2 dengan derajat bebas (𝑛2 − 1).

Apabila 𝜎12 dan 𝜎22 diketahui, maka kita menggunakan (𝑦̅1 − 𝑦̅2 ) sebagai peubah normal 𝜎2

𝜎2

1

2

dengan ragam (𝑛1 + 𝑛2 ) untuk menguji (𝜇1 − 𝜇2 ) = 0. Masalahnya adalah bahwa kita tidak pernah tahu nilai ragam populasi sesungguhnya (contoh binomial dengan ulangan banyak menggunakan kenormalan asimtotik merupakan pengecualian). How to proceed?

Jika kita menggabungkan dua peubah 2 yakni

(𝑛1 −1)𝑠12 𝜎12

dan

(𝑛2 −1)𝑠22 𝜎22

tidaklah mungkin

menghilangkan peubah ragam populasi yang tidak diketahui itu dari rumus modifikasi untuk menghitung uji t tak-berpasangan (kecuali anda asumsikan bahwa satu ragam populasi diketahui sebagai kelipatan dari yang lain) : (𝑦̅1 − 𝑦̅2 ) ⁄ 𝜎21 𝜎22 √( + ) 𝑛1

𝑡𝑜𝑏𝑠 = (

(𝑛1 − 1)𝑠12 𝜎21

√

+

(𝑛2 − 1)𝑠22 𝜎22

𝑛2

) ⁄ ((𝑛1 − 1) + (𝑛2 − 1))

Catat bahwa dalam kasus ulangan tak sama, kita menggunakan peubah normal baku (𝑦̅1 − 𝑦̅2 ) 𝜎2 𝜎2 √( + ) 𝑛1 𝑛2

=

(𝑦̅1 − 𝑦̅2 ) √𝜎2

1 1 (𝑛 + 𝑛 ) 1 2

~𝑁(0,1)

Dan menggantikan 𝜎 2 dengan penduga terbaiknya yang berhubungan dengan sebaran 2, menghasilkan uji t-tidak berpasangan. Hal ini menyebabkan dua ahli statistika bekerja secara terpisah (Satterthwaite, mempublikasi 1946, dan Welch, pada 1947) mempelajari pengaruh penggantian dua ragam populasi berbeda dengan ragam contoh dalam kasus ragam berbeda:

60

The Mathematics of REML (𝑦̅1 − 𝑦̅2 ) 𝜎2

𝜎2

1

2

→

(𝑦̅1 − 𝑦̅2 ) 𝑠2

√( 1 + 2 ) 𝑛 𝑛

𝑠2

√( 1 + 2 ) 𝑛1 𝑛2

Statistik di sebelah kanan tidak secara pasti menyebar secara statistik t karena suku dalam tanda akar dari penyebut bukanlah peubah 2. Tetapi dengan mencocokkan dua momen pertama, Satterthwaite memutuskan untuk mendalami pengaruh penggantian suatu fungsi linier dari peubah 2 dengan peubah tunggal 2. Dia menemukan bagaimana menduga derajat bebas sebuah peubah tunggal 2 . Untuk contoh berukuran cukup besar, dia menunjukkan bahwa sebaran t kira-kira untuk (𝑦̅1 − 𝑦̅2 )

∗ 𝑡𝑜𝑏𝑠 =

𝑠21 𝑠22 + ) 𝑛1 𝑛2

√(

dengan derajat bebas diduga oleh: 𝑠2

𝑠2

2

(𝑛1 + 𝑛2 ) 1 2

𝑑𝑓 =

2

2

𝑠2 ( 1⁄𝑛1 ) 𝑛1 − 1

𝑠2 ( 2⁄𝑛2 ) +

𝑛2 − 1

√(

) 𝑠2

𝑠2

1

2

Derivasi cukup mudah. Kita ingin menggantikan 𝑛1 + 𝑛2 dengan 𝑠𝐵2 katakan, dan, sebagai (𝑛1 −1)𝑠12 𝜎12

𝑠2

~χ2 dengan derajat bebas (𝑛1 − 1), kita menghendaki 𝑟 𝜎𝐵2 ~χ2 dengan derajat bebas r 𝐵

untuk beberapa nilai r. (𝑛1 −1)𝑠12

Karena 𝐸(χ2𝜈 ) = 𝜈, maka 𝐸 ( 𝑠22

𝜎22

2

2

halnya, 𝐸 (𝑛 ) = 𝑛 dan 𝐸 (𝑟

61

𝜎12

2 𝑠𝐵 2 𝜎𝐵

𝑠2

𝜎2

1

1

) = (𝑛1 − 1) dan menyebabkan 𝐸 (𝑛1 ) = 𝑛1 . Sama

) = 𝑟 sehingga 𝐸(𝑠𝐵2 ) = 𝜎𝐵2 .

The Mathematics of REML (𝑛1 −1)𝑠12

Diketahui bahwa 𝑣𝑎𝑟(χ2𝜈 ) = 2𝜈, maka 𝑣𝑎𝑟 ( 2 𝜎4 𝑛12 (𝑛1 −1) 1 4 2𝜎𝐵

𝑠22

𝜎12

1

2

𝜎24 −1) 2

(1). Sama halnya, 𝑣𝑎𝑟 (𝑛 ) = 𝑛2 (𝑛 2

2

𝑠2

) = 2(𝑛1 − 1) dan juga 𝑣𝑎𝑟 (𝑛1 ) = dan 𝑣𝑎𝑟 (𝑟

2 𝑠𝐵 2 𝜎𝐵

) = 2𝑟 maka 𝑣𝑎𝑟(𝑠𝐵2 ) =

(2).

𝑟

Penjelasan 1: Jika 𝑈~χ2𝑟 maka 𝐸(𝑈)~𝑟 dan 𝑉𝑎𝑟(𝑈) = 2𝑟 𝑠2

(𝑛−1)𝑠2

1



𝑉𝑎𝑟 ( 𝑛 ) = 𝑛2 𝑉𝑎𝑟(𝑠 2 ) # tetapi 𝑉𝑎𝑟 (



𝑉𝑎𝑟 (

(𝑛−1)𝑠2

(𝑛−1)2



𝜎4

𝜎2

)=

(𝑛−1)2 𝜎4

𝜎2

) = 𝑉𝑎𝑟 ( χ2(𝑛−1) ) = 2(𝑛 − 1) )

𝑉𝑎𝑟(𝑠 2 )

𝑉𝑎𝑟(𝑠 2 ) = 2(𝑛 − 1) 𝑉𝑎𝑟(𝑠 2 ) =

2(𝑛−1)𝜎4 (𝑛−1)2 𝑠2

2𝜎4

=𝑛−1 1

Substitusi ke dalam #, menghasilkan 𝑉𝑎𝑟 ( 𝑛 ) = 𝑛2 𝑉𝑎𝑟(𝑠 2 ) =



1 𝑛2

×

2𝜎4

2𝜎4

= 𝑛2 (𝑛−1) 𝑛−1

Penjelasan 2: 

𝑉𝑎𝑟 (𝑟

2 𝑠𝐵 2) 𝜎𝐵

= 2𝑟 karena 𝑟



𝑉𝑎𝑟 (𝑟

2 𝑠𝐵 2) 𝜎𝐵

=



𝑉𝑎𝑟(𝑠𝐵2 ) = 2𝑟⁄ 𝑟2 = (𝜎4 )

𝑟2 2 4 𝑉𝑎𝑟(𝑠𝐵 ) 𝜎𝐵

2 𝑠𝐵 2 2 ~χ𝑟 𝜎𝐵

= 2𝑟

4 2𝑟𝜎𝐵 2 𝑟

=

4 2𝜎𝐵 𝑟

𝐵

Dengan demikian, jika

𝑠𝐵2 =

𝑠12 𝑠22 + 𝑛1 𝑛2

Maka dengan menyamakan rata-rata dan ragam teoritis menghasilkan: 𝜎𝐵2

𝜎12 𝜎22 = + 𝑛1 𝑛2

dan 2𝜎𝐵4 2 2 = 2 𝜎14 + 2 𝜎4 𝑟 𝑛1 (𝑛1 − 1) 𝑛2 (𝑛2 − 1) 2 4 2𝜎𝐵 𝑟

Ingat 𝑉𝑎𝑟(𝑠2𝐵 )=

𝑠2

𝑠2

𝑠2

𝑠2

𝑉𝑎𝑟(𝑠𝐵2 ) = 𝑉𝑎𝑟 (𝑛1 + 𝑛2 ) = 𝑉𝑎𝑟 (𝑛1 ) + 𝑉𝑎𝑟 (𝑛2 ) − 0 = 1

1 𝑛1 2

62

2𝜎14

((𝑛

1

)+ −1)

1 𝑛2

2

2𝜎24

2 ((𝑛

2 −1)

1

)=

2 𝑛12 (𝑛1 −1)

2

2

𝜎14 + 𝑛2 (𝑛 2

2 −1)

1 𝑛1 2

𝜎24

𝑉𝑎𝑟(𝑠12 ) +

1 𝑛2 2

𝑉𝑎𝑟(𝑠22 )


Maka, derajat bebas yang sesuai untuk suku perkiraan 2 tunggal adalah 2

𝑟=

𝜎𝐵4

1 1 𝜎4 + 𝜎4 𝑛12 (𝑛1 − 1) 1 𝑛22 (𝑛2 − 1) 2

≈

𝑠2 𝑠2 (𝑛1 + 𝑛2 ) 1

2

1 1 𝑠4 + 𝑠4 𝑛12 (𝑛1 − 1) 1 𝑛22 (𝑛2 − 1) 2 2

=

𝑠2 𝑠2 (𝑛1 + 𝑛2 ) 1 2 2

2

𝑠2 𝑠2 1 1 ( 1) + ( 2) (𝑛1 − 1) 𝑛1 (𝑛2 − 1) 𝑛2

Di mana ragam sesungguhnya di ruas kiri telah diganti oleh ragam contoh di ruas kanan.

Prosedur (default) dalam GenStat adalah untuk menguji kesamaan ragam sebelum menguji kesamaan rata-rata. Uji tidak berpasangan digunakan ketika hasil pengujian kesamaan ragam tidak nyata, jika tidak gunakan pendekatan Satterthwaite.

Metode REML modern menghasilkan kembali statistik ini dan derajat bebas jika ragam dispesifikkan berbeda. Untuk melihat tindakan ini kita harus membangun Linear Mixed Model secara umum.

Selesai Selasa 17 Maret sebelum lunch

63


Model Campuran Linier (LMM) Model linier umum dikembangkan untuk melibatkan pengaruh tetap, pengaruh acak dan matriks ragam-peragam umum. Notasi yang digunakan didasarkan pada monograf Brian Cullis dan Alison Smith (saat di Wagga Agricultural Institute, NSW Agriculture; Ari Verbyla, BiometricsSA; Robin Thompson dan Sue Welham, IACR-Rothamsted) dan diadopsi dalam GenStat.

1. Model Campuran Linier Umum Saat ini, setiap model dapat dinyatakan sebagai model campuran linier (LMM) dalam bentuk: 𝒚 = 𝑿𝝉 + 𝒁𝒖 + 𝒆 di mana 𝒚 adalah vector hasil pengamatan berukuran n1, 𝝉 adalah vector pengaruh tetap, berdimensi p1, dengan matriks rancangan 𝑿 berukuran np hasil penempatan n pengamatan (kombinasi) pada p pengaruh tetap yang sesuai, 𝒖 adalah vector pengaruh acak berukuran b1, dengan matriks rancangan 𝒁 berukuran nb hasil penempatan pengamatan pada b pengaruh acak (kombinasi) yang sesuai 𝒆 adalah vector residual errors berukuran n1. Kita asumsikan bahwa pengaruh acak menyebar normal, 𝒖~N(0, 𝜎𝐻2 𝑮), dan bebas terhadap residual errors yang juga menyebar normal, 𝒆~N(0, 𝜎𝐻2 𝑹). Unsur-unsur matriks ragam-peragam 𝑮 adalah fungsi dari beberapa parameter yang membentuk elemen vektor, katakan 𝜸, sehingga kadang-kadang untuk penekanan ditulis sebagai matriks ragam-peragam 𝑮(𝜸). Matriks ragam-peragam 𝑹 akan ditulis sebagai 𝑹 = 𝜎 2 𝜮, di mana 𝜮 memiliki elemen sebagai fungsi dari sejumlah parameter yang membentuk vektor 𝝓, sehingga ditulis sebagai matriks ragam-peragam 𝜮(𝝓). 

Mengeluarkan parameter 𝜎 2 sebagai pengali menyebabkan 𝜮 menjadi matriks identitas 𝑰 jika kita mempunyai error yang menyebar bebas dan identik;

 64

Matriks diagonal, jika kita memiliki error bebas tetapi dengan ragam berubah

The Mathematics of REML 

Matriks korelasi, jika kita memiliki error berkorelasi tetapi ragam konstan (data deret waktu).

Penjelasan: lihat file excel RCB example for REML

CRD: 1. 3 perlakuan tetap, 𝝉 = (𝜏1 , 𝜏2 , 𝜏3 ) atau 𝝉 = (𝜇, 𝜏1 , 𝜏2 ) tergantung batasan seperti 𝜏3 = 0 atau 𝜏3 = −𝜏1 − 𝜏2 dengan demikian 𝝁 = 0 2. 𝝁 fixed, 3 perlakuan acak, 𝝉 = 𝝁 𝜎𝑇2 𝑉𝑎𝑟(𝝁) = 𝑮 = ( 0 0

0 𝜎𝑇2 0

dan

𝝁 = (𝜏1 , 𝜏2 , 𝜏3 )

0 0 ) = 𝜎𝑇2 𝑰𝑡 𝜎𝑇2

RCBD: 1. 𝜇, perlakuan tetap, blok tetap (not to gereralized) (𝜇, 𝜏1 , 𝜏2 , ⋯ , 𝜏𝑡−1 , 𝛽1 , 𝛽2 , ⋯ , 𝛽𝑟−1 ) 2. 𝜇, perlakuan tetap 𝝉 = (𝜇, 𝜏1 , 𝜏2 ) 𝝁 = (𝛽1 , 𝛽2 , 𝛽3 , 𝛽4 ) 𝑮 = 𝜎𝐵2 𝑰𝑟 𝜎2 0 0 𝜎𝐻2 𝑹 = 1 × ( 0 𝜎 2 0 ) = 𝜎 2 𝑰𝑟 0 0 𝜎2 Dengan perubahan ragam: 𝜎12 0 0 0 0 0 𝜎𝐻2 𝑹 = 0 0 0 0 0 (0

65

0 𝜎12 0 0 0 0 0 0 0 0 0 0

0 0 𝜎12 0 0 0 0 0 0 0 0 0

0 0 0 𝜎12 0 0 0 0 0 0 0 0

0 0 0 0 𝜎22 0 0 0 0 0 0 0

0 0 0 0 0 𝜎22 0 0 0 0 0 0

0 0 0 0 0 0 𝜎22 0 0 0 0 0

0 0 0 0 0 0 0 𝜎22 0 0 0 0

0 0 0 0 0 0 0 0 𝜎32 0 0 0

0 0 0 0 0 0 0 0 0 𝜎32 0 0

0 0 0 0 0 0 0 0 0 0 𝜎32 0

0 0 0 0 0 0 0 0 0 0 0 𝜎32 )

The Mathematics of REML 1 0 𝜎12 ( 0 0 𝜎𝐻2 𝑹 =

0 1 0 0

0 0 1 0

0 0 ) 0 1

𝑶4×4

𝑶4×4 1 0 𝜎22 ( 0 0

𝑶4×4

0 1 0 0

𝑶4×4 0 0 1 0

𝑶4×4

(

0 0 ) 0 1

𝑶4×4 1 0 𝜎32 ( 0 0

0 1 0 0

0 0 1 0

0 0 ) 0 1 )

𝜎𝐻2 𝑹 = 𝐷𝑖𝑎𝑔(𝜎12 𝑰𝑟 |𝜎22 𝑰𝑟 |𝜎32 𝑰𝑟 ) 3. Deret waktu atau korelasi spasial, perubahan ragam dengan autokorelasi lag-1 (AR1) 1 𝜙 𝜎12 𝜙2 3 (𝜙 𝜎𝐻2 𝑹 =

𝜙 1 𝜙 𝜙2

𝑶4×4

𝑶4×4 (

𝜙2 𝜙 1 𝜙

𝜙3 𝜙2 𝜙 1)

𝑶4×4

1 𝜙 𝜎22 𝜙2 3 (𝜙

𝜙 1 𝜙 𝜙2

𝑶4×4

𝑶4×4 𝜙2 𝜙 1 𝜙

𝜙3 𝜙2 𝜙 1)

𝑶4×4

1 𝜙 𝜎32 𝜙2 3 (𝜙

𝜙 1 𝜙 𝜙2

𝜙2 𝜙 1 𝜙

𝜙3 𝜙2 𝜙 1 ))

𝜎𝐻2 𝑹 = 𝐷𝑖𝑎𝑔(𝜎12 𝐴𝑅1 |𝜎22 𝐴𝑅2 |𝜎32 𝐴𝑅3 ) Kita telah melihat kasus khusus LMM dalam teladan-teladan terdahulu:

Untuk penarikan contoh acak sederhana dari populasi normal, kita mempunyai hanya satu parameter tetap, dan 𝝉 = () adalah scalar yang digunakan dalam setiap hasil pengamatan; sehingga 𝑿 adalah vektor satu 1n. Karena tak terdapat pengaruh acak, maka 𝒖 = 0.

Untuk regresi linier sederhana, ada dua pengaruh tetap (intersep dan slope) sehingga 𝝉T = (𝛼, 𝛽) dan 𝑿 = (1𝑛 , 𝒙) di mana 𝒙 adalah vektor peubah penjelas. Tidak ada pengaruh 66

The Mathematics of REML acak lain, sehingga 𝒖 = 0.

Untuk rancangan perlakuan tetap satu-arah tanpa blok dan t perlakuan, terdapat t pengaruh tetap: t rata-rata, maka 𝝉T = (𝜏1 , ..., 𝜏t); atau rata-rata umum tambah t-1 pengaruh perlakuan, sehingga 𝝉T = (, 1, ..., t-1); atau parameterisasi lain dari t perlakuan. Kemudian 𝑿 adalah matriks rancangan yang menjelaskan perlakuan mana miliki suatu pengamatan. Taka ada pengaruh acak lain, sehingga 𝒖 = 0.

Catat bahwa daripada ketertarikan pada sehimpunan perlakuan tetap, kita dapat memilih secara acak t perlakuan dari populasi perlakuan berukuran besar, yang akan menyebabkan pengaruh acak dan akan muncul sebagai 𝒖 dan dalam hal ini matriks 𝒁 merupakan matriks rancangan yang menjelaskan asal suatu pengamatan. Kita akan mempertimbangkan tipe percobaan ini kemudian. Karena 𝒖 dan 𝒆 memiliki vector rata-rata nol dan rata-rata vektor data adalah 𝐸(𝒚) = 𝑿𝝉 dan matriks ragam-peragam 𝑣𝑎𝑟(𝒚) = 𝐸(𝒚 − 𝑿𝝉)(𝒚 − 𝑿𝝉)T = 𝐸(𝒁𝒖 + 𝒆)(𝒁𝒖 + 𝒆)T = 𝐸(𝒁𝒖 + 𝒆)(𝒖T 𝒁T + 𝒆T ) = 𝐸(𝒁𝒖𝒖T 𝒁T ) + 𝐸(𝒁𝒖𝒆T ) + 𝐸(𝒆𝒖T 𝒁T ) + 𝐸(𝒆𝒆T ) = 𝒁𝐸(𝒖𝒖T )𝒁T + 𝒁𝐸(𝒖𝒆T ) + 𝐸(𝒆𝒖T )𝒁T + 𝐸(𝒆𝒆T ) = 𝒁𝑮𝒁T + 𝒁(0) + (0)𝒁T + 𝑹 = 𝜎𝐻2 𝒁𝑮𝒁T + σ2𝐻 𝑹 = 𝜎𝐻2 (𝒁𝑮𝒁T + 𝑹) = 𝜎𝐻2 𝑯 di mana 𝑯 = 𝑹 + 𝒁𝑮𝒁T dan 𝜎𝐻2 adalah faktor skala yang membolehkan struktur 𝑹 dan 𝑮 dinyatakan sebagai ragam atau model korelasi dalam beberapa keadaan. Dengan demikian, vektor data 𝒚 menyebar normal dengan rata-rata 𝑿𝝉 dan matriks ragamperagam 𝜎𝐻2 𝑯.

2. Transformasi untuk memisahkan pengaruh tetap

67

The Mathematics of REML Langkah dalam pendugaan REML ini sama dengan yang telah kita lakukan dengan transformasi ortogonal, tetapi kita tidak memerlukan semua matriks harus ortogonal. Kita akan mentransformasi vektor 𝒚 dengan panjang n menjadi peubah baru (katakan) 𝒚∗ , terdiri dari 𝒚1 berukuran p dan 𝒚2 berukuran (n-p). Elemen-elemen 𝒚1 mengandung informasi tentang pengaruh tetap sedangkan elemen 𝒚2 akan hanya melibatkan parameter yang terdapat dalam matriks peragam 𝜎𝐻2 𝑯. Namun, 𝒚1 dan 𝒚2 tidak akan tidak berkorelasi (saling bergantung), sehingga pendekatan akan menggunakan sebaran bersyarat 𝒚1 |𝒚2. Maka, kita menggunakan vector data y dan menemukan transformasi terhadap y menjadi 𝒚1 [𝒚 ] = 𝑳𝑇 𝒚 di mana matriks 𝑳 = [𝑳1 𝑳2 ] terdiri dari dua anak- matriks yang dipilih secara 2 khusus, sebagaimana kita memilih matriks ortogonal khusus untuk beberapa teladan terdahulu: sebuah matriks 𝑳1 berukuran n×p dan sebuah matriks lain 𝑳2 berukuran n×(n-p). Dua properti yang kita perlukan untuk anak-matriks ini, yakni (dan ingat bahwa terdapat p pengaruh tetap dalam LMM): Kondisi 1: 𝑳1𝑇 𝑿 = 𝑰𝑝 Kondisi 2: 𝑳𝑇2 𝑿 = 𝑶(𝑛−𝑝) × 𝑝 Contoh perhitungan anak-anak matriks 𝑳1 

𝑳2 untuk RAK (p = 3, r = 4, n = pr = 12)

Siapkan 𝑳1 berdimensi 12 × 3 (kolom 1 (𝜇)=112, kolom 2 (𝜏1 ): p1 vs semua, kolom 3 (𝜏2 ): 2 vs semua)= (𝜇, 𝜏1 , 𝜏2 ). Bisa juga (𝜇, 𝜏1 , 𝜏3 ): 1 vs semua dan 3 vs semua atau (𝜇, 𝜏2 , 𝜏3 ): 2 vs semua dan 3 vs semua



68

𝜇

𝜏1

1 1 1 1 1 1 1 12 1 1 1 1 1 (1

2 2 2 2 −1 −1 −1 −1 −1 −1 −1 −1

𝜏2 −1 −1 −1 −1 2 2 2 2 −1 −1 −1 −1)

𝜇

𝜏1

1 1 1 1 1 1 1 12 1 1 1 1 1 (1

2 2 2 2 −1 −1 −1 −1 −1 −1 −1 −1

𝜏3 −1 −1 −1 −1 −1 −1 −1 −1 2 2 2 2)

𝜇

𝜏2

𝜏3

1 1 1 1 1 1 1 12 1 1 1 1 1 (1

−1 −1 −1 −1 2 2 2 2 −1 −1 −1 −1

−1 −1 −1 −1 −1 −1 −1 −1 2 2 2 2)




Siapkan 𝑳2 berdimensi 12 × 9 : antar blok dalam setiap perlakuan, karena ada 4 blok, maka untuk setiap perlakuan ada 3 kolom/pembandingan: b1 vs b2, b 12 vs b3 dab b123 vs b4), dengan demikian terdapat 3 x 3 kolom = 9 kolom.



1 1 1 0 0 0 0 0 0 −1 1 1 0 0 0 0 0 0 0 −2 1 0 0 0 0 0 0 0 0 −3 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 −1 1 1 0 0 0 𝑳2 = 0 0 0 0 −2 1 0 0 0 0 0 0 0 0 −3 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 −1 1 1 0 0 0 0 0 0 0 −2 1 (0 0 0 0 0 0 0 0 −3)



Matriks 𝑿 berukuran 12 × 3, kolom 2 dan 3 untuk pembandingan antar perlakuan; hampir sama dengan matriks 𝑳1.



Kasus 1: anggap 𝜏3 = 0, (𝜇, 𝜏1 , 𝜏2 ) = (112 , 1 𝑣𝑠 3 𝑑𝑎𝑛 2 𝑣𝑠 3)



Kasus 2: anggap 𝜏2 = 0, (𝜇, 𝜏1 , 𝜏3 ) = (112 , 1 𝑣𝑠 2 𝑑𝑎𝑛 3 𝑣𝑠 2)



Kasus3: anggap 𝜏1 = 0, (𝜇, 𝜏2 , 𝜏3 ) = (112 , 2 𝑣𝑠 1 𝑑𝑎𝑛 3 𝑣𝑠 1)



69

𝜇

𝜏1

1 1 1 1 1 1 1 1 1 1 1 (1

1 1 1 1 0 0 0 0 −1 −1 −1 −1

𝜏2 0 0 0 0 1 1 1 1 −1 −1 −1 −1)

𝜇

𝜏1

1 1 1 1 1 1 1 1 1 1 1 (1

1 1 1 1 −1 −1 −1 −1 0 0 0 0

𝜏3 0 0 0 0 −1 −1 −1 −1 1 1 1 1)

𝜇

𝜏2

𝜏3

1 1 1 1 1 1 1 1 1 1 1 (1

−1 −1 −1 −1 1 1 1 1 0 0 0 0

−1 −1 −1 −1 0 0 0 0 1 1 1 1)

The Mathematics of REML 

Karena dasar pembentukan sama, maka matriks 𝑳11 digunakan dengan 𝑿1 , 𝑳12 dengan 𝑿2 dan 𝑳13 dengan 𝑿3

Di bawah kondisi ini: 𝒚1 ~𝑁(𝝉, 𝜎𝐻2 𝑳1𝑇 𝑯𝑳1 ) karena 𝐸(𝒚1 ) = 𝐸(𝑳1𝑇 𝒚) = 𝑳1𝑇 𝐸(𝒚) = 𝑳1𝑇 𝑿𝝉 = 𝑰𝑝 𝝉 = 𝝉 dengan pilihan 𝑳1, dan 𝑣𝑎𝑟(𝒚1 ) = 𝑣𝑎𝑟(𝑳1𝑇 𝒚) = 𝑳1𝑇 𝑣𝑎𝑟(𝒚)𝑳1 = 𝜎𝐻2 𝑳1𝑇 𝑯𝑳1 𝒚2 ~𝑁(0, 𝜎𝐻2 𝑳𝑇2 𝑯𝑳2 ) karena 𝐸(𝒚2 ) = 𝐸(𝑳𝑇2 𝒚) = 𝑳𝑇2 𝑬(𝒚) = 𝑳𝑇2 𝑿𝝉 = 0 𝝉 = 0 dengan pilihan 𝑳2 , dan 𝑣𝑎𝑟(𝒚2 ) = 𝑣𝑎𝑟(𝑳𝑇2 𝒚) = 𝑳𝑇2 𝑣𝑎𝑟(𝒚)𝑳2 = 𝜎𝐻2 𝑳𝑇2 𝑯𝑳2 𝑐𝑜𝑣𝑎𝑟(𝒚1 , 𝒚2 ) = 𝑳1𝑇 𝑣𝑎𝑟(𝒚)𝑳2 = 𝜎𝐻2 𝑳1𝑇 𝑯𝑳2 Fungsi kepekatan peluang peubah acak normal bivariat 𝑓(𝑦1 , 𝑦2 ): (𝑦1 − 𝜇1 )2 (𝑦1 − 𝜇1 )(𝑦1 − 𝜇1 ) (𝑦2 − 𝜇2 )2 1 𝑒𝑥𝑝 {− [ − 2𝜌 + ]} 2(1 − 𝜌2 ) 𝜎1 𝜎2 𝜎12 𝜎22 2𝜋𝜎1 𝜎2 √1 − 𝜌2 1

Jika kedua peubah saling bebas, 𝜌 = 0, 1 (𝑦1 −𝜇1 )2

1 2𝜋𝜎1 𝜎2

𝑒𝑥𝑝 {− 2 [

𝜎12

+

(𝑦2 −𝜇2 )2 𝜎22

1

]} = 2𝜋𝜎

𝑦𝑖 −𝜇𝑖 2

1

1 𝜎2

𝑒𝑥𝑝 {− 2 ∑2𝑖=1 (

𝜎𝑖

) }

Fungsi kepekatan peluang marjinal 𝑓1 (𝑦1 ): 𝑓1 (𝑦1 ) =

1 (𝑦1 − 𝜇1 )2 𝑒𝑥𝑝 {− [ ]} 2 𝜎12 𝜎1 √2𝜋 1

Fungsi kepekatan peluang bersyarat 𝑓1 (𝑦2 |𝑦1 ) =

1 2𝜋𝜎1 𝜎2 √1−𝜌

𝑒𝑥𝑝 { 2

1

2(1−𝜌

[ 2)

(𝑦1 −𝜇1 )2 𝜎12

𝑓(𝑦1 ,𝑦2 ) 𝑓1 (𝑦1 )

− 2𝜌

(𝑦1 −𝜇1 )(𝑦1 −𝜇1 ) 𝜎1 𝜎2

1 (𝑦1 − 𝜇1 )2 𝑒𝑥𝑝 {− [ ]} 2 𝜎12 𝜎1 √2𝜋 1

70

+

(𝑦2 −𝜇2 )2 𝜎22

]}


Catatan tentang koefisien di luar exp 1 2𝜋𝜎1 𝜎2 √1−𝜌2

⁄

=

1

𝜎1 √2𝜋

𝜎1 √2𝜋 2𝜋𝜎1 𝜎2 √1−𝜌2

=

1 𝜎2 √2𝜋 √1−𝜌2

Di dalam eksponensiasi: (𝑦1 − 𝜇1 )2 (𝑦1 − 𝜇1 )(𝑦1 − 𝜇1 ) (𝑦2 − 𝜇2 )2 1 1 (𝑦1 − 𝜇1 )2 {− [ − 2𝜌 + ]} + { [ ]} 2(1 − 𝜌2 ) 𝜎1 𝜎2 2 𝜎12 𝜎22 𝜎12 1

Gabungkan, gunakan koefisien − 2(1−𝜌2 ):

−

(𝑦1 − 𝜇1 )2 (𝑦1 − 𝜇1 )(𝑦1 − 𝜇1 ) (𝑦2 − 𝜇2 )2 (𝑦1 − 𝜇1 )2 1 2) (1 [ − 2𝜌 + − − 𝜌 ] 2(1 − 𝜌2 ) 𝜎1 𝜎2 𝜎12 𝜎22 𝜎12

Gabungkan suku 1 dan 4: (𝑦1 − 𝜇1 )2 (𝑦1 − 𝜇1 )2 (𝑦1 − 𝜇1 )2 (𝑦1 − 𝜇1 )2 (𝑦1 − 𝜇1 )2 (𝑦1 − 𝜇1 )2 2) 2 2 (1 − − 𝜌 = − + 𝜌 = 𝜌 𝜎12 𝜎12 𝜎12 𝜎12 𝜎12 𝜎12 Jadikan unsur 𝑦2 suku pertama: −

(𝑦2 − 𝜇2 )2 (𝑦1 − 𝜇1 )(𝑦1 − 𝜇1 ) (𝑦1 − 𝜇1 )2 1 2 [ − 2𝜌 + 𝜌 ] 2(1 − 𝜌2 ) 𝜎1 𝜎2 𝜎22 𝜎12

Tampak bentuk (𝑎 − 𝑏)2 , tetapi dengan memfaktorkan ke luar (1⁄ 2 ) sehingga: 𝜎2 𝑎 = (𝑦2 − 𝜇2 )

𝑏=

dan

−

𝜎2 𝜌 𝜎1

(𝑦1 − 𝜇1 )

2 1 𝜎2 𝜌 (𝑦 ) (𝑦 )] [ − 𝜇 − − 𝜇 2 2 1 𝜎1 1 2(1 − 𝜌2 )𝜎22

Dengan demikian fungsi peluang bersyarat 1 𝜎2 √2𝜋 √1 − 𝜌2

𝑒𝑥𝑝 {−

1 √2𝜋 √(1 − 𝜌2 )𝜎22

71

2 1 𝜎2 𝜌 (𝑦 ) (𝑦 )] [ − 𝜇 − − 𝜇 } 2 2 1 𝜎1 1 2(1 − 𝜌2 )𝜎22

𝑒𝑥𝑝 {−

2 1 𝜎2 (𝑦 )] [ 𝑦 − 𝜇 − 𝜌 − 𝜇 } 2 1 𝜎1 1 2(1 − 𝜌2 )𝜎22 2


1

1 𝜎2 𝑒𝑥𝑝 {− [ 𝑦2 − (𝜇2 + 𝜌 (𝑦1 − 𝜇1 ))] } 2 2 𝜎1 2(1 − 𝜌 )𝜎2 √2𝜋 √(1 − 𝜌2 )𝜎22 Berdasarkan fungsi kepekatan peluang ini, (𝑦2 |𝑦1 )~𝑁𝑜𝑟𝑚𝑎𝑙 (𝜇2 + 𝜌

𝜎2 (𝑦 − 𝜇1 ), (1 − 𝜌2 )𝜎22 ) 𝜎1 1

𝜎

𝐸(𝑦2 |𝑦1) = 𝜇2 + 𝜌 𝜎2 (𝑦1 − 𝜇1 ) berbentuk persamaan regresi linier sederhana, 1

𝜎

𝜎

𝜎

𝜎

= 𝜇2 + 𝜌 𝜎2 𝑦1 − 𝜌 𝜎2 𝜇1 = (𝜇2 − 𝜌 𝜎2 𝜇1 ) + (𝜌 𝜎2 ) 𝑦1 1

di mana

1

1

1

𝜎

𝛽 = 𝜌 𝜎2 dan 𝛼 = 𝜇2 − 𝛽𝜇1 1

Hubungan antar koefisien regresi dan koefisien korelasi :

𝑏=

∑(𝑋 − 𝑥̅ ) (𝑌 − 𝑦̅) √∑(𝑋 − 𝑥̅ )2 √∑(𝑌 − 𝑦̅)2 × ∑(𝑋 − 𝑥̅ )2 √∑(𝑋 − 𝑥̅ )2 √∑(𝑌 − 𝑦̅)2

∑(𝑋 − 𝑥̅ ) (𝑌 − 𝑦̅) √∑(𝑋 − 𝑥̅ )2 √∑(𝑌 − 𝑦̅)2

∑(𝑋 − 𝑥̅ ) (𝑌 − 𝑦̅) √∑(𝑋 − 𝑥̅ )2 √∑(𝑌 − 𝑦̅)2

×

√∑(𝑋 − 𝑥̅ )2 √∑(𝑌 − 𝑦̅)2 ∑(𝑋 − 𝑥̅ )2

∑(𝑌 − 𝑦̅)2 √∑(𝑋 − 𝑥̅ )2 √∑(𝑌 − 𝑦̅)2 √ = 𝑟 × ∑(𝑋 − 𝑥̅ )2 ∑(𝑋 − 𝑥̅ )2

𝑏 = 𝑟×√ 𝑟=

×

∑(𝑌 − 𝑦̅)2 ∑(𝑋 − 𝑥̅ )2

∑(𝑋 − 𝑥̅ ) (𝑌 − 𝑦̅) √∑(𝑋 − 𝑥̅ )2 √∑(𝑌 − 𝑦̅)2

∑(𝑋 − 𝑥̅ )2 ∑(𝑋 − 𝑥̅ ) (𝑌 − 𝑦̅) ∑(𝑋 − 𝑥̅ )2 × = × 2 ∑(𝑋 − 𝑥̅ )2 √∑(𝑋 − 𝑥̅ )2 √∑(𝑌 − 𝑦̅)2 ∑(𝑋 − 𝑥̅ ) √∑(𝑋 − 𝑥̅ )2 √∑(𝑌 − 𝑦̅)2 ∑(𝑋 − 𝑥̅ ) (𝑌 − 𝑦̅)

∑(𝑌 − 𝑦̅)2 𝑏 =𝑟×√ ∑(𝑋 − 𝑥̅ )2 72

∑(𝑋 − 𝑥̅ )2 and 𝑟 = 𝑏 × √ ∑(𝑌 − 𝑦̅)2


Dalam kasus multivariat, fkp untuk peubah acak 𝑦𝑖 = (𝑦1 , 𝑦2 , ⋯ , 𝑦𝑛 ) 1 2𝜋𝜎1 𝜎2 √1 − 𝜌2

𝑒𝑥𝑝 {−

(𝑦1 − 𝜇1 )2 (𝑦1 − 𝜇1 )(𝑦1 − 𝜇1 ) (𝑦2 − 𝜇2 )2 1 [ − 2𝜌 + ]} 2(1 − 𝜌2 ) 𝜎1 𝜎2 𝜎12 𝜎22

1

1 [(𝒚 − 𝝁)𝑇 𝚺 −1 (𝒚 − 𝝁) ]} 𝑒𝑥𝑝 {− (2𝜋)𝑛/2 |Σ|1/2 2 𝜎2 𝚺= ( 1 𝜎21

𝜎12 ) 𝜎22

Cara lain, jika 𝜎2 𝚺= ( 1 𝜌𝜎1 𝜎2

1

|𝚺| = 𝜎12 𝜎22 − 𝜎12 𝜎21 𝚺 −1 = 2 2 𝜎 𝜎 −𝜎 𝜎

𝜌 = 𝜎 12 𝜎

𝜎22 −𝜎21

−𝜎12 ) 𝜎12

sehingga 𝜎12 = 𝜌𝜎1 𝜎2

1 2

𝜌𝜎1 𝜎2 ) 𝜎22 1

12 𝜎21

1 2

(

|𝚺| = 𝜎12 𝜎22 − 𝜌2 𝜎12 𝜎22 = (1 − 𝜌2 ) 𝜎12 𝜎22 𝜎22

𝚺 −1 = (1−𝜌2 ) 𝜎2 𝜎2 ( 1 2 −𝜌𝜎1 𝜎2

1

−𝜌𝜎1 𝜎2 1 )=(1−𝜌2 ) ( 𝜌 2 𝜎1 −𝜎 𝜎 𝜎12

1 2

−𝜎

𝜌

1 𝜎2

1

)

𝜎22

(𝒚 − 𝝁)𝑇 𝚺 −1 (𝒚 − 𝝁), jika menganggap 𝝁 = 0 dan 𝒚 = (𝑦1 , 𝑦2 ) maka 𝒚𝑇 𝚺 −1 𝒚 adalah

(𝑦1

𝑦2 )

1 (1 − 𝜌2 ) (

1 𝜎12 𝜌 − 𝜎1 𝜎2

−

𝜌 𝜎1 𝜎2 𝑦1 (𝑦 ) 1 2 2 𝜎2 )

1 𝑦1 𝜌𝑦2 𝜌𝑦1 𝑦2 𝑦1 ( − − + ) ( 𝑦2 ) (1 − 𝜌2 ) 𝜎12 𝜎1 𝜎2 𝜎1 𝜎2 𝜎22 1 𝑦1 𝜌𝑦2 𝜌𝑦1 𝑦2 (𝑦1 ( 2 − ) − 𝑦2 ( − )) 2 (1 − 𝜌 ) 𝜎1 𝜎2 𝜎22 𝜎1 𝜎1 𝜎2 1 𝑦1 2 𝜌𝑦1 𝑦2 𝜌𝑦1 𝑦2 𝑦2 2 ( − − + 2) (1 − 𝜌2 ) 𝜎12 𝜎1 𝜎2 𝜎1 𝜎2 𝜎2 𝒚𝑇 𝚺 −1 𝒚 =

1 𝑦1 2 2𝜌𝑦1 𝑦2 𝑦2 2 ( − + 2) (1 − 𝜌2 ) 𝜎12 𝜎1 𝜎2 𝜎2

Ringkasan: Gunakan transformasi ini,

73

The Mathematics of REML 𝒚1 𝑳𝑇 𝑯𝑳 𝝉 [𝒚 ] ~𝑁 ([ ] , 𝜎𝐻2 [ 1𝑇 1 0 2 𝑳2 𝑯𝑳1

𝑳1𝑇 𝑯𝑳2 ]) 𝑳𝑇2 𝑯𝑳2

Langkah berikut memerlukan properti sebaran bersyarat dari peubah normal multivariat. Secara khusus, pandang: 𝒛1 𝝁1 𝚺 [𝒛 ] ~𝑁 ([𝝁 ] , [ 11 𝚺21 2 2 𝒛1 ~𝑁(𝝁1 , 𝚺11 ) dan

𝚺12 ]), di mana 𝒛1 berukuran p×1 dan 𝒛2 berukuran (n-p)×1. 𝚺22 𝒛2 ~𝑁(𝝁2 , 𝚺22 ) atau 𝒛~𝑁(𝝁, 𝚺)

Fungsi kepekatan peluang gabungan 1

𝑓(𝒛1 , 𝒛2 ) = (2𝜋)−𝑛/2 |𝚺|−1/2 𝑒𝑥𝑝 {− 2 [(𝒛 − 𝝁)𝑇 𝚺 −1 (𝒛 − 𝝁) ]} Fungsi kepekatan peluang marjinal 𝑓2 (𝒛2 ): 1 −1 (𝒛 𝑓2 (𝒛2 ) = (2𝜋)−(𝑛−𝑝)/2 |𝚺22 |−1/2 𝑒𝑥𝑝 {− [(𝒛2 − 𝝁2 )𝑇 𝚺22 2 − 𝝁2 ) ]} 2 Fungsi peluang bersyarat 𝑓(𝒛1 |𝒛2 ): 1 −1 (𝒛 𝑒𝑥𝑝 {− 2 [(𝒛1 − 𝝁1 )𝑇 𝚺 −1 (𝒛1 − 𝝁1 ) − (𝒛2 − 𝝁2 )𝑇 𝚺22 2 − 𝝁2 )]} (2𝜋)𝑝/2 |𝚺|1/2 |𝚺22 |−1/2

1 −1 (𝒛 |𝚺22 |1/2 𝑒𝑥𝑝 {− [(𝒛1 − 𝝁1 )𝑇 𝚺 −1 (𝒛1 − 𝝁1 ) − (𝒛2 − 𝝁2 )𝑇 𝚺22 2 − 𝝁2 )]} 2 (2𝜋)𝑝/2 |𝚺|1/2 Gunakan Rao, hal 28 untuk saling meniadakan |𝚺22 |1/2 dan |𝚺22 |1/2 Lihat Rao, hal 29, tukar diagonal utama (karena perlu dan diagonal utama segi) 𝑨 | 𝑩 𝚺 |𝚺| = | 22 𝚺12

𝑪 | = |𝑨| |𝑫 − 𝑩𝑨𝑪| 𝑫

𝚺21 | = |𝚺22 | |𝚺11 − 𝚺12 𝚺22 −1 𝚺21 | 𝚺11 1/2

|𝚺|1/2 = |𝚺22 |1/2 |𝚺11 − 𝚺12 𝚺22 −1 𝚺21 |

1 −1 (𝒛 |𝚺22 |1/2 𝑒𝑥𝑝 {− [(𝒛1 − 𝝁1 )𝑇 𝚺 −1 (𝒛1 − 𝝁1 ) − (𝒛2 − 𝝁2 )𝑇 𝚺22 2 − 𝝁2 )]} 2 (2𝜋)𝑝/2 |𝚺|1/2 74


Keluarkan 𝜇 dari dalam eksponen −

1 (𝒛1 − 𝝁1 2

1 𝚺12 −1 𝒛1 − 𝝁1 −1 (𝒛 ) (𝒛 − 𝝁 ) + (𝒛2 − 𝝁2 )𝑇 𝚺22 2 − 𝝁2 ) 𝚺22 2 2 2

𝒛2 − 𝝁2 )𝑇 (𝚺11 𝚺21 −

1 (𝒛1 2

𝒛2 )𝑇 (𝚺11 𝚺21

1 𝚺12 −1 𝒛1 −1 (𝒛 ) ) (𝒛 ) + (𝒛2 )𝑇 𝚺22 2 𝚺22 2 2

Lihat Rao, hal 29, tukar diagonal utama (karena perlu dan diagonal utama segi) 𝚺 ( 22 𝚺21 (

𝑨 𝑩𝑇

𝑩 −1 𝑨−1 + 𝑭𝑬−1 𝑭𝑇 ) =( 𝑫 −𝑬−1 𝑭𝑇

𝚺12 −1 ) 𝚺11

−𝑭𝑬−1 ) rumus umum (jangan lupa tukar diagonal) 𝑬−1

𝑬 = 𝑫 − 𝑩𝑇 𝑨−1 𝑩 = 𝚺11 − 𝚺12 𝚺22 −1 𝚺21 dan dan 𝑭 = 𝑨−1 𝑩 = 𝚺22 −1 𝚺21

(

(𝚺11 − 𝚺12 𝚺22 −1 𝚺21 )

−1

−1

−(𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) 𝚺12 𝚺22−1 −1

𝚺22 −1 + 𝚺22 −1 𝚺21 (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) 𝚺12 𝚺22 −1

𝑠𝑎𝑚𝑎

Kalikan dengan vektor baris (𝒛1 𝑇

𝒛2 𝑇 ) di kiri dan vektor kolom di kanan, −1

(𝒛1 𝑇

𝒛2

−1

(𝚺11 − 𝚺12 𝚺22 −1 𝚺21 )

𝑇) (

𝑠𝑎𝑚𝑎

−(𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) 𝚺12 𝚺22 −1 𝚺22

−1

+ 𝚺22

−1

𝚺21 (𝚺11 − 𝚺12 𝚺22

−1

−1

𝚺21 ) 𝚺12 𝚺22

𝒛1

−1

−1

𝒛1 𝑇 (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) 𝒛1 −1

−1

−𝒛2 𝑇 (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) 𝚺12 𝚺22 −1 𝒛1 − 𝒛1 𝑇 (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) 𝚺12 𝚺22 −1 𝒛2 −1

+𝒛2 𝑇 (𝚺22 −1 + 𝚺22 −1 𝚺21 (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) 𝚺12 𝚺22 −1 ) 𝒛2

Suku 2 dan 3 sama karena 𝒖𝑇 𝒗𝒘 = 𝒘𝑇 𝒗𝒖 sehingga: −1

−1

𝒛1 𝑇 (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) 𝒛1 − 2𝒛1 𝑇 (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) 𝚺12 𝚺22 −1 𝒛2 −1

+𝒛2 𝑇 (𝚺22 −1 + 𝚺22 −1 𝚺21 (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) 𝚺12 𝚺22 −1 ) 𝒛2

Ini berbentuk (𝑢 − 𝑣)2 = 𝑢2 − 2𝑢𝑣 + 𝑣 2 dalam matriks (𝒖 − 𝒗)𝑇 𝑴(𝒖 − 𝒗) = 𝒖𝑇 𝑴𝒖 − 𝟐𝒖𝑇 𝑴𝒗 + 𝒗𝑇 𝑴𝒗 𝒖 = 𝒛1

−1

𝑴 = (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) 𝑇

𝒗 = 𝚺12 𝚺22 −1 𝒛2 −1

(𝒛1 − 𝚺12 𝚺22 −1 𝒛2 ) (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) (𝒛1 − 𝚺12 𝚺22 −1 𝒛2 )

75

)

) (𝒛 ) 2

The Mathematics of REML 𝑇 Catat bahwa, sebagai matriks peragam, (1) 𝚺11 dan 𝚺22 harus setangkup, dan (2) 𝚺21 = 𝚺12 .

Gunakan Rao, hal 28 untuk saling meniadakan |𝚺22 |1/2 dan |𝚺22 |1/2 Lihat Rao, hal 29, tukar diagonal utama (karena perlu dan diagonal utama segi) 𝑨 | 𝑩 𝚺 |𝚺| = | 22 𝚺12

𝑪 | = |𝑨| |𝑫 − 𝑩𝑨𝑪| 𝑫

𝚺21 | = |𝚺22 | |𝚺11 − 𝚺12 𝚺22 −1 𝚺21 | 𝚺11 1/2

|𝚺|1/2 = |𝚺22 |1/2 |𝚺11 − 𝚺12 𝚺22 −1 𝚺21 | Maka fungsi peluang bersyarat 𝑓(𝒛1 |𝒛2 ):

1 −1 (𝒛 |𝚺22 |1/2 𝑒𝑥𝑝 {− [(𝒛1 − 𝝁1 )𝑇 𝚺 −1 (𝒛1 − 𝝁1 ) − (𝒛2 − 𝝁2 )𝑇 𝚺22 2 − 𝝁2 )]} 2 (2𝜋)𝑝/2 |𝚺|1/2 |𝚺22 |1/2 ( ) |𝚺22 |1/2 (2𝜋)𝑝/2 |𝚺

1

−1

𝑇

1 exp − (𝒛1 − 𝚺12 𝚺22 −1 𝒛2 ) (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) (𝒛1 1/2 −1 2 11 − 𝚺12 𝚺22 𝚺21 |

− 𝚺12 𝚺22 −1 𝒛2 ) −1

𝑇 1 𝑒𝑥𝑝 {− (𝒛1 − 𝚺12 𝚺22 −1 𝒛2 ) (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) (𝒛1 − 𝚺12 𝚺22 −1 𝒛2 )} 1/2 −1 2 11 − 𝚺12 𝚺22 𝚺21 |

|𝚺22 |1/2 ( ) |𝚺22 |1/2 (2𝜋)𝑝/2 |𝚺

1

Suku pertama hilang, sehingga dihasilkan −1

𝑇 1 −1 𝑒𝑥𝑝 {− (𝒛 − 𝚺 𝚺 𝒛 ) (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) (𝒛1 − 𝚺12 𝚺22 −1 𝒛2 )} 1 12 22 2 1/2 2 (2𝜋)𝑝/2 |𝚺11 − 𝚺12 𝚺22 −1 𝚺21 |

1

Mengapa ada tanda +, masukkan lagi 𝝁 𝐸(𝒛1 − 𝝁1 ) = 𝚺12 𝚺22 −1(𝒛2 − 𝝁2), 𝐸(𝒛1) = 𝝁1 + 𝚺12 𝚺22 −1(𝒛2 − 𝝁2) Dengan demikian sebaran multivariat normal untuk p peubah acak adalah: 𝒛1 |𝒛2 ~𝑵(𝝁1 + 𝚺12 𝚺22 −1 (𝒛2 − 𝝁2 ), (𝚺11 − 𝚺12 𝚺22 −1 𝚺21 ) ) Maka sebaran bersyarat untuk 𝒛1 dengan syarat 𝒛2 adalah: −1 (𝒛 −1 𝒛1 |𝒛2 ~𝑁(𝝁1 + 𝚺12 𝚺22 2 − 𝝁2 ), 𝚺11 − 𝚺12 𝚺22 𝚺21 )

76

The Mathematics of REML 𝒚1 (𝒚 ) = 𝑳𝑇 𝒚 = (𝑳1 𝑳2 )𝑇 𝒚 2

𝒚 ∗ 𝑳𝑇 𝒚 𝒚∗ = ( 1 ∗ ) = ( 1𝑇 ) 𝒚2 𝑳2 𝒚 𝑉𝑎𝑟(𝑳1𝑇 𝒚) 𝐶𝑜𝑣(𝑳1𝑇 𝒚, 𝑳𝑇2 𝒚) 𝑉𝑎𝑟(𝒚∗ ) = ( ) 𝑉𝑎𝑟(𝑳𝑇2 𝒚) 𝑳𝑇 𝑯𝑳 = 𝜎𝐻2 ( 1𝑇 1 𝑳2 𝑯𝑳1 𝚺 = 𝜎𝐻2 ( 11 𝚺21

𝑳1𝑇 𝑯𝑳2 ) 𝑳𝑇2 𝑯𝑳2 𝚺12 ) 𝚺22

Ingat model 𝒚 = 𝑮𝝁 + 𝑿𝝉 + 𝜺 di mana 𝐸(𝝁) = 𝐸(𝜺) = 0 𝑳𝑇 𝒚 𝑳𝑇 𝑿 𝝉 𝑰 𝐸(𝒚∗ ) = 𝐸 ( 1𝑇 )=( 1𝑇 ) 𝝉 = ( ) 𝝉 = ( ) 0 0 𝑳2 𝒚 𝑳2 𝑿 𝐸(𝒚1∗ ) = 𝝉 dan 𝐸(𝒚∗2 ) = 0 𝐸(𝒚1∗ |𝒚∗2 ) = 𝝉 + 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )𝒚∗2 𝑉𝑎𝑟(𝒚1∗ |𝒚∗2 ) = 𝜎𝐻2 [𝑳1𝑇 𝑯𝑳1 − 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯𝑳1 ] Sekarang kita terapkan hasil umum ini terhadap peubah 𝒚1 dan 𝒚2 yang rata-rata dan ragamnya telah disajikan pada halaman sebelumnya. Tampak bahwa hasil bersifat kompleks, namun akan disederhanakan kemudian. 𝒚1 |𝒚2 ~𝑁(𝝉 + 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝒚2 , 𝜎𝐻2 [𝑳1𝑇 𝑯𝑳1 − 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯𝑳1 ]) Bagaimana sesungguhnya penyederhanaan ini? Matematika yang digunakan tidaklah mudah, dan ada beberapa cara untuk mendapatkan hasil. Kita mulai dengan mempertimbangkan suatu matriks yang kebalikannya dapat diperlihatkan ada. Maka, pandang matriks n×n berikut ini, [𝑯−1 𝑿 𝑳2 ] di mana 𝑯−1 𝑿 adalah matriks berukuran n×p dan 𝑳2 berukuran n×(n-p), kedua matriks ini sebagaimana telah dijelaskan sebelumnya adalah 𝑳1𝑇 𝑿 = 𝑰𝑝 dan 𝑳𝑇2 𝑿 = 𝑶(𝑛−𝑝)×𝑝 . Kemudian, pandang penggandaan matriks ini:

77

The Mathematics of REML [𝑯−1 𝑿 𝑳2 ]−1 𝑯−1 ([𝑯−1 𝑿 𝑳2 ]𝑇 )−1 = ([𝑯−1 𝑿 𝑳2 ]𝑇 𝑯[𝑯−1 𝑿 𝑳2 ])−1 −1

= ([

𝑿𝑇 𝑯−1 ] 𝑯[𝑯−1 𝑿 𝑳2 ]) 𝑳𝑇2

Penjelasan: ingat (𝑨𝑩𝑪)−1 = 𝑪−1 𝑩−1 𝑨−1 Ruas kiri adalah 𝑪−1 𝑩−1 𝑨−1, di mana 𝑨 = [𝑯−1 𝑿 𝑳2 ]𝑇 , 𝑩 = 𝑯 𝑪 = [𝑯−1 𝑿 𝑳2 ] (dan masukkan matriks 𝑯 ke dalam matriks di ruas kiri) −1

𝑿𝑇 = ([ 𝑇 ] [𝑯−1 𝑿 𝑳2 ]) 𝑳2 𝑯 =[ =[

𝑿𝑇 𝑯−1 𝑿 𝑿𝑇 𝑳2 ] 𝑳𝑇2 𝑿 𝑳𝑇2 𝑯𝑳2 (𝑿𝑇 𝑯−1 𝑿)−1

O

−1

=[

𝑿𝑇 𝑯−1 𝑿

O

𝑳𝑇2 𝑯𝑳2

O

−1

]

O

] (𝑳𝑇2 𝑯𝑳2 )−1

Sekarang kita mengatur kembali persamaan ini dengan pengganda awal-dan-pengganda akhir dan membiarkan 𝑯−1 di ruas kiri persamaan:

𝑯−1 = 𝑯−1 𝑿 𝑳2 [

(𝑿𝑇 𝑯−1 𝑿)−1

O

= [𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1

O

] [𝑯 (𝑳𝑇2 𝑯𝑳2 )−1

−1

𝑿 𝑳 2 ]𝑇

𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 ][𝑯−1 𝑿 𝑳2 ]𝑇

= 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 + 𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2

(1)

AKHIRNYA, setiap suku dikalikan dengan pengganda awal 𝑳1𝑇 𝑯 dan pengganda akhir 𝑯𝑳1 untuk mendapatkan 𝑳1𝑇 𝑯𝑯−1 𝑯𝑳1 = 𝑳1𝑇 𝑯𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝑯𝑳1 + 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯𝑳1 Ruas kiri adalah 𝑳1𝑇 𝑯𝑳1 dan sesudah penyederhanaan ruas kanan (suku kedua tetap), 𝑳1𝑇 𝑯𝑳1 = 𝑳1𝑇 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑳1 + (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 (𝑳𝑇2 𝑯𝑳1 ) Namun, kita mulai dengan 𝑳1𝑇 𝑿 = 𝑰𝑝 , maka

78

The Mathematics of REML 𝑳1𝑇 𝑯𝑳1 = (𝑿𝑇 𝑯−1 𝑿)−1 + (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 (𝑳𝑇2 𝑯𝑳1 ) yang mengarah pada apa yang akan kita buktikan, bahwa, untuk pilihan 𝑳1 dan 𝑳2 , 𝑳1𝑇 𝑯𝑳1 − (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 (𝑳𝑇2 𝑯𝑳1 ) = (𝑿𝑇 𝑯−1 𝑿)−1

…..(2)

Dan karena kita menjadikan 𝒚2 sebagai syarat, jika kita mendefinisikan 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝒚2 tetap, sebagaimana 𝒚∗2 , kita memiliki pernyataan yang lebih sederhana: 𝒚1 |𝒚2 ~𝑁(𝝉 + 𝒚∗2 , 𝜎𝐻2 (𝑿𝑇 𝑯−1 𝑿)−1 )

79


3. Dua fungsi logLikelihood Apa yang ingin kita capai adalah dua logLikelihood yang merupakan fungsi dari vektor data y, matriks rancangan 𝑿 dan 𝑮 dan parameter dalam matriks ragam yakni 𝜎𝐻2 dan 𝑯 (atau beberapa fungsi sederhana dari 𝑯). Sekarang, fungsi kepekatan peluang gabungan normal multivariat untuk 𝒚1 dan 𝒚2 sama dengan perkalian antara fungsi kepekatan peluang bersyarat 𝒚1 |𝒚2 dan fungsi kepekatan peluang marjinal untuk 𝒚2 . 1. The Residual logLikelihood Sekarang pandang 𝒚2 ~𝑁(0, 𝜎𝐻2 𝑳𝑇2 𝑯𝑳2 ) dan Residual logLikelihood, katakan ℓ𝑅 , adalah: Fungsi likelihood vektor peubah 𝒚2 𝑓(𝒚2 ) =

1 1 [𝒚𝑇2 (𝑳𝑇2 𝑯𝑳2 )−1 𝒚2 ] 𝑒𝑥𝑝 − 2 𝑇 2 1/2 1/2 |𝜎 | 2𝜋 2𝜎𝐻 𝐻 𝑳2 𝑯𝑳2

1 ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡. − ((𝑛 − 𝑝)log(𝜎𝐻2 ) + log|𝑳𝑇2 𝑯𝑳2 | + 𝒚𝑇2 (𝑳𝑇2 𝑯𝑳2 )−1 𝒚2⁄𝜎𝐻2 ) 2 Keterangan 1

𝑐𝑜𝑛𝑠𝑡. = − 2 (𝑛 − 𝑝)log(2𝜋) 1

𝑙𝑜𝑔𝑒 (𝜎𝐻2 𝑳𝑇2 𝑯𝑳2 )−(𝑛−𝑝)/2 = − 2 (𝑛 − 𝑝)[log(𝜎𝐻2 ) + log|𝑳𝑇2 𝑯𝑳2 |] Mengapa hanya (𝜎𝐻2 ) berpangkat 𝑛 − 𝑝 dan |𝑳𝑇2 𝑯𝑳2 | tidak? Ingat|𝑐𝑴| = 𝑐 𝑜𝑟𝑑𝑜 𝑴 |𝑴| konstanta 𝑐 = 𝜎𝐻2

dan matriks 𝑴 = 𝑳𝑇2 𝑯𝑳2 berordo n-p

|𝜎𝐻2 𝑳𝑇2 𝑯𝑳2 | = (𝜎𝐻2 )𝑛−𝑝 |𝑳𝑇2 𝑯𝑳2 | Karena di bawah tanda akar |𝜎𝐻2 𝑳𝑇2 𝑯𝑳2 |1/2 = (𝜎𝐻2 )(𝑛−𝑝)/2 =(𝜎𝐻2 )(𝑛−𝑝)/2 |𝑳𝑇2 𝑯𝑳2 |1/2 Jika dijadikan penyebut (dibawa ke atas) dan diberi tanda loge menjadi 1 𝑙𝑜𝑔[(𝜎𝐻2 )−(𝑛−𝑝)/2 |𝑳𝑇2 𝑯𝑳2 |−1/2 ] = − ((𝑛 − 𝑝)log(𝜎𝐻2 ) + log|𝑳𝑇2 𝑯𝑳2 |) 2 dan, dalam bentuk vektor data asli, adalah (karena 1 ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡𝑎𝑛𝑡 − ((𝑛 − 𝑝)log(𝜎𝐻2 ) + log|𝑳𝑇2 𝑯𝑳2 | + 𝒚𝑇 𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝒚⁄𝜎𝐻2 ) 2 80


Pernyataan ini dapat ditulis dalam bentuk matriks rancangan asli 𝑿 dan matrik ragam 𝑯 dalam 2 langkah.

Langkah 1 Susun ulang 𝑯−1pada halaman 78 (1) untuk mendapatkan 𝑷 = 𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯−1 = 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 + 𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑷 = 𝑯−1 − 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 Langkah 2 Gunakan sifat penting determinan matriks sekatan 𝑨, 𝑫 dan 𝑿 𝑨 | 𝑇 𝑿

𝑿 | = |𝑫||𝑨 − 𝑿𝑇 𝑫−1 𝑿| 𝑫

pada 𝑳𝑇 𝑯𝑳:

|𝑳𝑇 𝑯𝑳| = |

𝑳1𝑇 𝑯𝑳1 𝑳1𝑇 𝑯𝑳2

𝑳1𝑇 𝑯𝑳2 | = |𝑳𝑇2 𝑯𝑳2 ||𝑳1𝑇 𝑯𝑳1 − (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 (𝑳𝑇2 𝑯𝑳1 )| 𝑳𝑇2 𝑯𝑳2

Namun demikian, matriks dalam suku determinan kedua telah diperlihatkan pada halaman 79 (2) sama dengan (𝑿𝑇 𝑯−1 𝑿)−1, dan sesudah logaritma, log|𝑳𝑇 𝑯𝑳| = log|𝑳𝑇2 𝑯𝑳2 | + log|(𝑿𝑇 𝑯−1 𝑿)−1 | = log|𝑳𝑇2 𝑯𝑳2 | − log|𝑿𝑇 𝑯−1 𝑿| Dengan memindahkan suku kedua ke ruas kiri menghasilkan log|𝑳𝑇2 𝑯𝑳2 | = log|𝑳𝑇 𝑯𝑳| + log|𝑿𝑇 𝑯−1 𝑿| Pada determinan pada suku pertama ruas kanan persamaan di atas, terapkan persamaan kedua dari sifat |𝑨𝑩𝑪| = |𝑪𝑨𝑩| = |𝑩𝑪𝑨| log|𝑳𝑇 𝑯𝑳| = log|𝑳𝑳𝑇 𝑯| = log|𝑳𝑳𝑇 | + log|𝑯| 81


Bentuk log|𝑳𝑳𝑇 | tidak tergantung pada satu pun parameter dalam model sehingga dapat dibagungkan dengan konstanta dalam Residual logLikelihood, menghasilkan pernyataan 1

terakhir 𝑐𝑜𝑛𝑠𝑡.∗ = − 2 (𝑛 − 𝑝)log(2𝜋) + log|𝑳𝑳𝑇 | 1 ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡.∗ − ((𝑛 − 𝑝)log(𝜎𝐻2 ) + log|𝑯| + log|𝑿𝑇 𝑯−1 𝑿| + 𝒚𝑇 𝑷𝒚⁄𝜎𝐻2 ) 2 where 𝑷 = 𝑯−1 − 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1.

82

The Mathematics of REML 2. Fungsi logLikelihood untuk pengaruh tetap Fungsi logLikelihood untuk pengaruh tetap, katakan ℓ1 , dilandasi pada sebaran bersyarat 𝒚1 |𝒚2 sehingga 1 ℓ1 = 𝑐𝑜𝑛𝑠𝑡. − (𝑝 log(𝜎𝐻2 ) + log|(𝑿𝑇 𝑯−1 𝑿)−1 | 2 + (𝒚1 − 𝝉 − 𝒚∗2 )𝑇 (𝑿𝑇 𝑯−1 𝑿)(𝒚1 − 𝝉 − 𝒚∗2 )⁄𝜎𝐻2 ) Panggil kembali 𝒚1 |𝒚2 ~𝑁(𝝉 + 𝒚∗2 , 𝜎𝐻2 (𝑿𝑇 𝑯−1 𝑿)−1 ) Peubah adalah 𝒚 − 𝝁 = 𝒚1 − (𝝉 + 𝒚∗2 ) = 𝒚𝟏 − 𝝉 − 𝒚∗2

4. Solusi REML untuk pengaruh acak Parameter yang harus diduga adalah parameter dalam matriks ragam 𝜎𝐻2 𝑯 = 𝜎𝐻2 (𝒁𝑮𝒁T + 𝑹). Mereka adalah: Parameter (skala) ragam skala 𝜎𝐻2 , Paramater yang terlibat dalam 𝑮, matriks ragam untuk pengaruh acak, yang ditempatkan dalam vektor yang ditempatkan dalam vektor 𝜸 di mana i adalah elemen ke ith Parameter yang terdapat dalam 𝑹 = 𝜎 2 𝚺, matriks ragam untuk peubah error, yang ditempatkan dalam vektor 𝝓 di mana i adalah elemen ke ith. 𝜸 Kita tempatkan nk buah parameter dalam dua butir pertama ke dalam vektor 𝜿 = [𝜎 2 ]. 𝝓 Sekarang kita perlu menurunkan logLikelihood terhadap σ2H juga terhadap setiap parameter 𝜅𝑖 dalam vektor parameter 𝜿. Hasil ini berupa sekumpulan persamaan yang harus diselesaikan serentak: kadang disebut persamaan skor dan dinotasikan UR(…).

Langkah 1.

Menurunkan terhadap 𝝈𝟐𝑯

Penurunan terhadap 𝜎𝐻2 menghasilkan skor,

83


UR(𝜎𝐻2 )

𝜕ℓ𝑅 1 𝑛 − 𝑝 𝒚𝑇 𝑷𝒚 = 2 = − ( 2 − 2 2) (𝜎𝐻 ) 2 𝜎𝐻 𝜕𝜎𝐻

Penjelasan: 𝜕ℓ𝑅 1 2) ∗ 𝑇 𝑇 −1 | | ⁄ 2 2 [ 𝑐𝑜𝑛𝑠𝑡. − 2 ((𝑛 − 𝑝)log(𝜎𝐻 + log|𝑯 + log|𝑿 𝑯 𝑿 + 𝒚 𝑷𝒚 𝜎𝐻 )] 𝜕𝜎𝐻 Karena suku 1, 3 dan 4 tidak mengandung 𝜎𝐻2 , maka turunan adalah 0. 𝜕ℓ𝑅

2 𝜕𝜎𝐻

((𝜎𝐻2 )−1 𝒚𝑇 𝑷𝒚) = −1(𝜎𝐻2 )−2 𝒚𝑇 𝑷𝒚 = −

1 2) (𝜎𝐻

2

𝒚𝑇 𝑷𝒚

Dengan penduga REML bagir 𝜿 (yang terdapat dalam matriks 𝑷), secara sederhana solusi untuk UR(𝜎𝐻2 ) = 0 adalah: 𝜎̂𝐻2 =

𝒚𝑇 𝑷𝒚 𝑛−𝑝

Penjelasan: 𝜕ℓ

Samakan turunan dengan 0, UR(𝜎𝐻2 ) = 𝜕𝜎𝑅2 = 0 𝐻

𝑇

1 𝑛 − 𝑝 𝒚 𝑷𝒚 − ( 2 − 2 2 ) = 0, (𝜎̂𝐻 ) 2 𝜎̂𝐻 Langkah 2.

𝒚𝑇 𝑷𝒚 𝑛−𝑝= 2 𝜎̂𝐻

Menurunkan terhadap 𝜿

Penurunan terhadap parameter ke ith dalam 𝜿, yakni parameter 𝜅𝑖 , vektor ragam dan peragam menghasilkan skor: ∂ℓR 1 ∂log|𝑯| ∂log|𝑿𝑇 𝑯−1 𝑿| ∂𝒚𝑇 𝑷𝒚 2 UR(𝜅𝑖 ) = =− ( + + ⁄𝜎𝐻 ) ∂𝜅𝑖 2 ∂𝜅𝑖 ∂𝜅𝑖 ∂𝜅𝑖 Dua turunan pertama dievaluasi menggunakan rumus Jacobi untuk turunan determinan, di mana apabila diterapkan pada matriks yang dapat dibalik, adalah sebagai berikut. Untuk matriks 𝑨, jika 𝑨−1 ada, ∂|𝑨| ∂𝑨 = |𝑨|𝑡𝑒𝑟𝑎𝑠 (𝑨−1 ) ∂𝑡 ∂𝑡 Cara lain menuliskan hasil ini adalah:

84


∗)

∂log|𝑨| ∂𝑨 = 𝑡𝑒𝑟𝑎𝑠 (𝑨−1 ) ∂𝑡 ∂𝑡

Juga untuk membuktikan secara langsung (dengan menurunkan 𝑨−1 𝑨 = 𝑰) hasil kedua yang kita perlukan, yakni: ∂𝑨−1 ∂𝑨 −1 = −𝑨−1 𝑨 ∂𝑡 ∂𝑡 Penjelasan: UR(𝜅𝑖 ) =

∂ℓR 1 [ 𝑐𝑜𝑛𝑠𝑡.∗ − ((𝑛 − 𝑝)log(𝜎𝐻2 ) + log|𝑯| + log|𝑿𝑇 𝑯−1 𝑿| + 𝒚𝑇 𝑷𝒚⁄𝜎𝐻2 )] ∂𝜅𝑖 2

Karena suku 1, 2 tidak mengandung 𝜅𝑖 , maka turunan adalah 0. Turunan suku 3 dan 4, menggunakan sifat-sifat turunan di bawah ini dan turunan matriks di atas: 𝜕𝑙𝑛(𝑥) 1 = ∂𝑥 𝑥

𝜕𝑙𝑛(𝑥) 𝜕𝑙𝑛(𝑥) ∂𝑥 1 ∂𝑥 = × = ∂𝑡 ∂𝑥 ∂𝑡 𝑥 ∂𝑡

Suku 1 ∂log|𝑯| 1 ∂|𝑯| = 𝑔𝑢𝑛𝑎𝑘𝑎𝑛 𝑠𝑖𝑓𝑎𝑡 ∗ 𝑝𝑎𝑑𝑎 𝑠𝑢𝑘𝑢 𝑘𝑒𝑑𝑢𝑎 |𝑯| ∂𝜅𝑖 ∂𝜅𝑖 ∂|𝑯| ∂𝑯 = |𝑯| 𝑡𝑒𝑟𝑎𝑠 (𝑯−1 ) ∂𝜅𝑖 ∂𝜅𝑖 ∂log|𝑯| 1 ∂𝑯 ∂𝑯 |𝑯| 𝑡𝑒𝑟𝑎𝑠 (𝑯−1 = ) = 𝑡𝑒𝑟𝑎𝑠 (𝑯−1 ) |𝑯| ∂𝜅𝑖 ∂𝜅𝑖 ∂𝜅𝑖 Suku 2 ∂log|𝑿𝑇 𝑯−1 𝑿| 1 ∂|𝑿𝑇 𝑯−1 𝑿| = 𝑇 −1 𝑔𝑢𝑛𝑎𝑘𝑎𝑛 𝑠𝑖𝑓𝑎𝑡 ∗ 𝑝𝑎𝑑𝑎 𝑠𝑢𝑘𝑢 𝑘𝑒𝑑𝑢𝑎 |𝑿 𝑯 𝑿| ∂𝜅𝑖 ∂𝜅𝑖 ∂|𝑿𝑇 𝑯−1 𝑿| ∂(𝑿𝑇 𝑯−1 𝑿) = |𝑿𝑇 𝑯−1 𝑿| 𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇 𝑯−1𝑿)−1 ) ∂𝜅𝑖 ∂𝜅𝑖 ∂(𝑿𝑇 𝑯−1 𝑿) ∂𝑯−1 ∂𝑯 −1 = 𝑿𝑇 𝑿 = −𝑿𝑇 𝑯−1 𝑯 𝑿 ∂𝜅𝑖 ∂𝜅𝑖 ∂𝜅𝑖

85

The Mathematics of REML ∂log|𝑿𝑇 𝑯−1 𝑿| 1 ∂𝑯 −1 = 𝑇 −1 |𝑿𝑇 𝑯−1 𝑿| 𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇 𝑯−1 𝑿)−1 (−𝑿𝑇 𝑯−1 𝑯 𝑿)) |𝑿 𝑯 𝑿| ∂𝜅𝑖 ∂𝜅𝑖 = −𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1

∂𝑯 −1 𝑯 𝑿) ∂𝜅𝑖

Gabungkan dua suku, faktorkan ke luar teras 𝑡𝑒𝑟𝑎𝑠 (𝑯−1

∂𝑯 ∂𝑯 −1 ) − 𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝑯 𝑿) ∂𝜅𝑖 ∂𝜅𝑖

𝑡𝑒𝑟𝑎𝑠 (𝑯−1

∂𝑯 ∂𝑯 −1 − (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝑯 𝑿) ∂𝜅𝑖 ∂𝜅𝑖

Dua hasil ini memperkenankan kita untuk menulis dua turunan pertama dalam UR(𝜅𝑖 ) sebagai: 𝑡𝑒𝑟𝑎𝑠 (𝑯

−1

𝑇 −1 ∂𝑯 −1 ∂𝑿 𝑯 𝑿 𝑇 −1 ) + 𝑡𝑒𝑟𝑎𝑠 ((𝑿 𝑯 𝑿) ) ∂𝜅𝑖 i ∂𝜅𝑖

= 𝑡𝑒𝑟𝑎𝑠 (𝑯−1

∂𝑯 ∂𝑯 −1 −1 − (𝑿𝑇 𝑯−1 𝑿) 𝑿𝑇 𝑯−1 𝑯 𝑿) ∂𝜅𝑖 ∂𝜅𝑖

Teras perkalian matriks sama dengan perubahan siklis mana pun sesuai ukuran matriks: 𝑡𝑒𝑟𝑎𝑠(𝑨𝑩𝑪) = 𝑡𝑒𝑟𝑎𝑠(𝑪𝑨𝑩) = 𝑡𝑒𝑟𝑎𝑠(𝑩𝑪𝑨); dengan demikian kita dapat memindahkan dua matriks terakhir dalam persamaan ini untuk memperoleh

𝑡𝑒𝑟𝑎𝑠 (𝑯

−1

𝑇 −1 ∂𝑯 −1 ∂𝑿 𝑯 𝑿 𝑇 −1 − (𝑿 𝑯 𝑿) ) ∂𝜅𝑖 ∂𝜅𝑖

= 𝑡𝑒𝑟𝑎𝑠 (𝑯−1

∂𝑯 ∂𝑯 −1 − 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿) 𝑿𝑇 𝑯−1 ) ∂𝜅𝑖 ∂𝜅𝑖 −1

= 𝑡𝑒𝑟𝑎𝑠 ((𝑯−1 − 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿) 𝑿𝑇 𝑯−1 ) = 𝑡𝑒𝑟𝑎𝑠 (𝑷

∂𝑯 ) ∂𝜅𝑖

∂𝑯 ) ∗ 𝑙𝑖ℎ𝑎𝑡 ℎ𝑎𝑙𝑎𝑚𝑎𝑛 82 ∂𝜅𝑖

Penjelasan: 𝑪 = 𝑿 kemudian 𝑪 = 𝑯−1 −1

𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇 𝑯−1 𝑿) 𝑿𝑇 𝑯−1

∂𝑯 −1 ∂𝑯 −1 −1 𝑯 𝑿) = 𝑡𝑒𝑟𝑎𝑠 (𝑿(𝑿𝑇 𝑯−1 𝑿) 𝑿𝑇 𝑯−1 𝑯 ) ∂𝜅𝑖 ∂𝜅𝑖 −1

= 𝑡𝑒𝑟𝑎𝑠 (𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿) 𝑿𝑇 𝑯−1

∂𝑯 ) ∂𝜅𝑖

Suku 4 (h82) – 3 (h84) dan 5 (h85): Untuk menurunkan 𝒚𝑇 𝑷𝒚 (turunan ketiga dalam UR(𝜅𝑖 )) – langkah 1-halaman 85 kita juga menggunakan hasil untuk turunan dari kebalikan suatu matriks. Sekarang, 𝑷 didefinisikan sebagai 86

The Mathematics of REML 𝑷 = 𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 = 𝑯−1 − 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 Maka jelas ekspresi pertama untuk 𝑷 paling mudah digunakan karena hanya melibatkan satu matriks (𝑯) yang mengandung parameter-parameter. Gunakan penjelasan: ∂𝒚𝑇 𝑳2 (𝑳𝑇2 𝑯𝑳2)−1 𝑳𝑇2 𝒚 ∂(𝑳𝑇2 𝑯𝑳2 )−1 𝑇 𝑇 = 𝒚2 𝑳 2 𝑳2 𝒚 ∂𝜅𝑖 ∂𝜅𝑖 = −𝒚𝑇2 𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 = −𝒚𝑇2 [𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 ]

∂(𝑳𝑇2 𝑯𝑳2 ) 𝑇 (𝑳2 𝑯𝑳2 )−1 𝑳𝑇2 𝒚 ∂𝜅𝑖

∂(𝑯) [𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 ]𝒚 ∂𝜅𝑖

Dalam kurung besar adalah P ∂𝒚𝑇 𝑷𝒚 ∂𝒚𝑇 𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝒚 ∂(𝑳𝑇2 𝑯𝑳2 ) 𝑇 (𝑳2 𝑯𝑳2 )−1 𝑳𝑇2 𝒚 = = −𝒚𝑇 𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 ∂𝜅𝑖 ∂𝜅𝑖 ∂𝜅𝑖 = −𝒚𝑇 𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 = −𝒚𝑇 𝑷

∂𝑯 𝑳 (𝑳𝑇 𝑯𝑳 )−1 𝑳𝑇2 𝒚 ∂𝜅𝑖 2 2 2

∂𝑯 𝑷𝒚 ∗∗ ∂𝜅𝑖

Maka (kembali ke halaman 84, gabung dua suku pertama-* dan suku ketiga-**: UR(𝜅𝑖 ) =

∂ℓR 1 ∂log|𝑯| ∂log|𝑿𝑇 𝑯−1 𝑿| ∂𝒚𝑇 𝑷𝒚 = − ({ + }+{ }⁄σ2𝐻 ) ∂𝜅𝑖 2 ∂𝜅𝑖 ∂𝜅𝑖 ∂𝜅𝑖 1 ∂𝑯 ∂𝑯 UR(𝜅𝑖 ) = − (𝑡𝑒𝑟𝑎𝑠 (𝑷 ) −𝒚𝑇 𝑷 𝑷𝒚⁄𝜎𝐻2 ) 2 ∂𝜅𝑖 ∂𝜅𝑖

Jelas bahwa setiap asumsi tentang ragam yang dibuat akan mengarah pada matriks 𝑯 berbeda sehingga 𝑷, dan persamaan normal yang harus diselesaikan, UR(𝜅𝑖 ) = 0, i = 1, ⋯ , 𝑛k Kemungkinan tidak akan menghasilkan solusi. Oleh karena itu, paket-paket statistika menggunakan teknik iterasi untuk menyelesaikan persamaan-persamaan ini. GenStat, misalnya, menawarkan metode Fisher scoring yang terkenal, tetapi menggunakan metode algoritma baru yang dikembangkan oleh tim statistikawan di Australia (Arthur Gilmour dan Brian Cullis) dan Britania Raya (Simon Harding dan Robin Thompson) dan dikenal sebagai algoritma Average Information (AI) dan menggunakan metode matriks untuk fitting the linear mixed model. Secara umum menemukan solusi untuk penduga parameter (pe-)ragam secara cepat, tetapi sering solusi tidak didapat (pada umumnya hanya untuk rancangan yang agak kompleks), sering karena langkah iterasi terlalu banyak atau karena solusi is on or near the boundary values untuk 87

The Mathematics of REML (beberapa) parameter. Selalu ada cara untuk mengatasi masalah ini, misal (dengan meningkatkan banyaknya iterasi hingga maksimum atau mengubah nilai langkah). Kita akan melihat beberapa rancangan yang ada solusinya.

5. Solusi REML untuk pengaruh tetap Informasi tentang 𝝉 hanya berasal dari sebaran bersyarat dari 𝒚1 |𝒚2 yang dapat diturunkan secara mudah. Kita akan menggunakan bentuk logLikelihood yang mengandung 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝒚2 dibandingkan dengan 𝒚∗2 . Persamaan yang akan diselesaikan adalah turunan persamaan pada halaman 83 yakni ℓ1 terhadap 𝝉 𝜕ℓ1 𝜕ℓ1 1 = (𝑐𝑜𝑛𝑠𝑡. − (𝑝 log(𝜎𝐻2 ) + log|(𝑿𝑇 𝑯−1 𝑿)−1 | 𝜕𝝉 𝜕𝝉 2 + (𝒚1 − 𝝉 − 𝒚∗2 )𝑇 (𝑿𝑇 𝑯−1 𝑿)(𝒚1 − 𝝉 − 𝒚∗2 )⁄𝜎𝐻2 )) Turunan suku 1, 2 dan 3 adalah 0 karena tidak mengandung 𝝉 Dari hal 77: 𝐸(𝒚1 |𝒚2 ) = 𝝉 + 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝒚2 Hal 79: 𝐸(𝒚1 |𝒚2 ) = 𝝉 + 𝒚∗2 dan 𝒚∗2 = 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 Turunan suku ketiga: 𝜕ℓ1 1 (− (𝒚1 − 𝝉 − 𝒚∗2 )𝑇 (𝑿𝑇 𝑯−1 𝑿)(𝒚1 − 𝝉 − 𝒚∗2 )⁄𝜎𝐻2 ) 𝜕𝝉 2 Karena ada 2 suku (𝒚1 − 𝝉 − 𝒚∗2 ) sehingga berpangkat 2 dan

𝜕(−𝝉) 𝜕𝝉

= −1, maka

𝜕ℓ1 ((𝒚1 − 𝝉 − 𝒚∗2 )𝑇 (𝒚1 − 𝝉 − 𝒚∗2 )) = −2(𝒚1 − 𝝉 − 𝒚∗2 ) 𝜕𝝉 Substitusi hasil ini, 1 − (−2)(𝑿𝑇 𝑯−1 𝑿)(𝒚1 − 𝝉 − 𝒚∗2 )⁄𝜎𝐻2 2 Kemudian substitusi 𝒚∗2 menghasilkan 𝜕ℓ1 1 = − (−2) (𝑿𝑇 𝑯−1 𝑿)(𝒚1 − 𝝉̂ − 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝒚2 )⁄𝜎𝐻2 = 0 𝜕𝝉 2 Maka:

88

The Mathematics of REML 𝒚1 − 𝝉̂ − 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝒚2 = 0, 𝝉̂ = 𝒚1 − 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝒚2 Namun 𝒚1 = 𝑳1𝑇 𝒚 dan 𝒚2 = 𝑳𝑇2 𝒚 sehingga: 𝝉̂ = 𝑳1𝑇 𝒚 − 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝒚 keluarkan 𝒚 menghasilkan 𝝉̂ = (𝑳1𝑇 − 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 )𝒚 Sekarang, gunakan sebagai pengganda awal 𝑯 terhadap vektor y dan sesuaikan dengan 𝑯−1 karena 𝑯𝑯−1 = 𝑰 𝝉̂ = (𝑳1𝑇 − 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 )𝑯𝑯−1 𝒚 kalikan setiap suku dengan 𝑯 = (𝑳1𝑇 𝑯 − (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯)𝑯−1 𝒚 Dua cara menunjukkan bahwa 𝑳1𝑇 𝑯 − (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯 = (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 . Cara 1. Kita menginginkan solusi berbentuk: 𝝉̂ = (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝒚 Dengan demikian, kita dapat menunjukkan bahwa 𝑳1𝑇 𝑯 − (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯 = (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 . Berdasarkan definisi 𝑿𝑇 𝑳1 = 𝑰 dan dari hasil untuk (𝑿𝑇 𝑯−1 𝑿)−1 pada halaman 79 (2) kita peroleh (kalikan dengan 𝑳1 ), di tengah kalikan 𝑿𝑇 𝑳1 = 𝑰 𝑳1𝑇 𝑯𝑳1 − (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯𝑳1 = (𝑿𝑇 𝑯−1 𝑿)−1 𝑰 = (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑳1 Sehingga 𝑳1𝑇 𝑯𝑳1 − (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯𝑳1 − (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑳1 = 0 keluarkan 𝑳1 [𝑳1𝑇 𝑯 − (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯 − (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 ]𝑳1 = 0 Namun 𝑳1 ≠ 0 dan matriks di luar tanda kurung harus 0, yang membuktikan hasil. 89

The Mathematics of REML Agar hasil dalam kurung 0, 𝑳1𝑇 𝑯 − (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯 = (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 Cara 2. Panggil persamaan pada halaman 78 (1) 𝑯−1 = 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 + 𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 Kalikan setiap suku persamaan dengan pengganda awal dan pengganda akhir 𝑯 𝑯𝑯−1 𝑯 = 𝑯𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝑯 + 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯 𝑯𝑯−1 = 𝑯−1 𝑯 = 𝑰 𝑯 = 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 + 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯 Ingat 𝑳1𝑇 𝑿 = 𝑰, upayakan suku pertama berbentuk 𝑳1𝑇 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 sehingga setiap suku dikalikan dengan pengganda awal 𝑳1𝑇 menjadi: 𝑳1𝑇 𝑯 = 𝑳1𝑇 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 + 𝑳1𝑇 𝑯𝑳2 (𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯 𝑳1𝑇 𝑯 = (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 + (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯 𝑳1𝑇 𝑯 − (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯 = (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 Substitusi (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 ke dalam tanda kurung 𝝉̂ = (𝑳1𝑇 𝑯 − (𝑳1𝑇 𝑯𝑳2 )(𝑳𝑇2 𝑯𝑳2 )−1 𝑳𝑇2 𝑯)𝑯−1 𝒚 menghasilkan: 𝝉̂ = (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝒚 Catat bahwa logLikelihood adalah fungsi dari 𝜎𝐻2 dan vektor parameter 𝜿, baik 𝒚1 dan 𝝉 memiliki panjang p dan juga logLikelihood dapat mengandung tak satu pun informasi tentang parameter-parameter ini. Solusi REML bagi penduga pengaruh acak ini digunakan untuk pendugaan REML bagi pengaruh tetap, maka kita dapat menuliskan penduga sebagai: 90


−1

̂ −1 𝑿) 𝑿𝑇 𝑯 ̂ −1 𝒚 𝝉̂ = (𝑿𝑇 𝑯 Catat kesamaan antar kuadrat terkecil dan solusi REML untuk 𝝉 dalam rancangan di mana hanya ada satu suku acak yang diasumsikan N(0, 𝜎 2 𝑰), dalam hal ini 𝑯 = 𝑰 dan 𝝉̂ = (𝑿𝑇 𝑿)−1 𝑿𝑇 𝒚.

91

The Mathematics of REML 6. Menguji pengaruh tetap: uji Wald Pertama-tama, ketika anda memiliki rancangan ortogonal (tidak terdapat data hilang, semua taraf faktor sama atau diulang secara proporsional) maka uji F dari ANOVA akan identik dengan hasil dari analisis REML. Namun, analisis REML di bagian ini telah dikembangkan sejauh untuk model-model yang sangat umum, yang mengandung baik pengaruh tetap mau pun acak dan sisa acak. Tidak diperlukan ulangan sama, dan tanpa batasan terhadap tipe model ragam untuk pengaruh acak atau pun unsur acak.

Uji umum yang ditawarkan untuk model campuran linier adalah uji Wald (nama statistikawan Abraham Wald). Untuk parameter tunggal 𝜃, kita gunakan penduga kemungkinan maksimum 𝜃̂ yang ragamnya dapat dihitung, maka uji Wald adalah 2 (𝜃̂ − 𝜃) ~𝜒12 𝑣𝑎𝑟(𝜃̂)

Ini dikembangkan untuk beberapa parameter. Kita mengganti 𝜃 dengan vektor 𝜽 sepanjang k, maka statistik Wald adalah −1

̂ − 𝜽)𝑇 (𝑣𝑎𝑟(𝜽 ̂ )) (𝜽

̂ − 𝜽)~𝜒𝑘2 (𝜽

Ini merupakan sebaran asimtotik dan tidaklah cukup (sesuai) untuk contoh berukuran kecil. Misal, jika kita memiliki rencangan ortogonal, ketika statistik F diketahui bersifat tetap, kita dapat membandingkan nilai P untuk berbagai derajat bebas penyebut. Sebaran F adalah nisbah dua sebaran 2 yang saling bebas, setiap sebaran dibagi derajat bebasnya, maka sebaran terbatas bagi sebaran Fk, akan menyebar secara 𝜒𝑘2 ⁄𝑘 . Tabel berikut membandingkan nilai P dari sebaran 𝜒12 dan 𝜒32 ⁄3 dengan nilai P dari F1, dan F3, untuk kisaran nilai pengamatan statistik Wald (1, …, 5, 10, 15) dan peningkatan derajat bebas penyebut ( = 1, …, 5, 10, 15, 20, 25, 50, 100). Dapat dilihat bahwa nilai P sebaran 2 selalu lebih kecil dari nilai P sebaran F, dan dapat salah diartikan apabila sebaran F digunakan. Nilai P untuk sebaran 𝝌𝟐 dan F untuk nilai uji Wald yang mungkin; k=1 92


Nilai P untuk 𝜒12 ⁄1 Db penyebut (

1 2 3 4 5 10 15 20 25 50 100

Statistik Wald Possible test value of the Wald statistic 1.0 2.0 3.0 4.0 5.0 10.0 15.0 0.317 0.157 0.083 0.046 0.025 0.002 <0.001 Nilai P untuk F1, 0.500 0.392 0.333 0.295 0.268 0.195 0.161 0.423 0.293 0.225 0.184 0.155 0.087 0.061 0.391 0.252 0.182 0.139 0.111 0.051 0.030 0.374 0.230 0.158 0.116 0.089 0.034 0.018 0.363 0.216 0.144 0.102 0.076 0.025 0.012 0.341 0.188 0.114 0.073 0.049 0.010 0.003 0.333 0.178 0.104 0.064 0.041 0.006 0.002 0.329 0.173 0.099 0.059 0.037 0.005 <0.001 0.327 0.170 0.096 0.056 0.035 0.004 <0.001 0.322 0.163 0.089 0.051 0.030 0.003 <0.001 0.320 0.160 0.086 0.048 0.028 0.002 <0.001

Nilai P untuk sebaran 𝝌𝟐 dan F untuk nilai uji Wald yang mungkin; k=3

Nilai P untuk

𝜒32 ⁄3

 1 2 3 4 5 10 15 20 25 50 100

1.0 0.392 0.609 0.535 0.500 0.479 0.465 0.432 0.420 0.413 0.409 0.401 0.396

Possible test value of the Wald statistic 2.0 3.0 4.0 5.0 10.0 0.112 0.029 0.007 0.002 <0.001 Nilai P untuk F1, 0.470 0.396 0.349 0.315 0.227 0.350 0.260 0.206 0.171 0.092 0.292 0.196 0.142 0.110 0.045 0.256 0.158 0.107 0.077 0.025 0.233 0.134 0.085 0.058 0.015 0.178 0.082 0.041 0.023 0.002 0.157 0.064 0.028 0.013 <0.001 0.146 0.055 0.022 0.010 <0.001 0.140 0.050 0.019 0.007 <0.001 0.126 0.039 0.013 0.004 <0.001 0.119 0.034 0.010 0.003 <0.001

𝜒2 /3

𝐹3,𝑛 = 𝜒23 /𝑛 , 𝜒𝑛2 /𝑛 = 1, jika 𝑛 → ∞, 𝑚𝑎𝑘𝑎 𝐹3,𝑛 = 𝜒32 /3 𝑛

𝑃(𝐹3,𝑛 > 𝑎) = 𝑃(𝜒32 /3 > 𝑎) = 𝑃(𝜒32 > 3𝑎)

7. Uji Wald untuk pengaruh tetap menggunakan REML

93

15.0 <0.001 0.187 0.063 0.026 0.012 0.006 <0.001 <0.001 <0.001 <0.001 <0.001 <0.001

The Mathematics of REML Jadi, kita ingin menguji bahwa fungsi linier dari pengaruh tetap adalah beberapa nilai tetap. Secara khusus, k ita menguji 𝐻0 : 𝑳𝝉 = 𝓵 untuk matriks 𝑳 berukuran r×p dan 𝓵 suatu vektor sepanjang r. Maka mengikuti hasil dari sebaran secara langsung untuk 𝝉̂, kita dapat mengatakan bahwa: −1

−1

̂ −1 𝑿) 𝑳𝑇 ) 𝑾 = (𝑳𝝉̂ − 𝓵)𝑇 (𝑳(𝑿𝑇 𝑯

−1

−1

̂ −1 𝑿) 𝑳𝑇 ) = (𝝉̂ − 𝝉)𝑇 𝑳𝑇 (𝑳(𝑿𝑇 𝑯

(𝑳𝝉̂ − 𝓵)⁄𝜎̂𝐻2

𝑳(𝝉̂ − 𝝉)⁄𝜎̂𝐻2

adalah statistik Wald. Catat bahwa penduga REML untuk parameter ragam digunakan dalam pernyataan ini. Statistik Wald memiliki sebaran asimtotik 2 dengan derajat bebas r. Namun, untuk alasan yang baru disebutkan, nilai P akan lebih besar (over-estimate) dari nilai P sesungguhnya, maka jika nilai P statistik Wald yang diskalakan dihitung menggunakan sebaran asimtotik maka harus hati-hati dalam menginterpretasi.

Pada tahun 1997 Kenward dan Roger (in Small Sample Inference for Fixed Effects from Restricted Maximum Likelihood, Biometrics, 53, 983–997) mengembangkan suatu metode untuk meningkatkan nilai P melalui penskalaan factor: F =  W/r. Mereka mengembangkan persamaan yang cukup untuk menghitung  dan juga derajat bebas df (derajat bebas pembilang df = r). Melalui simulasi, mereka menunjukkan bahwa nilai P baru jauh lebih sesuai (reliable). Sesungguhnya, dua sifat penting pendekatan ini dapat dinyatakan:

Untuk rancangan ortogonal seperti dalam ANOVA tanpa data hilang, nilai P statistik Wald yang diskalakan bersifat exact, yaitu, mereka menghasilkan F ANOVA dan nilai P.

Jika r = 1 (yaitu, menguji kesamaan dua rata-rata perlakuan) nilai P statistik Wald yang diskalakan sama dengan nilai P Satterthwaite uji t tidak berpasangan dengan ragam perlakuan berbeda.

94

The Mathematics of REML Implementasi ini menjadi default dalam GenStat. Persamaan dapat menjadi sangat kompleks, kadang gagal diselesaikan, dalam hal ini GenStat merubah nilai P yang dihasilkan dari sebaran 2 .

8. Menguji pengaruh acak Pengaruh acak diasumsikan menyebar normal, dan bagian ini menjelaskan cara membandingkan LMM di bawah sehimpunan asumsi mengenai parameter dalam model ragam dengan LMM menghasilkan penerapan nilai-nilai yang diasumsikan di bawah hipotesis nol. Catat bahwa metode ini hanya dapat diterapkan ketika model tersarang, dan parameter tetap yang sama terdapat dalam kedua model.

Sebagai ilustrasi model tersarang adalah sekuens AR2 dibandingkan AR1 dan kemudian dengan pengaruh acak yang tidak berkolrelasi. Pada waktu t: yt = rata-rata + a1 yt-1 + a2 yt-2 + error (AR2) yt = rata-rata + a1 yt-1

+ error (AR1, didapat melalui pengujian a2 = 0)

yt = rata-rata

+ error (tidak berkorelasi, didapat melalui pengujian a1 = 0)

Teladan untuk model tidak tersarang adalah perbedaan antara peubah acak yang diasumsikan memiliki struktur equi-correlated lawan suatu model berstruktur AR1. Kedua model memiliki satu parameter korelasi dan derajat bebas devians yang sama.

Devians didefinisikan sebagai -2×logLikelihood di mana logLikelihood dihitung berdasarkan penduga parameter REML. Umumnya, konstanta dalam logLikelihood dibuang karena devians hanya digunakan ketika membedakan.

Dengan demikian, untuk menguji sebagian dari parameter ragam (himpunan bagian, mulai dari model penuh dan dapatkan model reduksi dengan menghitung model penuh menggunakan nilai hipotesis dari parameter ragam.

Maka Perubahan dalam Devians = Devians untuk model reduksi – Devians untuk model penuh 95

The Mathematics of REML yang 𝜒 2 asimtotik dengan derajat bebas df = perubahan devians dalam db.

Misal, untuk model dengan ragam blok acak tunggal, dan ragam galat berdasarkan 12 data yang berasal dari 4 blok dan 3 perlakuan per blok:

Devians dengan pengaruh blok acak = 34.49 dengan derajat bebas 7 (model PENUH) Devians mengeluarkan pengaruh blok acak = 51.38 dengan derajat bebas 8 (model REDUKSI) Perubahan dalam devians= 51.38 – 34.49 = 16.89 dengan derajat bebas 8 – 7 = 1 sangat nyata (P<0.001), model penuh lebih baik, dengan kata lain pengaruh blok bersifat acak.

Untuk model tak tersarang, GenStat menawarkan dua statistik, Akaike Information Coefficient (AIC) dan Schwarz Information Coefficient (SIC).

Pandang k sebagai banyaknya parameter ragam dalam model, maka

AIC = Deviance + 2 k

Tak ada nilai uji untuk membandingkan nilai ini. Satu saran adalah menghitung exp[(AIC1AIC2)/2], di mana AIC1 lebih kecil dan AIC2 lebih besar dari dua model. Nisbah ini dapat dipandang sebagai peluang bahwa model kedua meminimkan kehilangan informasi apa pun.

Schwarz Information Coefficient hampir sama,

AIC = Deviance + ln(n) k

Misal, untuk model dengan ragam blok acak tunggal dan ragam galat untuk 12 data (dan catat bahwa ln(12) = 2.49, jika devians 34.49, maka GenStat akan memberikan: Akaike information coefficient Schwarz Bayes information coefficient

38.49 38.88

Note: omits constants, (n-p)log(2) - log(det(X'X)), that depend only on the fixed model.

96


Contoh struktur galat berkorelasi GenStat membolehkan mendefinisikan Random Model dengan pilihan struktur korelasi. Tanda * menjelaskan model yang sering digunakan StATS. Model Identity* uniform* diagonal* AR* power* unstructured*

antedependence*

Biasa digunakan untuk: bebas, sisa menyebar normal dalam regresi atau ANOVA dengan ragam konstan khusus untuk struktur sisa berkorelasi untuk rancangan multi-strata (RCB, split-plot etc) untuk rancangan apa pun dengan perubahan ragam autoregressive (AR1 or AR2) sisa berkorelasi secara serial dalam deret waktu/pengukuran berulang; model spasial spat dalam penelitian lapang sama dengan AR1 tetapi dapat digunakan untuk titik waktu dengan jaeak berbeda; model spasial dalam penelitian di lapangan dengan koordinat berjarak sama deret waktu/data hasil pengamatan berulang di mana tidak ada asumsi yang dibuat mengenai korelasi berdasarkan waktu; data MANOVA deret waktu/data hasil pengamatan memperbolehkan perubahan ragam, tambah: order = 1 menghasilkan korelasi contoh untuk titik waktu bertetangga; order = 2 memberikan korelasi contoh untuk titik waktu bertetangga 1 dan 2; melibatkan lebih sedikit parameter dibandingkan tak terstruktur

campuran autoregressive and moving average, korelasi serial sisaa dalam deret waktu/pengamatan berulang korelasi menurun secara linier dalam proporsi terhadap terhadap boundedlinear nisbah jarak korelasi menurun secara spherically terhadap jarak, biasa terjadi spherical dalam ilmu tanah titik berdekatan memiliki korelasi, order menjelaskan berapa bukan banded correlation nol struktur korelasi dalam bentuk model analisis faktor menggunakan FA & FAequal sedikit parameter dibandingkan tak terstruktur; biasa dalam pemuliaan tanaman Fixed matriks korelasi dijelaskan oleh pengguna rata-rata bergerak (moving average)sisa berkorelasi secara serial MA dalam deret waktu/pengamatan berulang sisa berkorelasi serial dalam deret waktu/pengamatan berulang di circular mana korelasi berubah sesuai jarak sedemikian sehingga bergantung pada sin-1; linearvariance korelasi menurun menurut jarak, biasa terjadi di bidang ilmu tanah Berikut akan disajikan teladan yang menggunakan beberapa model korelasi di atas. Setengah ARMA

manual ini menjelaskan struktur Identity.

97

The Mathematics of REML Teladan dijelaskan pada manual versi awal, tersedia pada sumber www.stats.net.au.

Teladan 1 – struktur uniform: model blok acak Pandang rancangan blok lengkap acak (RCB) dengan perlakuan tetap t ditempatkan secara acak dalam setiap dari b blok. Blok diasumsikan berbeda satu dari yang lain, an secara umum adalah pengaruh acak: anda menghendaki kesimpulan apa pun tentang perlakuan dalam suatu penelitian dalam blok pada suatu lokasi tertentu, diterapkan secara umum pada lokasi lain. Uji F ANOVA sesungguhnya hanya tersedia untuk pengaruh tetap. Untuk alasan ini GenStat menghitung nisbah ragam untuk blok dalam ANOVA tetapi tidak memberikan nilai P.

Dengan demikian, pengujian terhadap kesamaan rata-rata perlakuan tidak bergantung pada apakah blok diasumsikan tetap ataukah acak. Namun, asumsi tentang blok tetap atau acak tidak mempengaruhi beberapa salah baku.

Ketika blok diasumsikan acak, ada implikasi yang menyebabkan model dapat dijelaskan dalam berbagai cara. Ini juga berlaku bagi rancangan yang lebih kompleks seperti split-plots. Berikut adalah matematika tentang hal ini.

Pendekatan 1.

Model acak adalah Blok + Sisa dengan Blok sebagai pengaruh acak

Model RCB adalah yij =  + j + i + ij

i = 1, …, t (perlakuan) dan j = 1, …, b (blok)

Atur pengaruh blok acak b ke dalam vector acak 𝒖~𝑁(0, 𝜎𝐵2 𝑰𝑏 ). Peubah sisaan adalah 𝒆~N(0, 𝜎 2 𝑰𝑏𝑡 ). Asumsikan bahwa data disusun dalamsebuah vector mulai blok 1, di atas, diikuti blok 2 dan seterusnya. Setiap pengamatan dalam blok 1 memiliki pengaruh blok 1 sama, dengan demikian melibatkan sebuah pengaruh acak (1); tetapi setiap pengamatan ini bebas terhadap pengamatan di blok lain. Ini mengakibatkan matriks rancangan untuk pengaruh blok acak adalah 98


1𝑡 0𝑡 ⋯ 0 1𝑡 0𝑡 𝒁=[ 𝑡 ⋮ 0𝑡 ⋱ 0𝑡 0𝑡 ⋯

𝑱𝑡

0𝑡

⋮

0𝑡 0𝑡

0𝑡

𝒁𝑮𝒁T = 𝜎𝐵2 [

0𝑡 0𝑡 ] 0𝑡 1𝑡

0𝑡

𝑱𝑡

⋯

0𝑡

⋱ ⋯

0𝑡 0𝑡 ] =𝜎𝐵2 𝐷𝑖𝑎𝑔𝑏 [𝑱𝑡 , ⋯ , 𝑱𝑡 ] 0𝑡 𝑱𝑡

di mana 𝐷𝑖𝑎𝑔𝑏 [⋯ ] menjelaskan matriks diagonal dengan elemen b (yang juga matriks) pada diagonal utama yang sama dengan 𝑱𝑡 , matriks satuan berdimensi t×t (yang juga dapat ditulis sebagai 1𝑡 1𝑇𝑡 ). Penjelasan untuk t=3, b=4, matriks rancangan untuk pengaruh blok acak 𝒁 berukuran 12 x 12

𝒁12×4

𝜎𝐵2 0 𝑮= 0 (0

99

1 1 1 0 0 0 = 0 0 0 0 0 (0 0 𝜎𝐵2 0 0

0 0 0 1 1 1 0 0 0 0 0 0 0 0 𝜎𝐵2 0

0 0 0 0 0 0 1 1 1 0 0 0

0 0 0 0 13 0 0 0 =( 3 03 0 03 0 0 1 1 1)

0 1 0 0 = 𝜎𝐵2 ( 0 0 2 0 𝜎𝐵 )

03 13 03 03

0 1 0 0

03 03 13 03

0 0 1 0

03 03 ) 03 13

0 0 ) = 𝜎𝐵2 𝑰4 0 1

The Mathematics of REML 1 1 1 0 0 0 𝒁𝑮 = 𝜎𝐵2 0 0 0 0 0 (0 1 1 1 0 0 0 𝒁𝑮𝒁𝑇 = 𝜎𝐵2 0 0 0 0 0 (0

0 0 0 1 1 1 0 0 0 0 0 0

0 0 0 1 1 1 0 0 0 0 0 0

0 0 0 0 0 0 1 1 1 0 0 0 1 1 1 0 0 0 𝒁𝑮𝒁𝑇 = 𝜎𝐵2 0 0 0 0 0 (0 𝑱3 𝑶 = 𝜎𝐵2 ( 3 𝑶3 𝑶3

0 0 0 0 0 0 1 1 1 0 0 0

0 0 0 0 0 1 0 0 ( 0 0 0 0 0 1 1 1) 0 0 0 0 0 1 0 0 ( 0 0 0 0 0 1 1 1) 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

𝑶3 𝑱3 𝑶3 𝑶3

𝑶3 𝑶3 𝑱3 𝑶3

0 1 0 0

1 0 0 0

0 0 0 1 1 1 0 0 0 0 0 0

0 0 1 0

1 0 0 0

0 0 0 1 1 1 0 0 0 0 0 0

0 1 0 0

0 0 0 1 1 1 0 0 0 0 0 0

1 1 1 0 0 0 0 0 ) = 𝜎𝐵2 0 0 1 0 0 0 0 (0

0 1 0 0

0 0 0 0 0 0 1 1 1 0 0 0

0 1 0 0

0 0 0 0 0 0 1 1 1 0 0 0

0 0 1 0

0 0 0 0 0 0 1 1 1 0 0 0

0 0 0 1 1 1 0 0 0 0 0 0

0 0 1 0

0 0 0 0 0 0 0 0 0 1 1 1

0 0 0 0 0 0 1 1 1 0 0 0

0 0 1 0

0 0 0 0 0 0 0 0 0 1 1 1

0 0 0 0 0 0 0 0 0 1 1 1)

0 0 0 1

0 0 0 1

0 0 ) 0 1

0 0 0 0 0 0 0 0 0 1 1 1)

𝑶3 𝑶3 ) = 𝜎𝐵2 𝐷𝑖𝑎𝑔4 [𝑱3 , ⋯ , 𝑱3 ] 𝑶3 𝑱3

Untuk melihat apakah asumsi mengenai pengaruh blok acak mempengaruhi pendugaan terhadap pengaruh - panggil 𝝉̂ = (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝒚 , kita perlu melihat matriks 𝑯 untuk rancangan RCB:

100

The Mathematics of REML 𝑯 = 𝑹 + 𝒁𝑮𝒁T = 𝜎 2 𝑰𝑏𝑡 +𝜎𝐵2 𝐷𝑖𝑎𝑔𝑏 [𝑱𝑡 , ⋯ , 𝑱𝑡 ] = 𝜎 2 𝐷𝑖𝑎𝑔𝑏 [𝑰𝑡 , ⋯ , 𝑰𝑡 ]+𝜎𝐵2 𝐷𝑖𝑎𝑔𝑏 [𝑱𝑡 , ⋯ , 𝑱𝑡 ] Kebalikan matriks 𝑯 ada dan jelas merupakan matriks diagonal blok, di mana diagonal ini merupakan kebalikan matriks 𝜎 2 𝑰𝑡 + 𝜎𝐵2 𝑱𝑡 = 𝜎 2 𝑰𝑡 +𝜎𝐵2 1𝑡 1𝑇𝑡 . Terdapat rumus standar untuk matriks seperti ini. Pandang 𝑨 sebagai matriks non singular dan pandang 𝒖 dan 𝒗 sebagai vektor kolom. 𝜎2 0 0 0 0 𝑹= 0 0 0 0 0 0 (0

0 𝜎2 0 0 0 0 0 0 0 0 0 0

0 0 𝜎2 0 0 0 0 0 0 0 0 0

0 0 0 𝜎2 0 0 0 0 0 0 0 0

0 0 0 0 𝜎2 0 0 0 0 0 0 0

0 0 0 0 0 𝜎2 0 0 0 0 0 0

0 0 0 0 0 0 𝜎2 0 0 0 0 0

0 0 0 0 0 0 0 𝜎2 0 0 0 0

0 0 0 0 0 0 0 0 𝜎2 0 0 0

0 0 0 0 0 0 0 0 0 𝜎2 0 0

0 0 0 0 0 0 0 0 0 0 𝜎2 0

0 0 0 0 0 0 = 𝜎 2𝑰 12 0 0 0 0 0 𝜎2)

𝑹 = 𝜎 2 𝐷𝑖𝑎𝑔4 [𝑰3 , ⋯ , 𝑰3 ]

(𝑨 + 𝒖𝒗𝑻 )−𝟏 = 𝑨−1 −

𝑨−1 𝒖𝒗𝑻 𝑨−1 1 + 𝒗𝑻 𝑨−1 𝒖

Jadi, 𝑨 = 𝜎 2 𝑰𝑡 , 𝒖 = 𝜎𝐵2 1𝑡 , 𝒗 = 1𝑡 .

(𝜎 2 𝑰𝑡 + 𝜎𝐵2 1𝑡 1𝑇𝑡 )−𝟏

1 1 𝑰𝑡 𝜎𝐵2 1𝑡 1𝑇𝑡 2 𝑰𝑡 1 2 1 𝜎𝐵2 𝜎 = 2 𝑰𝑡 − 𝜎 = 2 (𝑰𝑡 − 2 2 ) 𝑱𝑡 ) (𝜎 𝜎 𝜎 + 𝑡𝜎 𝑇 1 2 𝐵 1 + 1𝑡 2 𝑰𝑡 𝜎𝐵 1𝑡 𝜎

Suku kedua 1 1 1 2 1 1 2 1 1 2 𝑰 𝜎 2𝑱 𝑰 2 𝜎 2 𝜎𝐵 𝑰𝑡 𝑱𝑡 𝑰𝑡 2 𝜎 2 𝜎𝐵 𝑱𝑡 2 𝜎 2 𝜎𝐵 𝑱𝑡 𝜎2 𝑡 𝐵 𝑡 𝑡 𝜎 𝜎 𝜎 = = = 1 1 1 𝜎2 1 + 1𝑇𝑡 2 𝑰𝑡 𝜎𝐵2 1𝑡 𝜎 2 (𝜎 2 + 1𝑇𝑡 𝑰𝑡 𝜎𝐵2 1𝑡 ) 𝜎 2 (𝜎 2 + 1𝑇𝑡 1𝑡 𝜎𝐵2 ) 𝜎 2 (𝜎 2 + 𝑡𝜎𝐵2 ) 2 𝜎 𝜎 Gabung 1 2 𝜎 𝑱 1 𝜎𝐵2 𝑱𝑡 𝜎 2 𝐵 𝑡 = 1 (𝑰 − 𝑰 − ) 𝜎 2 𝑡 (𝜎 2 + 𝑡𝜎𝐵2 ) 𝜎 2 𝑡 (𝜎 2 + 𝑡𝜎𝐵2 ) 101


𝑯−1 adalah matriks diagonal terdiri dari b matriks seperti ini. Sekarang kita lihat matriks-matriks (𝑿𝑇 𝑯−1 𝑿)−1 dan 𝑿𝑇 𝑯−1 𝒚 untuk blok acak.

(𝑿𝑇

−1

𝑯 𝑿)

−1

1 𝜎𝐵2 = (𝑿 2 𝐷𝑖𝑎𝑔𝑏 [𝑰𝑡 − 2 𝑱 ] 𝑿) (𝜎 + 𝑡𝜎𝐵2 ) 𝑡 𝜎

−1

𝑇

𝜎𝐵2 = 𝜎 (𝑿 𝑿 − 𝑿 𝐷𝑖𝑎𝑔𝑏 [ 2 𝑱 ] 𝑿) (𝜎 + 𝑡𝜎𝐵2 ) 𝑡 2

𝑇

−1

𝑇

Sekarang dengan parameterisasi, matriks rancangan 𝑿 memiliki kolom yang terdiri dari b sel bernilai 1 dan sisa sel lain mengandung 0. Juga, keberadaan 1 unik dalam setiap baris, sehingga 𝑿𝑇 𝑿 harus sama dengan 𝑏𝑰𝑡 .

𝑿12×3

1 0 𝑿 𝑿 = (0 1 0 0 𝑇

102

0 1 0 0 1 0

1 0 0 1 0 0 = 1 0 0 1 0 (0

0 1 0 0 1 0 0 1 0 0 1 0

0 0 1 1 0 0 0 1 0

0 0 1 0 𝑰3 0 𝑰 1 = ( 3) 𝑰3 0 𝑰3 0 1 0 0 1)

0 0 1 1 0 0 0 1 0

1 0 0 1 0 0 0 0 1 0) 1 0 1 0 0 1 0 (0

0 1 0 0 1 0 0 1 0 0 1 0

0 0 1 0 0 1 0 0 1 0 0 1)

The Mathematics of REML 4 0 0 1 0 𝑿𝑇 𝑿 = (0 4 0) = 4 (0 1 0 0 4 0 0

0 0) = 4𝑰3 = 𝑏𝑰𝑡 1

Kemudian, untuk setiap blok dalam matriks diagonal di atas, 𝑱𝑡 𝑿 menambah angka dalam kolom matriks rancangan 𝑿 dalam blok yang dipertimbangkan. Namun, di dalamnya (dan setiap) blok, setiap elemen adalah 0 kecuali 1. Karena bentuk matriks rancangan 𝑿, 𝐷𝑖𝑎𝑔𝑏 [𝑱𝑡 𝑿] harus sama dengan 𝑱𝑏𝑡×𝑡 . Karena setiap baris t dalam 𝑿𝑇 mengandung b sel bernilai 1 dan lainnya 0, kita harus memperoleh 𝑿𝑇 𝐷𝑖𝑎𝑔𝑏 [𝑱𝑡 ]𝑿 = 𝑿𝑇 𝑱𝑏𝑡×𝑡 = 𝑏𝑱𝑡 sehingga (karena resiprok dan substitusi 𝑏𝑰𝑡 dan 𝑏𝑱𝑡 ) dan faktorkan ke luar b 𝑿𝑇 𝑯−1 𝑿 =

1 𝜎𝐵2 1 𝑏𝜎𝐵2 𝑇 𝑇 (𝑿 𝑿 − 𝑿 𝐷𝑖𝑎𝑔 [ 𝑱 ] 𝑿) = (𝑏𝑰 − 𝑱) 𝑏 𝑡 (𝜎 2 + 𝑡𝜎𝐵2 ) 𝑡 (𝜎 2 + 𝑡𝜎𝐵2 ) 𝑡 𝜎2 𝜎2

𝑏 𝜎𝐵2 = 2 (𝑰𝑡 − 2 𝑱) (𝜎 + 𝑡𝜎𝐵2 ) 𝑡 𝜎

Gunakan lagi (𝑨 + 𝒖𝒗𝑇 )−1 = 𝑨−1 −

(𝑿𝑇

−1

𝑯 𝑿)

−1

1+𝒗𝑇 𝑨−1 𝒖

kita peroleh

−1

2 𝜎𝐵

𝑏

𝑨−1 𝒖𝒗𝑇 𝑨−1

= (𝜎2 (𝑰𝑡 − (𝜎2 +𝑡𝜎2 ) 𝑱𝑡 )) 𝐵

=

𝜎2 𝑏 (

𝜎𝐵2 (𝜎 2 + 𝑡𝜎𝐵2 ) 𝑰𝑡 + 𝑱𝑡 𝜎𝐵2 1−𝑡 2 (𝜎 + 𝑡𝜎𝐵2 )

=

𝜎2 𝜎𝐵2 (𝑰𝑡 + 2 𝑱𝑡 ) 𝑏 𝜎

)

Ini adalah matriks diagonal dengan elemen 𝜎𝐵2 ⁄𝑏 + 𝜎 2 ⁄𝑏 dan elemen di luar diagonal 𝜎𝐵2 ⁄𝑏 . Sebagian dari suku terakhir telah diselesaikan karena kita tahu bahwa 𝑿𝑇 𝑯−1: terdiri dari t baris, setiap baris mengandung b sel yang sama dengan 𝑏(1 − 𝜎𝐵2 ⁄(𝜎 2 + 𝑡𝜎𝐵2 ))⁄𝜎 2 dan t(b-1) sel bernilai −𝑏 𝜎𝐵2 ⁄(𝜎 2 + 𝑡𝜎𝐵2 )⁄𝜎 2 . Posisi sel-sel ini diatur oleh matriks rancangan 𝑿, namun jika 𝑿𝑇 𝑯−1 dikalikan dengan pengganda akhir y, baris ke ith menghasilkan baris ke ith rata-rata 103

The Mathematics of REML perlakuan 𝑦̅𝑖 juga rata-rata umum 𝑦̅. Kita perlu memperkenalkan vektor rata-rata yang kita ̅𝑇𝑖 = (𝑦̅1 , notasikan sebagai 𝒚

⋯,

𝑦̅𝑡 ). Jadi

𝑏 𝑏𝑡𝜎𝐵2 ̅ − 𝑿 𝑯 𝒚 = 2𝒚 𝑦̅1 𝜎 𝑖 𝜎 2 (𝜎 2 + 𝑡𝜎𝐵2 ) 𝑡 𝑇

−1

̅𝑖 dengan 𝑡𝑦̅1𝑡 menghasilkan Gabungkan kedua suku dan ganti unsur 𝑱𝑡 𝒚

𝝉̂ = (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝒚 =

𝜎2 𝜎𝐵2 𝑏 𝑏𝑡𝜎𝐵2 ̅𝑖 − 2 2 (𝑰𝑡 + 2 𝑱𝑡 ) ( 2 𝒚 𝑦̅1 ) 𝑏 𝜎 𝜎 𝜎 (𝜎 + 𝑡𝜎𝐵2 ) 𝑡

̅𝑖 + =𝒚

𝑡𝜎𝐵2 𝜎2 𝑡𝜎𝐵2 (1 − − ) 𝑦̅1𝑡 (𝜎 2 + 𝑡𝜎𝐵2 ) (𝜎 2 + 𝑡𝜎𝐵2 ) 𝜎2

̅𝑖 + =𝒚

𝑡𝜎𝐵2 (𝜎 2 + 𝑡𝜎𝐵2 ) − 𝜎 2 − 𝑡𝜎𝐵2 ( ) 𝑦̅1𝑡 (𝜎 2 + 𝑡𝜎𝐵2 ) 𝜎2

̅𝑖 =𝒚 Jadi, di bawah asumsi bahwa blok bersifat acak, penduga REML untuk rata-rata perlakuan adalah rata-rata contoh, sebagaimana di bawah asumsi bahwa blok bersifat tetap.

Namun demikian, salah baku rata-rata lebih besar di bawah model blok acak dibandingkan jika model blok tetap. Hal ini tidak mengherankan, karena agar besaran ini dapat digunakan untuk blok lain, kita harus lebih hati-hati dalam menduga rata-rata perlakuan secara terpisah. Namun, salah baku selisih rata-rata sama di bawah kedua asumsi.

Salah baku selisih rata-rata Dalam bentuk model, rata-rata contoh ke ith yakni 𝑦̅𝑖 adalah 𝑦̅𝑖 = 𝜇 + 𝛽̅ + 𝜏𝑖 + 𝜖̅𝑖 dan juga salah baku rata-rata contoh harus bernilai 𝜎𝐵2 ⁄𝑏 + 𝜎 2 ⁄𝑏 karena setiap rata-rata dalam ekspresi untuk 𝑦̅𝑖 adalah rata-rata dari b unit. Berikut adalah pembuktian secara matematis: 𝑣𝑎𝑟(𝝉̂) = 𝑣𝑎𝑟((𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝒚) 104


= (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝑣𝑎𝑟(𝒚)𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 = (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝑯𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 = (𝑿𝑇 𝑯−1 𝑿)−1 (𝑿𝑇 𝑯−1 𝑿)(𝑿𝑇 𝑯−1 𝑿)−1 = (𝑿𝑇 𝑯−1 𝑿)−1 Kita melihat sebelumnya bahwa diagonal utama matriks ini adalah 𝜎𝐵2 ⁄𝑏 + 𝜎 2 ⁄𝑏 dan di luar diagonal utama 𝜎𝐵2 ⁄𝑏 . Nilai nol di luar diagonal utama adalah hasil dari suku acak yang sama yakni 𝛽̅ dalam setiap rata-rata contoh, menyebabkan korelasi dalam rata-rata contoh.

Salah baku selisih rata-rata Dalam bentuk model, selisih antara rata-rata contoh ke ith yakni 𝑦̅𝑖 dan 𝑦̅𝑘 rata-rata contoh ke kth adalah 𝑦̅𝑖 − 𝑦̅𝑘 = 𝜏𝑖 − 𝜏𝑘 + 𝜖̅𝑖 − 𝜖̅𝑘 . Jelas suku acak yang sama yakni 𝛽̅ telah hilang dari selisih ini dan anda tidak mengharapkan bahwa 𝜎𝐵2 akan menjelaskan nilai salah baru selisih. Berikut penjelasan matematis. Nyatakan kontras antara rata-rata contoh ke ith yakni 𝑦̅𝑖 dan 𝑦̅𝑘 rata-rata contoh ke kth sebagai vektor 𝑪 yang bernilai +1 sesuai posisi rata-rata ke ith dan -1 pada posisi rata-rata ke kth. Catat bahwa 𝑱𝑡 𝑪 = 0𝑡 dan 𝑪𝑇 𝑪 = 2. Maka 𝑣𝑎𝑟(𝑪𝑇 𝝉̂) = 𝑣𝑎𝑟(𝑪𝑇 (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝒚) = 𝑪𝑇 (𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝑣𝑎𝑟(𝒚)𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑪

= 𝑪𝑇 (𝑿𝑇 𝑯−1 𝑿)−1 𝑪 = 𝑪𝑇

105

𝜎2 𝜎𝐵2 (𝑰𝑡 + 2 𝑱𝑡 ) 𝑪 𝑏 𝜎

The Mathematics of REML 𝜎2 𝑇 𝜎𝐵2 𝑇 2𝜎 2 = 𝑪 𝑪 + 𝑪 𝑱𝑡 𝑪 = 𝑏 𝑏 𝑏 sama dengan salah baku selisih rata-rata di bawah asumsi blok tetap.

Pendekatan 2. Secara Sederhana Model Acak adalah Error dengan var(Error) suatu matriks korelasi uniform. Asumsi untuk pengaruh blok acak adalah bahwa untuk setiap j, 𝛽𝑗 ~N(𝜇, 𝜎𝐵2 ), dan bebas terhadap peubah sisaan yang semuanya bebas, ε𝑖𝑗 ~N(𝜇, 𝜎 2 ). Dengan demikian, untuk setiap pengamatan dalam setiap blok, 𝑣𝑎𝑟(𝑦𝑖𝑗 )=𝑣𝑎𝑟(𝛽𝑗 ) + 𝑣𝑎𝑟(ε𝑖𝑗 ) = 𝜎𝐵2 + 𝜎 2 .

Jika kita mengambil dua pengamatan dari blok yang sama (katakana blok j), kita mendapatkan pengaruh acak 𝛽𝑗 sama. Maka untuk pengamatan ke ith dan kth dalam blok j kita dapatkan 𝑐𝑜𝑣𝑎𝑟(𝑦𝑖𝑗 , 𝑦𝑘𝑗 )=co𝑣𝑎𝑟(𝛽𝑗 + ε𝑖𝑗 , 𝛽𝑗 + ε𝑘𝑗 ) = 𝑣𝑎𝑟(𝛽𝑗 ) = 𝜎𝐵2

semua suku lain tak berkorelasi. Jadi, dua pengamatan dalam blok yang sama memiliki ragam sama (𝜎𝐵2 + 𝜎 2 ) tetapi berkorelasi, dan setiap korelasi dalam suatu blok-sama, yakni nisbah antar ragam blok terhadap ragam gabungan (blok + sisaan):

𝑐𝑜𝑟𝑟(𝑦𝑖𝑗 , 𝑦𝑘𝑗 ) =

𝜎𝐵2 = 𝜃 katakan. 𝜎𝐵2 + 𝜎 2

Model demikian dikenal sebagai matriks korelasi uniform dan untuk setiap blok memiliki struktur

106


𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚

1 θ = (𝜎𝐵2 + 𝜎 2 ) [ ⋮ θ

θ ⋯ 1 θ θ ⋱ θ ⋯

θ θ ] θ 1

Pengamatan-pengamatan dalam blok berbeda tidak berkorelasi, dan dengan demikian matriks rancangan lengkap merupakan matriks blok diagonal dengan b matriks pada diagonal, semua sama dengan 𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚 : 𝑯 = 𝑣𝑎𝑟(𝒚)=Diag[𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚 , ⋯ , 𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚 ] = 𝑫𝚺 katakan.

Dengan Pendekatan 1, di mana kita memiliki pengaruh blok acak maka matriks ragam menjadi 𝑯 = 𝑹 + 𝒁𝑮𝒁𝑇 = 𝜎 2 𝑰𝑏𝑡 +𝜎𝐵2 𝐷𝑖𝑎𝑔𝑏 [𝑱𝑡 , ⋯ , 𝑱𝑡 ] = 𝜎 2 𝐷𝑖𝑎𝑔𝑏 [𝑰𝑡 , ⋯ , 𝑰𝑡 ]+𝜎𝐵2 𝐷𝑖𝑎𝑔𝑏 [𝑱𝑡 , ⋯ , 𝑱𝑡 ] Dalam struktur ini, elemen diagonal adalah (𝜎 2 + 𝜎𝐵2 ) dan di luar diagonal hanya 𝜎𝐵2 . Kedua struktur ragam identik.

Hal ini mengakibatkan kita punya beberapa pilihan untuk menjelaskan pengaruh blok acak dalam perancangan percobaan. Metode kedua penting ketika kita menggunakan REML untuk mendapatkan model spasial seperti baris × kolom berstruktur AR1 × AR2. Mencoba mendapatkan pengaruh Blok dalam Model Acak juga sebagai struktur korelasi AR1 × AR2 mengarah pada redundancy.

107


Teladan 2 Matriks diagonal: Rancangan perlakuan satu-arah dengan perubahan ragam perlakuan Matriks Diagonal untuk ragam sisaan yang paling banyak digunakan adalah ketika beberapa atau semua ragam perlakuan dalam percobaan yang dirancang, berubah. Teladan sederhana adalah uji t tidak berpasangan di mana ragam dua perlakuan berbeda. Telah disinggung tentang properti bahwa implementasi statistik Wald yang diskalakan menghasilkan uji dan nilai P sama that the implementation of an adjusted scaled Wald statistic produces the test and P values (melalui t2 = F). Ini dikembangkan pada sebuah faktor dengan t taraf dan beberapa atau semua ragam berbeda.

Pandang panjang dalam satuan ocular (x 0.114 = mm) dari potongan kapri yang ditumbuhkan pada kultur jaringan dengan auxin (Sokal & Rohlf Ed3. halaman 218). Ini merupakan rancangan acak lengkap.

Rep Control 1 75 2 67 3 70 4 75 5 65 6 71 7 67 8 67 9 76 10 68 rata-rata ragam

70.1 15.878

2% glucose 57 58 60 59 62 60 60 57 59 61

2% fructose 58 61 56 58 57 56 61 60 57 58

1% glucose + 1% fructose 58 59 58 61 57 56 58 57 57 59

2% sucrose 62 66 65 63 64 62 65 65 62 67

59.3 2.678

58.2 3.511

58.0 2.000

64.1 3.211

Tidaklah sulit untuk melihat bahwa ragam kontrol berbeda dari ragam perlakuan gula yang hampir sama. Hal biasa jika grup kontrol memiliki besaran statistik berbeda dari grup perlakuan. Misal, dalam penelitian medis terhadap pasien sakit punggung, jika perlakuan yang baik diberikan pada pasien tetapi tetap tidak menyembuhkan, For example, in a medical trial of patients with back pain, if a treatment that actually works is given to patients, and if left untreated the back pain persists, maka dapat diduga ragam berubah menurut waktu untuk grup

108

The Mathematics of REML perlakuan so than for the untreated group. Jelas, ragam dapat bernilai nol untuk grup yang tidak memiliki sakit punggung sesudah pengobatan!

Dalam percobaan di bidang pertanian, sangatlah umum jika ragam perlakuan berubah. Kasus ini terjadi dalam percobaan kepadatan (perlakuan dengan jarak tanam berbeda) dan dalam percobaan di mana contoh tanaman diambil pada waktu berbeda dalam siklus pertumbuhan tanaman itu.

Maka pilihan Diagonal untuk faktor perlakuan dengan perubahan ragam, dibuat matriks ragam untuk bagian perlakuan dari struktur sisaan: 𝑫 = 𝐷𝑖𝑎𝑔[𝜎12

𝜎22

⋯ 𝜎52 ]

memperkenankan perubahan raham 5 perlakuan

𝑫 = 𝐷𝑖𝑎𝑔[𝜎12

𝜎22

⋯ 𝜎22 ]

hanya ragam Control berbeda

Dalam luaran GenStat’s, penduga dilambangkan dengan d_1, d_2, dan seterusnya.

Sebagaimana dalam program GenStat mana pun, anda perlu menjelaskan struktur sisaan agar struktur matriks korelasi yang sesuai dengan struktur sisaan dapat ditentukan. Ini dilakukan melalui perintah Random Model dalam menu Linear Mixed Model. Semua data harus diindeks, berarti jika terdapat 5 perlakuan yang diulang 10 kali, maka 50 data harus diindeks menggunakan factor dengan panjang sesuai.

Maka anda dapat membuat faktor sepanjang 50 yang disebut Replicate. Dalam hal ini, GenStat tidak membolehkan anda mendefinisikan perubahan ragam karena GenStat tidak mengetahui perlakuan tertentu pada 50 data. Anda dapat append faktor perlakuan (namakan Sugar, dengan 5 taraf) terhadap faktor Replicate, tetapi akan menghasilkan terlalu banyak indeks dan menghasilkan luaran yang membingungkan. Jadi, lebih baik membuat factor Rep , dengan indeks hanya dari 1 hingga 10 saja. Maka Random Model akan berupa Rep.Sugar yang mengindeks 10×5 = 50 titik data. Kemudian pilih Correlated Error Terms… dan anda melihat bahwa default GenStat adalah Rep.Sugar: Id × Id

109

The Mathematics of REML Ingat bahwa Id menjelaskan matriks identitas (maka sisaan bebas) dengan order sesuai dengan panjang faktor. Kita perlu memilih faktor Sugar, kemudian pilih Diagonal dari daftar dropdown sesuai pilihan, kembali ke menu utama dan jalankan program.

Residual variance model Term Rep.Sugar

Factor Sigma2

Model(order) 1.000

Parameter fixed

Rep Sugar

Identity Diagonal

d_1 d_2 d_3 d_4 d_5

Estimate

s.e.

15.88 3.511 2.000 2.678 3.211

7.48 1.655 0.943 1.262 1.514

Estimated covariance models Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix

Jika anda juga memilih Covariance Model dalam Options anda akan melihat bahwa GenStat menjelaskan struktur ragam yang digunakan. Juga bahwa penduga-penduga ini merupakan ragam contoh 5 perlakuan dalam percobaan ini.

GenStat menawarkan menu berbasis-REML, Meta Analysis > REML of Multiple Experiments…, yang memberikan ragam berbeda untuk setiap taraf faktor. Masukkan model tetap dan acak (yang terakhir dapat berbeda pada setiap taraf dari faktor yang menjelaskan bagaimana ragam berubah) dan menjelaskan pula faktor yang menyebabkan perubahan ragam..

Misal, kita langsung mendapatkan ragam perlakuan:

Residual model for each experiment Experiment factor: Sugar Experiment Control Fructose GlucFruc Glucose Sucrose

110

Term Factor Residual Residual Residual Residual Residual

Model(order) Identity Identity Identity Identity Identity

Parameter Variance Variance Variance Variance Variance

Estimate 15.880 3.511 2.000 2.678 3.211

s.e. 7.480 1.655 0.943 1.262 1.514

The Mathematics of REML Untuk mendapatkan hanya dua ragam, satu untuk grup control dan lainnya untuk setiap perlakuan dari empat perlakuan Sugar, dilakukan dengan cara yang sama. Suatu faktor perlu ditata yang mengindeks data control atau satu dari perlakuan gula, dengan kolom faktor, 0/1. Kita menamakan Ctrl vs Sugar (dengan 0 = Control dan 1 = Sugar). Gunakan menu Meta Analysis Analysis > REML of Multiple Experiments… untuk mendapatkan:

Residual model for each experiment Experiment factor: Ctrl_vs_Sugar Experiment Control Sugar

Term Factor Residual Residual

Model(order) Identity Identity

Parameter Variance Variance

Estimate 15.880 2.850

s.e. 7.480 0.672

Catat:

Dalam analisis pertama, 5 penduga ragam identik dengan ragam contoh.

Dalam analisis kedua, penduga 2.85 sebenarnya adalah rata-rata terbobot dari empat ragam perlakuan 2.678, 3.511, 2.000, 3.211, dan identik dengan Residual MS dari ANOVA untuk empat perlakuan gula:

Analysis of variance Source of variation Sugar Residual Total

d.f. 3 36 39

s.s. 245.000 102.600 347.600

m.s. 81.667 2.850

v.r. 28.65

F pr. <.001

Jika menggunakan “nested” fixed model Ctrl vs Sugar/Sugar, anda peroleh (1) uji perbandungan rata-rata Control dengan rata-rata empat perlakuan Sugar, dan (2) uji kesamaan rata-rata empat perlakuan gula:

Tests for fixed effects Sequentially adding terms to fixed model Fixed term Wald statistic Ctrl_vs_Sugar 62.71 Ctrl_vs_Sugar.Sugar 85.96

111

n.d.f. 1 3

F statistic 62.71 28.65

d.d.f. 9.8 36.0

F pr <0.001 <0.001

The Mathematics of REML Catat bahwa statistik F untuk membandingkan empat rata-rata gula (sebenarnya dilambangkan dengan Ctrl_vs_Sugar.Sugar) adalah 28.65, identik dengan uji F dari ANOVA untuk empat perlakuan gula.

Statistik F pertama, 62.71, dengan derajat bebas penyebut 9.8, adalah uji t Sattherthwaite (kuadratkan untuk memperoleh statistik F):

Rata-rata Control = 70.10, ragam = 15.878, reps = 10, df = 9 Rata-rata umum Sugar = 59.90, ragam = 2.850, reps = 40, df = 36

𝑡=

(70.10 − 59.90) √15.878 + 2.850 10 40

= 7.92 dan 𝑡 2 = 62.71

dengan derajat bebas penyebut: 𝑑𝑓 =

((15.878⁄10) + (2.850⁄40)) 2

2

2

(15.878⁄10) ⁄ (2.850⁄40) ⁄ + 9 36

= 9.825

GenStat membulatkan menjadi 9.8 dalam output.

Tiga model (bebas, ragam berbeda untuk control dan kombinasi gula, ragam berbeda untuk 5 “perlakuan”) dengan mudah dibandingkan dengan perubahan devians:

Model ragam 1. satu ragam 2. dua ragam, satu untuk kontrol, satu untuk lainnya Perubahan (2 versus 1) 3. Lima ragam berbeda Perubahan (3 versus 2)

devians 132.86 119.10 13.76 118.30 0.80

d.f. 44 43 1 40 3

P

<0.001 0.849

Tampak bahwa tidak perlu memiliki ragam berbeda untuk 5 grup perlakuan (P=0.849) tetapi ragam berbeda diperlukan untuk kontrol (P<0.001).

112


Teladan 3 Rancangan acak lengkap dengan perlakuan acak Pandang t perlakuan dipilih secara acak dari suatu himpunan perlakuan untuk melakukan percobaan yang dirancang untuk mendapatkan informasi mengenai keluarga perlakuan ini. Hanya terdapat satu pengaruh tetap, yakni rata-rata umum (hasil=respons). Kita mengasumsikan bahwa ragam populasi perlakuan bersifat konstan. Maka model CRD adalah

Y𝑖𝑗 = 𝜇 + 𝜏𝑖 + 𝜀𝑖𝑗 dengan i = 1, …, t (perlakuan), j = 1, …, r (ulangan) dapat ditulis dalam bentuk matriks sebagai 𝒚 = 𝑿𝝉 + 𝒁𝒖 + 𝒆 di mana 𝒚 adalah vektor pengamatan berukuran n1, 𝝉 sekarang adalah scalar berisi hanya pengaruh tetap 𝜇, dengan matriks rancangan 𝑿 mengandung elemen 1𝑛 (setiap titik data memiliki rata-rata ini), 𝒖 adalah vector sepanjang t mengandung pengaruh acak 𝜏1 , ⋯ , 𝜏𝑡 , dengan matriks rancangan 𝒁 berdimensi nr (di mana n = rt) yang menempatkan pengamatan pada perlakuan yang sesuai. Untuk kemudahan, asumsikan bahwa terdapat r pengamatan dari perlakuan 1 di atas, dan seterusnya. 𝒆 adalah vektor sisaan berukuran n1 dengan matriks ragam 𝑹 = 𝜎 2 𝑰𝑛 . Dengan alokasi ini pengamatan dari perlakuan, matriks 𝒁 berdimensi rt×t.

𝒁=[

1𝑟 0𝑟 ⋮

0𝑟

0𝑟 1𝑟 0𝑟 0𝑟

⋯

0𝑟 ⋱ ⋯

0𝑟 0𝑟 ], 0𝑟 1𝑟

𝑮 matriks berdimensi t×t mengandung elemen 𝜎𝑇2 𝑰𝑡 maka 𝑱𝑟

O𝑟

⋮

O𝑟 O𝑟

O𝑟

𝒁𝑮𝒁T = 𝜎𝑇2 [

O𝑟

𝑱𝑟

⋯

O𝑟 ⋱ ⋯

O𝑟 O𝑟 ] =𝜎𝑇2 𝐷𝑖𝑎𝑔𝑡 [𝑱𝑟 , ⋯ , 𝑱𝑟 ], O𝑟 𝑱𝑟

sehingga 𝑯 = 𝑹 + 𝒁𝑮𝒁T = 𝜎 2 𝑰𝑟𝑡 + 𝜎𝑇2 𝐷𝑖𝑎𝑔𝑡 [𝑱𝑟 , ⋯ , 𝑱𝑟 ] = 𝐷𝑖𝑎𝑔𝑡 [𝜎 2 𝑰𝑟 + 𝜎𝑇2 𝑱𝑟 , ⋯ , 𝜎 2 𝑰𝑟 + 𝜎𝑇2 𝑱𝑟 ]

113

The Mathematics of REML Penjelasan: Penjelasan untuk t=3, r=4, matriks rancangan untuk pengaruh blok acak 𝒁 berukuran 12 x 3

𝒁12×3

𝑹12×12

𝜎2 0 0 0 0 = 0 0 0 0 0 0 (0

0 𝜎2 0 0 0 0 0 0 0 0 0 0

0 0 𝜎2 0 0 0 0 0 0 0 0 0

1 1 1 1 0 0 = 0 0 0 0 0 (0 0 0 0 𝜎2 0 0 0 0 0 0 0 0

0 0 0 0 1 1 1 1 0 0 0 0

0 0 0 0 𝜎2 0 0 0 0 0 0 0

0 0 0 0 0 14 0 = (04 0 04 0 1 1 1 1) 0 0 0 0 0 𝜎2 0 0 0 0 0 0

0 0 0 0 0 0 𝜎2 0 0 0 0 0

0 0 0 0 0 0 0 𝜎2 0 0 0 0

04 04 14 04 ) 04 14

0 0 0 0 0 0 0 0 𝜎2 0 0 0

0 0 0 0 0 0 0 0 0 𝜎2 0 0

0 0 0 0 0 0 0 0 0 0 𝜎2 0

= 𝜎 2 𝐷𝑖𝑎𝑔3 [𝑰4 , 𝑰4 , 𝑰4 ] 1 1 1 1 0 0 𝒁𝑮 = 𝜎𝑇2 0 0 0 0 0 (0

114

0 0 0 0 1 1 1 1 0 0 0 0

0 1 0 1 0 1 0 1 0 0 1 0 0 0 0 (0 1 0) = 𝜎𝑇2 0 0 0 0 1 0 0 1 0 1 0 1 0 ) ( 1 0

0 0 0 0 1 1 1 1 0 0 0 0

0 0 0 0 0 0 0 0 1 1 1 1)

0 0 0 0 0 0 = 𝜎 2𝑰 12 0 0 0 0 0 𝜎2)

The Mathematics of REML 1 1 1 1 0 0 𝒁𝑮𝒁𝑇 = 𝜎𝑇2 0 0 0 0 0 (0

0 0 0 0 0 1 0 (0 0 0 0 1 1 1 1) 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 𝒁𝑮𝒁𝑇 = 𝜎𝑇2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 (0 0 0

=

0 0 0 0 1 1 1 1 0 0 0 0

𝑱4 2 𝑶 𝜎𝑇 ( 4 𝑶4

𝑶4 𝑱4 𝑶4

1 1 1 0 0 0 0 0 0

1 1 1 1 0 0 0 0 0 0 0 0

0 0 0 0 1 1 1 1 0 0 0 0

0 0 0 0 1 1 1 1 0 0 0 0

0 0 0 1 1 1 0 0 0

0 0 0 0 1 1 1 1 0 0 0 0

0 0 0 0 1 1 1 1 0 0 0 0

0 0 0 0 0 0 0 0 1 1 1 1

0 0 0 1 0 0 0 1 1

0 0 0 0 0 0 0 0 1 1 1 1

0 0 0 0 0 0 0 0 1 1 1 1

0 0 0 0) 1 1

0 0 0 0 0 0 0 0 1 1 1 1)

𝑶4 𝑶4 ) = 𝜎𝑇2 𝐷𝑖𝑎𝑔3 [𝑱4 , 𝑱4 , 𝑱4 ] 𝑱4

𝑯 = 𝑹 + 𝒁𝑮𝒁𝑇 = 𝜎 2 𝐷𝑖𝑎𝑔3 [𝑰4 , 𝑰4 , 𝑰4 ] + 𝜎𝑇2 𝐷𝑖𝑎𝑔3 [𝑱4 , 𝑱4 , 𝑱4 ] = 𝐷𝑖𝑎𝑔3 [𝜎 2 𝑰4 +𝜎𝑇2 𝑱4 , 𝜎 2 𝑰4 + 𝜎𝑇2 𝑱4 , 𝜎 2 𝑰4 +𝜎𝑇2 𝑱4 ] Struktur ini relatif sederhana, maka kita akan memeriksa residual logLikelihood, yang merupakan fungsi dari hanya 𝜎 2 dan 𝜎𝑇2 , daripada dua persamaan skor. Dalam kasus ini, kita nyatakan 𝜎𝐻2 = 1: 1 ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡. − (log|𝑯| + log|𝑿𝑇 𝑯−1 𝑿| + 𝒚𝑇 𝑷𝒚) 2 di mana 𝑷 = 𝑯−1 − 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1. Catat bahwa struktur 𝑯 identik dengan teladan sebelumnya (pada halaman 103) dengan pertukaran lambang r dan t, dan juga 𝜎𝐵2 dan 𝜎𝑇2 ditukar. Dengan demikian, kita memiliki:

115


𝑯

−1

1 𝜎𝑇2 1 𝜎𝑇2 = 𝐷𝑖𝑎𝑔𝑡 [ 2 (𝑰𝑟 − 2 𝑱 ) , ⋯ , 2 (𝑰𝑟 − 2 𝑱 )] (𝜎 + 𝑟𝜎𝑇2 ) 𝑟 (𝜎 + 𝑟𝜎𝑇2 ) 𝑟 𝜎 𝜎

Kemudian, ada hasil di matematika yang menghitung |𝑎𝑰 + 𝑏𝑱| di mana kedua matriks berdimensi n×n: |𝑎𝑰𝑛 + 𝑏𝑱n | = 𝑎𝑛−1 (𝑎 + 𝑛𝑏) Maka, menarik log dan menggunakan properti bahwa log dari hasil kali adalah penjumlahan log, yang dalam hal ini adalah sama: log|𝑯| = 𝑡 × log[𝜎 2(𝑟−1) (𝜎 2 + 𝑟𝜎𝑇2 )] = 𝑡(𝑟 − 1)log(𝜎 2 ) + 𝑡log(𝜎 2 + 𝑟𝜎𝑇2 ) Kemudian kita melihat struktur 𝑷 dan menghitung 𝒚𝑇 𝑷𝒚. Pertama, karena 𝑿 = 1𝑛 , 𝑿𝑇 𝑯−1 𝑿 berupa skalar, 1𝑇 𝑯−1 1 merupakan jumlah elemen matriks 𝑯−1 sedemikian, sehingga: 𝑿𝑇 𝑯−1 𝑿 = 1𝑇 𝑯−11 =

𝑡 𝑟 2 𝜎𝑇2 𝑟𝑡 𝑟𝜎𝑇2 𝑟𝑡 (𝑟 − ) = (1 − )= 2 2 2 2 2 2 2 𝜎 𝜎 𝜎 + 𝑟𝜎𝑇 𝜎 + 𝑟𝜎𝑇 𝜎 + 𝑟𝜎𝑇2

Kemudian, vektor 𝑯−1 𝒚 mengandung elemen ke-(i,j)th bernilai: (𝑯−1 𝒚) =

1 𝑟𝜎𝑇2 1 𝜎 2 + 𝑟𝜎𝑇2 − 𝜎 2 (𝑌 − 𝑦 ̅ ) = (𝑌 − 𝑦̅ ) (𝜎 2 + 𝑟𝜎𝑇2 ) 𝑖. 𝜎 2 𝑖𝑗 (𝜎 2 + 𝑟𝜎𝑇2 ) 𝑖. 𝜎 2 𝑖𝑗

=(

1 1 1 𝑌𝑖𝑗 − ( 2 − 2 ) 𝑦̅ ) 2 (𝜎 + 𝑟𝜎𝑇2 ) 𝑖. 𝜎 𝜎

Dari komponen pertama 𝒚𝑇 𝑯−1 𝒚, hasil terakhir menunjukkan bahwa: 1

1

1

𝒚𝑇 𝑯−1 𝒚 = ∑𝑖 ∑𝑗 𝑌𝑖𝑗 (𝜎2 𝑌𝑖𝑗 − (𝜎2 − (𝜎2 +𝑟𝜎2 )) 𝑦̅𝑖. ) 𝑇

1 1 = ∑ ∑ 𝑌𝑖𝑗 ( 2 (𝑌𝑖𝑗 − 𝑦̅𝑖. ) + ( 2 ) 𝑦̅ ) (𝜎 + 𝑟𝜎𝑇2 ) 𝑖. 𝜎 𝑖

𝑗

= ∑∑ 𝑖

𝑗

1 𝑟 2 (𝑌 − 𝑦 ̅ ) + ∑ 𝑦̅𝑖.2 𝑖𝑗 𝑖. 2 2 2 (𝜎 + 𝑟𝜎𝑇 ) 𝜎 𝑖

Melihat komponen berikut, suku (unsur) 𝑿𝑇 𝑯−1 𝒚 = 1𝑇 𝑯−1 𝒚, adalah skalar yang sama dengan jumlah rt elemen dalam 𝑯−1 𝒚:

116

The Mathematics of REML 1 1 1 𝑟𝑡𝑦̅ 𝑟𝑡𝑦̅ 𝑟𝑡𝑦̅ 𝑿𝑇 𝑯−1 𝒚 = ∑ ∑ ( 2 𝑌𝑖𝑗 − ( 2 − 2 ) 𝑦̅𝑖. ) = 2 − ( 2 − 2 ) 2 (𝜎 + 𝑟𝜎𝑇 ) (𝜎 + 𝑟𝜎𝑇2 ) 𝜎 𝜎 𝜎 𝜎 𝑖

𝑗

sehingga 𝑿𝑇 𝑯−1 𝒚 =

(𝜎 2

𝑟𝑡𝑦̅ + 𝑟𝜎𝑇2 ) 𝑟𝑡𝑦̅

𝑟𝑡

Hasil pertama 𝑿𝑇 𝑯−1 𝑿 = 𝜎2 +𝑟𝜎2

dan terakhir 𝑿𝑇 𝑯−1 𝒚 = (𝜎2 +𝑟𝜎2 ) digunakan untuk

𝑇

𝑇

menghitung komponen dari 𝒚𝑇 𝑷𝒚: 2 𝑟𝑡𝑦̅ ) 𝑟𝑡𝑦̅ 2 (𝜎 2 + 𝑟𝜎𝑇2 ) 𝒚𝑇 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝒚 = = 𝑟𝑡 𝜎 2 + 𝑟𝜎𝑇2 2 2 𝜎 + 𝑟𝜎𝑇

(

𝑷 = 𝑯−1 − 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1.

Maka, kita mempunyai bentuk eksplisit residual logLikelihood sebagai 1 ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡. − [log|𝑯| + log|𝑿𝑇 𝑯−1 𝑿| + 𝒚𝑇 𝑷𝒚] 2 log|𝑯| = 𝑡(𝑟 − 1)log(𝜎 2 ) + 𝑡log(𝜎 2 + 𝑟𝜎𝑇2 ) log|𝑿𝑇 𝑯−1 𝑿| = log ( 𝒚𝑇 𝑯−1 𝒚 = ∑ ∑ 𝑖

𝑗

𝑟𝑡 ) 𝜎 2 + 𝑟𝜎𝑇2

1 𝑟 2 (𝑌𝑖𝑗 − 𝑦̅𝑖. ) + 2 ∑ 𝑦̅𝑖.2 2 (𝜎 + 𝑟𝜎𝑇2 ) 𝜎 𝑖

𝒚𝑇 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝒚 =

𝑟𝑡𝑦̅ 2 𝜎 2 + 𝑟𝜎𝑇2

𝒚𝑇 𝑷𝒚 = 𝒚𝑇 𝑯−1 𝒚 − 𝒚𝑇 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 𝒚 1 𝑟 𝑟𝑡𝑦̅ 2 2 2 𝒚 𝑷𝒚 = ∑ ∑ 2 (𝑌𝑖𝑗 − 𝑦̅𝑖. ) + 2 ∑ 𝑦̅𝑖. − 2 (𝜎 + 𝑟𝜎𝑇2 ) 𝜎 𝜎 + 𝑟𝜎𝑇2 𝑇

𝑖

𝑗

𝑖

1 𝑟𝑡 = 𝑐𝑜𝑛𝑠𝑡. − [𝑡(𝑟 − 1)log(𝜎 2 ) + 𝑡log(𝜎 2 + 𝑟𝜎𝑇2 ) + log ( 2 )+ 2 𝜎 + 𝑟𝜎𝑇2 ∑∑ 𝑖

117

𝑗

1 𝑟 𝑟𝑡𝑦̅ 2 2 2 (𝑌 − 𝑦 ̅ ) + ∑ 𝑦 ̅ − ] 𝑖. 𝑖. (𝜎 2 + 𝑟𝜎𝑇2 ) 𝜎 2 𝑖𝑗 𝜎 2 + 𝑟𝜎𝑇2 𝑖

The Mathematics of REML 1 = 𝑐𝑜𝑛𝑠𝑡 ∗ − [𝑡(𝑟 − 1)log(𝜎 2 ) + (𝑡 − 1)log(𝜎 2 + 𝑟𝜎𝑇2 ) 2 +

1 𝑟 2 ∑ ∑(𝑌 − 𝑦 ̅ ) + ∑(𝑦̅𝑖. − 𝑦̅)2 ] 𝑖𝑗 𝑖. (𝜎 2 + 𝑟𝜎𝑇2 ) 𝜎2 𝑖

𝑗

𝑖

𝜕 (𝑡(𝑟 − 1)log(𝜎 2 )) = 0 𝜕𝜎𝑇2 𝜕 𝑟(𝑡 − 1) 2) 2 (𝑡 − 1)log(𝜎 + 𝑟𝜎 = 𝑇 𝜕𝜎𝑇2 𝜎 2 + 𝑟𝜎𝑇2 𝜕 1 2 ̅𝑖. ) ) = 0 2 (𝜎 2 ∑ ∑(𝑌𝑖𝑗 − 𝑦 𝜕𝜎𝑇 𝑖

𝑗

𝜕 𝑟 𝑟2 2 ( ∑(𝑦 ̅ − 𝑦 ̅) ) = − ∑(𝑦̅𝑖. − 𝑦̅)2 𝑖. (𝜎 2 + 𝑟𝜎𝑇2 )2 𝜕𝜎𝑇2 (𝜎 2 + 𝑟𝜎𝑇2 ) 𝑖

𝑖

1 𝑟(𝑡 − 1) 𝑟2 − ( 2 − ∑(𝑦̅𝑖. − 𝑦̅)2 ) = 0 2 𝜎̂ + 𝑟𝜎̂𝑇2 (𝜎̂ 2 + 𝑟𝜎̂𝑇2 )2 𝑖

𝑟(𝑡 − 1) 𝑟2 = ∑(𝑦̅𝑖. − 𝑦̅)2 𝜎̂ 2 + 𝑟𝜎̂𝑇2 (𝜎̂ 2 + 𝑟𝜎̂𝑇2 )2 𝑖

𝑟2 𝑟(𝑡 − 1) = 2 ∑(𝑦̅𝑖. − 𝑦̅)2 𝜎̂ + 𝑟𝜎̂𝑇2 𝑖

𝜎̂ 2 + 𝑟𝜎̂𝑇2 =

𝑟2 ∑(𝑦̅𝑖. − 𝑦̅)2 𝑟(𝑡 − 1) 𝑖

𝜎̂ 2 + 𝑟𝜎̂𝑇2 =

𝑟 ∑(𝑦̅𝑖. − 𝑦̅)2 (𝑡 − 1) 𝑖

118

The Mathematics of REML Menurunkan terhadap 𝜎𝑇2

𝜕ℓ𝑅 1 𝑟(𝑡 − 1) 𝑟2 =− ( 2 − ∑(𝑦̅𝑖. − 𝑦̅)2 ) 2 𝜎 + 𝑟𝜎𝑇2 (𝜎 2 + 𝑟𝜎𝑇2 )2 𝜕𝜎𝑇2 𝑖

𝜕ℓ

Maka 𝜕𝜎𝑅2 = 0 ketika 𝑇

2

𝜎̂ +

𝑟𝜎̂𝑇2

𝑟2 𝑟 = ∑(𝑦̅𝑖. − 𝑦̅)2 = ∑(𝑦̅𝑖. − 𝑦̅)2 (𝑡 − 1) 𝑟(𝑡 − 1) 𝑖

𝑖

Catat bahwa ruas kanan adalah Treatment Mean Square dari CRD ANOVA dengan ulangan sama. Turunkan terhadap 𝜎 2

(𝑡 − 1) 𝜕ℓ𝑅 1 𝑡(𝑟 − 1) 1 𝑟 2 =− ( + 2 − 4 ∑ ∑(𝑌𝑖𝑗 − 𝑦̅𝑖. ) − 2 ∑(𝑦̅𝑖. − 𝑦̅)2 ) 2 2 2 (𝜎 + 𝑟𝜎𝑇2 )2 𝜕𝜎 2 𝜎 𝜎 + 𝑟𝜎𝑇 𝜎 𝑖

𝑗

𝑖

𝜕ℓ

Maka 𝜕𝜎𝑅2 = 0 ketika (𝑡 − 1) 𝑡(𝑟 − 1) 1 𝑟 2 + − ∑ ∑(𝑌 − 𝑦 ̅ ) − ∑(𝑦̅𝑖. − 𝑦̅)2 = 0 𝑖𝑗 𝑖. 2 2 2 4 2 2 2 (𝜎̂ + 𝑟𝜎̂𝑇 ) 𝜎̂ 𝜎̂ + 𝑟𝜎̂𝑇 𝜎̂ 𝑖

𝑗

𝑖

Dari persamaan skor pertama gabungan suku kedua dan empat bernilai 0: 𝑟(𝑡−1)

− ̂ 2 +𝑟𝜎 ̂2 𝜎 𝑇

𝑟2 (𝜎 ̂ 2 +𝑟𝜎 ̂𝑇2 )

2

∑𝑖 (𝑦̅𝑖. − 𝑦̅)2 = 0

(𝑡 − 1) 𝑡(𝑟 − 1) 1 𝑟 2 − ∑ ∑(𝑌 − 𝑦 ̅ ) + − 2 ∑(𝑦̅𝑖. − 𝑦̅)2 = 0 𝑖𝑗 𝑖. 2 2 4 2 𝜎̂ 𝜎̂ 𝜎̂ + 𝑟𝜎̂𝑇 (𝜎̂ + 𝑟𝜎̂𝑇2 )2 𝑖

𝑗

𝑖

𝑡(𝑟 − 1) 1 2 − 4 ∑ ∑(𝑌𝑖𝑗 − 𝑦̅𝑖. ) = 0 2 𝜎̂ 𝜎̂ 𝑖

𝑗

𝑡(𝑟 − 1)𝜎̂ 2 = ∑ ∑(𝑌𝑖𝑗 − 𝑦̅𝑖. ) 𝑖

119

𝑗

2

The Mathematics of REML Maka hasil pendugaan secara sederhana adalah:

𝜎̂ 2 =

1 2 ∑ ∑(𝑌𝑖𝑗 − 𝑦̅𝑖. ) 𝑡(𝑟 − 1) 𝑖

𝑗

Ingat bahwa ruas kanan adalah Residual Mean Square dari ANOVA CRD dengan ulangan sama. Penjelasan: turunan terhadap 𝜎 2 𝜕 𝑡(𝑟 − 1) (𝑡(𝑟 − 1)log(𝜎 2 )) = 2 𝜕𝜎 𝜎2 (𝑡 − 1) 𝜕 (𝑡 − 1)log(𝜎 2 + 𝑟𝜎𝑇2 ) = 2 2 𝜕𝜎 𝜎 + 𝑟𝜎𝑇2 𝜕 1 1 2 2 ( 2 ∑ ∑(𝑌𝑖𝑗 − 𝑦̅𝑖. ) ) = − 4 ∑ ∑(𝑌𝑖𝑗 − 𝑦̅𝑖. ) 2 𝜕𝜎 𝜎 𝜎 𝑖

𝑗

𝑖

𝑗

𝜕 𝑟 𝑟 2 ( ∑(𝑦 ̅ − 𝑦 ̅) ) = − ∑(𝑦̅𝑖. − 𝑦̅)2 𝑖. (𝜎 2 + 𝑟𝜎𝑇2 )2 𝜕𝜎 2 (𝜎 2 + 𝑟𝜎𝑇2 ) 𝑖

𝑖

Ringkasan. Untuk rancangan acak lengkap dengan perlakuan acak: 1. Penduga REML untuk ragam sisaan adalah 𝜎̂ 2 =

1 2 ∑ ∑(𝑌𝑖𝑗 − 𝑦̅𝑖. ) 𝑡(𝑟 − 1) 𝑖

𝑗

Identik dengan Residual MS dari ANOVA untuk data.

2. Dua persamaan harus diselesaikan secara simultan, maka penduga REML ragam perlakuan didapat dengan menggunakan 𝜎̂ 2 dalam : 𝜎̂ 2 + 𝑟𝜎̂𝑇2 =

𝑟 ∑(𝑦̅𝑖. − 𝑦̅)2 = 𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡 𝑀𝑆 dari ANOVA (𝑡 − 1) 𝑡

𝜎̂𝑇2 =

120

(𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡 𝑀𝑆 − 𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑀𝑆) dari ANOVA 𝑟

The Mathematics of REML Cara lain untuk menjelaskan solusi ini adalah bahwa 𝜎̂𝑇2 adalah ragam contoh dari rata-rata perlakuan, dikurangi Res MS/r.

Lihat rancangan percobaan apa saja dalam buku teks. Secara klasik, tabel nilai harapan kuadrat tengah rata-rata dihitung baik untuk perlakuan tetap (kadang disebut Model I) mau pun perlakuan acak (kadang disebut Model II). Untuk rancangan ini, anda akan melihat bahwa

E(Treatment MS)

𝜎 2 + 𝑟𝜎𝑇2

E(Residual MS)

𝜎2

Maka menyelesaikan dua persamaan ini menghasilkan penduga bagi 𝜎𝑇2 ; untuk rancangan sederhana ini, solusi identik dengan solusi REML. Uji F akan dilakukan untuk menguji H0: 𝜎𝑇2 = 0 dengan membangun (hopefully) statistik F statistik menggunakan Treatment MS dibagi dengan Residual MS. Hasil untuk rancangan lebih kompleks dan rancangan faktorial tidak seimbang, tidak dapat diperoleh secara langsung. Maka kita harus mempelajari bagaimana menguji hipotesis ini menggunakan suatu pendekatan REML. Teladan sederhana, dari 3 ulangan untuk setiap 4 perlakuan yang dipilih secara acak, menghasilkan:

rata-rata ragam

1 57 58 60 58.33 2.333

Perlakuan 2 3 4 57 56 62 61 59 66 56 58 65 58 57.67 64.33 7 2.333 4.333

Residual MS dari ANOVA untuk rancangan ini adalah rata-rata ragam individu yakni 4.000. Ini merupakan penduga REML bagi 𝜎 2 .

Ragam dari 4 rata-rata adalah 10.102. Karena setiap rata-rata dilandasi pada 3 ulangan, Treatment MS adalah ragam ini scaled up oleh factor sebesar 3, menghasilkan 30.306. Penduga REML untuk 𝜎𝑇2 adalah (10.102 – 4.000/3) = 8.769.

121

The Mathematics of REML Ini adalah analisis dalam GenStat, dengan perlakuan dinyatakan acak:

REML variance components analysis Response variate: Fixed model: Random model: Number of units:

yield Constant treat 12

Residual term has been added to model Non-sparse algorithm with Fisher scoring

Estimated variance components Random term treat

component 8.769

s.e. 8.275

Residual variance model Term Residual

Model(order) Identity

Parameter Sigma2

Estimate 4.000

s.e. 2.000

Table of predicted means for treat treat

1 58.50

2 58.21

3 57.92

4 63.71

Standard error: 1.096

Standard error of differences: 1.521

Lihat bahwa tidak ada nilai P untuk hipotesis H0: 𝜎𝑇2 = 0. Kita perlu menguji nilai parameter dalam matriks ragam dengan perubahan dalam deviance.

Catat juga bahwa untuk perlakuan acak, kita hanya dapat meminta predicted treatment means, yang akan kita diskusikan kemudian. Dalam GenStat, salah baku dan salah baku selisih rata-rata perlakuan predicted hanya diperoleh dengan menggunakan metode Fisher Scoring untuk algoritma REML, yang merupakan pilihan (dalam option). Menguji H0: 𝝈𝟐𝑻 = 𝟎

122

The Mathematics of REML Untuk melakukan uji ini, kita perlu menghitung logLikelihood sebagai solusi REML.

Pertama, ketika 𝜎̂ 2 =

1 2 ∑ ∑(𝑌𝑖𝑗 − 𝑦̅𝑖. ) 𝑡(𝑟 − 1) 𝑖

𝑗

Sehingga komponen dalam ℓ𝑅 adalah 1 2 ∑ ∑(𝑌𝑖𝑗 − 𝑦̅𝑖. ) = 𝑡(𝑟 − 1) 2 𝜎̂ 𝑖

𝑗

Dengan cara yang sama, dari persamaan kedua kita hasilkan, 𝜎̂ 2 + 𝑟𝜎̂𝑇2 =

𝑟 ∑(𝑦̅𝑖. − 𝑦̅)2 (𝑡 − 1) 𝑖

Maka: 𝑟 ̅𝑖. − 𝑦̅)2 = (𝑡 − 1) 2 ∑(𝑦 2 𝜎̂ + 𝑟𝜎̂𝑇 𝑖

1 ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡 ∗ − [𝑡(𝑟 − 1)log(𝜎 2 ) + (𝑡 − 1)log(𝜎 2 + 𝑟𝜎𝑇2 ) 2 +

1 𝑟 2 ∑ ∑(𝑌 − 𝑦 ̅ ) + ∑(𝑦̅𝑖. − 𝑦̅)2 ] 𝑖𝑗 𝑖. (𝜎 2 + 𝑟𝜎𝑇2 ) 𝜎2 𝑖

𝑗

𝑖

Dua suku terakhir dalam ℓ𝑅 diganti oleh dua konstanta di atas, sehingga 1 ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡 ∗ − (𝑡(𝑟 − 1)log(𝜎̂ 2 ) + (𝑡 − 1)log(𝜎̂ 2 + 𝑟𝜎̂𝑇2 ) + 𝑡(𝑟 − 1) + (𝑡 − 1)) 2 1 ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡 ∗ − (𝑡(𝑟 − 1)log(𝜎̂ 2 ) + (𝑡 − 1)log(𝜎̂ 2 + 𝑟𝜎̂𝑇2 ) + (𝑡𝑟 − 1)) 2 Jika H0 benar, model hanya melibatkan rata-rata umum 𝜇 dan satu parameter ragam 𝜎 2 , Karena tidak ada perlakuan, maka penduga REML merupakan ragam contoh dari semua data, mengabaikan struktur perlakuan: 𝜎̂12 =

1 2 ∑ ∑(𝑌𝑖𝑗 − 𝑦̅) = 𝑇𝑜𝑡𝑎𝑙 𝑀𝑆 dari ANOVA (𝑟𝑡 − 1) 𝑖

𝑗

dan, di bawah model (reduksi) ini 123

The Mathematics of REML 1 ℓ𝑅;1 = 𝑐𝑜𝑛𝑠𝑡 ∗ − ((𝑡𝑟 − 𝑡 + 𝑡 − 1)log(𝜎̂ 2 ) + (𝑡𝑟 − 𝑡 + 𝑡 − 1)) 2 1 ℓ𝑅;1 = 𝑐𝑜𝑛𝑠𝑡 ∗ − ((𝑟𝑡 − 1)log(𝜎̂ 2 ) + (𝑟𝑡 − 1)) 2 Devians adalah -2 × logLikelihood, 𝐷𝑒𝑣𝑖𝑎𝑛𝑐𝑒 = −2ℓ𝑅;1 = 𝑐𝑜𝑛𝑠𝑡 ∗∗ + ((𝑟𝑡 − 1)log(𝜎̂12 ) + (𝑟𝑡 − 1)) 𝐷𝑒𝑣𝑖𝑎𝑛𝑐𝑒 = −2ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡 ∗∗ + (𝑡(𝑟 − 1)log(𝜎̂ 2 ) + (𝑡 − 1)log(𝜎̂ 2 + 𝑟𝜎̂𝑇2 ) + (𝑡𝑟 − 1)) sehingga perubahan dalam 2 devians (model reduksi, jika H0 benar dikurangi model penuh di bawah H1) untuk CRD dengan perlakuan acak adalah 𝑐ℎ𝑎𝑛𝑔𝑒 𝑖𝑛 𝑑𝑒𝑣𝑖𝑎𝑛𝑐𝑒 = (𝑟𝑡 − 1)log(𝜎̂12 ) − 𝑡(𝑟 − 1)log(𝜎̂ 2 ) − (𝑡 − 1)log(𝜎̂ 2 + 𝑟𝜎̂𝑇2 ) = (𝑟𝑡 − 1)log(𝑇𝑜𝑡𝑎𝑙 𝑀𝑆) − 𝑡(𝑟 − 1)log(𝑅𝑒𝑠 𝑀𝑆) − (𝑡 − 1)log(𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡 𝑀𝑆)

Dengan demikian, jika data dianalisis dengan ANOVA atau regresi (asumsi perlakuan tetap) akan menghasilkan luaran berikut:

Summary of analysis Source treat Residual Total

d.f. 3 8 11

s.s. 90.92 32.00 122.92

m.s. 30.306 4.000 11.174

v.r. 7.58

F pr. 0.010

Perubahan dalam deviance adalah 11 × ln(11.174) - 3 × ln(30.306) - 8 × ln(4.000) = 5.225 dilandasi pada 10 – 9 = 1 derajat bebas (jadi satu parameter yang diuji, yakni 𝜎𝑇2 = 0). Angka 10 dan 9 berasal dari devians residual logLikelihood: banyaknya titik data dikurangi banyaknya parameter yang diuji dalam model. Derajat bebas 10 berasal dari 12-2 parameter yang diduga yakni 𝜇 dan 𝜎 2 sedangkan 9=12-3 (𝜇, 𝜎 2 dan 𝜎𝑇2 ). Devians dalam GenStat sedikit berbeda dari yang kita hitung, tetapi perubahan dalam devians sama. Ini disebabkan dalam ekspresi, beberapa konstanta dilibatkan yang tidak terdapat dalam GenStat. Dari GenStat kita dapatkan 124


Tidak ada perlakuan acak Ada perlakuan acak Selisih (perubahan)

Devians 40.03 34.81 5.22

db 10 9 1

P

0.022

Predicted treatment means

Pertanyaan berikut adalah bagaimana menduga rata-rata perlakuan. GenStat menyediakan ratarata Best Linear Unbiased Predictor (BLUP) untuk suku acak menggunakan menu Save.

Ini merupakan target biasa dalam genetika tanaman dan hewan, maka kita akan mengasumsikan bahwa kita memilih secara acak strains dari beberapa tanaman untuk perlakuan.

Penduga BLUP hanya berlaku bagi pengaruh acak. Secara teknis, pengaruh Strain memiliki ratarata nol, dan ragam 𝜎𝑇2 menggunakan notasi yang telah kita gunakan. Namun, sesungguhnya kita ingin meramal rata-rata genotip untuk setiap Strain. Kita menulis model sebagai Yield = 𝜇 + strain effect + Error Pada satu ekstrim, kita dapat menggunakan rata-rata contoh ke ith sebagai penduga (𝜇 + strain effect) untuk strain ke ith. Ini sesuai ketika Strain bersifat tetap, dan dikenal sebagai Best Linear Unbiased Estimator (BLUE). Penduga ini takbias tetapi memiliki ragam yang relatif besar.

Di ekstrim lain, tanpa ragam genetis, rata-rata umum cukup sebagai penduga bagi setiap strain. Untuk data kita, ragam genetis adalah 𝜎𝑇2 yang berbeda nyata dari 0 (P = 0.022 untuk data). Rata-rata BLUP is a compromise, or trade-off, antara kedua penduga ini dihitung dengan penyusutan setiap rata-rata contoh strain sedemikian terhadap rata-rata umum. Derajat penyusutan tergantung pada penduga ragam genetis dan lingkungan. Rasio penyusutan, ℎ2 , diberikan oleh: 𝑔𝑒𝑛𝑒𝑡𝑖𝑐 𝑣𝑎𝑟𝑖𝑎𝑛𝑐𝑒 𝜎𝑇2 ℎ = = 𝑝ℎ𝑒𝑛𝑜𝑡𝑦𝑝𝑖𝑐 𝑣𝑎𝑟𝑖𝑎𝑛𝑐𝑒 𝜎 2 + 𝜎 2⁄𝑟 2

𝑇

125

The Mathematics of REML di mana r adalah banyaknya ulangan pada setiap strain dan 𝜎 2 ragam sisaan. Untuk data kita, ℎ2 = 8.769/(8.769+4.000/3) = 0.868. Nisbah ini merupakan deviasi (selisih antara rata-rata contoh strain dengan rata-rata umum). Ini mengurangi berbagai, menyebabkan pengaruh BLUP dan juga rata-rata BLUP. Besaran-besaran ini kadang-kadang “menyusut” terhadap rata-rata umum.

Pengaruh BLUP dan rata-rata BLUP didapat melalui menu Save dalam GenStat. Pilih untuk menayangkan suku acak yang mungkin. Klik dua kali pada the random term yang BLUPS nya akan anda simpan (dalam hal ini Strain). Reduksi (adjustment) dalam tabel adalah ℎ2 (deviasi terhadap rata-rata umum): pengurangan ini ditambahkan pada rata-rata umum untuk menghasilkan rata-rata BLUP. Jadi, ambil rata-rata dan rata-rata umum dari analisis, hitung (rata-rata – rata-rata umum) yang kemudian dikalikan dengan ℎ2 = 0.868; hasil ini ditambahkan pada rata-rata umum untuk mendapatkan best linear unbiased predictors untuk rata-rata strain:

Strain 1 2 3 4 grand mean

126

mean 58.333 58.000 57.667 64.333 59.583

mean-grand mean -1.250 -1.583 -1.917 4.750 0.000

adjustment -1.085 -1.374 -1.664 4.123 0.000

BLUP 58.498 58.209 57.920 63.706 59.583


Teladan 4 Contoh Acak Sederhana dengan sisaan berkorelasi AR(1) Pengukuran pada individu sama yang dilakukan menurut waktu akan menyebabkan korelasi serial. Disiplin Deret Waktu dikembangkan untuk menduga korelasi serial. Pada dasarnya,

suatu model autoregresif (tanpa tren musiman) berordo (lag) p adalah model di mana pengamatan pada saat t bergantung langsung pada p pengamatan sebelumnya melalui model 𝑝

𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. + ∑ ∅𝑖 𝑌𝑡−𝑖 + 𝜖𝑡 𝑖=1

Suku sisaan menyebar normal dan bebas, dengan rata-rata 0 dan ragam 𝜎 2 . Maka model AR(1) (atau AR1) hanya memiliki satu lag, 𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. +∅1 𝑌𝑡−1 + 𝜖𝑡 . Untuk kesederhanaan, tulis ∅1 sebagai 𝜌 (untuk menghindari subskrip). Maka 𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. +𝜌𝑌𝑡−1 + 𝜖𝑡 dan 𝑣𝑎𝑟(𝑌𝑡 ) = 𝑣𝑎𝑟(𝑌𝑡−1 ) = 𝜎 2 yang mengimplikasikan bahwa var(𝜖𝑡 ) = 𝜎 2 (1 − 𝜌2 ), 𝑉𝑎𝑟(𝑌𝑡 ) = 𝑉𝑎𝑟(𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. +𝜌𝑌𝑡−1 + 𝜖𝑡 ) = 𝑉𝑎𝑟(𝑐𝑜𝑛𝑠𝑡. ) + 𝑉𝑎𝑟(𝜌𝑌𝑡−1 ) + 𝑉𝑎𝑟(𝜖𝑡 ) 𝑉𝑎𝑟(𝑌𝑡 ) = 0 + 𝜌2 𝑉𝑎𝑟(𝑌𝑡−1 ) + 𝑉𝑎𝑟(𝜖𝑡 ) 𝜎 2 = 𝜌2 𝜎 2 + 𝑉𝑎𝑟(𝜖𝑡 )

𝑚𝑎𝑘𝑎

𝑉𝑎𝑟(𝜖𝑡 ) = 𝜎 2 − 𝜌2 𝜎 2 = 𝜎 2 (1 − 𝜌2 )

𝑐𝑜𝑣𝑎𝑟(𝑌𝑡 , 𝑌𝑡−1 ) = 𝑐𝑜𝑣𝑎𝑟(𝜌𝑌𝑡−1 + 𝜖𝑡 , 𝑌𝑡−1 ) 𝑐𝑜𝑣𝑎𝑟(𝑌𝑡 , 𝑌𝑡−1 ) = 𝑐𝑜𝑣𝑎𝑟(𝜌𝑌𝑡−1 , 𝑌𝑡−1 ) + 𝑐𝑜𝑣𝑎𝑟(𝜖𝑡 , 𝑌𝑡−1 ) 𝜌 𝑐𝑜𝑣𝑎𝑟(𝑌𝑡−1 , 𝑌𝑡−1 ) + 0 = 𝜌 𝑣𝑎𝑟(𝑌𝑡−1 ) = 𝜌𝜎 2 𝑐𝑜𝑣𝑎𝑟(𝑌𝑡 , 𝑌𝑡−2 ) = 𝑐𝑜𝑣𝑎𝑟(𝜌𝑌𝑡−1 + 𝜖𝑡 , 𝑌𝑡−2 ) = 𝑐𝑜𝑣𝑎𝑟(𝜌(𝜌𝑌𝑡−2 , +𝜖𝑡−1 ) + 𝜖𝑡 , 𝑌𝑡−2 ) = 𝑐𝑜𝑣𝑎𝑟 (𝜌(𝜌𝑌𝑡−2 , 𝑌𝑡−2 )) = 𝜌2 𝑐𝑜𝑣𝑎𝑟(𝑌𝑡−2 , 𝑌𝑡−2 ) = 𝜌2 𝑣𝑎𝑟(𝑌𝑡−2 ) = 𝜌2 𝜎 2

dan seterusnya, untuk lag k kita memiliki 𝑐𝑜𝑣𝑎𝑟(𝑌𝑡 , 𝑌𝑡−𝑘 ) = 𝜌𝑘 𝜎 2

127

The Mathematics of REML Dengan demikian model untuk {𝑌1 , ⋯ , 𝑌𝑛 } dapat ditulis ulang dalam bentuk matriks sebagai 𝒚 = 𝝁1𝑛 + 𝒆∗ , di mana 1 𝜌 ∗) 2 𝑣𝑎𝑟(𝒆 = 𝜎 𝜌2 ⋮ [𝜌𝑛−1

𝜌 1 𝜌 ⋮

𝜌𝑛−2

𝜌2 𝜌 1 ⋮ 𝜌𝑛−3

… ⋯ ⋯ ⋱ ⋯

𝜌𝑛−1 𝜌𝑛−2 𝜌𝑛−3 ⋮ 1 ]

Pada dasarnya, metode deret waktu memberikan penduga kemungkinan maksimum bagi 𝜇, 𝜌 dan 𝜎 2 . Penduga REML tersedia dalam GenStat. Model berikut lebih kompleks, struktur AR2, juga tersedia. Bentuk 𝑣𝑎𝑟(𝒆∗ ) untuk struktur AR(2) adalah sebagai berikut. Pandang 𝑐𝑜𝑟𝑟(𝑌𝑡 , 𝑌𝑡−𝑠 ) = 𝜌(𝑠). Maka pada (eg http://econ.ucsd.edu/muendler/teach/00s/ps1prt1.pdf, halaman 3): 𝜌(0) = 1 𝜌(1) =

∅1 1 − ∅2

dan korelasi lag-s merupakan persamaan selisih ordo-kedua 𝜌(𝑠) = ∅1 𝜌(𝑠 − 1) + ∅2 𝜌(𝑠 − 2) Khususnya, 𝜌(2) = ∅1 𝜌(2 − 1) + ∅2 𝜌(2 − 2) = ∅1 𝜌(1) + ∅2 𝜌(0) = ∅1 = ∅1

∅1 + ∅2 (1) 1 − ∅2

∅1 ∅2 (1 − ∅2 ) + 1 − ∅2 1 − ∅2

∅12 + ∅2 (1 − ∅2 ) 𝜌(2) = , 1 − ∅2

𝜌(3) = ∅1 𝜌(3 − 1) + ∅2 𝜌(3 − 2) = ∅1 𝜌(2) + ∅2 𝜌(1) = ∅1

∅12 + ∅2 (1 − ∅2 ) ∅1 + ∅2 1 − ∅2 1 − ∅2

∅13 + ∅1 ∅2 − ∅1 ∅22 + ∅1 ∅2 ∅13 + 2∅1 ∅2 − ∅1 ∅22 ∅13 + ∅1 ∅2 (2 − ∅2 ) = = = 1 − ∅2 1 − ∅2 1 − ∅2

128

The Mathematics of REML ∅13 + ∅1 ∅2 (2 − ∅2 ) 𝜌(3) = ,⋯ 1 − ∅2 Dalam membandingkan dengan matriks korelasi untuk fungsi AR(1) sulit untuk mengakses apakah proses AR(2) berlaku hanya dengan melihat matriks korelasi pengamatan (contoh).

Pandang data deret waktu suhu yang dicatat pada satu individu pada 20 titik waktu berjarak sama: waktu 1 2 3 4 5 6 7 8 9 10

suhu 37.70 38.08 38.70 38.30 36.47 35.20 34.37 34.88 33.54 33.75

waktu 11 12 13 14 15 16 17 18 19 20

suhu 35.18 37.03 35.92 35.19 34.33 33.96 33.56 34.77 34.95 35.64

Plot deret waktu memperlihatkan kecenderungan halus dalam suhu dibandingkan yang terjadi karena kebetulan: 39

temperature

38 37 36 35 34 33 0

5

10

15

Time point

Turunan matriks untuk proses AR(1)

129

20

25

The Mathematics of REML Model umum 𝒚 = 𝑿𝝉 + 𝒁𝒖 + 𝒆 sederhana untuk teladan ini. Hanya ada satu parameter tetap 𝜇 sehingga matriks 𝑿 = 1𝑛 . Tidak terdapat pengaruh acak, dan matriks sisaan berbentuk 1 𝜌 ∗) 2 𝑣𝑎𝑟(𝒆 = 𝜎 𝜌2 ⋮ [𝜌𝑛−1

𝜌 1 𝜌 ⋮

𝜌𝑛−2

𝜌2 𝜌 1 ⋮ 𝜌𝑛−3

… ⋯ ⋯ ⋱ ⋯

𝜌𝑛−1 𝜌𝑛−2 2 𝜌𝑛−3 = 𝜎 𝑯 ⋮ 1 ]

Kebalikan matriks 𝑯 berbentuk sederhana dalam hal parameter 𝜌. Telah diperlihatkan bahwa 𝑯−1 ada dan terdiri atas hanya 3 elemen berbeda. Setiap elemen dalam matriks adalah 0 kecuali untuk elemen diagonal dan elemen yang berdekatan dengan diagonal utama: 𝑯11 = 𝑯𝑛𝑛 =

1 −𝜌 1 + 𝜌2 𝑖,𝑖±1 𝑖𝑖 , 𝑯 = , 𝑯 = , 𝑖 = 2, ⋯ , 𝑛 − 1 1 − 𝜌2 1 − 𝜌2 1 − 𝜌2

jadi khususnya:

𝑯−1

1 −𝜌 1 0 = 1 − 𝜌2 ⋮ 0 [0

−𝜌 1 + 𝜌2 −𝜌 ⋮ 0 0

0 −𝜌 1 + 𝜌2 ⋮ 0 0

… 0 ⋯ 0 ⋯ 0 ⋱ ⋮ ⋯ 1 + 𝜌2 ⋯ −𝜌

0 0 0 ⋮ −𝜌 1]

Ilustrasi untuk n=3 1 𝑯=[𝜌 𝜌2

𝜌 1 𝜌

𝜌2 𝜌] 1

|𝑯| = 1 + 𝜌4 + 𝜌4 − 𝜌4 − 𝜌2 − 𝜌2 = 1 + 𝜌4 − 2𝜌2 = (1 − 𝜌2 )2

𝑯

−1

1 − 𝜌2 1 = [−𝜌(1 − 𝜌2 ) (1 − 𝜌2 )2 0

−𝜌(1 − 𝜌2 ) 1 − 𝜌4 −𝜌(1 − 𝜌2 )

0 −𝜌(1 − 𝜌2 )] 1

1 − 𝜌4 = (1 + 𝜌2 )(1 − 𝜌2 )

𝑯

130

−1

1 1 = [−𝜌 (1 − 𝜌2 ) 0

−𝜌 1 + 𝜌2 −𝜌

0 −𝜌] 1


Dari struktur ini kita dapatkan 𝑙𝑛|𝑯−1 | = (𝑛 − 1)𝑙𝑛(1 − 𝜌2 ). Karena 𝑿 = 1𝑛 maka 𝑿𝑇 𝑯−1 𝑿 secara sederhana adalah jumlah semua elemen dalam 𝑯−1 dan sesudah perhitungan

𝑿𝑇 𝑯−1 𝑿 =

𝑛 − (𝑛 − 2)𝜌 . 1+𝜌

Hasil ini diperoleh dari penjumlahan semua elemen dalam matriks 𝑯−1. Pada diagonal utama terdapat n elemen, n bernilai 1, n-2 buah 𝜌2 dan n-1 buah −𝜌 di atas diagonal utama dan juga di bawah diagonal utama sehingga menjadi 2(n-1) buah – 𝜌. Dengan demikian persamaan yang harus diselesaikan adalah: 𝑿𝑇 𝑯−1 𝑿 =

𝑛 + (𝑛 − 2)𝜌2 − 2(𝑛 − 1)𝜌 𝑛(+(𝑛 − 2)𝜌)(1 − 𝜌) = (1 − 𝜌2 ) (1 − 𝜌)(1 + 𝜌)

Matriks 𝑷 = 𝑯−1 − 𝑯−1 𝑿(𝑿𝑇 𝑯−1 𝑿)−1 𝑿𝑇 𝑯−1 sedikit lebih kompleks, memiliki hanya 7 elemen berbeda dan mengambil bentuk: 𝑎 𝑏 𝑐 1 𝑐 𝑷= 2 (1 − 𝜌 )(𝑛 − (𝑛 − 2)𝜌) ⋮ 𝑐 𝑐 [𝑑

𝑏 𝑒 𝑓 𝑔 ⋮ 𝑔 𝑔 𝑐

𝑐 𝑓 𝑒 𝑓 ⋮ 𝑔 𝑔 𝑐

𝑐 𝑔 𝑓 𝑒 ⋮ 𝑔 𝑔 𝑐

di mana 𝑎 = (𝑛 − 1) − (𝑛 − 3)𝜌, 𝑏 = −1 − (𝑛 − 2)𝜌 + (𝑛 − 3)𝜌2 𝑐 = −(1 − 𝜌)2 𝑑 = −(1 − 𝜌) 𝑒 = (𝑛 − 1) − (𝑛 − 5)𝜌 + (𝑛 − 3)(1 − 𝜌)𝜌2 𝑓 = 1 − (𝑛 − 3)𝜌 + (𝑛 − 5)𝜌2 + 𝜌3 𝑔 = −(1 − 𝜌)3 Ini mengarah pada struktur lebih sederhana

131

⋯ ⋯ ⋯ ⋯ ⋱ ⋯ ⋯ ⋯

𝑐 𝑔 𝑔 𝑔 ⋮ 𝑔 𝑓 𝑐

𝑐 𝑔 𝑔 𝑔 ⋮ 𝑓 𝑒 𝑏

𝑑 𝑐 𝑐 𝑐 ⋮ 𝑐 𝑏 𝑎]

The Mathematics of REML 1 ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡. − ((𝑛 − 𝑝)log(𝜎𝐻2 ) + log|𝑯| + log|𝑿𝑇 𝑯−1 𝑿| + 𝒚𝑇 𝑷𝒚⁄𝜎𝐻2 ) 2 Yang tidak tergantung pada ekspresi matriks dalam perangkat komputer.

Penduga ML bagi parameter Dalam GenStat kita memilih Stats > Time Series > ARIMA Model Fitting. Pilih data, dan lakukan proses AR1 ganti Number of Autoregressive Parameters menjadi 1.

Time-series analysis Residual deviance Innovation variance

= 18.48 = 0.9753

Number of units present Residual degrees of freedom

= 20 = 18

Summary of models Model

Orders: Type

Delay B

AR P

Diff D

MA Q

Seas S

_erp

ARIMA

-

1

0

0

1

Parameter estimates Model

Seas. Period

Diff. Order

Delay

Parameter

Lag

Ref

Estimate

s.e.

t

Noise

1

0

-

Constant Phi (AR)

1

1 2

35.892 0.802

0.952 0.139

37.69 5.78

Penduga kemungkinan maksimum bagi rata-rata adalah 35.892, dan untuk autokorrelasi (korelasi lag-1) adalah 0.802. Dalam bahasa deret waktu, ragam inovasi, 0.9753, adalah ragam sisaan bebas (t) dalam model Yt = 𝜌 Yt-1 + t. Ragam data berhubungan dengan ini melalui persamaan var(Y) = 𝜌2 var(Y) + var(t), atau var(Y) = var(t)/(1- 𝜌2 ). Jadi dari luaran kita menghitung penduga bagi ragam ini sebesar 0.9753/(1-0.8022) = 2.69.

Penduga REML untuk parameter Untuk menghasilkan luaran bagi struktur sisaan AR1 untuk data, kita memerlukan suatu faktor yang mengindeks dari 1 hingga (dalam hal ini) 20; kita namakan faktor ini Time dan data Temp.

132

The Mathematics of REML Pilih Stats > Linear Mixed Models, masukkan data dan Time sebagai Random Model: kemudian pilih struktur AR order 1 dari daftar model dalam drop-down.


Temp Constant Time 20

Time used as residual term with covariance structure as below Sparse algorithm with AI optimisation

Covariance structures defined for random model Covariance structures defined within terms: Term Time

Factor Time

Model Auto-regressive (+ scalar)

Order 1

No. rows 20

Residual variance model Term Time

Factor

Model(order)

Time

AR(1)

Parameter Sigma2 phi_1

Estimate 4.600 0.8938

s.e. 8.260 0.1929

Deviance: -2*Log-Likelihood Deviance 18.26

d.f. 17

Note: deviance omits constants which depend on fixed model fitted.

Table of predicted means for Constant 36.08

Standard error: 1.492

Penduga REML untuk autokorelasi adalah 0.8938, ragam REML untuk data diduga sebesar 4.6 dan penduga rata-rata 36.08. Deviance adalah -2 × Residual LogLikelihood.

Memeriksa parameter ragam dari model

Misal, kita mengasumsikan struktur AR(1) untuk temperatur. Kita dapat memeriksa ini (menggunakan perubahan devians) apakah model atau struktur AR(2) secara nyata lebih baik. 133

The Mathematics of REML Serangkaian model tersarang (dari lebih kompleks) adalah AR order 2, AR order 1 dan Id. Hitung selisih devians dan dapatkan nilai P dari sebaran 2. Sayangnya, rutin GenStat’s gagal konvergen untuk struktur AR2 untuk data ini. Untuk memeriksa apakah struktur kebebasan tidak berlaku, kita memiliki ini:

Model devians db P Independence 40.43 18 AR1 18.26 17 AR2 N/A Difference 22.17 1 <0.001 Jadi struktur AR1 untuk data secara sangat nyata merupakan asumsi yang jauh lebih baik dibandingkan asumsi kebebasan.

Teladan 5 Data pengamatan berulang, tak berstruktur/antedependence Kadang peneliti akan mengukur satuan percobaan yang sama pada beberapa waktu berbeda. Dalam masa pre-computer, split-plot analisis standar digunakan dengan waktu sebagai faktor split. Kita telah melihat bahwa model seperti itu menganggap data berkorelasi secara uniform dengan waktu. Hal ini tidaklah mungkin untuk banyak keadaan percobaan: lebih mungkin bahwa korelasi lebih kuat untuk pengamatan yang dilakukan pada waktu berdekatan dibandingkan jarak waktu jauh. Model yang biasa digunakan termasuk struktur AR1 dan AR2, tak berstruktur dan antedependence order 1 dand order 2. Seseorang harus juga mengantisipasi ragam yang berubah menurut waktu. Misal, jika pengukuran dilakukan terhadap pertumbuhan seekor binatang terhadap fase pertumbuhan eksponensial, kemungkinan besar ragam meningkat sesuai waktu. Di sisi lain, pasien yang menjalani pengobatan sakit punggung kemungkinan kecil mengalami pengurangan rasa sakit, dan jika pengobatan 100% berhasil, ragam di akhir pengobatan haruslah 0!

GenStat memiliki menu khusus untuk blok satu-arah sederhana atau rancangan tanpa blok, yang menawarkan model korelasi biasa yang telah dijelaskan sebelumnya, juga perubahan ragam. Untuk memperlihatkan beragam model, kita pertimbangkan teladan GenStat’s untuk “mempelajari pengaruh cairan preserving pada kandungan enzim hati anjing”. Peubah yang 134

The Mathematics of REML diukur adalah persentase total enzim dalam hati, pada interval satu dan dua jam (dari jam ke-0 hingga 6, kemudian pada jam 8, 10 dan 12) selama periode 12 jam mengikuti preservasi awal. Terdapat dua perlakuan yang dilabelkan A dan B masing-masing dengan dua level. Hanya 23 hati digunakan, 6 hati untuk tiga kombinasi perlakuan dan 5 hati untuk lainnya. Dengan demikian rancangan tak seimbang (unbalanced). A1, B1 Heart 1 85.51 74.56 84.25 …

Time 1 2 3 …

A1, B2 Heart 2 76.54 72.77 86.93 …

A1, B3 Heart 3 66.03 66.67 77.57 …

… … … … … …

Jarak antar waktu tidak sama, dengan demikian struktur AR1 dan AR2 tidak sesuai. Model pangkat adalah alternatif yang mungkin bagi model AR1, tetapi ini merupakan struktur yang sangat rigid dan pada umumnya model antedependence dan model tak berstruktur lebih baik. Catat bahwa sifat data (persentase total enzim dalam hati) menyarankan perubahan struktur ragam, karena ragam persentase biasanya merupakan fungsi dari persentase rata-rata. Kedua model, baik model antedependence mau pun tak berstruktur models melibatkan perubahan ragam menurut waktu, tetapi kita mungkin perlu juga membiarkan ragam berubah menurut perlakuan. Jumat, 10 April malam, sampai di sini.

(a)

Model tak berstruktur

Gunakan Stats > Repeated Measurements > Correlation Models dalam REML. Data kita sebenarnya gabungan (stacked), jadi gunakan Data in One Variate… masukkan data (ATP). Kotak subjek box meminta suatu faktor yang menjelaskan berbagai satuan percobaan; misal kita gunakan heart. Ada satu faktor yang telah disiapkan untuk Time Points (time). Dalam kotak Fixed Model: A*B*time karena rancangan perlakuan faktorial.

Terdapat 10 titik waktu dan 10×23 = 230 nilai data sehingga db untuk Total MS adalah 229. Suatu model korelasi tak terstruktur untuk 10 titik data memiliki 10×11/2 = 55 parameter individu dan dengan demikian terdapat cukup derajat bebas untuk menduga model tak terstruktur.

135

The Mathematics of REML Penduga parameter dicetak dalam output dalam bentuk kolom:

Residual variance model Term heart.time

Factor

Model(order)

heart time

Identity Unstructured

Parameter Sigma2 v_11 v_21 v_22 v_31 v_32 v_33 v_41 etc

Estimate 1.000 17.41 7.140 29.01 5.549 12.26 39.86 5.790

s.e. fixed 5.65 5.409 9.41 6.176 8.29 12.93 6.102

Lambang v_11 menjelaskan ragam pada waktu 1, v_22 ragam pada titik waktu 2, dan seterusnya; v_21 menjelaskan

peragam antar titik waktu 1 dan 2, v_31 peragam antar waktu1 dan 3, dan

seterusnya. Ada Option untuk memilih (Covariance Model) untuk disajikan dalam bentuk matriks:

Estimated covariance models Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix

Residual term: heart.time Sigma2: 1.000 R uses direct product construction Factor: heart Model: Identity ( 23 rows) Factor: time Model: Unstructured Covariance matrix:

1 2 3 4 5 6 7 8 9

136

17.4 7.1 5.5 5.8 19.4 4.3 9.2 6.0 -2.7

29.0 12.3 10.4 21.4 8.8 27.7 28.6 16.1

39.9 10.3 27.7 7.7 30.2 45.6 15.2

38.7 -1.2 8.0 9.8 30.1 -5.5

105.1 -2.0 41.6 66.3 34.9

45.3 39.4 37.2 13.7

141.4 99.5 72.2

159.7 73.0

126.2


7.4 1

8.4 2

1.4 3

0.8 4

-2.3 5

42.3 6

105.6 7

59.2 8

79.1 9

158.0 10

Jadi ragam pada 10 titik waktu berkisar antara 17.4 pada waktu 0 (waktu dilambangkan dengan 1 hingga 10, anda perlu melihat titik waktu sesungguhnya dalam spreadsheet), hingga 158.0 pada jam 12; vaguely meningkat dengan ragam rendah pada jam 6.

Lebih baik menyajikan ini dalam bentuk matriks korelasi:

Korelasi menurut waktu 1 2 3 4 5 6 7 8 9 10

1 * 0.32 0.21 0.22 0.45 0.15 0.19 0.11 -0.06 0.14

2

3

4

5

6

7

8

9

10

* 0.36 0.31 0.39 0.24 0.43 0.42 0.27 0.12

* 0.26 0.43 0.18 0.40 0.57 0.21 0.02

* -0.02 0.19 0.13 0.38 -0.08 0.01

* -0.03 0.34 0.51 0.30 -0.02

* 0.49 0.44 0.18 0.50

* 0.66 0.54 0.71

* 0.51 0.37

* 0.56

*

Anda dapat melihat bahwa model pangkat (kuasa=power) mungkin bukan pendekatan yang baik. Misal, jika 0.3 adalah autokorelasi umum (bukan, karena berkisar antara -0.03 dan +0.66) anda tentu berharap untuk melihat suatu pola 0.3, 0.09, 0.027, … padahal korelasi antar waktu 1 dan waktu 2, 3, … adalah 0.32, 0.21. 0.22, 0.45 dst.

Devians untuk model ini adalah:

Deviance: -2*Log-Likelihood Deviance 960.98

(b)

d.f. 135

Model-model antedependence

Model-model antedependence adalah cara untuk memperbolehkan ragam untuk berubah menurut waktu dan juga untuk menghasilkan korelasi tetangga terdekat (order 1) atau korelasi antar tetangga terdekat berjarak dua (order 2) dari model tak terstruktur, tetapi dengan sedikit parameter. Suatu model berstruktur antedependence order r didefinisikan berdasarkan fakta bahwa pengamatan ke ith (i > r) berdasarkan r pengamatan sebelumnya bebas terhadap semua 137

The Mathematics of REML pengamatan sesudahnya. GenStat membolehkan r = 1 atau 2. Definisi ini menyebabkan struktur matriks korelasi berdasarkan dekomposisi Cholesky dari kebalikannya.

Untuk model antededendence order-1, (1) ragam berubah menurut waktu, dan (2) struktur korelasi mengambil bentuk: 1 𝜌1 𝑪𝒐𝒓𝒓 = 𝜌1 𝜌2 𝜌1 𝜌2 𝜌3 [ ⋮

1 𝜌2 𝜌2 𝜌3 ⋮

1 𝜌3 ⋮

1 ⋯

⋱]

Secara matematis, struktur antedependence berbentuk 𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1 𝑼𝑇 , di mana 𝑫 adalah matriks diagonal dan 𝑼 sedemikian sehingga 1 𝑢12 0 1 𝑼= 0 0 0 0 [⋮ ⋮

0 𝑢23 1 0 ⋮

0 0 𝑢34 1 ⋯

0 1 0 0 untuk order 1, dan 𝑼 = 0 0 ⋱ 0 ] [ ⋱ ⋮

𝑢12 1 0 0 ⋮

𝑢13 𝑢23 1 0 ⋮

0 𝑢24 𝑢34 1 ⋯

0 0 𝑢35 order 2. ⋱ ⋱ ]

Untuk struktur order 1, korelasi antar ketetanggaan-1 titik waktu, bernilai sama sebagaimana dengan di luar diadonal utama pada matriks korelasi tak berstruktur; untuk order 2, korelasi antar tetangga-1 dan -1 titik waktu sama dengan letak dua dari diagonal utama matriks korelasi tak berstruktur. Korelasi tersisa kemudian menurun dalam proporsi terhadap himpunan korelasi pada waktu sebelumnya.

Sebelum melihat luaran teladan ini, kita harus memeriksa (dengan perubahan devians) apakah dibutuhkan model order-1 atau order-2, dan apakah korelasi uniform harus ditambahkan pada faktor heart, di mana, dari diskusi yang telah kita lakukan pada blok acak, ekivalen dengan menyatakan heart sebagai faktor random. Tujuan manual ini adalah untuk menjelaskan luaran, sehingga kita hanya akan melihat luaran antependence-2.

Model AR2 AR1 Perubahan 138

Devians db 1064.13 187 1074.74 188 10.61 1 0.0011


Jadi struktur AR1 untuk data secara sangat nyata merupakan asumsi yang jauh lebih baik dibandingkan AR2.


ATP Constant + time + A + B + time.A + time.B + A.B + time.A.B heart.time 230

heart.time used as residual term with covariance structure as below

Covariance structures defined for random model Covariance structures defined within terms: Term heart.time

Factor heart time

Model Identity Antedependence

Order 0 2

No. rows 23 10

Residual variance model Term heart.time

Factor

Model(order)

heart time

Identity Antedependence(2)

Ini merupakan penduga elemen diagonal matriks 𝑫 dalam persamaan 𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1 𝑼𝑇

Ini adalah penduga bukan-nol dari matriks khusus 𝑼 dalam persamaan 𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1 𝑼𝑇

139

Parameter Sigma2 -

Estimate 1.000 -

s.e. fixed -

dinv_1 dinv_2 dinv_3 dinv_4 dinv_5 dinv_6 dinv_7 dinv_8 dinv_9 dinv_10 u_12 u_13 u_23 u_24 u_34 u_35 u_45 u_46 u_56 u_57 u_67 u_68 u_78 u_79 u_89 u_810 u_910

0.05744 0.03835 0.02918 0.02942 0.01191 0.02292 0.01120 0.01149 0.01192 0.009353 -0.4101 -0.1616 -0.3829 -0.2875 -0.1687 -0.7544 0.2308 -0.2055 0.01616 -0.4122 -0.8861 -0.2745 -0.6275 -0.3365 -0.2474 -0.1149 -0.5601

0.01869 0.01247 0.00955 0.00959 0.00390 0.00753 0.00371 0.00385 0.00390 0.003034 0.2826 0.3451 0.2642 0.2702 0.2286 0.3584 0.3565 0.2511 0.15237 0.2159 0.3323 0.3848 0.2141 0.2455 0.2267 0.2347 0.2596


Daftar penduga digunakan untuk membangun penduga matriks peragam dalam persamaan 𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1 𝑼𝑇 . Lagi, memilih option Correlated Model dalam GenStat mencetak 10 baris pertama matriks ini.

Estimated covariance models Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix Residual term: heart.time Sigma2: 1.000 R uses direct product construction Factor: heart Model: Identity ( 23 rows) Factor: time Model: Antedependence Covariance matrix: 1 2 3 4 5 6 7 8 9 10

17.4 7.1 5.5 3.0 3.5 0.6 1.9 1.4 1.0 0.7 1

29.0 12.3 10.4 6.8 2.0 4.6 3.5 2.4 1.7 2

39.9 10.3 27.7 1.7 12.9 8.5 6.5 4.6 3

38.7 -1.2 8.0 6.6 6.3 3.8 2.8 4

105.1 -1.9 41.6 25.6 20.3 14.3 5

45.3 39.3 37.1 22.4 16.8 6

141.3 99.5 72.2 51.9 7

159.7 73.0 59.2 8

126.2 79.1 9

158.0 10

Bandingkan matriks peragam ini dengan yang yang berasal dari unstructured. Ragam-ragam identic, dan karena luaran di atas untuk order-1 model antedependence, 2 baris di bawah diagonal (cetak tebal) juga identik. 1 2 3 4 5 6 7 8 9 10

140

17.4 7.1 5.5 5.8 19.4 4.3 9.2 6.0 -2.7 7.4 1

29.0 12.3 10.4 21.4 8.8 27.7 28.6 16.1 8.4 2

39.9 10.3 27.7 7.7 30.2 45.6 15.2 1.4 3

38.7 -1.2 8.0 9.8 30.1 -5.5 0.8 4

105.1 -2.0 41.6 66.3 34.9 -2.3 5

45.3 39.4 37.2 13.7 42.3 6

141.4 99.5 72.2 105.6 7

159.7 73.0 59.2 8

126.2 79.1 9

158.0 10


Jika model order-1 dipilih, matriks peragam hanya menunjukkan kesamaan pada diagonal utama dan satu sesudah diagonal: 1 2 3 4 5 6 7 8 9 10

17.4 7.1 3.0 0.8 0.0 0.0 0.0 0.0 0.0 0.0 1

29.0 12.3 3.2 -0.1 0.0 0.0 0.0 0.0 0.0 2

39.9 10.3 -0.3 0.0 0.0 0.0 0.0 0.0 3

38.7 -1.2 0.0 0.0 0.0 0.0 0.0 4

105.1 -2.0 -1.7 -1.2 -0.5 -0.3 5

45.3 39.4 27.7 12.7 7.9 6

141.4 99.5 45.5 28.5 7

159.7 73.0 45.7 8

126.2 79.1 9

158.0 10

Terdapat t(t+1)/2 parameter yang terlibat dalam model tak berstruktur untuk deret waktu dengan t titik waktu. Dalam kasus model antedependence, untuk kehilangan ketepatan pada korelasi order-rendah, kita gunakan struktur korelasi dengan sedikit parameter: untuk order-1 terdapat re t+(t-1) = 2t-1 (untuk t=10, 19 lawan 55 sekitar satu per tiga); untuk order-2 terdapat t+(t-1)+(t2) = 3(t-1) (untuk t=10, 27 lawan 55 sekitar satu setengah).

Model Unstructured Antedependence 2 Antedependence 1

Devians 960.98 1009.29 1021.84

Selisih Selisih db devians db Nilai P 135 163 48.31 28 0.009921 171 12.55 8 0.128299

Stuktur antedependence 2 lebih sesuai untuk model sisaan dibandingkan unstructured, sedangkan antedependence 1 tak nyata, sehingga model yang lebih tepat menjelaskan ragam sisaan adalah antedependence 2.

Antedependence order-2 𝑇 −1 Dalam model antededendence ordo-2, hipotesis yang diuji adalah 𝐻0 : 𝚺 = (𝑼2 𝑫−1 2 𝑼2 )

𝑼2 dan 𝑫2 adalah matriks-matriks dalam antedependence ordo-2 Penjelasan tentang derajat bebas.

141

The Mathematics of REML 1 𝑢12 0 1 0 0 0 0 0 0 𝑼2 = 0 0 0 0 0 0 0 0 [0 0 𝑑1 0 0 0 0 𝑫2 = 0 0 0 0 [0

𝑢13 𝑢23 1 0 0 0 0 0 0 0 0 𝑑2 0 0 0 0 0 0 0 0

0 𝑢24 𝑢34 1 0 0 0 0 0 0 0 0 𝑑3 0 0 0 0 0 0 0

0 0 𝑢35 𝑢45 1 0 0 0 0 0 0 0 0 𝑑4 0 0 0 0 0 0

0 0 0 0 𝑑5 0 0 0 0 0

0 0 0 𝑢46 𝑢56 1 0 0 0 0

0 0 0 0 𝑢57 𝑢67 1 0 0 0

0 0 0 0 0 𝑢68 𝑢78 1 0 0

0 0 0 0 0 𝑑6 0 0 0 0

0 0 0 0 0 0 𝑑7 0 0 0

0 0 0 0 0 0 0 𝑑8 0 0

0 0 0 0 0 0 𝑢79 𝑢89 1 0 0 0 0 0 0 0 0 0 𝑑9 0

0 0 0 0 0 0 0 𝑢8′10 𝑢9′10 1 ] 0 0 0 0 0 0 0 0 0 𝑑10 ]

Penjelasan tentang derajat bebas. 𝑫2 = 𝑑𝑖𝑎𝑔[𝑑1 , 𝑑2 , ⋯ , 𝑑10 ] memiliki t=10 parameter 𝑼2 memiliki (t-1)+(t-2)=(10-1)+(10-2)=17 parameter Total parameter kedua matriks 10+17=27 parameter atau 3t-3=3(t-1)=3(10-1)=27

Antedependence order-1 Dalam model antedependence ordo-1, hipotesis yang diuji adalah 𝐻0 : 𝚺 = (𝑼1 𝑫1−1 𝑼1𝑇 )−1 𝑼1 dan 𝑫1 = 𝑫2 adalah: 1 𝑢12 0 1 0 0 0 0 0 0 𝑼1 = 0 0 0 0 0 0 0 0 [0 0

0 𝑢23 1 0 0 0 0 0 0 0

0 0 𝑢34 1 0 0 0 0 0 0

0 0 0 𝑢45 1 0 0 0 0 0

0 0 0 0 𝑢56 1 0 0 0 0

0 0 0 0 0 𝑢67 1 0 0 0

0 0 0 0 0 0 𝑢78 1 0 0

0 0 0 0 0 0 0 𝑢89 1 0

0 0 0 0 0 0 0 0 𝑢9′10 1 ]

𝑫1 = 𝑫2 = 𝑑𝑖𝑎𝑔[𝑑1 , 𝑑2 , ⋯ , 𝑑10 ] matriks diagonal, memiliki t=10 parameter 142

The Mathematics of REML 𝑼1 memiliki (t-1)=(10-1)=9 parameter Total parameter kedua matriks 10+9=19 parameter atau t+(t-1)=2t-1=19

Selisih derajat bebas antara antedependence 2 dan 1: 27-19=8 atau 3(t-1)-(2t-1)=t-2=10-2=8

Model Unstructure: Dalam model unstructured, tak ada hipotesis Karena kita membuat semua matriks. Matriks ragam-peragam 𝚺: σ12 𝜎21 𝜎31 𝜎41 𝜎 𝚺 = 51 𝜎61 𝜎71 𝜎81 𝜎91 [𝜎10,1

𝜎12 𝜎22 𝜎32 𝜎42 𝜎52 𝜎62 𝜎72 𝜎82 𝜎92 𝜎10,2

𝜎13 𝜎23 𝜎32 𝜎43 𝜎53 𝜎63 𝜎73 𝜎83 𝜎93 𝜎10,3

𝜎14 𝜎24 𝜎34 𝜎42 𝜎54 𝜎64 𝜎74 𝜎84 𝜎94 𝜎10,4

𝜎15 𝜎25 𝜎35 𝜎45 𝜎52 𝜎65 𝜎75 𝜎85 𝜎95 𝜎10,5

𝜎16 𝜎26 𝜎36 𝜎46 𝜎56 𝜎62 𝜎76 𝜎86 𝜎96 𝜎10,6

𝜎17 𝜎27 𝜎37 𝜎47 𝜎57 𝜎67 𝜎72 𝜎87 𝜎97 𝜎10,7

𝜎18 𝜎28 𝜎38 𝜎48 𝜎58 𝜎68 𝜎78 𝜎82 𝜎98 𝜎10,8

𝜎19 𝜎29 𝜎39 𝜎49 𝜎59 𝜎69 𝜎79 𝜎89 𝜎92 𝜎10,9

𝜎1,10 𝜎2,10 𝜎3,10 𝜎4,10 𝜎5,10 𝜎6,10 𝜎7,10 𝜎8,10 𝜎9′10 2 𝜎10 ]

Ingat bahwa 𝜎12 = 𝜎21 karena 𝚺 bersifat setangkup, maka banyaknya parameter adalah ∑10 𝑖=1 𝑖 =

10(10+1) 2

= 55 atau t(t+1)2

Perubahan derajat bebas dari model unstructured menjadi antedependence-2 sebesar 28 berasal dari 55-27=28

Dilihat dari derajat bebas Devians: db antedependence 2 – db unstructured =163-135=28 db antedependence 1 – db antedependence 2 =171-163=8

Teladan 6 Model-model spasial berstruktur, AR1 × AR1 Kita akan menggunakan teladan dalam pedoman GenStat tentang REML, data Slate Hall. Denah lapang dan data adalah sebagai berikut. Kita menukar baris dan kolom agar cukup pada halaman. Yield

143


Column 1 2 3 4 10.03 15.31 11.26 12.61 1 13.56 15.40 14.00 14.23 2 14.12 12.50 13.29 11.10 3 12.39 16.58 12.87 17.35 4 15.08 11.85 15.55 16.17 5 19.67 16.05 13.95 18.20 6 15.72 15.50 16.96 13.51 7 19.69 15.00 15.70 12.97 8 17.47 16.42 14.04 14.12 9 15.98 15.04 12.85 15.06 10 16.30 16.80 14.73 15.12 11 16.33 15.26 17.61 13.55 12 12.55 14.52 16.95 15.24 13 12.77 14.80 13.64 14.78 14 15.72 14.82 17.90 13.71 15 Allocation of varieties and replicates Column 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

1 1 2 4 3 5 19 23 2 6 15 18 25 9 11 2

2 6 7 9 8 10 8 12 16 25 4 5 7 16 23 14

3 21 22 24 23 25 11 20 24 3 7 6 13 22 4 20

5 14.58 20.36 21.19 19.12 18.93 17.48 14.50 17.40 14.50 15.23 13.64 16.90 13.34 12.39 15.57

Row 6 16.23 18.62 16.45 18.88 15.27 16.06 18.42 11.86 14.62 12.42 10.82 13.04 12.67 12.66 12.00

7 13.31 14.17 16.11 14.54 17.90 17.67 19.17 12.64 10.60 9.51 11.30 12.66 12.89 12.60 11.74

8 12.11 14.11 11.83 15.50 16.60 15.26 16.81 15.45 12.90 9.76 12.40 11.81 9.17 12.87 9.75

9 13.88 14.53 13.84 16.69 17.38 18.45 17.00 15.28 13.73 12.40 12.52 15.91 14.28 15.09 12.73

10 14.43 16.67 15.49 14.59 17.22 15.83 14.90 16.07 13.15 11.74 14.43 16.49 14.07 13.15 13.18

Row/Replicate outline marked 4 5 6 7 8 11 16 3 1 5 12 17 18 16 20 14 19 8 6 10 13 18 13 11 15 15 20 23 21 25 22 5 16 12 4 1 9 24 20 7 10 13 10 1 18 14 17 13 9 21 18 21 2 23 15 24 12 10 12 19 1 19 4 6 13 15 3 17 24 1 17 10 11 18 25 8 21 23 5 7

9 2 17 7 12 22 25 3 14 17 6 21 20 8 2 14

10 4 19 9 14 24 8 11 22 5 19 3 22 15 9 16

Rancangan ini sesungguhnya lattice seimbang tetapi tampak lebih berhasil jika dimodelkan dengan model spasial struktur AR1 untuk baris dan kolom.

Menu Linear Mixed Models dapat, dan tentu, digunakan untuk menganalisis data secara spasial, tetapi GenStat menawarkan menu khusus dengan informasi yang anda butuhkan. Pilih Stats > Mixed Models (REML) > Spatial Models>Regular Grid. Kolom 1 sampai 15 membentuk faktor fieldcolumn, dan baris 1 sampai 10 membentuk faktor fieldrow. 144


Model ini mengabaikan set up Random Model (which would be fieldrow.fieldcolumn) dalam menu umum, menggunakan AR1 sebagai model korelasi untuk kedua factor.


yield Constant + variety fieldrow.fieldcolumn 150

fieldrow.fieldcolumn used as residual term with covariance structure as below Sparse algorithm with AI optimisation

Covariance structures defined for random model Covariance structures defined within terms: Term fieldrow.fieldcolumn

Factor fieldrow fieldcolumn

Model Auto-regressive (+ scalar) Auto-regressive

Order 1 1

No. rows 10 15

Estimate

s.e.

3.876 0.4586 0.6838

0.775 0.0826 0.0633

Residual variance model Term fieldrow.fieldcolumn

Factor

Model(order)

Parameter

fieldrow fieldcolumn

AR(1) AR(1)

Sigma2 phi_1 phi_1

Estimated covariance models 145


Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix Residual term: fieldrow.fieldcolumn Sigma2: 3.876 R uses direct product construction Factor: fieldrow Model: Auto-regressive Covariance matrix: 1 2 3 4 5 6 7 8 9 10

1.000 0.459 0.210 0.096 0.044 0.020 0.009 0.004 0.002 0.001 1

1.000 0.459 0.210 0.096 0.044 0.020 0.009 0.004 0.002 2

1.000 0.459 0.210 0.096 0.044 0.020 0.009 0.004 3

1.000 0.459 0.210 0.096 0.044 0.020 0.009 4

1.000 0.459 0.210 0.096 0.044 0.020 5

1.000 0.459 0.210 0.096 0.044 6

1.000 0.459 0.210 0.096 7

1.000 0.459 0.210 8

1.000 0.459 9

1.000 10

1.000 0.684 0.468 0.320 0.219 0.149 5

1.000 0.684 0.468 0.320 0.219 6

1.000 0.684 0.468 0.320 7

1.000 0.684 0.468 8

1.000 0.684 9

1.000 10

Factor: fieldcolumn Model: Auto-regressive

Covariance matrix (first 10 rows only): 1 2 3 4 5 6 7 8 9 10

1.000 0.684 0.468 0.320 0.219 0.149 0.102 0.070 0.048 0.033 1

1.000 0.684 0.468 0.320 0.219 0.149 0.102 0.070 0.048 2

1.000 0.684 0.468 0.320 0.219 0.149 0.102 0.070 3

1.000 0.684 0.468 0.320 0.219 0.149 0.102 4

Dengan demikian korelasi antar dua plot bertetangga dalam kolom sama adalah 0.684, lebih kuat dari dua plot bertetangga dalam baris yang sama. Korelasi antar 2 plot dalam kolom sama adalah 0.6842=0.468, 0.6843=0.320, 0.6844=0.219, dan seterusnya. Ini diatur dalam model kedua dari dua model korelasi dalam output.

146

The Mathematics of REML Walaupun terdapat 150 plot dalam deretan, struktur korelasi yang kita tawarkan adalah multiplicative dalam arti row × column. Ini berarti bahwa korelasi antar plot berdekatan dalam baris berbeda dan/atau kolom secara sederhana merupakan perkalian antar korelasi dalam arah baris mempertimbangkan jarak spasial antar mereka, dan korelasi dalam arah kolom. Sebagai ilustrasi, korelasi antar hasil dalam plot (Baris 1, Kolom 1) dan plot (Baris 3, Kolom 3) adalah 0.210 × 0.468 = 0.098 (baca baris 13 dan kolom 13).

Column 1 2 3 4 5 6

1 2 4 3 5 19

Row/Replicate outline marked 2 3 4 5 6 11 16 3 7 12 17 18 9 14 19 8 8 23 13 18 13 10 25 15 20 23 8 11 22 5 16

Antar (Baris 2, Kolom 6) dan plot (Baris 4, Kolom 9) adalah 0.21 × 0.32 = 0.007. Baca baris 24 (matriks baris) dan kolom 69 (di matriks kolom). Jarak baris antara 13 dan 24 sama yakni 2, sehingga korelasi sama yakni 0.21 (juga untuk 3-5, 4-6,5-7, 6-8, 7-9, 8-10), demikian juga dengan kolom, misal: kolom 1-6, 2-7, 3-8, 4-9 atau 5-10. Interpretasi analisis ini adalah bagian aplikasi dari workshop ini.

147

Matematika REML. A workshop conducted at Universitas Brawijaya, Malang, Indonesia. December 2013

Recommend Documents