ANALISIS KOMPONEN UTAMA

ANALISIS PEUBAH GANDA

ANALISIS KOMPONEN UTAMA

Hazmira Yozza Jurusan Matematika FMIPA Universitas Andalas

LOGO

www.themegallery.com

Analisis Komponen Utama Suatu analisis statistika yang berguna untuk mereduksi p peubah menjadi r peubah baru yang disebut Komponen Utama(r ≤ p) dengan tetap mempertahankan besarnya keragaman dari peubah asal

Karl Pearson (1901) Memperkenalkan AKU Belum memberikan metode praktis perhitungan untuk kasus dengan lebih dari dua peubah

Hotelling (1933) Memberikan metode perhitungan praktis dalam menentukan KU Dalam prakteknya, masih terbatas untuk sedikit peubah

Perkembangan Komputer Memungkinkan perhitungan untuk kasus banyak peubah

Company Logo


Input Data Dilakukan pengamatan/pengukuran p peubah (X1, X2, …, Xp) terhadap n objek pengamatan Diperoleh data : Objek

X1

X2

…

Xp

1

x11

x21

…

xp1

2

x12

x22

…

xp2

3

x13

x23

…

xp3

:

:

:

n

x1n

x2n

: …

xpn

Company Logo


X1, X2, …, Xp

AKU

Y1, Y2, …, Yr

1. Y1, Y2, …, Yr adalah kombinasi linier dari peubah asal Y1 = a11X1 + a12 X2 +…+ a1p Xp= a1TX :

Y=AX

Yr = ar1X1 + ar2 X2 + …+arp Xp = arTX 2. Y1, Y2, …, Yr tidak saling berkorelasi

corr (Yi , Y j ) = 0 ⇔ cov(Yi , Y j ) = 0 3. Y1, Y2, …, Yr tertata menurut pentingnya Var(Y1) ≥ Var(Y2) ≥ … ≥ Var(Yr) ≥ 0 diharapkan k KU pertama (k sekecil mungkin) sudah mampu menjelaskan sebahagian besar keragaman data Company Logo


Catatan : • AKU tidak selalu berhasil dalam mereduksi banyaknya peubah • AKU tidak bermanfaat bila peubah-peubah yang dianalisis tidak saling berkorelasi. Dalam hal ini, KU yang dihasilkan akan sama dengan peubah asal, tapi terurut berdasarkan pentingnya peubah tersebut (atau terurut berdasarkan keragamannya) • Hasil terbaik adalah jika terdapat korelasi yang tinggi antar peubah → Pembentukan matriks korelasi mrp analisis pendahuluan pada AKU

Company Logo


Pembentukan Komponen Utama Pertama Peubah Asal X = [X1, X2, …, Xp] dengan ∑ = Var(X) (matriks ragam peragam dari X) Komponen Utama Pertama Y1 = a11X1 + a12 X2 + …+a1p Xp= a1TX

diinginkan Y1 dengan Var (Y1) maksimum Var(Y1) = Var(a1TX) = a1T Var(X) a1= a1T ∑ a1 Kendala a1T a1 = 1 Company Logo


Pembentukan Komponen Utama Pertama Masalah : menentukan a sehingga diperoleh : Max a1T ∑ a1 T

Max f(a1 λ)=a1 ∑ a1 – λ(a1T a1 – 1)

Kendala a1T a1 = 1 Agar f maksimum, maka : ∂f =0 ∂a 1

dan

∂ T T a1 Σa1 − λ1(a1 a1 −1) = 0 ∂λ

(

∂ T T a1 Σa1 − λ1(a1 a1 −1) = 0 ∂a1

(

)

)

⇔ −a1T a1 + 1 = 0

⇔ 2Σa1 − 2λ1a1 + 0 = 0

⇔ a1T a1 = 1

⇔ 2Σa1 = 2λ1a1 ⇔ (Σ − λ1I)a1 = 0

∂f =0 ∂λ

(2)

(1) Company Logo


Pembentukan Komponen Utama Pertama Persamaan (1) λ1 : akar karakteristik dari ∑

(Σ − λ1I)a1 = 0

a1 : vektor karakteristik padanannya

Persamaan (1)

(Σ − λ1I)a1 = 0 Σa1 = λ1Ia1

(kalikan dengan a1T)

a1T Σa1 = a1T λ1Ia1 = λ1a1T a1

(dari (2) diketahui a1T a1 = 1 )

= λ1 Fs yang akan dimaksimumkan

Agar maksimum, maka λ1

λ1 : akar karakteristik terbesar dari ∑ a1 : vektor karakteristik padanannya

Company Logo


Pembentukan Komponen Utama Kedua KU Kedua

Y2 = a21X1 + a22 X2 +…+ a2p Xp= a2TX

Syarat : Y2 memiliki keragaman terbesar kedua setelah Y1 Var(Y2) = Var(a2TX) = a2T Var(X) a2= a2T ∑ a2 a2T a2 = 1 Y2 tidak berkorelasi dengan Y1

Corr (Y2 , Y1 ) = Cov (Y2 , Y1 ) = Cov (a T2 X , a1T X ) = 0 a T2 Var ( X )a1 = 0 a T2 Σa 1 = 0

Company Logo


Pembentukan Komponen Utama Kedua a T2 Σa 1 = 0 Dari Persamaan (1)

Σa1 = λ1a1 aT2 Σa1 = aT2 λ1a1 = λ1aT2 a1 T Jika a 2 Σa

1

= 0

maka

λ1aT2 a1 = aT2 Σa1 = 0 aT2 a1 = 0

(a2 dan a1 saling orthogonal) Company Logo


Pembentukan Komponen Utama Kedua Masalah : menentukan a2 sehingga diperoleh : Max

a2T ∑ a2

Kendala a2T a2 = 1 a2T a1 = 0 Masalah : menentukan a2, λ2 dan δ sehingga diperoleh : Max f(a2,λ,δ)=a2T ∑ a2 – λ2(a2T a2 – 1)- δ a2T a1 Agar f maksimum, maka :

∂f =0 ∂a 2

;

∂f =0 ∂λ

dan

∂f =0 ∂δ Company Logo


Pembentukan Komponen Utama Kedua ∂f =0 ∂a 2

∂f =0 ∂λ 2

∂ T T T a2 Σa2 − λ2 (a2 a2 −1) − δ a2 a1 = 0 ∂a2

∂ T T T a 2 Σa 2 − λ2 (a 2 a 2 − 1) − δ a 2 a1 = 0 ∂λ2

(

)

2Σa2 − 2λ2a2 −δ a1 = 0

(3)

Kalikan (3) dengan a1T

2a1TΣa2 − 2λ2a1Ta2 −δ a1Ta1 = 0 2a1TΣa2 −δ = 0 δ =0

0

1 ;

a1TΣa2 = a1Ta2 = 0

(6)

(6) Subs ke (3) : 2Σa2 − 2λ2a2 = 0

(

− aT2 a2 + 1 = 0

)

(4)

∂f =0 ∂δ ∂ T T T a 2 Σa 2 − λ2 (a 2 a 2 − 1) − δ a 2 a1 = 0 ∂δ

(

)

(5)

aT2 a1 = 0 ⇔ a1T a2 = 0

⇔ (Σ − λ2I)a2 = 0 (7) Company Logo


Pembentukan Komponen Utama Kedua Persamaan (7) λ2 : akar karakteristik dari ∑

(Σ − λ2I)a2 = 0

a2 : vektor karakteristik padanannya

Persamaan (7)

(Σ − λ2I)a2 = 0 Σa2 = λ2Ia2

(kalikan dengan a2T)

aT2 Σa2 = aT2 λ2Ia2 = λ2aT2 a2 = λ2 Fs yang akan dimaksimumkan

(dengan mensubst (6) ke (4) didapat :

aT2 a2 = 1

Agar maksimum, maka : λ2 : akar karakteristik ke-2 terbesar dari ∑ a2 : vektor karakteristik padanannya

Company Logo


Pembentukan KU berikutnya Dilakukan dengan pendekatan yang sama dengan Pembentukan komponen utama 1 dan 2

Didapat bahwa : λi : akar karakteristik ke-i terbesar dari ∑ ai : vektor karakteristik padanannya

Company Logo


Langkah-langkah dalam AKU Tentukan matrisk ∑. Karena data yang dimiliki adalah data contoh, maka matriks ∑ ini diduga dari matriks ragam peragam contoh S Tentukan a1, a2, …,ar yang merupakan vektor karakteristik yang berpadanan dengan akar karakteristik tak nol dari matriks ragam peragam ∑, λ1, λ2, …, λr (λ1 ≥ λ2 ≥ … ≥ λr ≥0 Ortonormalkan vektor a1, a2, …,ar Orthogonalkan dengan POGS Normalkan dengan membagi setiap unsur dengan norm-nya Tentukan Komponen Utama : Y1 = a11X1 + a12 X2 +…+ a1p Xp= a1TX : Yr = ap1X1 + ap2 X2 + …+app Xp = arTX Company Logo


Keragaman Total KU Y1 = a11X1 + a12 X2 +…+ a1p Xp= a1TX : Yr = ap1X1 + ap2 X2 + …+app Xp = arTXc

atau

T T Y1  a1 X a1  Y2  a T2 X a T2   M  =  M  =  M X Y   T   T   r  a r X a r 

Bila dinyatakan A = [a1 , a2 , L, ar ] maka :

Y = AT X Var (Y) = Var ( A T X) = A T Var ( X) A = A T ΣA

λ1 0  0 λ2 Var(Y) =  M M 0 0 

L L O L

0 0 M λr 

Company Logo


Keragaman Total KU

Misal

λ1 0  Λ = Var(Y) =  0 λ2 M M 0 0 

L L O L

0 0 M λr 

r

Total keragaman Y = ∑ λi = trace((Λ Λ) i =1 T

trace( Λ ) = trace ( A ΣA ) = trace ( AA

T

Σ)

p

= trace ( Σ ) =

∑ Var

(X i)

i =1

= total keragaman

X

Company Logo


Keragaman Total KU Bila Var(Yi) = λi, maka dapat dikatakan bahwa : r KU Yi mampu menerangkan λi ∑ λi dari total i =1 keragaman seluruh komponen utama r KU Yi mampu menerangkan λi ∑ λi dari total i =1 keragaman data asal Dg demikian, kk KU pertama, Y1, Y2, …, Yk mampu r menerangkan ∑ λi ∑ λi dari total keragaman data asal i =1

i =1

Bila nilai ini sudah cukup besar, maka cukup digunakan k KU saja. Company Logo


Berapa besar k???????? Pilih KU dengan akar karakteristik lebih besar dari 1 (hanya jika menggunakan matriks korelasi) Pilih k KU sehingga r

k

∑λ ∑λ i

i =1

i

> 80%

i =1

Scree plot λi

2 KU

curam landai

i 1 2 3 4

Company Logo


Peubah berbeda satuan atau keragaman sangat berbeda • Peubah yang memiliki keragaman lebih besar dianggap lebih penting dibanding yang lain • Pada kondisi ini, peubah dibakukan dulu sehingga setiap peubah memiliki nilai tengah 0 dan ragam 1

Z ij =

X ij − X j sj

Jd semua peubah sama pentingnya

 1 r12 L r1 p    • Matriks S menjadi matriks korelasi R =  r21 1 L r2 p  M O M  M  rp1 rp 2 L 1  • Penurunan matematis sama shg prosedur analisis sama • ai dan λi yang diperoleh berbeda • Total keragaman Y = total keragaman Z = p = # peubah Company Logo


Skor komponen Skor komponen T

Y = A ( X − x) Skor komponen untuk objek ke-m T

ym = A (x m − x)

Company Logo


Beberapa catatan 1. Dugaan KU ∑ diduga dari S, sehingga yang didapat dalam analisis adalah λˆ1 ,..., λˆ r dan aˆ 1 ,..., aˆ r Tidak ada asumsi tentang X, sehingga sifat dari penduga tidak dapat diturunkan AKU dipandang sebagai suatu teksik statistika yang tidak didasarkan pada suatu model apapun, shg KU yang diperoleh tetap dipandang sebagai KU, bukan hanya sekedar dugaan

Company Logo


Beberapa catatan 2. Akar karakteristik 0 Terjadi jika terdapat keterkaitan linier antara peubah (jarang terjadi) KU yang dihasilkan tidak digunakan 3. Akar karakteristik kecil Terjadi jika terdapat korelasi yang cukup erat antar peubah. KU nya dapat diabaikan

Company Logo


Output AKU 1. Diinterpretasikan langsung 2. Sebagai input bagi analisis statistika lainnya Analisis Regresi (jk terjadi multikolonier antara peubah) Analisis gerombol untuk mengelompokkan objek Analisis diskriminan

Company Logo


Langkah-langkah dalam AKU Tentukan matrisk ragam peragam S (dan/atau matriks korelasi R) dari data Periksa (dari matriks korelasinya) apakah peubah perlu ditransformasi dengan AKU Tentukan λ1, λ2, …, λr dan a1, a2, …,ar yang merupakan akar dari matriks S (atau matriks R) dimana λ1 ≥ λ2 ≥ … ≥ λr ≥0 dan a1, a2, …,ar saling orthogonal Tentukan banyaknya KU yang dapat diambil Tentukan Komponen Utama : Y1 = a11X1 + a12 X2 +…+ a1p Xp= a1TX : Yk = ak1X1 + ak2 X2 + …+akp Xp = akTX Periksa apakah KU yang dihasilkan memiliki interpretasi yang berarti Hitung skor komponen, bila ingin melalukan analisis lanjutan Company Logo


Contoh Penerapan AKU Dilakukan pengukuran morfologi tubuh terhadap 49 ekor burung betet . Peubah yang diukur adalah : X1 = Total panjang burung X2 = bentangan sayap X3 = Panjang paruh dan kepala X4 = Panjang tulang sayap atas X5 = Panjang keel of sternum (tulang tempat melekatnya otot untuk terbang) Diperoleh data : Objek

X1

X2

X3

X4

X5

1

156

245

31.6

18.5

20.5

2

154

240

30.4

17.9

19.6

3

153

240

31.0

18.4

20.6

:

:

:

:

:

:

49

164

248

32.3

18.8

20.9 Company Logo


Ragam Peragam X1

X2

X3

X4

X5

X1

13.2527

X2

8.7985

25.6828

X3

1.9221

1.8886

0.6316

X4

1.3306

1.6394

0.3443

0.3184

X5

2.1922

2.2745

0.4147

0.3394

• Nilainya relatif lebih besar jika dibandingkan dengan ragam peubah-peubah lain • Terdapat kecendrungan bahwa dua peubah (X1 dan X2) akan mendominasi pembentukan KU

0.9828

Bakukan Data • . Z ij =

X ij − X j sj

• Matriks ragam peragam (Z) adalah matriks korelasi dari X

MTB>Cova X1-X5 m1 Company Logo


Objek

X1

X2

X3

X4

X5

1

156

245

31.6

18.5

20.5

2

154

240

30.4

17.9

19.6

3

153

240

31.0

18.4

20.6

Data Baku Z 23 =

:

:

:

:

:

:

49

164

248

32.3

18.8

20.9

Rata2

157.98

241.33

31.46

18.47

20.83

Stdev

3.65

5.07

0.79

0.56

0.99

=

X 23 − X 2 s2 240 − 241.33 = −0.26176 5.07

Objek

Z1

Z2

Z3

Z4

Z5

1

-0.54172

0.72486

0.17718

0.05425

-0.32937

2

-1.08902

-0.26176

-1.33272

-1.00904

-1.23720

3

-1.36267

-0.57777

-0.1229

-0.22850

1.05796

0.585895

0.074108 6

-0.26176

: 49

1.64750

1.31683

MTB>Center ‘x1’-’x5’ c6-c10 Company Logo


Matriks Korelasi

X1

X2

X3

X4

X1

1.00000

X2

0.73496

1.00000

X3

0.66181

0.67374

1.00000

X4

0.64528

0.76851

0.76319

1.00000

X5

0.60512

0.52901

0.52627

0.60665

X5

1.00000

• Korelasi antar peubah cukup besar • AKU akan berguna dalam mereduksi data • Untuk selanjutnya, AKU dilakukan dengan menggunakan matriks ini

MTB>Corr ‘x1’-’x5’ m2 Company Logo


Penentuan Akar dan Vektor Karakteristik a 1T KU

λi

Z1

Z2

Z3

Z4

Z5

%

%kum

Y1

3.61598

0.452

0.462

0.451

0.471

0.397 72.3% 72.3%

Y2

0.53150

0.051 -0.300 -0.325 -0.185

0.876 10.6% 82.9%

Y3

0.38642

0.690

Y4

0.30157 -0.420

Y5

0.16453

0.341 -0.454 -0.411 -0.178

7.7% 90.7%

0.548 -0.606

6.0% 96.7%

0.374 -0.530 -0.343

0.388

0.069

0.652 -0.192

3.2% 100%

Y1 = 0 .452 Z 1 + 0 .462 Z 2 + 0 .451 Z 3 + 0 .471 Z 4 + 0 .397 Z 5 Y 2 = 0 .051 Z 1 − 0 .300 Z 2 − 0 .325 Z 3 − 0 .185 Z 4 + 0 .876 Z 5 Y3 = 0 .690 Z 1 + 0 .341 Z 2 − 0 .454 Z 3 − 0 .411 Z 4 − 0 .178 Z 5

Y4 = − 0 .420 Z 1 + 0 .548 Z 2 − 0 .606 Z 3 + 0 .388 Z 4 + 0 .069 Z 5

Y5 = 0 .374 Z 1- 0 .530 Z 2 - 0 .343 Z 3 + 0 .652 Z 4 - 0 .192 Z 5 MTB>Eigen m2 c11 m3 (lakukan analisis eigen untuk matriks m2, akar karakteristik di c11, vektor karakteristik di m3) Company Logo


Berapa KU 1. Berdasarkan nilai akar karakteristik • Hanya Y1 yang akar karakteristiknya lebih dari 1 • Diambil hanya KU-1, Y1 2. Berdasarkan % keragam yang dijelaskan KU • Y1, Y2, …, Y5 mampu menjelaskan sebesar masing-masing 72.3%, 10.6%, 7.7%, 6.0% dan 3.2% dari total keragaman data asal • Bila 72.3% dianggap cukup besar, gunakan anya Y1 • Bila tidak, gunakan juga Y2. Y1 dan Y2 mampu menjelaskan 86.9% dari total keragaman data (sudah cukup besar)

Company Logo


Berapa KU 3. Berdasarkan scree plot

curam

Scree Plot of X1, ..., X5 4

landai

E Eigenvalue

3

2

1

0 1

2

3 Component Number

4

5

• Diambil 1 KU, Y1

Company Logo


Y1 = 0 .452 Z 1 + 0 .462 Z 2 + 0 .451 Z 3 + 0 .471 Z 4 + 0 .397 Z 5 Y 2 = 0 .051 Z 1 − 0 .300 Z 2 − 0 .325 Z 3 − 0 .185 Z 4 + 0 .876 Z 5 Y3 = 0 .690 Z 1 + 0 .341 Z 2 − 0 .454 Z 3 − 0 .411 Z 4 − 0 .178 Z 5

Y4 = − 0 .420 Z 1 + 0 .548 Z 2 − 0 .606 Z 3 + 0 .388 Z 4 + 0 .069 Z 5

Y5 = 0 .374 Z 1 - 0 .530 Z 2 - 0 .343 Z 3 + 0 .652 Z 4 - 0 .192 Z 5

Company Logo


Skor Komponen Objek

Y1

Y2

Y3

Y4

Y5

1

0.06429

-0.600837

-0.171233

0.515826

0.548790

2

-2.18031

-0.442301

0.400070

0.645460

0.231077

3

-1.14557

0.01925

-0.676127

0.716298

0.208871

2.13422

-0.697546

0.851168

-0.380029

0.077126

: 49

Y11 = 0.452 Z 11 + 0.462 Z 21 + 0.451Z 31 + 0.471Z 41 + 0.397 Z 51 = 0.452 ( −0.542 ) + 0.462 (0.725 ) + 0.451(0.177 ) + 0.471(0.054 ) + 0.397 ( −0.329 ) = 0.064

Company Logo


Plot antara Y1 dan Y2 3

Surv iv ors Non-surv iv ors

2

Y2

1

0

-1

-2 -5

-4

-3

-2

-1

0 Y1

1

2

3

4

Company Logo


AKU dengan Minitab Stat>Multivariate>Principle Components Isikan nama peubah atau kolom tempat menyimpan peubah

Isikan banyak KU yang akan dihitung skornya(max sama dengan banyak peubah asal) Pilih (hanya salah satu) matriks yang digunakan sebagai dasar analisis (default : matriks korelasi)

Option untuk membuat grafik

Option untuk menyimpan hasil perhitungan

Company Logo


Menampilkan scree plot Menampilkan diagram pencar antara skor KU-1 dan skor KU-2 Menampilkan plot loading untuk KU-1 dan KU-2 Hasil analisis biplot

Company Logo


Isikan kolom-kolom untuk menyimpan koefisien (vektor karakteristik) (banyak kolom harus sama dengan banyaknya peubah asal)

Isikan kolom-kolom untuk menyimpan skor komponen (banyak kolom harus sama dengan banyaknya KU) •Diperlukan jika output AKU akan dianalisis lebih lanjut

Isikan kolom (hanya 1 kolom) untuk menyimpan akar karakteristik

Company Logo

ANALISIS KOMPONEN UTAMA

Recommend Documents