BAB II TINJAUAN PUSTAKA. melihat hubungan antara variabel respons dengan satu atau lebih variabel

BAB II TINJAUAN PUSTAKA

2.1

Analisis Regresi Parametrik Analisis regresi merupakan sebuah alat statistika yang digunakan untuk

melihat hubungan antara variabel respons dengan satu atau lebih variabel prediktor. Analisis regresi pertama kali dikemukakan oleh seorang antropolog dan ahli meteorologi terkenal di Inggris yaitu Sir Francis Galton (1822-1911). Dalam model regresi terdiri atas dua variabel yaitu variabel independent (variabel bebas) disebut juga variabel prediktor yang biasanya dinotasikan dengan variabel 𝑥, dan variabel dependent (variabel tak bebas) disebut juga variabel respons yang biasanya dinotasikan dengan variabel 𝑦. Variabel 𝑥 dan 𝑦 tersebut merupakan dua variabel yang saling berkorelasi. Misalkan terdapat data berpasangan (𝑥𝑖 , 𝑦𝑖 ) untuk n pengamatan, maka hubungan antara variabel 𝑥𝑖 dan variabel 𝑦𝑖 dapat dinyatakan sebagai berikut: 𝑦𝑖 = 𝑓(𝑥𝑖 ) + 𝜀𝑖 ;

𝑖 = 1,2, … , 𝑛

(2.1)

dengan 𝑦𝑖 adalah respons ke-i, 𝑓(𝑥𝑖 ) adalah fungsi regresi atau kurva regresi, serta 𝜀𝑖 adalah sisaan yang diasumsikan independent dengan nilai tengah nol dan variansi σ2 . Regresi parametrik merupakan metode yang digunakan untuk mengetahui pola hubungan antara variabel respons dan prediktor

apabila bentuk kurva

regresinya diketahui. Model regresi dengan variabel prediktor lebih dari satu (𝑥1 , 𝑥2 , 𝑥3 , … , 𝑥𝑝 ) secara umum dapat dituliskan sebagai berikut:

𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + 𝛽3 𝑥𝑖3 + ⋯ + 𝛽𝑝 𝑥𝑖𝑝 + 𝜀𝑖 ; 𝑖 = 1,2,3, … , 𝑛

(2.2)

dengan 𝛽0 , 𝛽1 , 𝛽2 , 𝛽3 , … , 𝛽𝑝 adalah koefisien regresi. Model dapat pula disajikan dalam bentuk matriks yang dituliskan pada persamaan sebagai berikut: 𝑦1 1 𝑦2 [ ⋮ ] = [1 ⋮ 𝑦𝑛 1

𝑥11 𝑥21 ⋮ 𝑥𝑛1

𝑥12 𝑥22 ⋮ 𝑥𝑛2

… … ⋱ …

𝑥1𝑝 𝛽0 𝜀1 𝑥2𝑝 𝛽1 𝜀2 ⋮ ][ ⋮ ] + [ ⋮ ] 𝑥𝑛𝑝 𝛽𝑝 𝜀𝑛

atau 𝒚 = 𝒙𝜷 + 𝜺

(2.3)

dengan 𝑦1 1 𝑥11 𝑦2 𝑥21 𝒚 = [ ⋮ ], 𝒙 = [1 ⋮ ⋮ 𝑦𝑛 1 𝑥𝑛1

𝑥12 𝑥22 ⋮ 𝑥𝑛2

𝜀1 𝛽0 … 𝑥1𝑝 𝜀2 … 𝑥2𝑝 𝛽1 ⋱ ⋮ ], 𝜷 = [ ⋮ ], dan 𝜺 = [ ⋮ ] (2.4) … 𝑥𝑛𝑝 𝜀𝑛 𝛽𝑝

dengan 𝒚 adalah vektor kolom untuk variabel respons berukuran 𝑛 × 1, 𝑥 adalah matriks konstanta berukuran 𝑛 × 𝑝, 𝜷 adalah vektor parameter berukuran 𝑝 × 1, dan 𝜺 adalah vektor peubah acak normal bebas dengan nilai harapan 𝐸{𝜺} = 0 dan matrik ragam 𝜎 2 {𝜺} = 𝜎 2 yang berukuran 𝑛 × 1.

2.2

Analisis Regresi Nonparametrik Regresi nonparametrik merupakan suatu metode statistika yang digunakan

untuk mengetahui pola hubungan antara variabel prediktor dengan respons ketika tidak diperoleh informasi sebelumnya tentang bentuk fungsi regresinya atau tidak diketahui bentuk kurva regresinya. Fungsi dari model regresi nonparametrik dapat berbentuk apa saja, baik linear atau nonlinear. Misalkan variabel respons adalah y

dan variabel prediktor adalah x untuk n pengamatan, model umum dari regresi nonparametrik adalah 𝑦𝑖 = 𝑓(𝑥𝑖 ) + 𝜀𝑖 ; 𝑖 = 1,2,3, … , 𝑛

(2.5)

dengan 𝑦𝑖 adalah variabel respons, 𝑥𝑖 adalah variabel prediktor, 𝑓(𝑥𝑖 ) adalah fungsi regresi yang tidak diketahui bentuknya, dan 𝜀𝑖 adalah sisaan yang diasumsikan bebas dengan nilai tengah nol dan varians σ2. Metode regresi nonparametrik dapat digunakan dengan mengabaikan asumsi-asumsi yang melandasi metode regresi parametrik. Fungsi regresi nonparametrik f diasumsikan mulus sehingga memiliki fleksibilitas yang tinggi dalam mengestimasi fungsi regresinya. Ada beberapa teknik dalam mengestimasi regresi dalam nonparametrik yaitu deret Fourier, spline, dan kernel. Pada subbab berikutnya akan dibahas analisis regresi spline.

2.3

Analisis Regresi Spline Spline merupakan model polinom yang tersegmen atau terpotong-potong

yang mulus dan dapat menghasilkan fungsi regresi yang sesuai dengan data. Polinomial tersegmen tersebut memiliki peranan penting dalam teori dan aplikasi statistika. Mengestimasi spline tergantung pada titik knot. Titik knot merupakan suatu titik perpaduan yang terjadi karena perubahan pola perilaku dari suatu fungsi pada selang yang berbeda. Fungsi 𝑓(𝑥𝑖 )

pada persamaan (2.5)

nonparametrik merupakan fungsi regresi yang tidak diketahui bentuknya dan sifat pemulusnya, maka untuk mengestimasi 𝑓(𝑥𝑖 ) tersebut dapat digunakan model

regresi spline. Fungsi spline pada suatu fungsi f dengan orde p dapat dinyatakan sebagai berikut: 𝑓(𝑥𝑖 ) = 𝛽0 + 𝛽1 𝑥𝑖1 + ⋯ + 𝛽𝑝 𝑥𝑖𝑝 + ∑𝑟𝑙=1 𝛽(𝑝+𝑙) (𝑥𝑖 − 𝑘𝑙 )𝑝+ 𝑗

𝑓(𝑥𝑖 ) = ∑𝑝𝑗=0 𝛽𝑗 𝑥𝑖 + ∑𝑟𝑙=1 𝛽(𝑝+𝑙) (𝑥𝑖 − 𝑘𝑙 )𝑝+

(2.6)

dengan k menyatakan banyaknya titik knot dan (𝑥𝑖 − 𝑘𝑙 )𝑝+ menyatakan fungsi potongan (truncated) yang dapat dijabarkan sebagai berikut: (𝑥𝑖 − 𝑘𝑙 )𝑝+ = {

(𝑥𝑖 − 𝑘𝑙 )𝑝 , 𝑥𝑖 ≥ 𝑘𝑙 0, 𝑥𝑖 < 𝑘𝑙

(2.7)

Bentuk matematis dari fungsi spline pada persamaan (2.6), dapat dinyatakan bahwa spline adalah potongan-potongan polinom yang berbeda digabungkan bersama titik knot 𝑘1 , 𝑘2 , 𝑘3 , … . , 𝑘𝑟 untuk menjamin sifat kontinuitasnya. Apabila terdapat n pengamatan, maka fungsi regresi spline dapat ditulis sebagai berikut: 𝑓(𝑥1 ) = 𝛽0 + 𝛽1 𝑥11 + ⋯ + 𝛽𝑝 𝑥1𝑝 + 𝛽(𝑝+1) (𝑥1 − 𝑘1 )𝑝+ + ⋯ + 𝛽(𝑝+𝑟) (𝑥1 − 𝑘𝑟 )𝑝+ 𝑓(𝑥2 ) = 𝛽0 + 𝛽1 𝑥21 + ⋯ + 𝛽𝑝 𝑥2𝑝 + 𝛽(𝑝+1) (𝑥2 − 𝑘1 )𝑝+ + ⋯ + 𝛽(𝑝+𝑟) (𝑥2 − 𝑘𝑟 )𝑝+ 𝑓(𝑥3 ) = 𝛽0 + 𝛽1 𝑥31 + ⋯ + 𝛽𝑝 𝑥3𝑝 + 𝛽(𝑝+1) (𝑥3 − 𝑘1 )𝑝+ + ⋯ + 𝛽(𝑝+𝑟) (𝑥3 − 𝑘𝑟 )𝑝+ ⋮ 𝑓(𝑥𝑛 ) = 𝛽0 + 𝛽1 𝑥𝑛1 + ⋯ + 𝛽𝑝 𝑥𝑛𝑝 + 𝛽(𝑝+1) (𝑥𝑛 − 𝑘1 )𝑝+ + ⋯ + 𝛽(𝑝+𝑟) (𝑥𝑛 − 𝑘𝑟 )𝑝+

Model regresi spline dapat pula disajikan dalam bentuk matriks yang dituliskan sebagai berikut:

𝑓(𝑥1 ) 𝑓(𝑥2 ) 𝑓(𝑥3 ) = ⋮ [𝑓(𝑥𝑛 )]

1 𝑥11 1 𝑥21 1 𝑥31

𝑥12 𝑥22 𝑥32

… 𝑥1𝑝 … 𝑥2𝑝 … 𝑥3𝑝

[1 𝑥𝑛1

𝑥𝑛2

… 𝑥𝑛𝑝

(𝑥1 − 𝑘1 )𝑝+ (𝑥2 − 𝑘1 )𝑝+ (𝑥3 − 𝑘1 )𝑝+ ⋮ (𝑥𝑛 − 𝑘1 )𝑝+

… (𝑥1 − 𝑘𝑟 )𝑝+ … (𝑥2 − 𝑘𝑟 )𝑝+ … (𝑥3 − 𝑘𝑟 )𝑝+ … (𝑥𝑛 −

𝑘𝑟 )𝑝+ ]

𝛽0 𝛽1 𝛽3 ⋮ 𝛽𝑝 𝛽(𝑝+1) ⋮ [𝛽(𝑝+𝑟) ]

atau 𝒇(𝒙) = 𝒙𝜷

(2.8)

𝑓(𝑥1 ) 𝑓(𝑥2 ) dengan𝒇(𝒙) = 𝑓(𝑥3 ) , ⋮ [𝑓(𝑥𝑛 )] 1 𝑥11 1 𝑥21 𝒙 = 1 𝑥31

𝑥12 𝑥22 𝑥32

… 𝑥1𝑝 … 𝑥2𝑝 … 𝑥3𝑝

[1 𝑥𝑛1

𝑥𝑛2

… 𝑥𝑛𝑝

(𝑥1 − 𝑘1 )𝑝+ (𝑥2 − 𝑘1 )𝑝+ (𝑥3 − 𝑘1 )𝑝+ ⋮ (𝑥𝑛 − 𝑘1 )𝑝+

… (𝑥1 − 𝑘𝑟 )𝑝+ … (𝑥2 − 𝑘𝑟 )𝑝+ … (𝑥3 − 𝑘𝑟 )𝑝+ ,

(2.9)

… (𝑥𝑛 − 𝑘𝑟 )𝑝+ ]

dan

𝜷=

𝛽0 𝛽1 𝛽3 ⋮ 𝛽𝑝

.

𝛽(𝑝+1) ⋮ [𝛽(𝑝+𝑟) ] Estimasi regresi nonparametrik spline diperoleh dengan menggunakan metode Maximum Likelihood Estimator (MLE). Jika error pada persamaan (2.5) diasumsikan berdistribusi normal, maka 𝑦𝑖 juga berdistribusi normal dengan nilai tengah 𝑓(𝑥𝑖 ) dan varians 𝜎 2 . Sehingga fungsi densitas peluang 𝑦𝑖 menjadi

1

𝑓(𝑦; 𝑓(𝑥), 𝜎 2 ) = √2𝜋𝜎2 exp [−

(𝑦−𝑓(𝑥))2 2𝜎2

] , 𝑓(𝑥) > 0, 𝜎 2 > 0

(2.10)

Fungsi likelihood dapat dituliskan sebagai berikut: 𝐿(𝑦, 𝑓) = ∏𝑛𝑖=1 𝑓(𝑦𝑖 ; 𝑓(𝑥𝑖 ), 𝜎 2 ) = 𝑓(𝑦1 ; 𝑓(𝑥1 ), 𝜎 2 ) … 𝑓(𝑦𝑛 ; 𝑓(𝑥𝑛 ), 𝜎 2 ) = = =

1 √2𝜋𝜎2

exp [−

1 (√2𝜋𝜎2 ) 1 (√2𝜋𝜎2 )

𝑛

𝑛

(𝑦1 −𝑓(𝑥1 ))2 2𝜎2

exp {− [

(𝑦1 −𝑓(𝑥1 ))2 2𝜎2

exp [− ∑𝑛𝑖=1

= (2𝜋𝜎 2 )−

1

] … √2𝜋𝜎2 exp [−

2𝜎2

2𝜎2

(𝑦𝑛 −𝑓(𝑥𝑛 ))2

+⋯+

(𝑦𝑖 −𝑓(𝑥𝑖 ))2

(𝑦𝑛 −𝑓(𝑥𝑛 ))2

2𝜎2

]

]}

]

𝑛⁄ (𝑦𝑖 −𝑓(𝑥𝑖 ))2 2 exp [− ∑𝑛 ] 𝑖=1 2𝜎2

= (2𝜋𝜎 2 )−

𝑛⁄ 1 2 exp [− ∑𝑛 (𝑦 2𝜎2 𝑖=1 𝑖

− 𝑓(𝑥𝑖 ))2 ].

(2.11)

Estimasi titik fungsi 𝑓 diperoleh dengan memaksimumkan fungsi likelihood 𝐿(𝑦, 𝑓) yang dapat diuraikan sebagai berikut: 𝑛

1

𝑗 max{𝐿(𝑦, 𝑓)} = max {(2𝜋𝜎 2 )− 2 exp (− 2𝜎2 ∑𝑛𝑖=1(𝑦𝑖 − (∑𝑝𝑗=1 𝛽𝑗 𝑥𝑖 + 𝑝+𝑟 𝑓

𝛽𝜀𝑅

2

∑𝑟𝑙=1 𝛽𝑝+𝑙 (𝑥𝑖 − 𝑘𝑙 )𝑝+ ))) }

(2.12)

Dengan menerapkan transformasi logaritma pada persamaan (2.12), maka menghasilkan persamaan: log 𝐿(𝑦, 𝛽) = log {(2𝜋𝜎 2 )−

𝑛⁄ 1 2 exp [− (∑𝑛𝑖=1 𝑦𝑖 2𝜎 2

𝑛

1

𝑛

1

𝑝

𝑗

𝑝

2

− (∑𝑗=1 𝛽𝑗 𝑥𝑖 + ∑𝑟𝑙=1 𝛽𝑝+𝑙 (𝑥𝑖 − 𝑘𝑙 )+ )) ]} 𝑗

= − 2 (2𝜋𝜎 2 ) − 2𝜎2 ∑𝑛𝑖=1(𝑦𝑖 − (∑𝑝𝑗=1 𝛽𝑗 𝑥𝑖 + ∑𝑟𝑙=1 𝛽𝑝+𝑙 (𝑥𝑖 − 𝑘𝑙 )𝑝+ )) = − 2 (2𝜋𝜎 2 ) − 2𝜎2 (𝒚 − 𝒙𝜷)′(𝒚 − 𝒙𝜷).

2

(2.13)

Kemudian pesamaan (2.12) diturunkan secara parsial terhadap 𝜷 dan disamakan dengan nol di sisi kanannya maka akan mendapatkan hasil penjabaran sebagai berikut: 𝜕(log(𝑦,𝛽)) 𝜕𝜷

=

𝑛 2

𝜕(− (2𝜋𝜎2 )−

1 (𝒚−𝒙𝜷)′(𝒚−𝒙𝜷)) 2𝜎2

𝜕𝜷 𝜕

1

= 𝜕𝜷 (− 2𝜎2 (𝒚 − 𝒙𝜷)′(𝒚 − 𝒙𝜷)) = 0 1

𝜕

= − 2𝜎2 (𝜕𝜷 (𝒚′ 𝒚 − 𝒚′ 𝒙𝜷 − 𝜷′ 𝒙′ 𝒚 + 𝜷′ 𝒙′𝒙𝜷)). Karena hasil dari

𝒚′ 𝒙𝜷 merupakan matriks 1 × 1 maka 𝒚′ 𝒙𝜷 = (𝒚′ 𝒙𝜷)′ =

𝜷′ 𝒙′ 𝒚sehingga : 𝜕(log(𝑦,𝛽)) 𝜕𝜷

1

𝜕

= − 2𝜎2 (𝜕𝜷 (𝒚′ 𝒚 − 𝟐𝜷′ 𝒙′ 𝒚 + 𝜷′ 𝒙′𝒙𝜷)) =−

1 (−𝟐𝒙′𝒚 + 𝟐𝒙′𝒙𝜷) 2𝜎 2

= −𝟐𝒙′𝒚 + 𝟐𝒙′𝒙𝜷 dengan demikian diperoleh 𝟐𝒙′𝒙𝜷 = 𝟐𝒙′𝒚 sehingga ̂ = (𝒙′𝒙)−𝟏 𝒙′𝒚. 𝜷

(2.14)

Estimasi dari 𝑦̂ dapat dituliskan sebagai berikut: ̂ ̂ = 𝒙𝜷 𝒚 ̂ = 𝒙(𝒙′𝒙)−𝟏 𝒙′ 𝒚 = 𝑨(𝒌)𝒚 𝒚

(2.15)

dengan A(k) merupakan matriks yang digunakan untuk perhitungan pada rumus GCV dalam pemilihan titik knot optimal.

2.4

Pemilihan Titik Knot Optimal Estimator spline yang baik diperoleh menggunakan titik knot (k) yang

optimal. Titik knot adalah titik perpaduan bersama yang terjadi karena terdapat perubahan perilaku fungsi atau kurva pada suatu interval. Pemilihan titik knot yang optimal sangatlah penting dalam menentukan model terbaik dalam regresi spline. Titik knot merupakan titik fokus sehingga kurva yang terbentuk tersegmen pada titik tersebut. Pemilihan estimator regresi spline terbaik di antara modelmodel yang didapatkan dilihat berdasarkan kriteria Generalized Cross Validation (GCV) yang minimum. Rumus untuk menghitung GCV adalah sebagai berikut:

𝐺𝐶𝑉(𝑘) =

𝑀𝑆𝐸 (𝑘) (𝑛−1 𝑡𝑟[𝐼−𝐴(𝑘)])2

(2.16)

dengan 𝑀𝑆𝐸(𝑘) = 𝑛−1 ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̂)2, n adalah jumlah data, I adalah matriks identitas, k adalah titik knot (𝑘1 , 𝑘2 , 𝑘3 , … , 𝑘𝑛 ), dan 𝑨(𝒌) = 𝒙(𝒙′ 𝒙)−𝟏 𝒙′ .

2.5

Kriteria Pemilihan Model Terbaik Dalam analisis regresi, salah satu tujuan yang ingin dicapai adalah

memperoleh hubungan yang signifikan antara variabel prediktor dengan variabel respons. Terdapat beberapa kriteria yang dapat digunakan dalam menentukan model regresi yang terbaik antara lain Mean Square Error (MSE), Cross Validation (CV), koefisien determinasi (𝑅 2 ), dan Generalized Cross Validation (GCV), dan lain-lain. Dalam penelitian ini, kriteria pemilihan model terbaik menggunakan nilai GCV yang paling minimum dan nilai 𝑅 2 yang maksimum.

Koefisien determinasi adalah nilai dari proporsi keragaman total disekitar nilai tengah 𝑦̅ yang dijelaskan dari model regresi (Draper and Smith, 1992). 1.6

Analisis Faktor Analisis faktor adalah suatu analisis yang merupakan bagian dari analisis

multivariat yang berfungsi mereduksi data atau meringkas dari banyaknya variabel diubah menjadi lebih sedikit variabel dan variabel yang telah diubah masih memuat sebagian besar informasi yang terkandung pada variabel yang asli (Supranto, 2010). Prinsip dasar dari analisis faktor adalah meringkas atau mereduksi data dari gugusan variabel asal 𝑥1 , 𝑥2 , 𝑥3 , … , 𝑥𝑛 sehingga banyaknya faktor variabel asal lebih sedikit dari variabel asal dan sebagian besar informasi variabel asal tersimpan dalam faktor. Analisis faktor memiliki Principal Component Analysis (PCA) yaitu suatu teknik analisis untuk mentransformasikan variabel-variabel asli yang masih berkolerasi satu dengan yang lainya menjadi sebuah variabel baru yang tidak berkorelasi lagi. Secara umum model analisis faktor (Johnson & Wichern, 1998) adalah :

x1  1  l11F1  l12 F2    l1m Fm   1 x2   2  l 21F1  l 22 F2    l 2 m Fm   2 

(2.17)

xn   n  l n1 F1  l n 2 F2    l nm Fm   n Persamaan (2.17) di atas dapat dinyatakan dalam bentuk matriks sebai berikut:

 x1  1  l11 l12 x    l 2  2  21 l 22  x3   3   l31 l32          xn   n    ( n1) l n1 l n 2

l13  l1m  1   F1    F  l 23  l 2 m   2  2      3  l33  l3m F3              l n 3  l nm  ( nm )  Fm  ( m1)  p  ( n1)

(2.18)

atau

x( n1)   ( n1)  l( nm) F( m1)   ( n1)

.

(2.19)

Variabel asal ke-1 sampai ke-n dinyatakan 𝑥1 , 𝑥2 , 𝑥3 , … , 𝑥𝑛 . Rataan dari vektor acak ke-1 sampai ke-n dinyatakan 1 ,  2 ,,  n ; l11,l12 ,, lnm merupakan bobot (loading) variabel ke-1 sampai ke-m. Faktor ke-1 sampai ke-m dinyatakan sebagai F1 , F2 ,, Fm . Sedangkan galat atau faktor spesifik (specific factor) untuk variabel ke-1 sampai ke-n dinyatakan  1 ,  2 ,,  n . Terdapat dua tipe dalam analisis faktor yaitu analisis eksploratif (Exploratory Factor Analysis disingkat EFA) dan analisis konfirmatif (Confirmatory Factor Analysis disingkat CFA). Analisis eksploratif digunakan untuk mengembangkan teori atau konsep pada sebuah variabel. Kegunaan dari analisis eksploratif adalah menentukan kelompok-kelompok dari kuesioner yang saling bergantung, menentukan skor faktor yang mengarah besaran pada konstruksi dasar untuk dipakai dalam analisis lainnya, dan mendemonstrasikan dimensi-dimensi pada suatu skala pengukuran. Analisis konfirmatif digunakan untuk digunakan untuk menguji atau mengkonfirmasi teori dalam sebuah model. Kegunaan dari analisis konfirmatif adalah mengetahui validitas pada suatu model faktor tunggal, menguji kaitan antara dua atau lebih factor loading dan menguji signifikansi dari factor loading tertentu.